rinch 在 关于openai的response api和completions api,应该开启流式吗? 中发帖
关于openai的response api和completions api,应该开启流式吗?最近在优化我的hermes+codex使用方式,codex只支持response api,后面改成hermes+opencode,后来又发现opencode使用流式api输出,使用simulateStreamingMiddleware才会把调用模型的过程转为非流式。模型侧的流式输出和非流式输出应该怎么选