这个有意思,OpenAI 给 Responses API 添加了 websocket 模式。
主要是为了增量输入,长时间运行,多工具调用的流程。
这个模式我相信很快就会被广泛采纳的,这个要方便的多,尤其是多轮对话,频繁工具调用的场景,这个优势会被放大。
(但是如果是普通 chat,简单的一两轮对话就算了,还会带来 TTFT 的开销
https://developers.openai.com/api/docs/guides/websocket-mode/
主要是为了增量输入,长时间运行,多工具调用的流程。
这个模式我相信很快就会被广泛采纳的,这个要方便的多,尤其是多轮对话,频繁工具调用的场景,这个优势会被放大。
(但是如果是普通 chat,简单的一两轮对话就算了,还会带来 TTFT 的开销
https://developers.openai.com/api/docs/guides/websocket-mode/