跳到正文
原文
Replicate Blog·· 2023-08-14AI 评分42

Replicate API 为语言模型推出流式输出

Streaming output for language models

AI 导读

Replicate 的 API 现已支持语言模型的 server-sent event 流式输出,让应用在模型运行时实时更新。创建 prediction 时开启 stream 选项即可获得 stream URL,浏览器端可用 EventSource 连接,也可用 cURL 和 jq 在终端接收更新。

来源:Replicate Blog · replicate.com