流式输出
SSE 流式返回,首 token 延迟更低,体验更好。
开启方式
请求体设置 "stream": true,响应为 text/event-stream,逐 chunk 返回 delta.content,结束发送 [DONE]。
# pip3 install openai
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ.get("AIGATEWAY_API_KEY"),
base_url="https://api.aigateway.ltd/v1",
)
resp = client.chat.completions.create(
model="auto", # 或指定: "deepseek-chat" / "qwen-max"
messages=[{"role": "user", "content": "你好!"}],
stream=True,
)
for chunk in resp:
print(chunk.choices[0].delta.content or "", end="")超时建议
- 客户端读超时 ≥ 300s(长文本生成)
- 心跳:网关每 15s 发送注释行防代理断开
- Nginx/CDN 层关闭缓冲(proxy_buffering off)