流式输出

SSE 流式返回,首 token 延迟更低,体验更好。

开启方式

请求体设置 "stream": true,响应为 text/event-stream,逐 chunk 返回 delta.content,结束发送 [DONE]。

# pip3 install openai
import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ.get("AIGATEWAY_API_KEY"),
    base_url="https://api.aigateway.ltd/v1",
)
resp = client.chat.completions.create(
    model="auto",           # 或指定: "deepseek-chat" / "qwen-max"
    messages=[{"role": "user", "content": "你好!"}],
    stream=True,
)
for chunk in resp:
    print(chunk.choices[0].delta.content or "", end="")

超时建议