BroadRouter
开始使用

开发者

更新于

BroadNet Inference 在 https://inference.broadnet.ai/v1 上使用 OpenAI 的请求格式。在控制台创建密钥,存入环境变量,然后带上准确的模型 ID 向 /chat/completions 或 /audio/transcriptions 发送请求。迁移生产流量前,请检查该模型的参数、流式输出、工具调用、限制和错误。

如何发送第一个对话请求?

  1. 在 inference.broadnet.ai (英文) 登录并创建推理密钥。密钥只显示一次,控制台只保存它的哈希值。
  2. 安装 OpenAI SDK,并在终端中设置密钥。密钥只放在服务器上,绝不要写进浏览器端代码。
  3. 发送请求。从 choices[0].message.content 读取回答。

setup

python -m pip install openai
export BROADNET_API_KEY='paste-the-key-once'

first_request.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
response = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Reply with one short sentence."}],
)
print(response.choices[0].message.content)

示例使用 BroadNet Gemma 4 VL 26B,US$5 初始额度可以覆盖它。DeepSeek V4.1 Flash、GLM 5.3和Qwen3.8 27B 需要先充值。请保留响应头 X-Request-ID,联系支持时会用到。

How a request reaches a model
  1. 01Your appKey kept in an environment variable
  2. 02OpenAI SDKTwo settings change

    base_url api_key

  3. 03BroadNet InferenceOpenAI-compatible APIinference.broadnet.ai/v1POST /chat/completions
  4. 04The model you nameSet in every request
    • broadnet/deepseek-v4.1-flash
    • broadnet/glm-5.3
    • broadnet/qwen3.8-27b
    • broadnet/gemma-4-26b-a4byour choice
  5. 05ResponseFrom that model

You choose the model in each request. There is no automatic routing: the request runs on the model ID you sent.

Your app calls the OpenAI SDK with BroadNet’s base URL and your key. The request goes to BroadNet Inference with the model ID you wrote, and that model answers. Nothing picks or switches the model for you.

流式输出

设置 stream=true,读取 Server-Sent Events 直到 data: [DONE]。设置 stream_options.include_usage 后,token 用量会在最后一个分块中返回。如果流在 [DONE] 之前结束,请把回答视为不完整。BroadNet 要求在生产环境依赖流式输出前,先逐个模型验证。

stream.sh

curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

如何转写音频?

把 WAV 或 MP3 文件(每个最多 26,214,400 字节)发送到 /audio/transcriptions。务必设置 language:不设置的话,阿拉伯语可能以拉丁字母返回。阿拉伯语请用 language=ar。.ogg 或 .m4a 需要先转换:ffmpeg -i voice-note.ogg -ar 16000 -ac 1 voice-note.wav

transcribe.py

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)
with open("recording.wav", "rb") as audio:
    result = client.audio.transcriptions.create(
        model="broadnet/cohere-transcribe-arabic",
        file=audio,
        language="ar",
    )
print(result.text)

响应为 JSON,转写文本在 text 字段中。阿拉伯语模型还是多语言模型,以及音频费用。

可以使用哪些模型 ID?

在 model 中传入准确的 ID。不要依赖 /v1/models 来发现对话模型;请使用本列表或参考文档 (英文)。

模型ID端点输入文档已列使用条件
DeepSeek V4.1 Flashbroadnet/deepseek-v4.1-flash/chat/completions文本 + 图像思考(reasoning)需要充值
GLM 5.3broadnet/glm-5.3/chat/completions文本工具调用、结构化输出、思考(reasoning)需要充值
Qwen3.8 27Bbroadnet/qwen3.8-27b/chat/completions文本 + 图像工具调用、结构化输出、思考(reasoning)需要充值
BroadNet Gemma 4 VL 26Bbroadnet/gemma-4-26b-a4b/chat/completions文本 + 图像—初始额度
BroadNet Transcribe Arabicbroadnet/cohere-transcribe-arabic/audio/transcriptions阿拉伯语音频—初始额度
BroadNet Transcribebroadnet/cohere-transcribe/audio/transcriptions音频,14 种语言—初始额度

“文档已列”表示 BroadNet 参考文档中为每个模型列出的工具调用、结构化输出和思考(reasoning)功能(核对日期 2026-11-15)。短横线表示参考文档没有列出,并不表示不支持。

从其他 OpenAI 兼容 API 迁移:检查清单

请求格式你会很熟悉,但模型之间存在差异。请针对所选模型逐项检查,并在切换流量前完成测试。

  1. 端点。 把 base URL 设置为 https://inference.broadnet.ai/v1。
  2. 密钥。 从环境变量读取 BroadNet 推理密钥。套餐密钥和按量付费密钥相互独立。
  3. 模型 ID。 使用准确的 ID,例如 broadnet/gemma-4-26b-a4b。
  4. 参数。 确认你发送的每个参数在该模型的文档中都有列出。删除未列出的参数。
  5. 流式输出。 确认客户端会把 SSE 读到 [DONE],并能处理提前结束的流。
  6. 工具调用和结构化输出。 参考文档为 GLM 5.3和Qwen3.8 27B 列出了这些功能。其他模型请先测试再依赖。
  7. 思考(reasoning)。 思考可能占用部分输出预算。请在 max_tokens 中预留空间;参见思考模型返回空回答的问题。
  8. 限制。 按量付费密钥每分钟 30 个请求,同时最多 4 个。套餐会话同一时间处理一个请求。Gemma 按小时密钥支持一路流、每分钟 120 个请求和每分钟 300,000 个 token。
  9. 上下文。 上下文包括输入和回答。请在模型页面上查看该模型的上限。
  10. 错误。 把下表中的状态码对应到重试或修正操作,并记录 X-Request-ID。
  11. 费用。 用价格计算器估算费用。按量付费时,图像按输入 token 计费。

哪些错误应该重试?

状态码含义处理方式
400 / 422请求或字段无效修正请求;不要原样重试
401密钥缺失、无效或已过期,或额度已用尽检查密钥和账户
402insufficient_balance充值后重试
413请求超过字节或文本上限减小请求,例如换用更小的音频文件
429触发速率、并发、token 速率或消费限额有上限地退避后重试
500–504服务器端问题使用有上限的指数退避重试

摘自参考文档中的错误表 (英文),核对日期 2026-11-15。重试代码示例。

完整文档和指南在哪里?

需要私有端点或未列出的模型?联系 BroadNet。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity