BroadRouter

用 Go 和 openai-go SDK 调用 BroadNet Inference

更新于

安装 github.com/openai/openai-go/v3,创建客户端时传入 option.WithBaseURL("https://inference.broadnet.ai/v1"),并用 option.WithAPIKey 设置你的 BroadNet 密钥。调用 client.Chat.Completions.New,模型 ID 直接写成字符串,例如 broadnet/glm-5.3。请使用对话补全而不是 Responses API,并给 MaxTokens 留出思考的空间。

openai-go 是 OpenAI 官方的 Go 库。它可以通过 option.WithBaseURL 指定自定义 base URL,因此能调用任何 OpenAI 兼容 API。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供对话补全。BroadRouter 是 BroadNet 自己的网站;本文依据 openai-go v3.99.0 的 README。

安装

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

当前版本需要 Go 1.26 或更高版本。

对话补全

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

用 go run . 运行。能打印出回答就说明测试通过:密钥、URL 和模型 ID 都没问题。

  • Model 就是普通字符串。openai.ChatModel 是 string 的类型别名,所以 BroadNet 的 ID 不需要转换。
  • 使用 Chat.Completions。 README 首先介绍的是 Responses API(client.Responses.New),而 BroadNet 没有列出这个 API。README 的 Chat Completions 一节说该 API “supported indefinitely”(译文:会无限期支持)。
  • MaxTokens 还是 MaxCompletionTokens。 SDK 把 max_tokens 标为已弃用,推荐改用 max_completion_tokens,但 BroadNet 的 API 参考文档描述的是 max_tokens。请使用 MaxTokens。
  • 用 SystemMessage,不用 DeveloperMessage。 README 示例用的是 DeveloperMessage,它发送的是 developer 角色。BroadNet 的 API 参考文档没有提到这个角色,所以请用 system 和 user。

带用量统计的流式输出

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

BroadNet 的文档说,当 stream_options.include_usage 为 true 时,用量会出现在最后一个 chunk 中;这个 chunk 没有 choices,所以代码里要先检查长度。数据格式见流式对话补全。

错误与重试

遇到非成功状态码时,SDK 返回 *openai.Error。用 errors.As 取出它并读取 StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go 默认会对部分错误重试两次,使用较短的指数退避。可以用 option.WithMaxRetries(n) 修改。重试也计入 BroadNet 的速率限制。

故障排查

  • 401。 密钥错误、已过期或额度已用完。如果没有传 WithAPIKey,SDK 用的是 OPENAI_API_KEY。
  • 404。 base URL 必须以 /v1 结尾,并且调用的必须是 Chat.Completions 而不是 Responses。然后检查模型 ID。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • Content 为空。 思考用掉了输出预算。调高 MaxTokens。为什么回答会是空的。
  • 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个在处理中。请限制同时调用 API 的 goroutine 数量。见错误码与重试。

常见问题

可以用环境变量而不是 option 来设置 BroadNet 的 URL 吗?

可以。openai-go 默认读取 OPENAI_API_KEY 和 OPENAI_BASE_URL,所以只要这两个变量都是 BroadNet 的值,不带任何 option 的 openai.NewClient() 就能用。显式传入的 option.WithBaseURL 会覆盖 OPENAI_BASE_URL。

Model 字段要求 openai.ChatModel,怎么传 BroadNet 的模型 ID?

在 openai-go 里 ChatModel 是 string 的类型别名,所以直接写 Model "broadnet/glm-5.3" 就能编译通过。

为什么用 SystemMessage 而不是 DeveloperMessage?

DeveloperMessage 发送的是 developer 角色,这是 OpenAI 为自家模型引入的。BroadNet 的 API 参考文档没有提到这个角色,所以用标准的 system 角色更稳妥。

需要哪个版本的 Go?

当前的 openai-go v3 需要 Go 1.26 或更高版本。它的 README 说,如果必须停留在 Go 1.25,请固定使用 v3.74.0。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity