openai-go là thư viện Go chính thức của OpenAI. Nó nhận base URL tùy chỉnh qua option.WithBaseURL, nên có thể gọi bất kỳ API tương thích OpenAI nào. BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1. BroadRouter là website của chính BroadNet; bài này làm theo README của openai-go cho v3.99.0.
Cài đặt
go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'
Bản phát hành hiện tại cần Go 1.26 trở lên.
Chat completion
package main
import (
"context"
"fmt"
"os"
"github.com/openai/openai-go/v3"
"github.com/openai/openai-go/v3/option"
)
func main() {
client := openai.NewClient(
option.WithBaseURL("https://inference.broadnet.ai/v1"),
option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
)
resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
Model: "broadnet/glm-5.3",
Messages: []openai.ChatCompletionMessageParamUnion{
openai.SystemMessage("You are a concise Go reviewer."),
openai.UserMessage("How do I check if a slice is empty in Go?"),
},
MaxTokens: openai.Int(2000), // reasoning counts toward this limit
})
if err != nil {
panic(err)
}
fmt.Println(resp.Choices[0].Message.Content)
}
Chạy bằng go run .. Câu trả lời được in ra chính là phép thử của bạn: key, URL và model ID đều hoạt động.
- Model là chuỗi thường.
openai.ChatModellà type alias củastring, nên ID của BroadNet không cần chuyển đổi. - Dùng
Chat.Completions. README giới thiệu Responses API (client.Responses.New) trước, nhưng BroadNet không liệt kê API này. Phần Chat Completions của README nói API đó được “supported indefinitely” (Bản dịch: hỗ trợ vô thời hạn). MaxTokenshayMaxCompletionTokens. SDK đánh dấumax_tokenslà deprecated để thay bằngmax_completion_tokens, nhưng tài liệu tham chiếu API của BroadNet mô tảmax_tokens. Hãy dùngMaxTokens.SystemMessage, không phảiDeveloperMessage. Ví dụ trong README dùngDeveloperMessage, thứ gửi roledeveloper. Tài liệu tham chiếu API của BroadNet không nhắc tới role đó, nên hãy dùngsystemvàuser.
Streaming kèm usage
stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
Model: "broadnet/deepseek-v4.1-flash",
Messages: []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
MaxTokens: openai.Int(2000),
StreamOptions: openai.ChatCompletionStreamOptionsParam{
IncludeUsage: openai.Bool(true),
},
})
defer stream.Close()
for stream.Next() {
chunk := stream.Current()
if len(chunk.Choices) > 0 {
fmt.Print(chunk.Choices[0].Delta.Content)
}
if chunk.Usage.TotalTokens > 0 {
fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
}
}
if err := stream.Err(); err != nil {
panic(err)
}
Tài liệu BroadNet nói usage tới trong chunk cuối cùng khi stream_options.include_usage là true; chunk đó không có choices, vì vậy mới cần kiểm tra độ dài. Xem streaming chat completions để biết định dạng truyền.
Lỗi và thử lại
SDK trả về *openai.Error cho các status không thành công. Dùng errors.As và đọc StatusCode:
var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
// back off, then retry
}
Mặc định openai-go thử lại một số lỗi hai lần với backoff lũy thừa ngắn. Đổi bằng option.WithMaxRetries(n). Các lần thử lại cũng tính vào giới hạn request của BroadNet.
Xử lý sự cố
- 401. Key bị sai, hết hạn hoặc hết hạn mức. Nếu bạn không truyền
WithAPIKey, SDK đã dùngOPENAI_API_KEY. - 404. Base URL phải kết thúc bằng
/v1, và lời gọi phải tớiChat.Completions, không phảiResponses. Sau đó kiểm tra model ID. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. Contentrỗng. Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăngMaxTokens. Vì sao câu trả lời trả về rỗng.- 429. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Hãy giới hạn số goroutine gọi API cùng lúc. Xem lỗi và thử lại.
