BroadRouter

Tawagin ang BroadNet Inference mula sa Go gamit ang openai-go SDK

Na-update

I-install ang github.com/openai/openai-go/v3 at gawin ang client gamit ang option.WithBaseURL("https://inference.broadnet.ai/v1") at option.WithAPIKey na naka-set sa BroadNet key mo. Tawagin ang client.Chat.Completions.New na may BroadNet model ID gaya ng broadnet/glm-5.3 bilang simpleng string. Chat completions ang gamitin, hindi ang Responses API, at mag-set ng MaxTokens na may puwang para sa reasoning.

Ang openai-go ang opisyal na Go library ng OpenAI. Tumatanggap ito ng custom na base URL gamit ang option.WithBaseURL, kaya kaya nitong tawagin ang anumang OpenAI-compatible na API. Nagse-serve ang BroadNet Inference ng chat completions sa https://inference.broadnet.ai/v1. Sariling site ng BroadNet ang BroadRouter; sinusundan ng gabay na ito ang README ng openai-go para sa v3.99.0.

I-install

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

Kailangan ng kasalukuyang release ang Go 1.26 o mas bago.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Patakbuhin ito gamit ang go run .. Ang lumabas na sagot ang test mo: gumagana ang key, URL at model ID.

  • Simpleng string ang Model. Type alias ng string ang openai.ChatModel, kaya hindi na kailangang i-convert ang mga BroadNet ID.
  • Gamitin ang Chat.Completions. Responses API (client.Responses.New) ang unang ipinapakita ng README, at hindi ito nakalista sa BroadNet. Sinasabi ng seksiyon nito sa Chat Completions na ang API na iyon ay “supported indefinitely” (Salin: susuportahan nang walang takdang katapusan).
  • MaxTokens kontra MaxCompletionTokens. Minamarkahan ng SDK na deprecated ang max_tokens pabor sa max_completion_tokens, pero max_tokens ang inilalarawan ng API reference ng BroadNet. Gamitin ang MaxTokens.
  • SystemMessage, hindi DeveloperMessage. DeveloperMessage ang gamit ng halimbawa sa README, na nagpapadala ng developer role. Hindi binabanggit ng API reference ng BroadNet ang role na iyon, kaya system at user ang gamitin.

Streaming na may usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

Ayon sa docs ng BroadNet, dumarating ang usage sa huling chunk kapag true ang stream_options.include_usage; walang choices ang chunk na iyon, kaya may length check. Tingnan ang streaming chat completions para sa wire format.

Mga error at retry

Nagbabalik ang SDK ng *openai.Error para sa mga status na hindi success. Gamitin ang errors.As at basahin ang StatusCode:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Bilang default, dalawang beses nire-retry ng openai-go ang ilang error na may maikling exponential backoff. Baguhin ito gamit ang option.WithMaxRetries(n). Kasama ang mga retry sa rate limits ng BroadNet.

Troubleshooting

  • 401. Mali, expired o ubos na ang allowance ng key. Kung hindi ka nagpasa ng WithAPIKey, OPENAI_API_KEY ang ginamit ng SDK.
  • 404. Dapat nagtatapos sa /v1 ang base URL, at sa Chat.Completions dapat pumunta ang tawag, hindi sa Responses. Pagkatapos, suriin ang model ID. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang laman na Content. Naubos ng reasoning ang output budget. Taasan ang MaxTokens. Bakit walang laman ang mga sagot.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Limitahan ang mga goroutine na sabay na tumatawag sa API. Tingnan ang errors and retries.

Mga tanong

Puwede ko bang i-set ang BroadNet URL gamit ang environment variables sa halip na options?

Oo. Binabasa ng openai-go ang OPENAI_API_KEY at OPENAI_BASE_URL bilang default, kaya gagana ang openai.NewClient() nang walang options kung BroadNet values ang laman ng dalawa. Nangingibabaw ang tahasang option.WithBaseURL sa OPENAI_BASE_URL.

Paano ko ipapasa ang BroadNet model ID kung openai.ChatModel ang hinihingi ng Model?

Sa openai-go, type alias ng string ang ChatModel, kaya nagko-compile ang Model "broadnet/glm-5.3" nang walang binabago.

Bakit SystemMessage at hindi DeveloperMessage?

Ipinapadala ng DeveloperMessage ang developer role, na ipinakilala ng OpenAI para sa sarili nitong mga model. Hindi binabanggit ng API reference ng BroadNet ang role na iyon, kaya mas ligtas ang karaniwang system role.

Anong bersyon ng Go ang kailangan ko?

Kailangan ng kasalukuyang openai-go v3 ang Go 1.26 o mas bago. Sinasabi ng README nito na i-pin ang v3.74.0 kung kailangan mong manatili sa Go 1.25.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity