BroadRouter

openai-go SDK से Go में BroadNet Inference कॉल करें

अपडेट किया गया

github.com/openai/openai-go/v3 इंस्टॉल करें और क्लाइंट को option.WithBaseURL("https://inference.broadnet.ai/v1") और अपनी BroadNet key वाले option.WithAPIKey के साथ बनाएँ। client.Chat.Completions.New को broadnet/glm-5.3 जैसे BroadNet मॉडल ID के साथ, सादे string के रूप में कॉल करें। Responses API नहीं, chat completions इस्तेमाल करें, और MaxTokens में रीज़निंग के लिए जगह रखें।

openai-go, OpenAI की आधिकारिक Go लाइब्रेरी है। यह option.WithBaseURL से कस्टम base URL लेती है, इसलिए किसी भी OpenAI-कम्पैटिबल API को कॉल कर सकती है। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है। BroadRouter, BroadNet की अपनी साइट है। यह गाइड v3.99.0 के openai-go README के अनुसार है।

इंस्टॉल करें

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

मौजूदा रिलीज़ के लिए Go 1.26 या नया वर्शन चाहिए।

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

इसे go run . से चलाएँ। जवाब प्रिंट हो जाए, तो यही आपका टेस्ट है: key, URL और मॉडल ID काम कर रहे हैं।

  • Model एक सादा string है। openai.ChatModel, string का type alias है, इसलिए BroadNet ID को किसी कन्वर्ज़न की ज़रूरत नहीं।
  • Chat.Completions इस्तेमाल करें। README सबसे पहले Responses API (client.Responses.New) दिखाता है, जिसे BroadNet सूचीबद्ध नहीं करता। इसका Chat Completions वाला सेक्शन कहता है कि वह API “supported indefinitely” (अनुवाद: अनिश्चित समय तक सपोर्टेड) है।
  • MaxTokens बनाम MaxCompletionTokens. SDK, max_tokens को deprecated बताकर max_completion_tokens की सलाह देता है, लेकिन BroadNet का API रेफ़रंस max_tokens बताता है। MaxTokens इस्तेमाल करें।
  • SystemMessage, DeveloperMessage नहीं। README के उदाहरण में DeveloperMessage है, जो developer रोल भेजता है। BroadNet का API रेफ़रंस इस रोल का ज़िक्र नहीं करता, इसलिए system और user इस्तेमाल करें।

usage के साथ स्ट्रीमिंग

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

BroadNet के डॉक्स कहते हैं कि stream_options.include_usage true होने पर usage आख़िरी चंक में आता है; उस चंक में choices नहीं होते, इसीलिए लंबाई की जाँच है। वायर फ़ॉर्मैट के लिए chat completions की स्ट्रीमिंग देखें।

एरर और रीट्राई

सफल न होने वाले स्टेटस पर SDK *openai.Error लौटाता है। errors.As इस्तेमाल करें और StatusCode पढ़ें:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go कुछ एरर पर डिफ़ॉल्ट रूप से दो बार, छोटे exponential backoff के साथ रीट्राई करता है। इसे option.WithMaxRetries(n) से बदलें। रीट्राई भी BroadNet की रेट लिमिट में गिने जाते हैं।

समस्या निवारण

  • 401. key ग़लत है, एक्सपायर हो चुकी है या उसकी सीमा ख़त्म हो गई है। अगर आपने WithAPIKey नहीं दिया, तो SDK ने OPENAI_API_KEY इस्तेमाल किया।
  • 404. base URL का अंत /v1 पर होना चाहिए, और कॉल Chat.Completions पर जानी चाहिए, Responses पर नहीं। फिर मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली Content. रीज़निंग ने आउटपुट बजट ख़र्च कर दिया। MaxTokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है। एक साथ API कॉल करने वाली goroutines की संख्या सीमित रखें। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

क्या मैं option की जगह एनवायरनमेंट वेरिएबल से BroadNet URL सेट कर सकता हूँ?

हाँ। openai-go डिफ़ॉल्ट रूप से OPENAI_API_KEY और OPENAI_BASE_URL पढ़ता है, इसलिए अगर दोनों में BroadNet की वैल्यू हैं तो बिना option के openai.NewClient() चल जाता है। साफ़ तौर पर दिया गया option.WithBaseURL, OPENAI_BASE_URL को ओवरराइड करता है।

जब Model, openai.ChatModel माँगता है, तो BroadNet मॉडल ID कैसे दूँ?

openai-go में ChatModel, string का type alias है, इसलिए Model "broadnet/glm-5.3" जैसा है वैसा ही कंपाइल हो जाता है।

DeveloperMessage की जगह SystemMessage क्यों इस्तेमाल करें?

DeveloperMessage, developer रोल भेजता है, जिसे OpenAI ने अपने मॉडलों के लिए शुरू किया था। BroadNet का API रेफ़रंस इस रोल का ज़िक्र नहीं करता, इसलिए स्टैंडर्ड system रोल ज़्यादा सुरक्षित विकल्प है।

मुझे Go का कौन-सा वर्शन चाहिए?

मौजूदा openai-go v3 के लिए Go 1.26 या नया वर्शन चाहिए। इसका README कहता है कि अगर आपको Go 1.25 पर ही रहना है, तो v3.74.0 पिन करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें