BroadRouter

openai-go SDK سے Go میں BroadNet Inference کال کریں

اپ ڈیٹ

github.com/openai/openai-go/v3 انسٹال کریں اور کلائنٹ کو option.WithBaseURL("https://inference.broadnet.ai/v1") اور اپنی BroadNet کلید والے option.WithAPIKey کے ساتھ بنائیں۔ client.Chat.Completions.New کو broadnet/glm-5.3 جیسے BroadNet ماڈل ID کے ساتھ، سادہ string کے طور پر کال کریں۔ Responses API نہیں، چیٹ کمپلیشنز استعمال کریں، اور MaxTokens میں ریزننگ کے لیے گنجائش رکھیں۔

openai-go، OpenAI کی آفیشل Go لائبریری ہے۔ یہ option.WithBaseURL سے کسٹم base URL لیتی ہے، اس لیے کسی بھی OpenAI-compatible API کو کال کر سکتی ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر چیٹ کمپلیشنز فراہم کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے۔ یہ گائیڈ v3.99.0 کے openai-go README کے مطابق ہے۔

انسٹال کریں

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

موجودہ ریلیز کے لیے Go 1.26 یا نیا ورژن چاہیے۔

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

اسے go run . سے چلائیں۔ جواب پرنٹ ہو جائے تو یہی آپ کا ٹیسٹ ہے: کلید، URL اور ماڈل ID کام کر رہے ہیں۔

  • Model ایک سادہ string ہے۔ openai.ChatModel، string کا type alias ہے، اس لیے BroadNet ID کو کسی کنورژن کی ضرورت نہیں۔
  • Chat.Completions استعمال کریں۔ README سب سے پہلے Responses API (client.Responses.New) دکھاتا ہے، جسے BroadNet درج نہیں کرتا۔ اس کا Chat Completions والا سیکشن کہتا ہے کہ وہ API “supported indefinitely” (ترجمہ: غیر معینہ مدت تک سپورٹڈ) ہے۔
  • MaxTokens بمقابلہ MaxCompletionTokens۔ SDK، max_tokens کو deprecated قرار دے کر max_completion_tokens تجویز کرتا ہے، لیکن BroadNet کا API ریفرنس max_tokens بیان کرتا ہے۔ MaxTokens استعمال کریں۔
  • SystemMessage، DeveloperMessage نہیں۔ README کی مثال میں DeveloperMessage ہے، جو developer رول بھیجتا ہے۔ BroadNet کا API ریفرنس اس رول کا ذکر نہیں کرتا، اس لیے system اور user استعمال کریں۔

usage کے ساتھ اسٹریمنگ

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

BroadNet کی دستاویزات کہتی ہیں کہ stream_options.include_usage کے true ہونے پر usage آخری چنک میں آتا ہے؛ اس چنک میں choices نہیں ہوتے، اسی لیے لمبائی کی جانچ ہے۔ وائر فارمیٹ کے لیے چیٹ کمپلیشنز کی اسٹریمنگ دیکھیں۔

ایررز اور دوبارہ کوشش

ناکام اسٹیٹس پر SDK *openai.Error لوٹاتا ہے۔ errors.As استعمال کریں اور StatusCode پڑھیں:

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

openai-go کچھ ایررز پر ڈیفالٹ طور پر دو بار، مختصر exponential backoff کے ساتھ دوبارہ کوشش کرتا ہے۔ اسے option.WithMaxRetries(n) سے بدلیں۔ دوبارہ کوششیں بھی BroadNet کی ریٹ لمٹس میں گنی جاتی ہیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔ اگر آپ نے WithAPIKey نہیں دیا تو SDK نے OPENAI_API_KEY استعمال کیا۔
  • 404۔ base URL کے آخر میں /v1 ہونا چاہیے، اور کال Chat.Completions پر جانی چاہیے، Responses پر نہیں۔ پھر ماڈل ID جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کو کور کرتا ہے۔
  • خالی Content۔ ریزننگ نے آؤٹ پٹ بجٹ خرچ کر دیا۔ MaxTokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ایک ساتھ API کال کرنے والی goroutines کی تعداد محدود رکھیں۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

کیا میں option کی جگہ انوائرنمنٹ ویری ایبلز سے BroadNet URL سیٹ کر سکتا ہوں؟

ہاں۔ openai-go ڈیفالٹ طور پر OPENAI_API_KEY اور OPENAI_BASE_URL پڑھتا ہے، اس لیے اگر دونوں میں BroadNet کی ویلیوز ہوں تو بغیر option کے openai.NewClient() چل جاتا ہے۔ واضح طور پر دیا گیا option.WithBaseURL، OPENAI_BASE_URL کو اوور رائیڈ کرتا ہے۔

جب Model، openai.ChatModel مانگتا ہے تو BroadNet ماڈل ID کیسے دوں؟

openai-go میں ChatModel، string کا type alias ہے، اس لیے Model "broadnet/glm-5.3" جیسا ہے ویسا ہی کمپائل ہو جاتا ہے۔

DeveloperMessage کی جگہ SystemMessage کیوں استعمال کریں؟

DeveloperMessage، developer رول بھیجتا ہے، جو OpenAI نے اپنے ماڈلز کے لیے متعارف کرایا تھا۔ BroadNet کا API ریفرنس اس رول کا ذکر نہیں کرتا، اس لیے معیاری system رول زیادہ محفوظ انتخاب ہے۔

مجھے Go کا کون سا ورژن چاہیے؟

موجودہ openai-go v3 کے لیے Go 1.26 یا نیا ورژن چاہیے۔ اس کا README کہتا ہے کہ اگر آپ کو Go 1.25 پر ہی رہنا ہے تو v3.74.0 پن کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں