BroadRouter

Appeler BroadNet Inference depuis Go avec le SDK openai-go

Mis à jour

Installez github.com/openai/openai-go/v3 et créez le client avec option.WithBaseURL("https://inference.broadnet.ai/v1") et option.WithAPIKey défini sur votre clé BroadNet. Appelez client.Chat.Completions.New avec un ID de modèle BroadNet comme broadnet/glm-5.3, en simple chaîne. Utilisez les chat completions, pas la Responses API, et réglez MaxTokens avec de la marge pour le raisonnement.

openai-go est la bibliothèque Go officielle d’OpenAI. Elle accepte une URL de base personnalisée via option.WithBaseURL et peut donc appeler n’importe quelle API compatible OpenAI. BroadNet Inference sert les chat completions à l’adresse https://inference.broadnet.ai/v1. BroadRouter est le site de BroadNet ; ce guide suit le README d’openai-go pour la v3.99.0.

Installation

go get -u 'github.com/openai/openai-go/v3@v3.99.0'
export BROADNET_API_KEY='your-broadnet-key'

La version actuelle nécessite Go 1.26 ou plus récent.

Chat completion

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v3"
	"github.com/openai/openai-go/v3/option"
)

func main() {
	client := openai.NewClient(
		option.WithBaseURL("https://inference.broadnet.ai/v1"),
		option.WithAPIKey(os.Getenv("BROADNET_API_KEY")),
	)

	resp, err := client.Chat.Completions.New(context.TODO(), openai.ChatCompletionNewParams{
		Model: "broadnet/glm-5.3",
		Messages: []openai.ChatCompletionMessageParamUnion{
			openai.SystemMessage("You are a concise Go reviewer."),
			openai.UserMessage("How do I check if a slice is empty in Go?"),
		},
		MaxTokens: openai.Int(2000), // reasoning counts toward this limit
	})
	if err != nil {
		panic(err)
	}
	fmt.Println(resp.Choices[0].Message.Content)
}

Lancez-le avec go run .. Une réponse affichée vaut test : la clé, l’URL et l’ID du modèle fonctionnent.

  • Model est une simple chaîne. openai.ChatModel est un alias de type pour string, les ID BroadNet ne demandent donc aucune conversion.
  • Utilisez Chat.Completions. Le README met en avant la Responses API (client.Responses.New), que BroadNet ne propose pas. Sa section Chat Completions indique que cette API est « supported indefinitely » (traduction : prise en charge sans limite de durée).
  • MaxTokens ou MaxCompletionTokens. Le SDK marque max_tokens comme obsolète au profit de max_completion_tokens, mais la référence de l’API de BroadNet décrit max_tokens. Utilisez MaxTokens.
  • SystemMessage, pas DeveloperMessage. L’exemple du README utilise DeveloperMessage, qui envoie le rôle developer. La référence de l’API de BroadNet ne mentionne pas ce rôle : utilisez system et user.

Streaming avec usage

stream := client.Chat.Completions.NewStreaming(context.TODO(), openai.ChatCompletionNewParams{
	Model:     "broadnet/deepseek-v4.1-flash",
	Messages:  []openai.ChatCompletionMessageParamUnion{openai.UserMessage("Count from one to five.")},
	MaxTokens: openai.Int(2000),
	StreamOptions: openai.ChatCompletionStreamOptionsParam{
		IncludeUsage: openai.Bool(true),
	},
})
defer stream.Close()

for stream.Next() {
	chunk := stream.Current()
	if len(chunk.Choices) > 0 {
		fmt.Print(chunk.Choices[0].Delta.Content)
	}
	if chunk.Usage.TotalTokens > 0 {
		fmt.Printf("\n%d tokens\n", chunk.Usage.TotalTokens)
	}
}
if err := stream.Err(); err != nil {
	panic(err)
}

D’après la documentation de BroadNet, l’usage arrive dans le dernier chunk quand stream_options.include_usage vaut true ; ce chunk n’a pas de choices, d’où le test de longueur. Le format sur le fil est détaillé dans streamer les chat completions.

Erreurs et nouvelles tentatives

Le SDK renvoie *openai.Error pour les statuts d’échec. Utilisez errors.As et lisez StatusCode :

var apierr *openai.Error
if errors.As(err, &apierr) && apierr.StatusCode == 429 {
	// back off, then retry
}

Par défaut, openai-go réessaie deux fois certaines erreurs avec un court backoff exponentiel. Modifiez ce comportement avec option.WithMaxRetries(n). Les nouvelles tentatives comptent dans les limites de débit de BroadNet.

Dépannage

  • 401. La clé est erronée, expirée ou son quota est épuisé. Si vous n’avez pas passé WithAPIKey, le SDK a utilisé OPENAI_API_KEY.
  • 404. L’URL de base doit se terminer par /v1, et l’appel doit viser Chat.Completions, pas Responses. Vérifiez ensuite l’ID du modèle. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • Content vide. Le raisonnement a consommé le budget de sortie. Augmentez MaxTokens. Pourquoi les réponses reviennent vides.
  • 429. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Limitez le nombre de goroutines qui appellent l’API en même temps. Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Puis-je définir l’URL de BroadNet par variables d’environnement plutôt que par options ?

Oui. openai-go lit OPENAI_API_KEY et OPENAI_BASE_URL par défaut, donc openai.NewClient() sans option fonctionne si les deux contiennent les valeurs BroadNet. Un option.WithBaseURL explicite prend le pas sur OPENAI_BASE_URL.

Comment passer un ID de modèle BroadNet quand Model attend un openai.ChatModel ?

Dans openai-go, ChatModel est un alias de type pour string : Model "broadnet/glm-5.3" compile tel quel.

Pourquoi SystemMessage plutôt que DeveloperMessage ?

DeveloperMessage envoie le rôle developer, qu’OpenAI a introduit pour ses propres modèles. La référence de l’API de BroadNet ne mentionne pas ce rôle : le rôle system standard est le choix le plus sûr.

Quelle version de Go faut-il ?

L’openai-go v3 actuel nécessite Go 1.26 ou plus récent. Son README conseille d’épingler v3.74.0 si vous devez rester sur Go 1.25.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity