LlamaIndex est un framework Python pour le RAG et les agents. Pour toute API compatible OpenAI qui n’est pas OpenAI elle-même, il fournit la classe OpenAILike. BroadNet Inference sert des chat completions standard à https://inference.broadnet.ai/v1. BroadRouter est le site de BroadNet ; ce guide suit la référence de l’API de LlamaIndex pour llama-index-llms-openai-like 0.9.0.
Installation
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Se connecter et tester
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Si une réponse s’affiche, la clé, l’URL et l’ID du modèle fonctionnent.
Les quatre réglages qui comptent
| Paramètre | Valeur à donner | Valeur par défaut sinon |
|---|---|---|
is_chat_model |
True |
False, qui utilise l’ancien point de terminaison completions ; BroadNet sert les chat completions |
context_window |
Le contexte réel du modèle | 3 900 tokens |
is_function_calling_model |
True uniquement pour GLM 5.3 ou Qwen3.8 27B |
False |
max_tokens |
1 000 ou plus | None (non envoyé : le serveur décide) |
is_chat_model est le plus important. La référence de l’API indique qu’il « controls whether the model uses the chat or completion endpoint » (traduction : détermine si le modèle utilise le point de terminaison chat ou completion) et vaut false par défaut. La documentation de BroadNet liste /v1/chat/completions, pas l’ancien point de terminaison completions.
L’utiliser dans toute l’application
from llama_index.core import Settings
Settings.llm = llm
Les query engines, chat engines et agents utilisent alors BroadNet. Les embeddings sont à part : la référence de l’API de BroadNet ne liste pas de point de terminaison d’embeddings, gardez donc un autre modèle d’embedding pour l’indexation.
Fenêtres de contexte
| Modèle | ID | context_window |
Outils |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Oui |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Non indiqué |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Oui |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Non indiqué |
Un contexte de 1M de tokens permet à un query engine de transmettre beaucoup plus de chunks récupérés par appel. Ce n’est pas toujours mieux ; voir contexte long ou RAG.
Dépannage
- 401. La clé est erronée, a expiré ou a épuisé son allocation.
- 404.
api_basedoit se terminer par/v1, etis_chat_modeldoit valoirTrue. Vérifiez ensuite l’ID du modèle. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre quebroadnet/gemma-4-26b-a4bet les deux modèles Transcribe. - Réponses vides. Le raisonnement a consommé le budget de sortie. Augmentez
max_tokens. Pourquoi les réponses reviennent vides. - L’agent n’appelle jamais d’outils. Réglez
is_function_calling_model=Trueet utilisezbroadnet/glm-5.3oubroadnet/qwen3.8-27b. - 429 pendant l’ingestion ou des requêtes par lots. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. OpenAILike fait 3 nouvelles tentatives par défaut (
max_retries). Voir codes d’erreur et nouvelles tentatives.
