LlamaIndex ist ein Python-Framework für RAG und Agenten. Für jede OpenAI-kompatible API, die nicht OpenAI selbst ist, bringt es die Klasse OpenAILike mit. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 standardmäßige Chat Completions bereit. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der LlamaIndex-API-Referenz für llama-index-llms-openai-like 0.9.0.
Installation
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Verbinden und testen
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Wird eine Antwort ausgegeben, funktionieren Schlüssel, URL und Modell-ID.
Die vier wichtigen Einstellungen
| Parameter | Setzen auf | Standard, wenn nicht gesetzt |
|---|---|---|
is_chat_model |
True |
False, das den alten Completions-Endpoint nutzt; BroadNet stellt Chat Completions bereit |
context_window |
den echten Kontext des Modells | 3.900 Token |
is_function_calling_model |
True nur für GLM 5.3 oder Qwen3.8 27B |
False |
max_tokens |
1.000 oder mehr | None (wird nicht gesendet, der Server entscheidet) |
Am wichtigsten ist is_chat_model. Laut API-Referenz „controls whether the model uses the chat or completion endpoint“ (Übersetzung: steuert, ob das Modell den Chat- oder den Completion-Endpoint nutzt), Standard ist false. Die BroadNet-Dokumentation nennt /v1/chat/completions, nicht den älteren Completions-Endpoint.
In der ganzen App nutzen
from llama_index.core import Settings
Settings.llm = llm
Query Engines, Chat Engines und Agenten nutzen dann BroadNet. Embeddings sind davon getrennt: Die API-Referenz von BroadNet nennt keinen Embeddings-Endpoint, behalten Sie fürs Indexieren also ein anderes Embedding-Modell.
Kontextfenster
| Modell | ID | context_window |
Tools |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Ja |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Nicht genannt |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Ja |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Nicht genannt |
Mit einem Kontext von 1M Token kann eine Query Engine pro Aufruf deutlich mehr abgerufene Chunks übergeben. Das ist nicht immer besser; siehe Long Context vs. RAG.
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent aufgebraucht.
- 404.
api_basemuss auf/v1enden, undis_chat_modelmussTruesein. Prüfen Sie danach die Modell-ID. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leere Antworten. Das Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie
max_tokens. Warum Antworten leer zurückkommen. - Der Agent ruft nie Tools auf. Setzen Sie
is_function_calling_model=Trueund nutzen Siebroadnet/glm-5.3oderbroadnet/qwen3.8-27b. - 429 beim Ingestion-Lauf oder bei Batch-Abfragen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. OpenAILike wiederholt standardmäßig 3-mal (
max_retries). Siehe Fehlercodes und Retries.
