LlamaIndex è un framework Python per RAG e agenti. Per qualsiasi API compatibile con OpenAI che non sia OpenAI stessa, offre la classe OpenAILike. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1. BroadRouter è il sito di BroadNet; questa guida segue il riferimento API di LlamaIndex per llama-index-llms-openai-like 0.9.0.
Installazione
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Connessione e test
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Se viene stampata una risposta, chiave, URL e ID del modello funzionano. Il commento nel codice ricorda che il ragionamento conta in questo limite.
Le quattro impostazioni che contano
| Parametro | Impostalo su | Default se non lo imposti |
|---|---|---|
is_chat_model |
True |
False, che usa il vecchio endpoint completions; BroadNet serve chat completions |
context_window |
Il contesto reale del modello | 3.900 token |
is_function_calling_model |
True solo per GLM 5.3 o Qwen3.8 27B |
False |
max_tokens |
1.000 o più | None (non viene inviato, quindi decide il server) |
is_chat_model è il più importante. Il riferimento API dice che “controls whether the model uses the chat or completion endpoint” (traduzione: controlla se il modello usa l’endpoint chat o quello completion) e che il default è false. La documentazione di BroadNet elenca /v1/chat/completions, non il vecchio endpoint completions.
Usarlo in tutta l’app
from llama_index.core import Settings
Settings.llm = llm
Query engine, chat engine e agenti useranno quindi BroadNet. Gli embedding sono a parte: il riferimento API di BroadNet non elenca un endpoint per gli embedding, quindi tieni un modello di embedding diverso per l’indicizzazione.
Finestre di contesto
| Modello | ID | context_window |
Strumenti |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Sì |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Non indicati |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Sì |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Non indicati |
Un contesto da 1M di token permette a un query engine di passare molti più chunk recuperati per chiamata. Non sempre è meglio; vedi contesto lungo o RAG.
Risoluzione dei problemi
- 401. La chiave è sbagliata, scaduta o ha esaurito la quota.
- 404.
api_basedeve finire con/v1, eis_chat_modeldeve essereTrue. Poi controlla l’ID del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solobroadnet/gemma-4-26b-a4be i due modelli Transcribe. - Risposte vuote. Il ragionamento ha consumato il budget di output. Alza
max_tokens. Perché le risposte arrivano vuote. - L’agente non chiama mai gli strumenti. Imposta
is_function_calling_model=Truee usabroadnet/glm-5.3obroadnet/qwen3.8-27b. - 429 durante l’ingestion o le query in batch. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Per default OpenAILike riprova 3 volte (
max_retries). Vedi errori e retry.
