BroadRouter

Usare LlamaIndex con BroadNet Inference tramite OpenAILike

Aggiornato

Installa llama-index-llms-openai-like e crea OpenAILike con model impostato su un ID BroadNet come broadnet/glm-5.3, api_base su https://inference.broadnet.ai/v1, la tua chiave BroadNet, context_window pari al contesto reale del modello, is_chat_model=True e is_function_calling_model=True solo per GLM 5.3 o Qwen3.8 27B. Assegnalo a Settings.llm per usarlo ovunque.

LlamaIndex è un framework Python per RAG e agenti. Per qualsiasi API compatibile con OpenAI che non sia OpenAI stessa, offre la classe OpenAILike. BroadNet Inference serve chat completions standard su https://inference.broadnet.ai/v1. BroadRouter è il sito di BroadNet; questa guida segue il riferimento API di LlamaIndex per llama-index-llms-openai-like 0.9.0.

Installazione

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Connessione e test

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Se viene stampata una risposta, chiave, URL e ID del modello funzionano. Il commento nel codice ricorda che il ragionamento conta in questo limite.

Le quattro impostazioni che contano

Parametro Impostalo su Default se non lo imposti
is_chat_model True False, che usa il vecchio endpoint completions; BroadNet serve chat completions
context_window Il contesto reale del modello 3.900 token
is_function_calling_model True solo per GLM 5.3 o Qwen3.8 27B False
max_tokens 1.000 o più None (non viene inviato, quindi decide il server)

is_chat_model è il più importante. Il riferimento API dice che “controls whether the model uses the chat or completion endpoint” (traduzione: controlla se il modello usa l’endpoint chat o quello completion) e che il default è false. La documentazione di BroadNet elenca /v1/chat/completions, non il vecchio endpoint completions.

Usarlo in tutta l’app

from llama_index.core import Settings

Settings.llm = llm

Query engine, chat engine e agenti useranno quindi BroadNet. Gli embedding sono a parte: il riferimento API di BroadNet non elenca un endpoint per gli embedding, quindi tieni un modello di embedding diverso per l’indicizzazione.

Finestre di contesto

Modello ID context_window Strumenti
GLM 5.3 broadnet/glm-5.3 1048576 Sì
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Non indicati
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Sì
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Non indicati

Un contesto da 1M di token permette a un query engine di passare molti più chunk recuperati per chiamata. Non sempre è meglio; vedi contesto lungo o RAG.

Risoluzione dei problemi

  • 401. La chiave è sbagliata, scaduta o ha esaurito la quota.
  • 404. api_base deve finire con /v1, e is_chat_model deve essere True. Poi controlla l’ID del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo broadnet/gemma-4-26b-a4b e i due modelli Transcribe.
  • Risposte vuote. Il ragionamento ha consumato il budget di output. Alza max_tokens. Perché le risposte arrivano vuote.
  • L’agente non chiama mai gli strumenti. Imposta is_function_calling_model=True e usa broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429 durante l’ingestion o le query in batch. Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Per default OpenAILike riprova 3 volte (max_retries). Vedi errori e retry.

Domande frequenti

Perché non usare la classe OpenAI di LlamaIndex con un altro api_base?

La pagina OpenAI di LlamaIndex dice di usare l’integrazione OpenAILike per qualsiasi API compatibile con OpenAI che non sia l’API ufficiale di OpenAI. OpenAILike permette anche di dichiarare tu la finestra di contesto e il supporto agli strumenti.

Cosa succede se non imposto context_window?

OpenAILike usa di default 3.900 token, quindi LlamaIndex taglia prompt e chunk recuperati molto al di sotto di ciò che accettano i modelli di BroadNet. Imposta 1048576 per GLM 5.3 e DeepSeek V4.1 Flash, oppure 262144 per Qwen3.8 27B.

Un FunctionAgent di LlamaIndex può usare BroadNet?

Sì, con is_function_calling_model=True su un modello per cui BroadNet indica gli strumenti, GLM 5.3 o Qwen3.8 27B. Lascialo a False per DeepSeek V4.1 Flash, per cui la documentazione di BroadNet non indica il tool calling.

BroadNet fornisce embedding per un indice LlamaIndex?

Il riferimento API di BroadNet elenca chat completions e trascrizioni audio, non embedding. Usa un modello di embedding separato per l’indice e BroadNet per l’LLM.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity