ChatOpenAI di LangChain accetta qualsiasi endpoint tramite base_url. Con BroadNet Inference funziona perché usa il formato standard di chat completions. Se invece chiami l’API direttamente, vedi la guida all’SDK Python.
Installazione
Le versioni attuali di langchain-openai (1.x) richiedono Python 3.11 o successivo.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Connessione
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base è un alias di base_url. Se mancano entrambi, LangChain legge OPENAI_API_BASE, e poi il client openai sottostante legge OPENAI_BASE_URL. Il commento nel codice ricorda che il ragionamento conta nel limite di max_tokens.
Cose da sapere
- Il testo del ragionamento non viene conservato. La documentazione di LangChain dice che
ChatOpenAIsegue la specifica ufficiale di OpenAI e non conserva campi non standard comereasoning_content. Ricevi la risposta finale, che di solito è ciò che serve a una catena. - Lascia spazio al ragionamento. GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B ragionano prima di rispondere. Un
max_tokensbasso può restituire una risposta vuota. Perché le risposte arrivano vuote. - Usage in streaming. Se configuri l’endpoint con
OPENAI_BASE_URL, LangChain disattivastream_usageper impostazione predefinita. Passastream_usage=Truese vuoi il conteggio dei token durante lo streaming. La documentazione di BroadNet dice che l’usage arriva nell’ultimo chunk, quando lo richiedi. - Resta su chat completions. BroadNet serve
/v1/chat/completions, non la Responses API. Secondo la documentazione di LangChain,ChatOpenAIpassa alla Responses API quando usi gli strumenti integrati di OpenAI (web search, file search, code interpreter e simili), lo stato della conversazione o il parametroreasoning. Lasciali fuori e non impostareuse_responses_api=True. - Nome del limite di token. Secondo la documentazione di LangChain,
max_tokensviene convertito internamente inmax_completion_tokens. La documentazione di BroadNet descrivemax_tokens. Se un limite sembra ignorato, controlla la richiesta che la tua app invia davvero.
Quale modello per quale catena
| Catena | Modello |
|---|---|
| Tool calling e output strutturato | broadnet/glm-5.3 |
| Documenti lunghi e agenti, piano illimitato | broadnet/deepseek-v4.1-flash |
| Testo in arabo o immagini | broadnet/qwen3.8-27b |
Vedi i prezzi di tutti i modelli.
Risoluzione dei problemi
- 401. La chiave è sbagliata, scaduta o ha esaurito la quota a consumo. Se non hai passato
api_key, LangChain ha usatoOPENAI_API_KEY, che potrebbe contenere una chiave OpenAI. - 404 o “not found”. Controlla che
base_urlfinisca con/v1e che nulla instradi la chiamata verso la Responses API (vedi sopra). Poi verifica che l’ID del modello corrisponda esattamente a quello di BroadNet, con il prefissobroadnet/. I modelli a pagamento richiedono una ricarica; il credito di $5 coprebroadnet/gemma-4-26b-a4be i due modelli Transcribe. contentvuoto. Il ragionamento ha consumato il budget. Alzamax_tokens. Perché le risposte arrivano vuote.- Le chiamate agli strumenti non partono mai. Usa
broadnet/glm-5.3obroadnet/qwen3.8-27b. La documentazione di BroadNet indica gli strumenti solo per questi due. - 429 in catene batch o parallele. Una chiave a consumo consente 30 richieste al minuto e 4 in contemporanea. Imposta
max_concurrencynella configurazione del runnable perbatch(). Vedi codici di errore e retry.
