ChatOpenAI de LangChain acepta cualquier endpoint mediante base_url. Funciona con BroadNet Inference porque esta usa el formato estándar de chat completions. Si en cambio llama a la API directamente, consulte la guía del SDK de Python.
Instalación
Las versiones actuales de langchain-openai (1.x) requieren Python 3.11 o posterior.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Conexión
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base es un alias de base_url. Si no pasa ninguno, LangChain lee OPENAI_API_BASE, y después el cliente openai subyacente lee OPENAI_BASE_URL.
Lo que conviene saber
- El texto de razonamiento no se conserva. La documentación de LangChain indica que
ChatOpenAIsigue la especificación oficial de OpenAI y no conserva campos no estándar comoreasoning_content. Usted recibe la respuesta final, que suele ser lo que necesita una cadena. - Deje margen para el razonamiento. GLM 5.3, DeepSeek V4.1 Flash y Qwen3.8 27B razonan primero. Un
max_tokenspequeño puede devolver una respuesta vacía. Por qué las respuestas llegan vacías. - Uso durante el streaming. Cuando configura el endpoint con
OPENAI_BASE_URL, LangChain desactivastream_usagede forma predeterminada. Pasestream_usage=Truesi quiere el conteo de tokens durante el streaming. La documentación de BroadNet indica que el uso llega en el último fragmento cuando se solicita. - Quédese en chat completions. BroadNet sirve
/v1/chat/completions, no la Responses API. La documentación de LangChain indica queChatOpenAIcambia a la Responses API cuando usa las herramientas integradas de OpenAI (búsqueda web, búsqueda de archivos, intérprete de código y similares), el estado de conversación o el parámetroreasoning. No los use, y no configureuse_responses_api=True. - Nombre del límite de tokens. La documentación de LangChain indica que
max_tokensse convierte internamente enmax_completion_tokens. La documentación de BroadNet describemax_tokens. Si un límite parece ignorarse, revise la solicitud que envía su aplicación.
Qué modelo para cada cadena
| Cadena | Modelo |
|---|---|
| Llamadas a herramientas y salida estructurada | broadnet/glm-5.3 |
| Documentos largos y agentes, plan ilimitado | broadnet/deepseek-v4.1-flash |
| Texto o imágenes en árabe | broadnet/qwen3.8-27b |
Vea los precios de todos los modelos.
Solución de problemas
- 401. La clave es incorrecta, venció o se quedó sin saldo de pago por uso. Si no pasó
api_key, LangChain usóOPENAI_API_KEY, que puede contener una clave de OpenAI. - 404 o “not found”. Verifique que
base_urltermine en/v1y que nada desvíe la llamada a la Responses API (vea arriba). Luego verifique que el ID del modelo coincida exactamente con el de BroadNet, con el prefijobroadnet/. Los modelos de pago requieren una recarga; el crédito inicial de $5 cubrebroadnet/gemma-4-26b-a4by los dos modelos Transcribe. contentvacío. El razonamiento agotó el presupuesto. Aumentemax_tokens. Por qué las respuestas llegan vacías.- Nunca se producen llamadas a herramientas. Use
broadnet/glm-5.3obroadnet/qwen3.8-27b. La documentación de BroadNet indica herramientas solo para esos dos. - 429 en cadenas por lotes o en paralelo. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. Configure
max_concurrencyen la configuración del runnable parabatch(). Consulte códigos de error y reintentos.
