La mayor parte del código de LLM que circula habla un mismo dialecto: entra una lista de mensajes y sale un mensaje. Ese dialecto es la API de Chat Completions.
Cómo funciona
Usted hace un POST con JSON a /v1/chat/completions con un model y un array messages. Cada mensaje tiene un role (system, user, assistant o tool) y un content. La respuesta contiene un array choices; cada opción lleva un message y un finish_reason que indica por qué terminó la generación, además de un bloque usage con el conteo de tokens.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
En el SDK de OpenAI para Python, la misma llamada es client.chat.completions.create(...). Los campos opcionales dan forma a la salida: max_tokens, temperature, stream, tools, response_format y otros.
La API no tiene estado. La guía de migración de OpenAI dice que en Chat Completions “conversation state must be managed manually” (traducción: el estado de la conversación debe gestionarse manualmente): su código guarda el historial y lo vuelve a enviar en cada turno. La Responses API, más reciente, usa elementos tipados y puede mantener el estado en el servidor; OpenAI la recomienda para proyectos nuevos en su propia plataforma, pero afirma que Chat Completions “remains supported” (traducción: sigue siendo compatible).
Por qué importa
- Portabilidad. Una API compatible con OpenAI suele significar este endpoint. Cambiar de proveedor a menudo se reduce a una nueva URL base, una clave y un nombre de modelo.
- Costo. Como se reenvía todo el historial, los tokens de entrada crecen en cada turno. Recorte o resuma los chats largos.
- Diferencias de campos. No todos los proveedores compatibles aceptan todos los campos de OpenAI. Los campos desconocidos pueden ignorarse o rechazarse, así que pruebe los que necesita.
En BroadNet Inference
BroadNet sirve el chat en POST /v1/chat/completions sobre https://inference.broadnet.ai/v1, para DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B y Gemma 4 VL 26B. El streaming usa stream=true y termina con data: [DONE]. Tool calling y la salida estructurada están documentados solo para GLM 5.3 y Qwen3.8 27B. La referencia de la API de BroadNet no documenta un endpoint de Responses, así que use Chat Completions. Empiece con el inicio rápido con curl o la guía del SDK para Python.
Errores comunes
- Enviar solo el último mensaje del usuario y esperar que el modelo recuerde la conversación.
- Copiar campos exclusivos de OpenAI a otro proveedor sin revisar su referencia.