---
title: "Haystack OpenAIChatGenerator con api_base_url propio"
description: "Apunte OpenAIChatGenerator de Haystack a BroadNet Inference con api_base_url, un ID de BroadNet y un Secret, para pipelines, herramientas, streaming y agentes."
url: https://broadrouter.com/es/guides/haystack-openai-compatible/
lang: es
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traducido del inglés con ayuda de IA. [Lea el original en inglés](https://broadrouter.com/guides/haystack-openai-compatible/) (actualizado el 2026-11-16).

# Pipelines y agentes de Haystack con BroadNet Inference

Actualizado 2026-11-16

Instale haystack-ai y cree OpenAIChatGenerator con api\_base\_url en https://inference.broadnet.ai/v1, api\_key como un Secret leído de BROADNET\_API\_KEY y model con un ID de BroadNet como broadnet/glm-5.3. Úselo en pipelines o en un Agent de Haystack. Pase max\_tokens en generation\_kwargs y use GLM 5.3 o Qwen3.8 27B cuando el generador tenga herramientas.

Haystack es el framework de código abierto de deepset para pipelines RAG y agentes. Su componente `OpenAIChatGenerator` se comunica con cualquier servidor compatible con OpenAI mediante `api_base_url`. BroadNet Inference sirve chat completions estándar en `https://inference.broadnet.ai/v1`, así que ese es el componente que debe usar. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de Haystack 3.5.

## Instalación

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Conexión

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** se envía sin cambios. Use el ID de BroadNet con su prefijo `broadnet/`.
-   **`api_key`** es un `Secret` de Haystack. Sin él, Haystack busca `OPENAI_API_KEY`.
-   **`generation_kwargs`** se pasan a la solicitud de chat completion. Ponga `max_tokens` lo bastante alto para el razonamiento (vea más abajo).

## Respuesta en streaming

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Así Haystack envía `stream: true` con `stream_options.include_usage`, de modo que el conteo de tokens llega en el último fragmento. La documentación de BroadNet describe la misma opción.

## Herramientas y agentes

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

La documentación de BroadNet indica herramientas y salida estructurada solo para `broadnet/glm-5.3` y `broadnet/qwen3.8-27b`. Deje `tools_strict` en su valor predeterminado, `False`, salvo que haya probado esquemas estrictos.

## Qué modelo elegir

| Pipeline | Modelo |
| --- | --- |
| Agentes y llamadas a herramientas | `broadnet/glm-5.3` |
| RAG sobre páginas escaneadas o texto en árabe, con herramientas | `broadnet/qwen3.8-27b` |
| Respuestas con contexto largo en un plan de tarifa plana | `broadnet/deepseek-v4.1-flash` |
| Probarlo con el crédito inicial gratuito | `broadnet/gemma-4-26b-a4b` (contexto de 32,768 tokens) |

El contexto recuperado puede ser grande. GLM 5.3 y DeepSeek V4.1 Flash admiten 1,048,576 tokens de contexto; los 32,768 de Gemma se llenan rápido. [Precios de todos los modelos](https://broadrouter.com/es/pricing/).

## Cómo lo probamos

El 2026-11-15 instalamos haystack-ai 3.5.0 en un entorno virtual limpio y ejecutamos los ejemplos de arriba (básico, streaming, herramientas y Agent) contra un servidor simulado (mock) local que habla el formato de chat completions de BroadNet. Revisamos las solicitudes registradas. Todas fueron a `/v1/chat/completions` con el ID de modelo sin cambios, una clave Bearer, `max_tokens` tomado de `generation_kwargs` y, con herramientas, el esquema de la función. Haystack también envía `n: 1`. No teníamos una clave de BroadNet, así que no probamos la salida real de un modelo.

## Solución de problemas

-   **401.** La clave es incorrecta, caducó o se quedó sin saldo, o `BROADNET_API_KEY` no está definida en el proceso que ejecuta el pipeline.
-   **404.** `api_base_url` debe terminar en `/v1`, y el ID del modelo debe coincidir exactamente con el de BroadNet. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo `broadnet/gemma-4-26b-a4b` y los dos modelos Transcribe.
-   **Respuestas vacías.** DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y el razonamiento cuenta dentro de `max_tokens`. Auméntelo. [Por qué las respuestas llegan vacías](https://broadrouter.com/es/guides/reasoning-tokens-empty-response/).
-   **429 al indexar por lotes o al evaluar.** Una clave de pago por uso permite 30 solicitudes por minuto y 4 simultáneas. Use `max_retries` del generador y consulte [errores y reintentos](https://broadrouter.com/es/guides/errors-and-retries/).

## Términos de esta guía

[Llamadas a herramientas (tool calling)](https://broadrouter.com/es/glossary/tool-calling/)

Las llamadas a herramientas (tool calling), también llamadas function calling, son una función de las APIs de LLM en la que el modelo devuelve una solicitud estructurada para ejecutar una función definida por el desarrollador, con argumentos JSON. La aplicación ejecuta la función y devuelve el resultado; el modelo nunca ejecuta código.

[Token](https://broadrouter.com/es/glossary/token/)

Un token es la unidad de texto que un modelo de lenguaje lee y escribe: una palabra, parte de una palabra, un signo de puntuación o una secuencia de bytes producida por el tokenizador del modelo. Las APIs de LLM cuentan, limitan y normalmente facturan el uso en tokens.

[Streaming (respuestas en tiempo real)](https://broadrouter.com/es/glossary/streaming/)

El streaming es una forma de devolver la respuesta de un modelo de lenguaje en pequeños fragmentos mientras aún se genera, en lugar de una sola respuesta al final. Las APIs compatibles con OpenAI hacen streaming mediante server-sent events cuando la solicitud define stream como true.

[Pago por uso (pay-as-you-go)](https://broadrouter.com/es/glossary/pay-as-you-go/)

El pago por uso es un modelo de precios en el que usted paga solo lo que usa, medido por unidades como tokens, solicitudes o minutos de audio, sin suscripción ni compromiso mínimo. La mayoría de las APIs de LLM cobran así, desde un saldo prepagado o con una factura periódica.

[API de Chat Completions](https://broadrouter.com/es/glossary/chat-completions-api/)

La API de Chat Completions es el endpoint HTTP de OpenAI, POST /v1/chat/completions, que recibe un nombre de modelo y una lista de mensajes etiquetados con su rol y devuelve el siguiente mensaje del modelo. Su forma de solicitud y respuesta se convirtió en el formato común que reutilizan los proveedores y SDKs compatibles con OpenAI.

[Concurrencia (concurrency)](https://broadrouter.com/es/glossary/concurrency/)

La concurrencia es el número de solicitudes que un cliente tiene en curso al mismo tiempo. Las APIs de LLM suelen limitarla por clave o por plan, aparte de las solicitudes por minuto, porque cada solicitud abierta ocupa capacidad de GPU hasta que su respuesta termina.

[Límite de frecuencia (rate limit)](https://broadrouter.com/es/glossary/rate-limit/)

Un límite de frecuencia (rate limit) es un tope que una API impone a cuánto puede usarla un cliente en un periodo, como solicitudes por minuto o tokens por minuto. Las solicitudes que lo superan se rechazan, normalmente con HTTP 429 Too Many Requests, hasta que el uso vuelve a quedar por debajo.

[RAG (generación aumentada por recuperación)](https://broadrouter.com/es/glossary/rag/)

RAG (generación aumentada por recuperación) es un patrón en el que una aplicación primero recupera, de un almacén externo como un índice de búsqueda o vectorial, fragmentos relevantes para una pregunta, y luego los agrega al prompt para que un modelo de lenguaje responda con ese texto y no solo de memoria.

## Preguntas frecuentes

### ¿Qué parámetro de Haystack define la URL de BroadNet?

api\_base\_url de OpenAIChatGenerator. La documentación de Haystack lo describe como la forma de llegar a despliegues personalizados. Póngalo en https://inference.broadnet.ai/v1.

### ¿Debo usar OpenAIResponsesChatGenerator con BroadNet?

No. Ese componente llama a la Responses API de OpenAI, que BroadNet no ofrece en su lista. Use OpenAIChatGenerator, que llama a chat completions.

### ¿Por qué Haystack falla porque falta OPENAI\_API\_KEY?

El valor predeterminado de api\_key es Secret.from\_env\_var("OPENAI\_API\_KEY"). Pase api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") para que Haystack lea su clave de BroadNet.

### ¿Un Agent de Haystack puede llamar herramientas en BroadNet?

Sí, con un modelo para el que BroadNet indica herramientas: GLM 5.3 o Qwen3.8 27B. En nuestra prueba con un servidor simulado (mock), el Agent envió el esquema de la herramienta por chat completions y recibió de vuelta la llamada a la herramienta.

## Guías relacionadas

-   [Usar el SDK de OpenAI para Python con BroadNet Inference](https://broadrouter.com/es/guides/openai-python-sdk/)
-   [Usar LlamaIndex con BroadNet Inference mediante OpenAILike](https://broadrouter.com/es/guides/llamaindex-openailike/)
-   [¿Por qué un modelo de razonamiento devuelve una respuesta vacía?](https://broadrouter.com/es/guides/reasoning-tokens-empty-response/)
-   [Códigos de error de BroadNet Inference y cuándo reintentar](https://broadrouter.com/es/guides/errors-and-retries/)
-   [Todas las herramientas que funcionan con BroadNet Inference (en inglés)](https://broadrouter.com/integrations/): SDK, agentes de programación, interfaces de chat y herramientas de automatización, con la configuración exacta de cada una

Pruébelo con su carga de trabajo real. Las cuentas nuevas empiezan con USD 5 de crédito para Gemma y transcripción. DeepSeek, GLM y Qwen3.8 requieren una recarga.

[Comenzar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Fuentes**

-   [Documentación de Haystack 3.5, OpenAIChatGenerator (consultada el 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (consultado el 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Referencia de la API de BroadNet Inference (consultada el 2026-11-15) (en inglés)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=es-guides-haystack-openai-compatible&utm_content=sources)
