---
title: "Haystack OpenAIChatGenerator với api_base_url tùy chỉnh"
description: "Trỏ OpenAIChatGenerator của Haystack tới BroadNet Inference bằng api_base_url, một model ID BroadNet và key Secret, cho pipeline, tool, streaming và agent."
url: https://broadrouter.com/vi/guides/haystack-openai-compatible/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/haystack-openai-compatible/) (cập nhật ngày 2026-11-16).

# Dùng pipeline và agent Haystack với BroadNet Inference

Cập nhật 2026-11-16

Cài haystack-ai và tạo OpenAIChatGenerator với api\_base\_url là https://inference.broadnet.ai/v1, api\_key là một Secret đọc từ BROADNET\_API\_KEY, và model là một ID BroadNet như broadnet/glm-5.3. Dùng nó trong pipeline hoặc một Haystack Agent. Truyền max\_tokens qua generation\_kwargs, và dùng GLM 5.3 hoặc Qwen3.8 27B khi generator có tool.

Haystack là framework mã nguồn mở của deepset cho pipeline RAG và agent. `OpenAIChatGenerator` của nó giao tiếp với bất kỳ server tương thích OpenAI nào qua `api_base_url`. BroadNet Inference phục vụ chat completions chuẩn tại `https://inference.broadnet.ai/v1`, nên đây là component cần dùng. BroadRouter là trang web của chính BroadNet; bài này làm theo tài liệu Haystack 3.5.

## Cài đặt

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Kết nối

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** được gửi nguyên văn. Hãy dùng ID của BroadNet kèm tiền tố `broadnet/`.
-   **`api_key`** là một `Secret` của Haystack. Nếu không truyền, Haystack sẽ tìm `OPENAI_API_KEY`.
-   **`generation_kwargs`** được truyền vào request chat completion. Đặt `max_tokens` đủ cao cho phần suy luận (xem bên dưới).

## Stream câu trả lời

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Khi đó Haystack gửi `stream: true` kèm `stream_options.include_usage`, nên số token đến trong chunk cuối cùng. Tài liệu BroadNet cũng mô tả tùy chọn này.

## Tool và agent

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho `broadnet/glm-5.3` và `broadnet/qwen3.8-27b`. Hãy giữ `tools_strict` ở giá trị mặc định `False` trừ khi bạn đã kiểm thử schema strict.

## Chọn model nào

| Pipeline | Model |
| --- | --- |
| Agent và gọi tool | `broadnet/glm-5.3` |
| RAG trên trang scan hoặc văn bản tiếng Ả Rập, có tool | `broadnet/qwen3.8-27b` |
| Trả lời với context dài trên gói giá cố định | `broadnet/deepseek-v4.1-flash` |
| Dùng thử bằng tín dụng ban đầu miễn phí | `broadnet/gemma-4-26b-a4b` (context 32.768 token) |

Context truy xuất được có thể rất lớn. GLM 5.3 và DeepSeek V4.1 Flash nhận context 1.048.576 token; 32.768 token của Gemma đầy rất nhanh. [Giá của mọi model](https://broadrouter.com/vi/pricing/).

## Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài haystack-ai 3.5.0 trong một virtual environment sạch và chạy các ví dụ cơ bản, streaming, tool và Agent ở trên với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Chúng tôi đọc các request đã ghi log. Tất cả đều tới `/v1/chat/completions` với model ID giữ nguyên, Bearer key, `max_tokens` lấy từ `generation_kwargs` và, với tool, schema của hàm. Haystack còn gửi thêm `n: 1`. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.

## Xử lý sự cố

-   **401.** Key sai, hết hạn hoặc hết hạn mức, hoặc `BROADNET_API_KEY` chưa được đặt trong tiến trình chạy pipeline.
-   **404.** `api_base_url` phải kết thúc bằng `/v1`, và model ID phải khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **Câu trả lời rỗng.** DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào `max_tokens`. Hãy tăng giá trị này. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **429 khi index hàng loạt hoặc chạy đánh giá.** Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Dùng `max_retries` của generator và xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[RAG (tạo sinh tăng cường truy xuất)](https://broadrouter.com/vi/glossary/rag/)

RAG (retrieval-augmented generation) là mô hình trong đó ứng dụng trước tiên truy xuất các đoạn liên quan tới câu hỏi từ một kho bên ngoài, như chỉ mục tìm kiếm hay chỉ mục vector, rồi đưa chúng vào prompt để model ngôn ngữ trả lời dựa trên văn bản đó thay vì chỉ dựa vào trí nhớ.

## Câu hỏi thường gặp

### Tham số nào của Haystack dùng để đặt URL BroadNet?

api\_base\_url trên OpenAIChatGenerator. Tài liệu Haystack mô tả đây là cách kết nối tới các bản triển khai tùy chỉnh. Hãy đặt nó là https://inference.broadnet.ai/v1.

### Có nên dùng OpenAIResponsesChatGenerator với BroadNet không?

Không. Component đó gọi Responses API của OpenAI, mà BroadNet không liệt kê API này. Hãy dùng OpenAIChatGenerator, component gọi chat completions.

### Vì sao Haystack báo lỗi thiếu OPENAI\_API\_KEY?

Giá trị mặc định của api\_key là Secret.from\_env\_var("OPENAI\_API\_KEY"). Hãy truyền api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") để Haystack đọc key BroadNet của bạn.

### Haystack Agent có gọi tool trên BroadNet được không?

Được, với model mà BroadNet ghi hỗ trợ tool là GLM 5.3 hoặc Qwen3.8 27B. Trong thử nghiệm với mock server, Agent đã gửi schema của tool qua chat completions và nhận lại lệnh gọi tool.

## Hướng dẫn liên quan

-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Dùng LlamaIndex với BroadNet Inference qua OpenAILike](https://broadrouter.com/vi/guides/llamaindex-openailike/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu Haystack 3.5, OpenAIChatGenerator (kiểm tra ngày 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11 trở lên (kiểm tra ngày 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Tài liệu tham chiếu API BroadNet Inference (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-haystack-openai-compatible&utm_content=sources)
