Haystack là framework mã nguồn mở của deepset cho pipeline RAG và agent. OpenAIChatGenerator của nó giao tiếp với bất kỳ server tương thích OpenAI nào qua api_base_url. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên đây là component cần dùng. BroadRouter là trang web của chính BroadNet; bài này làm theo tài liệu Haystack 3.5.
Cài đặt
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Kết nối
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelđược gửi nguyên văn. Hãy dùng ID của BroadNet kèm tiền tốbroadnet/.api_keylà mộtSecretcủa Haystack. Nếu không truyền, Haystack sẽ tìmOPENAI_API_KEY.generation_kwargsđược truyền vào request chat completion. Đặtmax_tokensđủ cao cho phần suy luận (xem bên dưới).
Stream câu trả lời
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Khi đó Haystack gửi stream: true kèm stream_options.include_usage, nên số token đến trong chunk cuối cùng. Tài liệu BroadNet cũng mô tả tùy chọn này.
Tool và agent
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho broadnet/glm-5.3 và broadnet/qwen3.8-27b. Hãy giữ tools_strict ở giá trị mặc định False trừ khi bạn đã kiểm thử schema strict.
Chọn model nào
| Pipeline | Model |
|---|---|
| Agent và gọi tool | broadnet/glm-5.3 |
| RAG trên trang scan hoặc văn bản tiếng Ả Rập, có tool | broadnet/qwen3.8-27b |
| Trả lời với context dài trên gói giá cố định | broadnet/deepseek-v4.1-flash |
| Dùng thử bằng tín dụng ban đầu miễn phí | broadnet/gemma-4-26b-a4b (context 32.768 token) |
Context truy xuất được có thể rất lớn. GLM 5.3 và DeepSeek V4.1 Flash nhận context 1.048.576 token; 32.768 token của Gemma đầy rất nhanh. Giá của mọi model.
Chúng tôi đã kiểm thử thế nào
Ngày 2026-11-15, chúng tôi cài haystack-ai 3.5.0 trong một virtual environment sạch và chạy các ví dụ cơ bản, streaming, tool và Agent ở trên với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Chúng tôi đọc các request đã ghi log. Tất cả đều tới /v1/chat/completions với model ID giữ nguyên, Bearer key, max_tokens lấy từ generation_kwargs và, với tool, schema của hàm. Haystack còn gửi thêm n: 1. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.
Xử lý sự cố
- 401. Key sai, hết hạn hoặc hết hạn mức, hoặc
BROADNET_API_KEYchưa được đặt trong tiến trình chạy pipeline. - 404.
api_base_urlphải kết thúc bằng/v1, và model ID phải khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - Câu trả lời rỗng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào
max_tokens. Hãy tăng giá trị này. Vì sao câu trả lời trả về rỗng. - 429 khi index hàng loạt hoặc chạy đánh giá. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Dùng
max_retriescủa generator và xem lỗi và thử lại.
