BroadRouter
Bắt đầu

Dùng pipeline và agent Haystack với BroadNet Inference

Cập nhật

Cài haystack-ai và tạo OpenAIChatGenerator với api_base_url là https://inference.broadnet.ai/v1, api_key là một Secret đọc từ BROADNET_API_KEY, và model là một ID BroadNet như broadnet/glm-5.3. Dùng nó trong pipeline hoặc một Haystack Agent. Truyền max_tokens qua generation_kwargs, và dùng GLM 5.3 hoặc Qwen3.8 27B khi generator có tool.

Haystack là framework mã nguồn mở của deepset cho pipeline RAG và agent. OpenAIChatGenerator của nó giao tiếp với bất kỳ server tương thích OpenAI nào qua api_base_url. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên đây là component cần dùng. BroadRouter là trang web của chính BroadNet; bài này làm theo tài liệu Haystack 3.5.

Cài đặt

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Kết nối

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model được gửi nguyên văn. Hãy dùng ID của BroadNet kèm tiền tố broadnet/.
  • api_key là một Secret của Haystack. Nếu không truyền, Haystack sẽ tìm OPENAI_API_KEY.
  • generation_kwargs được truyền vào request chat completion. Đặt max_tokens đủ cao cho phần suy luận (xem bên dưới).

Stream câu trả lời

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Khi đó Haystack gửi stream: true kèm stream_options.include_usage, nên số token đến trong chunk cuối cùng. Tài liệu BroadNet cũng mô tả tùy chọn này.

Tool và agent

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho broadnet/glm-5.3 và broadnet/qwen3.8-27b. Hãy giữ tools_strict ở giá trị mặc định False trừ khi bạn đã kiểm thử schema strict.

Chọn model nào

Pipeline Model
Agent và gọi tool broadnet/glm-5.3
RAG trên trang scan hoặc văn bản tiếng Ả Rập, có tool broadnet/qwen3.8-27b
Trả lời với context dài trên gói giá cố định broadnet/deepseek-v4.1-flash
Dùng thử bằng tín dụng ban đầu miễn phí broadnet/gemma-4-26b-a4b (context 32.768 token)

Context truy xuất được có thể rất lớn. GLM 5.3 và DeepSeek V4.1 Flash nhận context 1.048.576 token; 32.768 token của Gemma đầy rất nhanh. Giá của mọi model.

Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài haystack-ai 3.5.0 trong một virtual environment sạch và chạy các ví dụ cơ bản, streaming, tool và Agent ở trên với một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Chúng tôi đọc các request đã ghi log. Tất cả đều tới /v1/chat/completions với model ID giữ nguyên, Bearer key, max_tokens lấy từ generation_kwargs và, với tool, schema của hàm. Haystack còn gửi thêm n: 1. Chúng tôi không có key BroadNet nên chưa kiểm thử đầu ra thật của model.

Xử lý sự cố

  • 401. Key sai, hết hạn hoặc hết hạn mức, hoặc BROADNET_API_KEY chưa được đặt trong tiến trình chạy pipeline.
  • 404. api_base_url phải kết thúc bằng /v1, và model ID phải khớp chính xác với ID của BroadNet. Các model trả phí cần nạp tiền; $5 tín dụng ban đầu chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • Câu trả lời rỗng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận được tính vào max_tokens. Hãy tăng giá trị này. Vì sao câu trả lời trả về rỗng.
  • 429 khi index hàng loạt hoặc chạy đánh giá. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Dùng max_retries của generator và xem lỗi và thử lại.

Câu hỏi thường gặp

Tham số nào của Haystack dùng để đặt URL BroadNet?

api_base_url trên OpenAIChatGenerator. Tài liệu Haystack mô tả đây là cách kết nối tới các bản triển khai tùy chỉnh. Hãy đặt nó là https://inference.broadnet.ai/v1.

Có nên dùng OpenAIResponsesChatGenerator với BroadNet không?

Không. Component đó gọi Responses API của OpenAI, mà BroadNet không liệt kê API này. Hãy dùng OpenAIChatGenerator, component gọi chat completions.

Vì sao Haystack báo lỗi thiếu OPENAI_API_KEY?

Giá trị mặc định của api_key là Secret.from_env_var("OPENAI_API_KEY"). Hãy truyền api_key=Secret.from_env_var("BROADNET_API_KEY") để Haystack đọc key BroadNet của bạn.

Haystack Agent có gọi tool trên BroadNet được không?

Được, với model mà BroadNet ghi hỗ trợ tool là GLM 5.3 hoặc Qwen3.8 27B. Trong thử nghiệm với mock server, Agent đã gửi schema của tool qua chat completions và nhận lại lệnh gọi tool.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity