Open-source na framework ng deepset ang Haystack para sa mga RAG pipeline at agent. Nakikipag-usap ang OpenAIChatGenerator nito sa kahit anong OpenAI-compatible na server sa pamamagitan ng api_base_url. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya iyon ang component na gagamitin. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang docs ng Haystack 3.5.
I-install
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Kumonekta
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelay ipinapadala nang walang pagbabago. Gamitin ang BroadNet ID kasama angbroadnet/prefix nito.api_keyay isang HaystackSecret. Kapag wala ito,OPENAI_API_KEYang hahanapin ng Haystack.generation_kwargsay ipinapasa sa chat completion request. I-set angmax_tokensnang sapat na mataas para sa reasoning (tingnan sa ibaba).
I-stream ang sagot
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Pagkatapos, nagpapadala ang Haystack ng stream: true kasama ang stream_options.include_usage, kaya dumarating ang token counts sa huling chunk. Inilalarawan din ng docs ng BroadNet ang parehong option.
Tools at agents
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Sa broadnet/glm-5.3 at broadnet/qwen3.8-27b lang nakalista ang tools at structured output sa docs ng BroadNet. Panatilihin ang tools_strict sa default nitong False maliban kung nasubok mo na ang strict schemas.
Aling model ang pipiliin
| Pipeline | Model |
|---|---|
| Mga agent at tool call | broadnet/glm-5.3 |
| RAG sa mga na-scan na page o Arabic na teksto, may tools | broadnet/qwen3.8-27b |
| Pagsagot gamit ang mahabang context sa isang flat-price na plan | broadnet/deepseek-v4.1-flash |
| Pagsubok gamit ang libreng panimulang credit | broadnet/gemma-4-26b-a4b (32,768-token na context) |
Puwedeng malaki ang retrieved context. 1,048,576 token ng context ang kaya ng GLM 5.3 at DeepSeek V4.1 Flash; mabilis mapuno ang 32,768 ng Gemma. Mga presyo ng bawat model.
Paano namin ito sinubok
Noong 2026-11-15, nag-install kami ng haystack-ai 3.5.0 sa isang malinis na virtual environment at pinatakbo ang plain, streaming, tool at Agent na mga example sa itaas laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Lahat ay pumunta sa /v1/chat/completions nang hindi nagbago ang model ID, may Bearer key, may max_tokens mula sa generation_kwargs at, para sa tools, may function schema. Nagpapadala rin ang Haystack ng n: 1. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.
Troubleshooting
- 401. Mali, expired o ubos na ang allowance ng key, o hindi naka-set ang
BROADNET_API_KEYsa process na nagpapatakbo ng pipeline. - 404. Dapat nagtatapos sa
/v1angapi_base_url, at dapat eksaktong tugma ang model ID sa ID ng BroadNet. Kailangan ng top-up para sa mga bayad na model; angbroadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - Walang lamang sagot. Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa
max_tokens. Taasan ito. Bakit walang laman ang mga sagot. - 429 sa batch indexing o evaluation. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Gamitin ang
max_retriesng generator at tingnan ang errors and retries.
