Haystack, deepset’in RAG pipeline’ları ve ajanlar için geliştirdiği açık kaynaklı bir çatıdır. OpenAIChatGenerator bileşeni, api_base_url üzerinden OpenAI uyumlu her sunucuyla konuşur. BroadNet Inference standart chat completions isteklerini https://inference.broadnet.ai/v1 adresinde sunar; kullanılacak bileşen budur. BroadRouter, BroadNet’in kendi sitesidir; bu rehber Haystack 3.5 belgelerini izler.
Kurulum
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Bağlanma
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modeldeğiştirilmeden gönderilir. BroadNet kimliğinibroadnet/önekiyle kullanın.api_keybir HaystackSecretnesnesidir. Verilmezse HaystackOPENAI_API_KEYdeğişkenini arar.generation_kwargschat completion isteğine aktarılır.max_tokensdeğerini akıl yürütmeye yetecek kadar yüksek tutun (aşağıya bakın).
Yanıtı akışla alın
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack bu durumda stream: true ile birlikte stream_options.include_usage gönderir; böylece token sayıları son parçada gelir. BroadNet’in belgeleri aynı seçeneği tanımlar.
Araçlar ve ajanlar
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca broadnet/glm-5.3 ve broadnet/qwen3.8-27b için listeler. Katı şemaları test etmediyseniz tools_strict değerini varsayılan False olarak bırakın.
Hangi modeli seçmeli
| Pipeline | Model |
|---|---|
| Ajanlar ve araç çağrıları | broadnet/glm-5.3 |
| Taranmış sayfalar veya Arapça metin üzerinde araçlı RAG | broadnet/qwen3.8-27b |
| Sabit fiyatlı planda uzun bağlamla yanıt üretme | broadnet/deepseek-v4.1-flash |
| Ücretsiz başlangıç kredisiyle denemek | broadnet/gemma-4-26b-a4b (32.768 token bağlam) |
Erişimle getirilen bağlam büyük olabilir. GLM 5.3 ve DeepSeek V4.1 Flash 1.048.576 token bağlam alır; Gemma’nın 32.768 token’ı çabuk dolar. Tüm modellerin fiyatları.
Bunu nasıl test ettik
2026-11-15’te haystack-ai 3.5.0’ı temiz bir sanal ortama kurduk ve yukarıdaki düz, akışlı, araçlı ve Agent örneklerini BroadNet’in chat completions yapısını konuşan yerel bir mock sunucuya karşı çalıştırdık. Kaydedilen istekleri okuduk. Hepsi /v1/chat/completions adresine gitti: model kimliği değişmeden, bir Bearer anahtarı, generation_kwargs içinden gelen max_tokens ve araçlar için fonksiyon şeması ile. Haystack ayrıca n: 1 de gönderiyor. Elimizde bir BroadNet anahtarı yoktu; bu yüzden gerçek model çıktısını test etmedik.
Sorun giderme
- 401. Anahtar yanlış, süresi dolmuş veya kullanım hakkı tükenmiş ya da pipeline’ı çalıştıran süreçte
BROADNET_API_KEYtanımlı değil. - 404.
api_base_url/v1ile bitmeli ve model kimliği BroadNet’inkiyle birebir aynı olmalıdır. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızcabroadnet/gemma-4-26b-a4bmodelini kapsar. - Boş yanıtlar. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme
max_tokenssınırına dahildir. Değeri artırın. Yanıtlar neden boş geliyor. - Toplu indeksleme veya değerlendirmede 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Üreticinin
max_retriesparametresini kullanın ve hatalar ve yeniden denemeler rehberine bakın.
