BroadRouter
Başlayın

Haystack pipeline'larını ve ajanlarını BroadNet Inference ile kullanın

Güncellendi

haystack-ai paketini kurun ve OpenAIChatGenerator'ı api_base_url değeri https://inference.broadnet.ai/v1, api_key değeri BROADNET_API_KEY'den okunan bir Secret ve model değeri broadnet/glm-5.3 gibi bir BroadNet kimliği olacak şekilde oluşturun. Bunu pipeline'larda veya bir Haystack Agent'ta kullanın. max_tokens'ı generation_kwargs içinde verin; üreticiye araç bağlıysa GLM 5.3 veya Qwen3.8 27B kullanın.

Haystack, deepset’in RAG pipeline’ları ve ajanlar için geliştirdiği açık kaynaklı bir çatıdır. OpenAIChatGenerator bileşeni, api_base_url üzerinden OpenAI uyumlu her sunucuyla konuşur. BroadNet Inference standart chat completions isteklerini https://inference.broadnet.ai/v1 adresinde sunar; kullanılacak bileşen budur. BroadRouter, BroadNet’in kendi sitesidir; bu rehber Haystack 3.5 belgelerini izler.

Kurulum

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Bağlanma

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model değiştirilmeden gönderilir. BroadNet kimliğini broadnet/ önekiyle kullanın.
  • api_key bir Haystack Secret nesnesidir. Verilmezse Haystack OPENAI_API_KEY değişkenini arar.
  • generation_kwargs chat completion isteğine aktarılır. max_tokens değerini akıl yürütmeye yetecek kadar yüksek tutun (aşağıya bakın).

Yanıtı akışla alın

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack bu durumda stream: true ile birlikte stream_options.include_usage gönderir; böylece token sayıları son parçada gelir. BroadNet’in belgeleri aynı seçeneği tanımlar.

Araçlar ve ajanlar

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca broadnet/glm-5.3 ve broadnet/qwen3.8-27b için listeler. Katı şemaları test etmediyseniz tools_strict değerini varsayılan False olarak bırakın.

Hangi modeli seçmeli

Pipeline Model
Ajanlar ve araç çağrıları broadnet/glm-5.3
Taranmış sayfalar veya Arapça metin üzerinde araçlı RAG broadnet/qwen3.8-27b
Sabit fiyatlı planda uzun bağlamla yanıt üretme broadnet/deepseek-v4.1-flash
Ücretsiz başlangıç kredisiyle denemek broadnet/gemma-4-26b-a4b (32.768 token bağlam)

Erişimle getirilen bağlam büyük olabilir. GLM 5.3 ve DeepSeek V4.1 Flash 1.048.576 token bağlam alır; Gemma’nın 32.768 token’ı çabuk dolar. Tüm modellerin fiyatları.

Bunu nasıl test ettik

2026-11-15’te haystack-ai 3.5.0’ı temiz bir sanal ortama kurduk ve yukarıdaki düz, akışlı, araçlı ve Agent örneklerini BroadNet’in chat completions yapısını konuşan yerel bir mock sunucuya karşı çalıştırdık. Kaydedilen istekleri okuduk. Hepsi /v1/chat/completions adresine gitti: model kimliği değişmeden, bir Bearer anahtarı, generation_kwargs içinden gelen max_tokens ve araçlar için fonksiyon şeması ile. Haystack ayrıca n: 1 de gönderiyor. Elimizde bir BroadNet anahtarı yoktu; bu yüzden gerçek model çıktısını test etmedik.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş veya kullanım hakkı tükenmiş ya da pipeline’ı çalıştıran süreçte BROADNET_API_KEY tanımlı değil.
  • 404. api_base_url /v1 ile bitmeli ve model kimliği BroadNet’inkiyle birebir aynı olmalıdır. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • Boş yanıtlar. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme max_tokens sınırına dahildir. Değeri artırın. Yanıtlar neden boş geliyor.
  • Toplu indeksleme veya değerlendirmede 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Üreticinin max_retries parametresini kullanın ve hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

Haystack'te BroadNet URL'sini hangi parametre belirler?

OpenAIChatGenerator'daki api_base_url. Haystack'in belgeleri bunu özel dağıtımlara ulaşmanın yolu olarak tanımlar. Değerini https://inference.broadnet.ai/v1 yapın.

BroadNet ile OpenAIResponsesChatGenerator kullanmalı mıyım?

Hayır. Bu bileşen OpenAI'ın Responses API'sini çağırır ve BroadNet bu API'yi listelemez. Chat completions çağıran OpenAIChatGenerator'ı kullanın.

Haystack neden eksik OPENAI_API_KEY hatası veriyor?

api_key'in varsayılan değeri Secret.from_env_var("OPENAI_API_KEY") şeklindedir. Haystack'in BroadNet anahtarınızı okuması için api_key=Secret.from_env_var("BROADNET_API_KEY") verin.

Bir Haystack Agent BroadNet üzerinde araç çağırabilir mi?

Evet, BroadNet'in araç desteğiyle listelediği bir modelle: GLM 5.3 veya Qwen3.8 27B. Mock sunucu testimizde Agent araç şemasını chat completions üzerinden gönderdi ve araç çağrısını geri aldı.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor