Haystack ialah rangka kerja sumber terbuka deepset untuk pipeline RAG dan ejen. OpenAIChatGenerator miliknya berkomunikasi dengan mana-mana pelayan serasi OpenAI melalui api_base_url. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1, jadi itulah komponen yang patut digunakan. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Haystack 3.5.
Pasang
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Sambung
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modeldihantar tanpa diubah. Gunakan ID BroadNet dengan awalanbroadnet/.api_keyialahSecretHaystack. Tanpanya, Haystack mencariOPENAI_API_KEY.generation_kwargsdihantar ke dalam permintaan chat completion. Tetapkanmax_tokenscukup tinggi untuk penaakulan (lihat di bawah).
Strim jawapan
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack kemudian menghantar stream: true dengan stream_options.include_usage, jadi kiraan token tiba dalam chunk terakhir. Dokumentasi BroadNet menerangkan pilihan yang sama.
Alatan dan ejen
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk broadnet/glm-5.3 dan broadnet/qwen3.8-27b sahaja. Kekalkan tools_strict pada nilai lalainya False melainkan anda telah menguji skema ketat.
Model mana yang patut dipilih
| Pipeline | Model |
|---|---|
| Ejen dan panggilan alatan | broadnet/glm-5.3 |
| RAG atas halaman imbasan atau teks bahasa Arab, dengan alatan | broadnet/qwen3.8-27b |
| Menjawab dengan konteks panjang pada pelan harga tetap | broadnet/deepseek-v4.1-flash |
| Mencuba dengan kredit permulaan percuma | broadnet/gemma-4-26b-a4b (konteks 32,768 token) |
Konteks yang diambil boleh menjadi besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1,048,576 token; 32,768 milik Gemma cepat penuh. Harga setiap model.
Cara kami mengujinya
Pada 2026-11-15 kami memasang haystack-ai 3.5.0 dalam persekitaran maya yang bersih dan menjalankan contoh biasa, strim, alatan dan Agent di atas terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Kami membaca permintaan yang dilog. Semuanya pergi ke /v1/chat/completions dengan ID model tidak berubah, kunci Bearer, max_tokens daripada generation_kwargs dan, untuk alatan, skema fungsi. Haystack juga menghantar n: 1. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.
Penyelesaian masalah
- 401. Kunci salah, tamat tempoh atau kehabisan elaun, atau
BROADNET_API_KEYtidak ditetapkan dalam proses yang menjalankan pipeline. - 404.
api_base_urlmesti berakhir dengan/v1, dan ID model mesti sepadan tepat dengan ID BroadNet. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam
max_tokens. Naikkannya. Mengapa jawapan kosong. - 429 semasa pengindeksan kelompok atau penilaian. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Gunakan
max_retriespenjana dan lihat ralat dan cuba semula.
