Haystack adalah framework open source dari deepset untuk pipeline RAG dan agen. OpenAIChatGenerator-nya bisa terhubung ke server apa pun yang kompatibel dengan OpenAI lewat api_base_url. BroadNet Inference menyajikan chat completions standar di https://inference.broadnet.ai/v1, jadi komponen inilah yang dipakai. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Haystack 3.5.
Instalasi
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
Menghubungkan
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modeldikirim tanpa perubahan. Pakai ID BroadNet dengan prefiksbroadnet/.api_keyadalahSecretmilik Haystack. Tanpa parameter ini, Haystack mencariOPENAI_API_KEY.generation_kwargsditeruskan ke permintaan chat completion. Aturmax_tokenscukup tinggi untuk penalaran (lihat di bawah).
Streaming jawaban
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
Haystack lalu mengirim stream: true beserta stream_options.include_usage, sehingga jumlah token datang di chunk terakhir. Dokumentasi BroadNet menjelaskan opsi yang sama.
Tools dan agen
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk broadnet/glm-5.3 dan broadnet/qwen3.8-27b. Biarkan tools_strict pada default-nya, False, kecuali Anda sudah menguji skema strict.
Model mana yang dipilih
| Pipeline | Model |
|---|---|
| Agen dan tool call | broadnet/glm-5.3 |
| RAG atas halaman hasil scan atau teks bahasa Arab, dengan tools | broadnet/qwen3.8-27b |
| Menjawab dengan konteks panjang di paket harga tetap | broadnet/deepseek-v4.1-flash |
| Mencoba dengan kredit awal gratis | broadnet/gemma-4-26b-a4b (konteks 32.768 token) |
Konteks hasil retrieval bisa besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1.048.576 token; 32.768 token milik Gemma cepat penuh. Harga semua model.
Cara kami mengujinya
Pada 2026-11-15 kami menginstal haystack-ai 3.5.0 di virtual environment yang bersih dan menjalankan contoh biasa, streaming, tools, dan Agent di atas terhadap mock server lokal yang meniru format chat completions BroadNet. Kami membaca log permintaannya. Semuanya masuk ke /v1/chat/completions dengan ID model tanpa perubahan, kunci Bearer, max_tokens dari generation_kwargs, dan, untuk tools, skema fungsinya. Haystack juga mengirim n: 1. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.
Pemecahan masalah
- 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis, atau
BROADNET_API_KEYbelum diatur di proses yang menjalankan pipeline. - 404.
api_base_urlharus diakhiri/v1, dan ID model harus sama persis dengan ID BroadNet. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4b. - Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran ikut dihitung dalam
max_tokens. Naikkan nilainya. Kenapa jawaban kembali kosong. - 429 saat indexing batch atau evaluasi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Gunakan
max_retriesmilik generator dan lihat panduan error dan percobaan ulang.
