BroadRouter
Mulai

Memakai pipeline dan agen Haystack dengan BroadNet Inference

Diperbarui

Instal haystack-ai lalu buat OpenAIChatGenerator dengan api_base_url berisi https://inference.broadnet.ai/v1, api_key berupa Secret yang dibaca dari BROADNET_API_KEY, dan model berisi ID BroadNet seperti broadnet/glm-5.3. Pakai di pipeline atau Haystack Agent. Kirim max_tokens lewat generation_kwargs, dan gunakan GLM 5.3 atau Qwen3.8 27B jika generator memakai tools.

Haystack adalah framework open source dari deepset untuk pipeline RAG dan agen. OpenAIChatGenerator-nya bisa terhubung ke server apa pun yang kompatibel dengan OpenAI lewat api_base_url. BroadNet Inference menyajikan chat completions standar di https://inference.broadnet.ai/v1, jadi komponen inilah yang dipakai. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Haystack 3.5.

Instalasi

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Menghubungkan

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model dikirim tanpa perubahan. Pakai ID BroadNet dengan prefiks broadnet/.
  • api_key adalah Secret milik Haystack. Tanpa parameter ini, Haystack mencari OPENAI_API_KEY.
  • generation_kwargs diteruskan ke permintaan chat completion. Atur max_tokens cukup tinggi untuk penalaran (lihat di bawah).

Streaming jawaban

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack lalu mengirim stream: true beserta stream_options.include_usage, sehingga jumlah token datang di chunk terakhir. Dokumentasi BroadNet menjelaskan opsi yang sama.

Tools dan agen

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk broadnet/glm-5.3 dan broadnet/qwen3.8-27b. Biarkan tools_strict pada default-nya, False, kecuali Anda sudah menguji skema strict.

Model mana yang dipilih

Pipeline Model
Agen dan tool call broadnet/glm-5.3
RAG atas halaman hasil scan atau teks bahasa Arab, dengan tools broadnet/qwen3.8-27b
Menjawab dengan konteks panjang di paket harga tetap broadnet/deepseek-v4.1-flash
Mencoba dengan kredit awal gratis broadnet/gemma-4-26b-a4b (konteks 32.768 token)

Konteks hasil retrieval bisa besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1.048.576 token; 32.768 token milik Gemma cepat penuh. Harga semua model.

Cara kami mengujinya

Pada 2026-11-15 kami menginstal haystack-ai 3.5.0 di virtual environment yang bersih dan menjalankan contoh biasa, streaming, tools, dan Agent di atas terhadap mock server lokal yang meniru format chat completions BroadNet. Kami membaca log permintaannya. Semuanya masuk ke /v1/chat/completions dengan ID model tanpa perubahan, kunci Bearer, max_tokens dari generation_kwargs, dan, untuk tools, skema fungsinya. Haystack juga mengirim n: 1. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.

Pemecahan masalah

  • 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis, atau BROADNET_API_KEY belum diatur di proses yang menjalankan pipeline.
  • 404. api_base_url harus diakhiri /v1, dan ID model harus sama persis dengan ID BroadNet. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran ikut dihitung dalam max_tokens. Naikkan nilainya. Kenapa jawaban kembali kosong.
  • 429 saat indexing batch atau evaluasi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Gunakan max_retries milik generator dan lihat panduan error dan percobaan ulang.

Pertanyaan umum

Parameter Haystack mana yang mengatur URL BroadNet?

api_base_url di OpenAIChatGenerator. Dokumentasi Haystack menyebutnya sebagai cara menjangkau deployment kustom. Isi dengan https://inference.broadnet.ai/v1.

Perlukah memakai OpenAIResponsesChatGenerator dengan BroadNet?

Tidak. Komponen itu memanggil Responses API OpenAI, yang tidak dicantumkan BroadNet. Gunakan OpenAIChatGenerator, yang memanggil chat completions.

Kenapa Haystack gagal karena OPENAI_API_KEY tidak ada?

Default api_key adalah Secret.from_env_var("OPENAI_API_KEY"). Kirim api_key=Secret.from_env_var("BROADNET_API_KEY") agar Haystack membaca kunci BroadNet Anda.

Bisakah Haystack Agent memanggil tools di BroadNet?

Bisa, dengan model yang dicantumkan BroadNet dengan tools, yaitu GLM 5.3 atau Qwen3.8 27B. Dalam uji kami dengan mock server, Agent mengirim skema tool lewat chat completions dan menerima tool call kembali.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity