BroadRouter
Mulakan

Guna pipeline dan ejen Haystack dengan BroadNet Inference

Dikemas kini

Pasang haystack-ai dan cipta OpenAIChatGenerator dengan api_base_url ditetapkan kepada https://inference.broadnet.ai/v1, api_key kepada Secret yang dibaca daripada BROADNET_API_KEY, dan model kepada ID BroadNet seperti broadnet/glm-5.3. Gunakannya dalam pipeline atau Haystack Agent. Hantar max_tokens dalam generation_kwargs, dan gunakan GLM 5.3 atau Qwen3.8 27B apabila penjana mempunyai alatan.

Haystack ialah rangka kerja sumber terbuka deepset untuk pipeline RAG dan ejen. OpenAIChatGenerator miliknya berkomunikasi dengan mana-mana pelayan serasi OpenAI melalui api_base_url. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1, jadi itulah komponen yang patut digunakan. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Haystack 3.5.

Pasang

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Sambung

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model dihantar tanpa diubah. Gunakan ID BroadNet dengan awalan broadnet/.
  • api_key ialah Secret Haystack. Tanpanya, Haystack mencari OPENAI_API_KEY.
  • generation_kwargs dihantar ke dalam permintaan chat completion. Tetapkan max_tokens cukup tinggi untuk penaakulan (lihat di bawah).

Strim jawapan

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Haystack kemudian menghantar stream: true dengan stream_options.include_usage, jadi kiraan token tiba dalam chunk terakhir. Dokumentasi BroadNet menerangkan pilihan yang sama.

Alatan dan ejen

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk broadnet/glm-5.3 dan broadnet/qwen3.8-27b sahaja. Kekalkan tools_strict pada nilai lalainya False melainkan anda telah menguji skema ketat.

Model mana yang patut dipilih

Pipeline Model
Ejen dan panggilan alatan broadnet/glm-5.3
RAG atas halaman imbasan atau teks bahasa Arab, dengan alatan broadnet/qwen3.8-27b
Menjawab dengan konteks panjang pada pelan harga tetap broadnet/deepseek-v4.1-flash
Mencuba dengan kredit permulaan percuma broadnet/gemma-4-26b-a4b (konteks 32,768 token)

Konteks yang diambil boleh menjadi besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1,048,576 token; 32,768 milik Gemma cepat penuh. Harga setiap model.

Cara kami mengujinya

Pada 2026-11-15 kami memasang haystack-ai 3.5.0 dalam persekitaran maya yang bersih dan menjalankan contoh biasa, strim, alatan dan Agent di atas terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Kami membaca permintaan yang dilog. Semuanya pergi ke /v1/chat/completions dengan ID model tidak berubah, kunci Bearer, max_tokens daripada generation_kwargs dan, untuk alatan, skema fungsi. Haystack juga menghantar n: 1. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

Penyelesaian masalah

  • 401. Kunci salah, tamat tempoh atau kehabisan elaun, atau BROADNET_API_KEY tidak ditetapkan dalam proses yang menjalankan pipeline.
  • 404. api_base_url mesti berakhir dengan /v1, dan ID model mesti sepadan tepat dengan ID BroadNet. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam max_tokens. Naikkannya. Mengapa jawapan kosong.
  • 429 semasa pengindeksan kelompok atau penilaian. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Gunakan max_retries penjana dan lihat ralat dan cuba semula.

Soalan lazim

Parameter Haystack manakah yang menetapkan URL BroadNet?

api_base_url pada OpenAIChatGenerator. Dokumentasi Haystack menerangkannya sebagai cara untuk mencapai deployment tersuai. Tetapkannya kepada https://inference.broadnet.ai/v1.

Patutkah saya guna OpenAIResponsesChatGenerator dengan BroadNet?

Tidak. Komponen itu memanggil Responses API OpenAI, yang tidak disenaraikan oleh BroadNet. Gunakan OpenAIChatGenerator, yang memanggil chat completions.

Mengapakah Haystack gagal kerana OPENAI_API_KEY tiada?

Nilai lalai api_key ialah Secret.from_env_var("OPENAI_API_KEY"). Hantar api_key=Secret.from_env_var("BROADNET_API_KEY") supaya Haystack membaca kunci BroadNet anda.

Bolehkah Haystack Agent memanggil alatan pada BroadNet?

Boleh, dengan model yang disenaraikan BroadNet dengan tools, iaitu GLM 5.3 atau Qwen3.8 27B. Dalam ujian pelayan olok-olok kami, Agent menghantar skema alatan melalui chat completions dan menerima panggilan alatan kembali.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity