---
title: "OpenAIChatGenerator Haystack dengan api_base_url tersuai"
description: "Halakan OpenAIChatGenerator Haystack ke BroadNet Inference dengan api_base_url, ID model BroadNet dan kunci Secret, untuk pipeline, alatan, strim dan ejen."
url: https://broadrouter.com/ms/guides/haystack-openai-compatible/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/guides/haystack-openai-compatible/) (dikemas kini 2026-11-16).

# Guna pipeline dan ejen Haystack dengan BroadNet Inference

Dikemas kini 2026-11-16

Pasang haystack-ai dan cipta OpenAIChatGenerator dengan api\_base\_url ditetapkan kepada https://inference.broadnet.ai/v1, api\_key kepada Secret yang dibaca daripada BROADNET\_API\_KEY, dan model kepada ID BroadNet seperti broadnet/glm-5.3. Gunakannya dalam pipeline atau Haystack Agent. Hantar max\_tokens dalam generation\_kwargs, dan gunakan GLM 5.3 atau Qwen3.8 27B apabila penjana mempunyai alatan.

Haystack ialah rangka kerja sumber terbuka deepset untuk pipeline RAG dan ejen. `OpenAIChatGenerator` miliknya berkomunikasi dengan mana-mana pelayan serasi OpenAI melalui `api_base_url`. BroadNet Inference menyediakan chat completions standard di `https://inference.broadnet.ai/v1`, jadi itulah komponen yang patut digunakan. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Haystack 3.5.

## Pasang

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Sambung

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** dihantar tanpa diubah. Gunakan ID BroadNet dengan awalan `broadnet/`.
-   **`api_key`** ialah `Secret` Haystack. Tanpanya, Haystack mencari `OPENAI_API_KEY`.
-   **`generation_kwargs`** dihantar ke dalam permintaan chat completion. Tetapkan `max_tokens` cukup tinggi untuk penaakulan (lihat di bawah).

## Strim jawapan

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Haystack kemudian menghantar `stream: true` dengan `stream_options.include_usage`, jadi kiraan token tiba dalam chunk terakhir. Dokumentasi BroadNet menerangkan pilihan yang sama.

## Alatan dan ejen

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk `broadnet/glm-5.3` dan `broadnet/qwen3.8-27b` sahaja. Kekalkan `tools_strict` pada nilai lalainya `False` melainkan anda telah menguji skema ketat.

## Model mana yang patut dipilih

| Pipeline | Model |
| --- | --- |
| Ejen dan panggilan alatan | `broadnet/glm-5.3` |
| RAG atas halaman imbasan atau teks bahasa Arab, dengan alatan | `broadnet/qwen3.8-27b` |
| Menjawab dengan konteks panjang pada pelan harga tetap | `broadnet/deepseek-v4.1-flash` |
| Mencuba dengan kredit permulaan percuma | `broadnet/gemma-4-26b-a4b` (konteks 32,768 token) |

Konteks yang diambil boleh menjadi besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1,048,576 token; 32,768 milik Gemma cepat penuh. [Harga setiap model](https://broadrouter.com/ms/pricing/).

## Cara kami mengujinya

Pada 2026-11-15 kami memasang haystack-ai 3.5.0 dalam persekitaran maya yang bersih dan menjalankan contoh biasa, strim, alatan dan Agent di atas terhadap pelayan olok-olok tempatan yang mengikut bentuk chat completions BroadNet. Kami membaca permintaan yang dilog. Semuanya pergi ke `/v1/chat/completions` dengan ID model tidak berubah, kunci Bearer, `max_tokens` daripada `generation_kwargs` dan, untuk alatan, skema fungsi. Haystack juga menghantar `n: 1`. Kami tiada kunci BroadNet, jadi kami tidak menguji output model sebenar.

## Penyelesaian masalah

-   **401.** Kunci salah, tamat tempoh atau kehabisan elaun, atau `BROADNET_API_KEY` tidak ditetapkan dalam proses yang menjalankan pipeline.
-   **404.** `api_base_url` mesti berakhir dengan `/v1`, dan ID model mesti sepadan tepat dengan ID BroadNet. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **Balasan kosong.** DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan dikira dalam `max_tokens`. Naikkannya. [Mengapa jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).
-   **429 semasa pengindeksan kelompok atau penilaian.** Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Gunakan `max_retries` penjana dan lihat [ralat dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Chat Completions API](https://broadrouter.com/ms/glossary/chat-completions-api/)

Chat Completions API ialah endpoint HTTP OpenAI, POST /v1/chat/completions, yang menerima nama model dan senarai mesej bertanda peranan, lalu memulangkan mesej seterusnya daripada model. Bentuk permintaan dan responsnya menjadi format biasa yang digunakan semula oleh penyedia dan SDK yang serasi OpenAI.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Had kadar (rate limit)](https://broadrouter.com/ms/glossary/rate-limit/)

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

## Soalan lazim

### Parameter Haystack manakah yang menetapkan URL BroadNet?

api\_base\_url pada OpenAIChatGenerator. Dokumentasi Haystack menerangkannya sebagai cara untuk mencapai deployment tersuai. Tetapkannya kepada https://inference.broadnet.ai/v1.

### Patutkah saya guna OpenAIResponsesChatGenerator dengan BroadNet?

Tidak. Komponen itu memanggil Responses API OpenAI, yang tidak disenaraikan oleh BroadNet. Gunakan OpenAIChatGenerator, yang memanggil chat completions.

### Mengapakah Haystack gagal kerana OPENAI\_API\_KEY tiada?

Nilai lalai api\_key ialah Secret.from\_env\_var("OPENAI\_API\_KEY"). Hantar api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") supaya Haystack membaca kunci BroadNet anda.

### Bolehkah Haystack Agent memanggil alatan pada BroadNet?

Boleh, dengan model yang disenaraikan BroadNet dengan tools, iaitu GLM 5.3 atau Qwen3.8 27B. Dalam ujian pelayan olok-olok kami, Agent menghantar skema alatan melalui chat completions dan menerima panggilan alatan kembali.

## Panduan berkaitan

-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Guna LlamaIndex dengan BroadNet Inference melalui OpenAILike](https://broadrouter.com/ms/guides/llamaindex-openailike/)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Semua alat yang berfungsi dengan BroadNet Inference (Bahasa Inggeris)](https://broadrouter.com/integrations/): SDK, ejen pengekodan, antara muka sembang dan alat automasi, dengan tetapan tepat bagi setiap satu

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi Haystack 3.5, OpenAIChatGenerator (disemak 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (disemak 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Rujukan API BroadNet Inference (disemak 2026-11-15) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-haystack-openai-compatible&utm_content=sources)
