---
title: "OpenAIChatGenerator Haystack dengan api_base_url kustom"
description: "Arahkan OpenAIChatGenerator Haystack ke BroadNet Inference dengan api_base_url, ID model BroadNet, dan kunci Secret, untuk pipeline, tools, streaming, dan agen."
url: https://broadrouter.com/id/guides/haystack-openai-compatible/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/haystack-openai-compatible/) (diperbarui 2026-11-16).

# Memakai pipeline dan agen Haystack dengan BroadNet Inference

Diperbarui 2026-11-16

Instal haystack-ai lalu buat OpenAIChatGenerator dengan api\_base\_url berisi https://inference.broadnet.ai/v1, api\_key berupa Secret yang dibaca dari BROADNET\_API\_KEY, dan model berisi ID BroadNet seperti broadnet/glm-5.3. Pakai di pipeline atau Haystack Agent. Kirim max\_tokens lewat generation\_kwargs, dan gunakan GLM 5.3 atau Qwen3.8 27B jika generator memakai tools.

Haystack adalah framework open source dari deepset untuk pipeline RAG dan agen. `OpenAIChatGenerator`\-nya bisa terhubung ke server apa pun yang kompatibel dengan OpenAI lewat `api_base_url`. BroadNet Inference menyajikan chat completions standar di `https://inference.broadnet.ai/v1`, jadi komponen inilah yang dipakai. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi Haystack 3.5.

## Instalasi

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Menghubungkan

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** dikirim tanpa perubahan. Pakai ID BroadNet dengan prefiks `broadnet/`.
-   **`api_key`** adalah `Secret` milik Haystack. Tanpa parameter ini, Haystack mencari `OPENAI_API_KEY`.
-   **`generation_kwargs`** diteruskan ke permintaan chat completion. Atur `max_tokens` cukup tinggi untuk penalaran (lihat di bawah).

## Streaming jawaban

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Haystack lalu mengirim `stream: true` beserta `stream_options.include_usage`, sehingga jumlah token datang di chunk terakhir. Dokumentasi BroadNet menjelaskan opsi yang sama.

## Tools dan agen

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk `broadnet/glm-5.3` dan `broadnet/qwen3.8-27b`. Biarkan `tools_strict` pada default-nya, `False`, kecuali Anda sudah menguji skema strict.

## Model mana yang dipilih

| Pipeline | Model |
| --- | --- |
| Agen dan tool call | `broadnet/glm-5.3` |
| RAG atas halaman hasil scan atau teks bahasa Arab, dengan tools | `broadnet/qwen3.8-27b` |
| Menjawab dengan konteks panjang di paket harga tetap | `broadnet/deepseek-v4.1-flash` |
| Mencoba dengan kredit awal gratis | `broadnet/gemma-4-26b-a4b` (konteks 32.768 token) |

Konteks hasil retrieval bisa besar. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1.048.576 token; 32.768 token milik Gemma cepat penuh. [Harga semua model](https://broadrouter.com/id/pricing/).

## Cara kami mengujinya

Pada 2026-11-15 kami menginstal haystack-ai 3.5.0 di virtual environment yang bersih dan menjalankan contoh biasa, streaming, tools, dan Agent di atas terhadap mock server lokal yang meniru format chat completions BroadNet. Kami membaca log permintaannya. Semuanya masuk ke `/v1/chat/completions` dengan ID model tanpa perubahan, kunci Bearer, `max_tokens` dari `generation_kwargs`, dan, untuk tools, skema fungsinya. Haystack juga mengirim `n: 1`. Kami tidak punya kunci BroadNet, jadi output model sungguhan tidak kami uji.

## Pemecahan masalah

-   **401.** Kuncinya salah, kedaluwarsa, atau jatahnya habis, atau `BROADNET_API_KEY` belum diatur di proses yang menjalankan pipeline.
-   **404.** `api_base_url` harus diakhiri `/v1`, dan ID model harus sama persis dengan ID BroadNet. Model berbayar memerlukan top up; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b`.
-   **Balasan kosong.** DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran ikut dihitung dalam `max_tokens`. Naikkan nilainya. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **429 saat indexing batch atau evaluasi.** Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Gunakan `max_retries` milik generator dan lihat [panduan error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Streaming (respons streaming)](https://broadrouter.com/id/glossary/streaming/)

Streaming adalah cara mengembalikan respons model bahasa dalam potongan-potongan kecil selagi masih dihasilkan, bukan sebagai satu balasan utuh di akhir. API yang kompatibel dengan OpenAI melakukan streaming lewat server-sent events jika permintaan mengatur stream ke true.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

## Pertanyaan umum

### Parameter Haystack mana yang mengatur URL BroadNet?

api\_base\_url di OpenAIChatGenerator. Dokumentasi Haystack menyebutnya sebagai cara menjangkau deployment kustom. Isi dengan https://inference.broadnet.ai/v1.

### Perlukah memakai OpenAIResponsesChatGenerator dengan BroadNet?

Tidak. Komponen itu memanggil Responses API OpenAI, yang tidak dicantumkan BroadNet. Gunakan OpenAIChatGenerator, yang memanggil chat completions.

### Kenapa Haystack gagal karena OPENAI\_API\_KEY tidak ada?

Default api\_key adalah Secret.from\_env\_var("OPENAI\_API\_KEY"). Kirim api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") agar Haystack membaca kunci BroadNet Anda.

### Bisakah Haystack Agent memanggil tools di BroadNet?

Bisa, dengan model yang dicantumkan BroadNet dengan tools, yaitu GLM 5.3 atau Qwen3.8 27B. Dalam uji kami dengan mock server, Agent mengirim skema tool lewat chat completions dan menerima tool call kembali.

## Panduan terkait

-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Memakai LlamaIndex dengan BroadNet Inference lewat OpenAILike](https://broadrouter.com/id/guides/llamaindex-openailike/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi Haystack 3.5, OpenAIChatGenerator (diperiksa 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (diperiksa 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-haystack-openai-compatible&utm_content=sources)
