---
title: "Provider openai:chat promptfoo dengan apiBaseUrl kustom"
description: "Jalankan eval promptfoo dan uji model berdampingan di BroadNet Inference dengan provider openai:chat, apiBaseUrl, dan apiKeyEnvar, plus grader."
url: https://broadrouter.com/id/guides/promptfoo-openai-compatible/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/guides/promptfoo-openai-compatible/) (diperbarui 2026-11-16).

# Mengevaluasi model BroadNet dengan promptfoo

Diperbarui 2026-11-16

Di promptfooconfig.yaml, tambahkan provider dengan id openai:chat:broadnet/glm-5.3 dan config yang mengisi apiBaseUrl dengan https://inference.broadnet.ai/v1 serta apiKeyEnvar dengan BROADNET\_API\_KEY. Gunakan prefiks openai:chat agar promptfoo selalu memanggil Chat Completions, endpoint yang dilayani BroadNet. Atur max\_tokens sendiri, karena batas output default promptfoo adalah 1.024 token.

promptfoo adalah CLI open source untuk menguji prompt, membandingkan model, dan melakukan red-teaming pada aplikasi LLM. Provider OpenAI-nya bekerja dengan gateway yang kompatibel dengan OpenAI lewat `apiBaseUrl`. BroadNet Inference melayani chat completions di `https://inference.broadnet.ai/v1`, jadi Anda bisa membandingkan model-model BroadNet satu sama lain, atau dengan model yang sudah Anda pakai, dari satu file YAML. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti dokumentasi provider OpenAI promptfoo per rilis 0.125.1.

## Setup

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

Config sungguhan biasanya menaruh input uji di `tests.vars` dan merujuknya di prompt dengan sintaks template kurung kurawal ganda milik promptfoo. Contoh ini sengaja dibuat tetap agar bisa langsung dijalankan apa adanya.

Jalankan:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## Fungsi setiap pengaturan

-   **`openai:chat:` ditambah ID BroadNet.** Semua yang ada setelah `openai:chat:` adalah ID model yang dikirim, jadi pertahankan prefiks `broadnet/`. Bagian `chat` yang eksplisit mengunci endpoint Chat Completions; BroadNet tidak melayani Responses API.
-   **`apiBaseUrl`** adalah base URL dengan `/v1`, tetapi tanpa `/chat/completions`. promptfoo menambahkan path-nya.
-   **`apiKeyEnvar`** berisi nama variabel yang menyimpan kunci BroadNet Anda. promptfoo tidak fallback ke `OPENAI_API_KEY` jika variabel itu tidak ada.
-   **`max_tokens`**. Default promptfoo untuk permintaan non-reasoning adalah `temperature: 0` dan batas 1.024 token. Model DeepSeek, GLM, dan Qwen di BroadNet bernalar sebelum menjawab, jadi 1.024 bisa menghasilkan jawaban kosong. Pasang batas yang lebih tinggi, seperti pada provider pertama.
-   **`omitDefaults: true`** membuang temperature dan batas default promptfoo, seperti pada provider kedua. Permintaan lalu tidak membawa batas output dari promptfoo.

## Assertion yang dinilai model

Pengaturan provider tidak berlaku untuk grader seperti `llm-rubric`. Untuk menilai dengan model BroadNet, tambahkan model itu sekali lagi untuk grader:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Model mana yang dibandingkan

| Model | Cocok untuk |
| --- | --- |
| `broadnet/glm-5.3` | Uji tool calling dan output terstruktur |
| `broadnet/qwen3.8-27b` | Uji dengan gambar, teks Arab, atau tools |
| `broadnet/deepseek-v4.1-flash` | Uji konteks panjang dan yang sensitif biaya |
| `broadnet/gemma-4-26b-a4b` | Uji gratis dengan kredit awal $5 |

Dokumentasi BroadNet mencantumkan tools dan output terstruktur hanya untuk GLM 5.3 dan Qwen3.8 27B. [Harga semua model](https://broadrouter.com/id/pricing/).

## Cara kami menguji ini

Pada 2026-11-15 kami menginstal promptfoo 0.125.1 dengan Node 24 dan menjalankan `promptfoo eval` pada config seperti di atas, diarahkan ke mock server lokal yang meniru format chat completions BroadNet. Ujinya lolos. Permintaan yang tercatat menuju `/v1/chat/completions` dengan ID model BroadNet tanpa perubahan dan kunci Bearer. Provider pertama mengirim `max_tokens: 4000` dan `temperature: 0`; provider dengan `omitDefaults: true` hanya mengirim model dan pesan. Saat `BROADNET_API_KEY` tidak diatur, promptfoo berhenti dengan “Missing BROADNET\_API\_KEY”. Kami tidak menguji grader, dan karena tidak punya kunci BroadNet, kami tidak menguji output model sungguhan.

## Troubleshooting

-   **Output kosong atau terpotong.** Naikkan `max_tokens`. [Kenapa jawaban kembali kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).
-   **404.** Pastikan `apiBaseUrl` diakhiri `/v1` dan ID model setelah `openai:chat:` tetap memakai prefiks `broadnet/`. Model berbayar memerlukan top up; kredit $5 hanya mencakup `broadnet/gemma-4-26b-a4b` dan dua model Transcribe.
-   **429 saat eval besar.** promptfoo menjalankan eval kami dengan concurrency 4. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan, jadi turunkan dengan `promptfoo eval -j 1` untuk set uji yang besar. Lihat [error dan percobaan ulang](https://broadrouter.com/id/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Chat Completions API](https://broadrouter.com/id/glossary/chat-completions-api/)

Chat Completions API adalah endpoint HTTP milik OpenAI, POST /v1/chat/completions, yang menerima nama model dan daftar pesan bertanda peran lalu mengembalikan pesan berikutnya dari model. Bentuk request dan response-nya menjadi format umum yang dipakai ulang oleh penyedia dan SDK yang kompatibel dengan OpenAI.

[Konkurensi (concurrency)](https://broadrouter.com/id/glossary/concurrency/)

Konkurensi (concurrency) adalah jumlah permintaan yang sedang berjalan dari sebuah client pada saat yang sama. API LLM sering membatasinya per kunci atau per paket, terpisah dari batas permintaan per menit, karena setiap permintaan yang terbuka menahan kapasitas GPU sampai responsnya selesai.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Bayar sesuai pemakaian (pay-as-you-go)](https://broadrouter.com/id/glossary/pay-as-you-go/)

Bayar sesuai pemakaian (pay-as-you-go) adalah model harga di mana Anda hanya membayar yang Anda pakai, dihitung per satuan seperti token, permintaan, atau menit audio, tanpa langganan atau komitmen minimum. Sebagian besar API LLM menagih dengan cara ini, dari saldo prabayar atau tagihan berkala.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/)

Eval (singkatan dari evaluation atau evaluasi) adalah pengujian yang dapat diulang terhadap model bahasa atau prompt: satu set input tetap, deskripsi seperti apa output yang baik, dan penilai (kode, manusia, atau model lain) yang memberi skor pada setiap output agar berbagai versi bisa dibandingkan.

[Output terstruktur (structured output)](https://broadrouter.com/id/glossary/structured-output/)

Output terstruktur adalah fitur API LLM yang membatasi balasan model pada format yang ditentukan developer, biasanya JSON Schema, agar kode bisa mem-parse-nya dengan andal. Fitur ini lebih ketat daripada JSON mode, yang menjamin JSON valid tetapi tidak menjamin bentuk tertentu.

[Rate limit (batas laju)](https://broadrouter.com/id/glossary/rate-limit/)

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

## Pertanyaan umum

### Sebaiknya pakai openai:chat atau openai sebagai prefiks provider promptfoo?

openai:chat. Dengan openai:chat:broadnet/glm-5.3, promptfoo memanggil /v1/chat/completions, endpoint yang dilayani BroadNet. Dokumentasi promptfoo menyebut nama model yang tidak dikenal setelah prefiks openai saja juga akan jatuh ke Chat Completions, tetapi prefiks chat yang eksplisit tidak bergantung pada aturan itu.

### Kenapa jawaban BroadNet terpotong di promptfoo?

Secara default promptfoo memasang batas output 1.024 token untuk permintaan non-reasoning, sementara model DeepSeek, GLM, dan Qwen di BroadNet memakai sebagian jatah output untuk penalaran. Atur max\_tokens di config provider, atau isi omitDefaults dengan true.

### Apakah apiKeyEnvar akan fallback ke OPENAI\_API\_KEY?

Tidak. Menurut dokumentasi promptfoo, jika variabel yang disebut tidak ada, promptfoo tidak fallback ke OPENAI\_API\_KEY. Dalam pengujian kami, promptfoo berhenti dengan "Missing BROADNET\_API\_KEY".

### Bisakah model BroadNet menilai assertion llm-rubric?

Bisa, tetapi menurut dokumentasi promptfoo, pengaturan provider tidak berlaku untuk grader. Atur grader secara terpisah di defaultTest.options.provider dengan id dan config yang sama.

## Panduan terkait

-   [Permintaan pertama ke BroadNet Inference dengan curl](https://broadrouter.com/id/guides/curl-quickstart/)
-   [Memakai OpenAI Node.js SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-node-sdk/)
-   [Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)
-   [Kode error BroadNet Inference dan kapan harus mencoba ulang](https://broadrouter.com/id/guides/errors-and-retries/)
-   [Semua alat yang bisa dipakai dengan BroadNet Inference (bahasa Inggris)](https://broadrouter.com/integrations/): SDK, agen coding, antarmuka chat, dan alat otomatisasi, lengkap dengan pengaturan persis untuk masing-masing

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Sumber**

-   [Dokumentasi promptfoo, provider OpenAI (gateway OpenAI-compatible) (diperiksa 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo di GitHub, rilis 0.125.1, 2026-10-25 (diperiksa 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [Referensi API BroadNet Inference (diperiksa 2026-11-15) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-guides-promptfoo-openai-compatible&utm_content=sources)
