---
title: "Evaluasi LLM sebelum berpindah: set eval dan LLM juri"
description: "Susun set eval dari trafik nyata, nilai dengan pengecekan kode dan LLM juri yang dikoreksi biasnya, lalu bandingkan kualitas, biaya, dan latensi sebelum pindah."
url: https://broadrouter.com/id/blog/evaluate-llm-before-switching/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/evaluate-llm-before-switching/) (diperbarui 2026-11-14).

# Cara mengevaluasi LLM sebelum berpindah penyedia

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan 2026-11-14

Kumpulkan 50 hingga 200 prompt nyata yang hasil baiknya sudah diketahui. Nilai kedua model dengan pengecekan kode lebih dulu, dan pakai LLM juri hanya jika kode tidak bisa memutuskan. Tukar urutan jawaban untuk menetralkan bias posisi, pakai juri dari keluarga model ketiga, cocokkan dengan label Anda sendiri, dan tetapkan aturan lulus, termasuk biaya dan latensi, sebelum menjalankannya.

## Poin penting

-   Susun set eval dari log nyata, bukan prompt karangan, dan sertakan kasus sulit serta yang gagal.
-   Utamakan pengecekan deterministik (JSON bisa di-parse, field sama, tes lulus). Pakai LLM juri hanya untuk kualitas yang tidak bisa dicek kode.
-   LLM juri menunjukkan bias posisi, panjang jawaban, dan preferensi diri. Nilai setiap pasangan dua kali dengan urutan ditukar.
-   Dengan 100 kasus, skor 80% punya margin 95% sekitar ±8 poin. Selisih kecil hanyalah noise.
-   Tetapkan aturan lulus di awal, termasuk biaya, latensi, dan tanpa regresi pada kasus kritis.

**Di halaman ini**

1.  Bagaimana menyusun set eval dari trafik nyata?
2.  Pengecekan mana yang memakai kode dan mana yang memakai juri?
3.  Apa yang bisa salah dengan LLM sebagai juri?
4.  Bagaimana menjalankan perbandingan berdampingan?
5.  Seberapa besar selisih yang nyata?
6.  Seperti apa aturan keputusannya?
7.  Posisi BroadNet Inference

Untuk mengevaluasi LLM sebelum berpindah, jalankan kedua model pada 50 hingga 200 prompt nyata yang hasil baiknya sudah diketahui. Nilai dengan pengecekan kode lebih dulu dan LLM juri yang biasnya dikoreksi hanya jika kode tidak bisa memutuskan, catat biaya dan latensi, serta tetapkan aturan lulus di awal.

Perubahan kodenya sendiri kecil: dengan [API yang kompatibel dengan OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/), cukup sebuah [base URL](https://broadrouter.com/id/glossary/base-url/) dan ID model. [Checklist migrasi](https://broadrouter.com/id/blog/openai-compatible-api-migration-checklist/) membahas bagian itu, dan [checklist penyedia](https://broadrouter.com/id/blog/choose-llm-api-provider-checklist/) membahas harga, batas, dan privasi. Bagian sulitnya adalah mengetahui apakah model baru sama baiknya **untuk tugas Anda**. Leaderboard publik tidak menjawabnya; [Artificial Analysis dan alternatifnya](https://broadrouter.com/id/blog/artificial-analysis-alternatives/) berguna untuk menyusun daftar pendek. Set [eval](https://broadrouter.com/id/glossary/eval/) kecil yang disusun dari trafik Anda sendiri bisa menjawabnya, dengan kerja satu atau dua hari.

## Bagaimana menyusun set eval dari trafik nyata?

1.  **Ambil 300 hingga 1.000 permintaan terbaru** dari [log pemakaian](https://broadrouter.com/id/blog/llm-api-usage-logging/) Anda, setelah data sensitif disamarkan.
2.  **Kelompokkan menurut jenis tugas**: ekstraksi, klasifikasi, ringkasan, balasan chat, edit kode, tool call.
3.  **Ambil sampel 10 hingga 40 per jenis**, lebih banyak untuk jenis bervolume tinggi atau berisiko tinggi. Sertakan prompt panjang, input non-Inggris, dan kasus yang dikeluhkan pengguna.
4.  **Tulis hasil yang diharapkan** untuk masing-masing: nilai pasti, skema, tes yang harus lulus, atau rubrik singkat (“menyebut batas waktu refund; tidak ada kebijakan karangan”).
5.  **Tandai kasus kritis.** Total faktur yang salah atau instruksi yang bocor tidak sama dengan nada yang sedikit kurang baik.
6.  **Bekukan** di version control. Tambahkan kasus saat Anda menemukan kegagalan baru, jangan pernah menghapusnya agar sebuah model terlihat lebih baik.

## Pengecekan mana yang memakai kode dan mana yang memakai juri?

Gunakan pengecekan andal termurah untuk setiap kasus:

| Tugas | Pengecekan | Perlu juri? |
| --- | --- | --- |
| Ekstraksi JSON | Bisa di-parse, skema valid, field sama dengan yang diharapkan | Tidak |
| Klasifikasi | Label sama dengan yang diharapkan | Tidak |
| Edit kode | Tes lulus | Tidak |
| Tool call | Fungsi benar, argumen valid | Tidak |
| Ringkasan | Memuat fakta wajib; tidak ada fakta yang tak ada di sumber | Kadang-kadang |
| Balasan chat, nada, kebermanfaatan | Rubrik | Ya |

Pengecekan deterministik gratis, dapat diulang, dan tidak bisa dibujuk, jadi pindahkan sebanyak mungkin kasus ke pengecekan kode.

## Apa yang bisa salah dengan LLM sebagai juri?

[LLM sebagai juri](https://broadrouter.com/id/glossary/llm-as-judge/) adalah model yang menilai jawaban model lain berdasarkan rubrik. Studi MT-Bench (Zheng dkk.) menemukan bahwa juri yang kuat sepakat dengan preferensi manusia lebih dari 80% waktu, kira-kira sesering manusia sepakat satu sama lain. Makalah yang sama menyebut bias yang harus Anda antisipasi dalam desain:

| Bias | Apa yang terjadi | Mitigasi |
| --- | --- | --- |
| Posisi | Lebih memilih jawaban yang ditampilkan pertama (atau kedua) | Nilai setiap pasangan dua kali, urutan ditukar; hitung menang hanya jika keduanya sepakat |
| Panjang jawaban | Lebih memilih jawaban yang lebih panjang | Rubrik yang menghargai ketepatan dan keringkasan; batasi panjang di prompt |
| Preferensi diri | Lebih memilih jawaban bergaya seperti dirinya | Juri dari keluarga model berbeda dari kedua kandidat |
| Penalaran lemah | Melewatkan kesalahan matematika atau kode | Pakai pengecekan kode untuk kasus-kasus itu |

Dua aturan lagi dari praktik. **Kunci jurinya**: versi model sama, prompt sama, temperature 0, selama seluruh perbandingan. Dan **kalibrasi**: beri label 30 hingga 50 pasangan sendiri, jalankan juri pada pasangan itu, dan percayai hanya jika sebagian besar waktu juri sepakat dengan Anda. Panduan evaluator Arize memberi saran yang sama (“Collect 20–100 examples”; Terjemahan BroadRouter: kumpulkan 20–100 contoh, dengan label manusia) dan merekomendasikan label kategoris seperti pass/fail dibanding skala numerik yang besar.

## Bagaimana menjalankan perbandingan berdampingan?

Jalankan kedua kandidat pada setiap kasus, sembunyikan identitasnya dari juri, tukar urutan, serta catat biaya dan waktu:

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

Aturan tukar urutan berarti model hanya menang jika juri memilihnya di kedua posisi; setiap ketidaksepakatan dihitung seri. Porsi ketidaksepakatan itu sendiri berguna: tingkat yang tinggi berarti juri atau rubriknya terlalu kabur. Perhatikan `max_tokens=4000`: pada model penalaran, proses berpikir ikut dihitung dalam batas itu, dan batas yang rendah menghasilkan jawaban kosong yang terlihat seperti kegagalan. Lihat [mengapa model penalaran mengembalikan balasan kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/).

## Seberapa besar selisih yang nyata?

Skor eval adalah sampel. Untuk tingkat lulus p atas n kasus, standard error-nya √(p × (1 − p) ÷ n), dan margin 95% kira-kira dua kali nilai itu.

| Kasus | Tingkat lulus | Margin 95% |
| --- | --- | --- |
| 50 | 80% | sekitar ±11 poin |
| 100 | 80% | sekitar ±8 poin |
| 200 | 80% | sekitar ±6 poin |
| 400 | 80% | sekitar ±4 poin |

Jadi model dengan skor 82% melawan 79% pada 100 kasus belum terbukti lebih baik. Lihat **selisih per kasus**: kasus mana yang berbalik dari lulus menjadi gagal? Itu lebih informatif daripada totalnya, dan pada kasus kritis satu pembalikan bisa menentukan keputusan berpindah.

## Seperti apa aturan keputusannya?

Tuliskan sebelum menjalankan eval, agar hasilnya tidak bisa membengkokkan aturan. Templat praktis:

1.  Tidak ada regresi pada kasus yang ditandai kritis.
2.  Tingkat lulus keseluruhan tidak lebih rendah dari model saat ini melebihi margin error.
3.  Latensi p95 sesuai anggaran Anda; lihat [TTFT vs throughput](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/) untuk cara mengukurnya.
4.  Biaya per kasus berhasil lebih rendah, atau lebih tinggi hanya sebesar jumlah yang sudah disepakati sepadan dengan kualitasnya. Hitung selisih bulanannya dengan [kalkulator biaya API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/).
5.  Periode shadow: kirim sebagian trafik live ke model baru, catat keduanya, dan bandingkan sebelum beralih sepenuhnya.

Set eval yang sama menjadi titik awal jika Anda mempertimbangkan model kustom: [sebelum fine-tuning](https://broadrouter.com/id/blog/fine-tuning-readiness/) membahas kapan prompt dan retrieval sudah cukup.

## Posisi BroadNet Inference

BroadNet Inference menyajikan beberapa keluarga model di balik satu endpoint yang kompatibel dengan OpenAI, termasuk [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/), dan [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/), sehingga kandidat dan juri dari keluarga berbeda bisa berjalan lewat klien dan kunci yang sama. Setiap respons membawa data pemakaian token untuk perbandingan biaya, dan akun baru dimulai dengan kredit $5; tanpa top up kredit itu hanya menjalankan [Gemma 4 VL 26B](https://broadrouter.com/id/models/gemma-4-vl-26b/), jadi rencanakan top up kecil untuk membandingkan model yang lebih besar. BroadNet tidak menyediakan harness evaluasi atau tool juri yang di-host; Anda menjalankan kode di atas sendiri. Untuk beban kerja bahasa Arab, [memilih LLM untuk bahasa Arab](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/) mencantumkan apa yang perlu diuji. Harga berdampingan ada di [halaman perbandingan](https://broadrouter.com/compare/).

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Eval (evaluasi LLM)](https://broadrouter.com/id/glossary/eval/)

Eval (singkatan dari evaluation atau evaluasi) adalah pengujian yang dapat diulang terhadap model bahasa atau prompt: satu set input tetap, deskripsi seperti apa output yang baik, dan penilai (kode, manusia, atau model lain) yang memberi skor pada setiap output agar berbagai versi bisa dibandingkan.

[API kompatibel OpenAI](https://broadrouter.com/id/glossary/openai-compatible-api/)

API kompatibel OpenAI adalah API HTTP yang menerima format permintaan dan respons yang sama dengan API OpenAI, seperti POST /v1/chat/completions, sehingga SDK dan tool OpenAI bisa memakainya hanya dengan mengganti base URL, kunci API, dan nama model.

[Base URL](https://broadrouter.com/id/glossary/base-url/)

Base URL adalah alamat root tetap sebuah API, seperti https://api.example.com/v1, yang ditempatkan client di depan setiap path endpoint, seperti /chat/completions. Di SDK yang kompatibel dengan OpenAI, mengganti base URL bersama kunci API dan ID model akan mengarahkan kode yang sama ke penyedia lain.

[Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/)

Fine-tuning adalah proses melanjutkan pelatihan model bahasa yang sudah dilatih sebelumnya dengan dataset yang lebih kecil dan khusus tugas, seperti contoh percakapan, sehingga bobotnya berubah dan model menjalankan tugas atau gaya itu dengan lebih andal tanpa perlu instruksi panjang atau contoh di setiap prompt.

[Kredit prabayar (prepaid credit)](https://broadrouter.com/id/glossary/prepaid-credit/)

Kredit prabayar adalah uang yang diisi ke akun API sebelum dipakai. Setiap request memotong biayanya dari saldo, dan saat saldo habis, request berbayar per pemakaian berhenti sampai Anda melakukan top up. Dengan begitu, pengeluaran dibatasi sebesar uang yang sudah Anda setor.

[Latensi (latency)](https://broadrouter.com/id/glossary/latency/)

Latensi, untuk API model bahasa, adalah waktu yang dibutuhkan sebuah permintaan sejak dikirim sampai token output terakhir diterima. Latensi adalah jumlah dari time to first token dan waktu generasi, dan biasanya dilaporkan sebagai persentil seperti p50 dan p95, bukan rata-rata.

[LLM-as-a-judge (LLM sebagai juri)](https://broadrouter.com/id/glossary/llm-as-judge/)

LLM-as-a-judge adalah metode evaluasi di mana model bahasa menilai output model lain, baik dengan memberi skor satu jawaban berdasarkan rubrik maupun memilih yang lebih baik dari dua jawaban. Metode ini mendekati penilaian manusia dengan biaya jauh lebih rendah, tetapi punya bias yang diketahui, seperti condong ke jawaban pertama atau lebih panjang.

[Temperature (suhu sampling)](https://broadrouter.com/id/glossary/temperature/)

Temperature adalah parameter sampling yang mengatur seberapa acak output model bahasa. Model membagi skor token dengan temperature sebelum mengubahnya menjadi probabilitas: nilai rendah membuat token paling mungkin mendominasi, sedangkan nilai tinggi meratakan distribusi sehingga token yang kurang mungkin lebih sering terpilih.

## Pertanyaan umum

### Berapa banyak contoh yang dibutuhkan dalam set eval LLM?

Lima puluh cukup untuk menangkap regresi besar, 200 untuk melihat selisih sekitar 5 hingga 10 poin. Cakupan lebih penting daripada ukuran, jadi sertakan setiap jenis tugas dan kasus gagal yang sudah Anda ketahui.

### Apakah LLM sebagai juri bisa diandalkan?

Sebagian. Dalam studi MT-Bench, juri yang kuat sepakat dengan preferensi manusia lebih dari 80% waktu, kira-kira sesering manusia sepakat satu sama lain. Namun juri juga menunjukkan bias posisi, panjang jawaban, dan preferensi diri, jadi koreksi biasnya dan periksa sampelnya.

### Apakah model juri sebaiknya sama dengan model yang diuji?

Tidak. Juri cenderung menyukai jawaban yang mirip dengan jawabannya sendiri. Pakai juri dari keluarga model berbeda, dan kunci pada satu versi selama seluruh perbandingan.

### Apa itu bias posisi dalam evaluasi LLM?

Juri lebih memilih jawaban yang muncul pertama, atau kedua, terlepas dari kualitasnya. Atasi dengan menilai setiap pasangan dua kali dengan urutan ditukar dan hanya menghitung kemenangan jika kedua urutan sepakat.

### Apakah biaya dan latensi perlu dibandingkan dalam eval yang sama?

Ya. Catat token dan waktu untuk setiap panggilan eval. Model yang skornya dua poin lebih tinggi dengan biaya atau latensi tiga kali lipat bisa jadi tetap pilihan yang salah.

## Baca juga

-   [Cara memilih penyedia API LLM: checklist 20 poin](https://broadrouter.com/id/blog/choose-llm-api-provider-checklist/)
-   [Pindah ke API kompatibel OpenAI: checklist migrasi](https://broadrouter.com/id/blog/openai-compatible-api-migration-checklist/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/)
-   [Logging pemakaian API LLM: biaya per pengguna dan fitur, tanpa PII](https://broadrouter.com/id/blog/llm-api-usage-logging/)
-   [Latensi LLM: TTFT vs token per detik vs waktu end-to-end](https://broadrouter.com/id/blog/llm-latency-ttft-throughput/)
-   [Sebelum fine-tuning: definisikan masalah yang ingin diselesaikan](https://broadrouter.com/id/blog/fine-tuning-readiness/)
-   [Hardware GPU dan pendekatan serving BroadNet, menurut BroadNet](https://broadrouter.com/id/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk memangkas biaya: exact cache di Python](https://broadrouter.com/id/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)
-   [Panduan: Kenapa model reasoning mengembalikan jawaban kosong](https://broadrouter.com/id/guides/reasoning-tokens-empty-response/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**Sumber**

-   [Zheng dkk., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685 (diakses 2026-11-14)](https://arxiv.org/abs/2306.05685)
-   [Dokumentasi Arize, praktik terbaik evaluator (diakses 2026-11-14)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [Referensi API BroadNet Inference (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-evaluate-llm-before-switching&utm_content=sources)
-   [Harga BroadNet Inference yang dapat dibaca mesin, pricing.json (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-evaluate-llm-before-switching&utm_content=sources)
