Untuk mengevaluasi LLM sebelum berpindah, jalankan kedua model pada 50 hingga 200 prompt nyata yang hasil baiknya sudah diketahui. Nilai dengan pengecekan kode lebih dulu dan LLM juri yang biasnya dikoreksi hanya jika kode tidak bisa memutuskan, catat biaya dan latensi, serta tetapkan aturan lulus di awal.
Perubahan kodenya sendiri kecil: dengan API yang kompatibel dengan OpenAI, cukup sebuah base URL dan ID model. Checklist migrasi membahas bagian itu, dan checklist penyedia membahas harga, batas, dan privasi. Bagian sulitnya adalah mengetahui apakah model baru sama baiknya untuk tugas Anda. Leaderboard publik tidak menjawabnya; Artificial Analysis dan alternatifnya berguna untuk menyusun daftar pendek. Set eval kecil yang disusun dari trafik Anda sendiri bisa menjawabnya, dengan kerja satu atau dua hari.
Bagaimana menyusun set eval dari trafik nyata?
- Ambil 300 hingga 1.000 permintaan terbaru dari log pemakaian Anda, setelah data sensitif disamarkan.
- Kelompokkan menurut jenis tugas: ekstraksi, klasifikasi, ringkasan, balasan chat, edit kode, tool call.
- Ambil sampel 10 hingga 40 per jenis, lebih banyak untuk jenis bervolume tinggi atau berisiko tinggi. Sertakan prompt panjang, input non-Inggris, dan kasus yang dikeluhkan pengguna.
- Tulis hasil yang diharapkan untuk masing-masing: nilai pasti, skema, tes yang harus lulus, atau rubrik singkat (“menyebut batas waktu refund; tidak ada kebijakan karangan”).
- Tandai kasus kritis. Total faktur yang salah atau instruksi yang bocor tidak sama dengan nada yang sedikit kurang baik.
- Bekukan di version control. Tambahkan kasus saat Anda menemukan kegagalan baru, jangan pernah menghapusnya agar sebuah model terlihat lebih baik.
Pengecekan mana yang memakai kode dan mana yang memakai juri?
Gunakan pengecekan andal termurah untuk setiap kasus:
| Tugas | Pengecekan | Perlu juri? |
|---|---|---|
| Ekstraksi JSON | Bisa di-parse, skema valid, field sama dengan yang diharapkan | Tidak |
| Klasifikasi | Label sama dengan yang diharapkan | Tidak |
| Edit kode | Tes lulus | Tidak |
| Tool call | Fungsi benar, argumen valid | Tidak |
| Ringkasan | Memuat fakta wajib; tidak ada fakta yang tak ada di sumber | Kadang-kadang |
| Balasan chat, nada, kebermanfaatan | Rubrik | Ya |
Pengecekan deterministik gratis, dapat diulang, dan tidak bisa dibujuk, jadi pindahkan sebanyak mungkin kasus ke pengecekan kode.
Apa yang bisa salah dengan LLM sebagai juri?
LLM sebagai juri adalah model yang menilai jawaban model lain berdasarkan rubrik. Studi MT-Bench (Zheng dkk.) menemukan bahwa juri yang kuat sepakat dengan preferensi manusia lebih dari 80% waktu, kira-kira sesering manusia sepakat satu sama lain. Makalah yang sama menyebut bias yang harus Anda antisipasi dalam desain:
| Bias | Apa yang terjadi | Mitigasi |
|---|---|---|
| Posisi | Lebih memilih jawaban yang ditampilkan pertama (atau kedua) | Nilai setiap pasangan dua kali, urutan ditukar; hitung menang hanya jika keduanya sepakat |
| Panjang jawaban | Lebih memilih jawaban yang lebih panjang | Rubrik yang menghargai ketepatan dan keringkasan; batasi panjang di prompt |
| Preferensi diri | Lebih memilih jawaban bergaya seperti dirinya | Juri dari keluarga model berbeda dari kedua kandidat |
| Penalaran lemah | Melewatkan kesalahan matematika atau kode | Pakai pengecekan kode untuk kasus-kasus itu |
Dua aturan lagi dari praktik. Kunci jurinya: versi model sama, prompt sama, temperature 0, selama seluruh perbandingan. Dan kalibrasi: beri label 30 hingga 50 pasangan sendiri, jalankan juri pada pasangan itu, dan percayai hanya jika sebagian besar waktu juri sepakat dengan Anda. Panduan evaluator Arize memberi saran yang sama (“Collect 20–100 examples”; Terjemahan BroadRouter: kumpulkan 20–100 contoh, dengan label manusia) dan merekomendasikan label kategoris seperti pass/fail dibanding skala numerik yang besar.
Bagaimana menjalankan perbandingan berdampingan?
Jalankan kedua kandidat pada setiap kasus, sembunyikan identitasnya dari juri, tukar urutan, serta catat biaya dan waktu:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Aturan tukar urutan berarti model hanya menang jika juri memilihnya di kedua posisi; setiap ketidaksepakatan dihitung seri. Porsi ketidaksepakatan itu sendiri berguna: tingkat yang tinggi berarti juri atau rubriknya terlalu kabur. Perhatikan max_tokens=4000: pada model penalaran, proses berpikir ikut dihitung dalam batas itu, dan batas yang rendah menghasilkan jawaban kosong yang terlihat seperti kegagalan. Lihat mengapa model penalaran mengembalikan balasan kosong.
Seberapa besar selisih yang nyata?
Skor eval adalah sampel. Untuk tingkat lulus p atas n kasus, standard error-nya √(p × (1 − p) ÷ n), dan margin 95% kira-kira dua kali nilai itu.
| Kasus | Tingkat lulus | Margin 95% |
|---|---|---|
| 50 | 80% | sekitar ±11 poin |
| 100 | 80% | sekitar ±8 poin |
| 200 | 80% | sekitar ±6 poin |
| 400 | 80% | sekitar ±4 poin |
Jadi model dengan skor 82% melawan 79% pada 100 kasus belum terbukti lebih baik. Lihat selisih per kasus: kasus mana yang berbalik dari lulus menjadi gagal? Itu lebih informatif daripada totalnya, dan pada kasus kritis satu pembalikan bisa menentukan keputusan berpindah.
Seperti apa aturan keputusannya?
Tuliskan sebelum menjalankan eval, agar hasilnya tidak bisa membengkokkan aturan. Templat praktis:
- Tidak ada regresi pada kasus yang ditandai kritis.
- Tingkat lulus keseluruhan tidak lebih rendah dari model saat ini melebihi margin error.
- Latensi p95 sesuai anggaran Anda; lihat TTFT vs throughput untuk cara mengukurnya.
- Biaya per kasus berhasil lebih rendah, atau lebih tinggi hanya sebesar jumlah yang sudah disepakati sepadan dengan kualitasnya. Hitung selisih bulanannya dengan kalkulator biaya API LLM.
- Periode shadow: kirim sebagian trafik live ke model baru, catat keduanya, dan bandingkan sebelum beralih sepenuhnya.
Set eval yang sama menjadi titik awal jika Anda mempertimbangkan model kustom: sebelum fine-tuning membahas kapan prompt dan retrieval sudah cukup.
Posisi BroadNet Inference
BroadNet Inference menyajikan beberapa keluarga model di balik satu endpoint yang kompatibel dengan OpenAI, termasuk DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B, sehingga kandidat dan juri dari keluarga berbeda bisa berjalan lewat klien dan kunci yang sama. Setiap respons membawa data pemakaian token untuk perbandingan biaya, dan akun baru dimulai dengan kredit $5; tanpa top up kredit itu hanya menjalankan Gemma 4 VL 26B, jadi rencanakan top up kecil untuk membandingkan model yang lebih besar. BroadNet tidak menyediakan harness evaluasi atau tool juri yang di-host; Anda menjalankan kode di atas sendiri. Untuk beban kerja bahasa Arab, memilih LLM untuk bahasa Arab mencantumkan apa yang perlu diuji. Harga berdampingan ada di halaman perbandingan.
