Eval adalah unit test untuk prompt dan model: input yang sama setiap kali, batas lulus yang jelas, dan skor yang bisa Anda bandingkan.
Cara kerjanya
Eval punya tiga bagian:
- Case. Input yang diambil dari pemakaian nyata, termasuk edge case. Panduan Anthropic mencantumkan contoh seperti input yang tidak relevan, input yang terlalu panjang, dan case ambigu “where even humans would find it hard to reach an assessment consensus” (terjemahan: di mana manusia pun akan sulit mencapai kesepakatan penilaian).
- Kriteria. Seperti apa jawaban yang baik: nilai yang tepat, field yang wajib ada, nada tertentu, fakta yang harus muncul.
- Penilai. Sesuatu yang memberi skor pada setiap output.
| Penilai | Cocok untuk | Kelemahan |
|---|---|---|
| Kode (exact match, JSON Schema, regex) | Klasifikasi, ekstraksi, output terstruktur | Tidak bisa menilai teks terbuka |
| Manusia | Nuansa, nada, tugas baru | Lambat dan mahal |
| Model (LLM-as-judge) | Jawaban terbuka dalam skala besar | Punya bias sendiri |
Anthropic menyarankan otomatisasi sebisa mungkin dan menyatakan “Prioritize volume over quality” (terjemahan: utamakan volume daripada kualitas): lebih banyak case dengan penilaian otomatis yang sedikit lebih bising lebih baik daripada sedikit case yang dinilai manual. Anthropic juga menyarankan menilai dengan model yang berbeda dari model yang menghasilkan output.
Mengapa penting
- Ganti model atau penyedia. Benchmark publik jarang cocok dengan tugas Anda. Bahkan untuk model embedding, benchmark MTEB menemukan “no particular text embedding method dominates across all tasks” (terjemahan: tidak ada satu metode text embedding pun yang unggul di semua tugas). Eval milik Anda sendiri adalah satu-satunya perbandingan yang andal. Lihat cara mengevaluasi LLM sebelum ganti model.
- Perubahan prompt. Perbaikan untuk satu case sering merusak case lain. Jalankan ulang seluruh set setiap kali prompt diedit.
- Pertimbangan biaya. Eval menunjukkan apakah model yang lebih murah cukup bagus untuk langkah tertentu, dengan angka, bukan kesan.
- Keamanan. Tambahkan case untuk halusinasi, penolakan, dan percobaan injeksi, bukan hanya untuk skenario normal.
Di BroadNet Inference
Dokumentasi BroadNet tidak mencantumkan produk eval. Jalankan set eval dari kode Anda sendiri ke endpoint yang kompatibel dengan OpenAI, dan cukup ganti ID model untuk membandingkan model. Model penalaran menghitung penalaran ke dalam max_tokens, jadi beri ruang yang cukup, atau sebuah case bisa gagal dengan jawaban kosong, bukan jawaban salah. Artikel GLM 5.3 vs DeepSeek V4.1 Flash adalah salah satu contoh perbandingan yang lengkap.