BroadRouter
Mulai

Eval (evaluasi LLM)

Diperbarui

Eval (singkatan dari evaluation atau evaluasi) adalah pengujian yang dapat diulang terhadap model bahasa atau prompt: satu set input tetap, deskripsi seperti apa output yang baik, dan penilai (kode, manusia, atau model lain) yang memberi skor pada setiap output agar berbagai versi bisa dibandingkan.

Disebut juga: eval, evals, evaluasi LLM, evaluasi model, pengujian LLM, set eval, LLM evaluation, model evaluation, LLM testing, eval set

Eval adalah unit test untuk prompt dan model: input yang sama setiap kali, batas lulus yang jelas, dan skor yang bisa Anda bandingkan.

Cara kerjanya

Eval punya tiga bagian:

  1. Case. Input yang diambil dari pemakaian nyata, termasuk edge case. Panduan Anthropic mencantumkan contoh seperti input yang tidak relevan, input yang terlalu panjang, dan case ambigu “where even humans would find it hard to reach an assessment consensus” (terjemahan: di mana manusia pun akan sulit mencapai kesepakatan penilaian).
  2. Kriteria. Seperti apa jawaban yang baik: nilai yang tepat, field yang wajib ada, nada tertentu, fakta yang harus muncul.
  3. Penilai. Sesuatu yang memberi skor pada setiap output.
Penilai Cocok untuk Kelemahan
Kode (exact match, JSON Schema, regex) Klasifikasi, ekstraksi, output terstruktur Tidak bisa menilai teks terbuka
Manusia Nuansa, nada, tugas baru Lambat dan mahal
Model (LLM-as-judge) Jawaban terbuka dalam skala besar Punya bias sendiri

Anthropic menyarankan otomatisasi sebisa mungkin dan menyatakan “Prioritize volume over quality” (terjemahan: utamakan volume daripada kualitas): lebih banyak case dengan penilaian otomatis yang sedikit lebih bising lebih baik daripada sedikit case yang dinilai manual. Anthropic juga menyarankan menilai dengan model yang berbeda dari model yang menghasilkan output.

Mengapa penting

  • Ganti model atau penyedia. Benchmark publik jarang cocok dengan tugas Anda. Bahkan untuk model embedding, benchmark MTEB menemukan “no particular text embedding method dominates across all tasks” (terjemahan: tidak ada satu metode text embedding pun yang unggul di semua tugas). Eval milik Anda sendiri adalah satu-satunya perbandingan yang andal. Lihat cara mengevaluasi LLM sebelum ganti model.
  • Perubahan prompt. Perbaikan untuk satu case sering merusak case lain. Jalankan ulang seluruh set setiap kali prompt diedit.
  • Pertimbangan biaya. Eval menunjukkan apakah model yang lebih murah cukup bagus untuk langkah tertentu, dengan angka, bukan kesan.
  • Keamanan. Tambahkan case untuk halusinasi, penolakan, dan percobaan injeksi, bukan hanya untuk skenario normal.

Di BroadNet Inference

Dokumentasi BroadNet tidak mencantumkan produk eval. Jalankan set eval dari kode Anda sendiri ke endpoint yang kompatibel dengan OpenAI, dan cukup ganti ID model untuk membandingkan model. Model penalaran menghitung penalaran ke dalam max_tokens, jadi beri ruang yang cukup, atau sebuah case bisa gagal dengan jawaban kosong, bukan jawaban salah. Artikel GLM 5.3 vs DeepSeek V4.1 Flash adalah salah satu contoh perbandingan yang lengkap.

Pertanyaan umum

Apa bedanya eval dan benchmark?

Benchmark adalah set uji publik untuk membandingkan model secara umum. Eval biasanya set milik Anda sendiri, dibangun dari tugas nyata Anda, dan menunjukkan seberapa baik sebuah model bekerja di produk Anda.

Berapa banyak test case yang dibutuhkan sebuah eval?

Tidak ada angka pasti. Panduan Anthropic lebih memilih banyak case dengan penilaian otomatis daripada sedikit case yang dinilai manual; mulailah dengan puluhan case dari trafik nyata lalu tambah seiring Anda menemukan kegagalan.

Haruskah temperature diatur ke 0 untuk eval?

Gunakan pengaturan yang akan Anda pakai di produksi. Jika output berbeda antar-run, nilai setiap case beberapa kali dan bandingkan rata-ratanya, bukan hasil tunggal.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity