Eval ialah ujian unit untuk prompt dan model: input yang sama setiap kali, markah lulus yang jelas, dan skor yang boleh dibandingkan.
Cara ia berfungsi
Eval mempunyai tiga bahagian:
- Kes. Input yang diambil daripada penggunaan sebenar, termasuk kes pinggir (edge case). Panduan Anthropic menyenaraikan contoh seperti input yang tidak relevan, input yang terlalu panjang dan kes samar “where even humans would find it hard to reach an assessment consensus.” (Terjemahan BroadRouter: “di mana manusia pun sukar mencapai kata sepakat dalam penilaian.”)
- Kriteria. Rupa jawapan yang baik: nilai yang tepat, medan wajib, nada, fakta yang mesti ada.
- Penggred. Sesuatu yang memberi skor kepada setiap output.
| Penggred | Sesuai untuk | Kelemahan |
|---|---|---|
| Kod (padanan tepat, JSON Schema, regex) | Pengelasan, pengekstrakan, output berstruktur | Tidak dapat menilai teks terbuka |
| Manusia | Nuansa, nada, tugas baharu | Perlahan dan mahal |
| Model (LLM-as-judge) | Jawapan terbuka secara berskala | Ada biasnya sendiri |
Anthropic mengesyorkan automasi di mana boleh dan menyatakan “Prioritize volume over quality” (Terjemahan BroadRouter: “Utamakan jumlah berbanding kualiti”): lebih banyak kes dengan penggredan automatik yang sedikit lebih bising mengatasi beberapa kes yang digred secara manual. Ia juga mencadangkan penggredan dengan model yang berbeza daripada model yang menghasilkan output.
Mengapa ia penting
- Menukar model atau penyedia. Penanda aras awam jarang sepadan dengan tugas anda. Malah untuk model embedding, penanda aras MTEB mendapati “no particular text embedding method dominates across all tasks.” (Terjemahan BroadRouter: “tiada kaedah embedding teks tertentu yang mendominasi semua tugas.”) Eval anda sendiri ialah satu-satunya perbandingan yang boleh dipercayai. Lihat cara menilai LLM sebelum bertukar.
- Perubahan prompt. Pembaikan untuk satu kes sering merosakkan kes lain. Jalankan semula set penuh pada setiap suntingan prompt.
- Pertukaran kos. Eval menunjukkan sama ada model yang lebih murah cukup baik untuk sesuatu langkah, menggunakan angka dan bukannya tanggapan.
- Keselamatan. Tambah kes untuk halusinasi, penolakan dan cubaan suntikan, bukan hanya untuk laluan biasa yang lancar.
Di BroadNet Inference
Dokumentasi BroadNet tidak menyenaraikan produk eval. Jalankan set eval anda daripada kod anda sendiri terhadap endpoint yang serasi OpenAI, dengan hanya menukar ID model untuk membandingkan model. Model penaakulan mengira penaakulan dalam max_tokens, jadi beri mereka ruang, atau sesuatu kes boleh gagal dengan jawapan kosong dan bukannya jawapan yang salah. Artikel GLM 5.3 vs DeepSeek V4.1 Flash ialah satu contoh perbandingan.