Eval, bir istem ve model için birim testidir: her seferinde aynı girdiler, net bir geçme ölçütü ve karşılaştırabileceğiniz bir puan.
Nasıl çalışır
Bir eval’in üç parçası vardır:
- Vakalar. Gerçek kullanımdan alınmış girdiler ve uç durumlar. Anthropic’in rehberi alakasız girdi, aşırı uzun girdi ve “where even humans would find it hard to reach an assessment consensus” (çeviri: insanların bile değerlendirmede uzlaşmakta zorlanacağı) belirsiz vakalar gibi örnekler sayar.
- Ölçütler. İyi bir yanıtın neye benzediği: kesin bir değer, zorunlu bir alan, bir ton, mutlaka geçmesi gereken bir bilgi.
- Değerlendirici. Her çıktıyı puanlayan bir şey.
| Değerlendirici | Ne için iyi | Zayıf yönü |
|---|---|---|
| Kod (tam eşleşme, JSON Schema, regex) | Sınıflandırma, çıkarma, yapılandırılmış çıktı | Açık uçlu metni değerlendiremez |
| İnsan | İncelik, ton, yeni görevler | Yavaş ve maliyetli |
| Model (LLM-as-judge) | Ölçekte açık uçlu yanıtlar | Kendi önyargıları vardır |
Anthropic mümkün olan yerde otomasyonu önerir ve “Prioritize volume over quality” (çeviri: kaliteden çok hacme öncelik verin) der: biraz daha gürültülü otomatik puanlamaya sahip daha fazla vaka, elle puanlanan birkaç vakadan iyidir. Ayrıca puanlamayı, çıktıyı üreten modelden farklı bir modelle yapmayı önerir.
Neden önemli
- Model veya sağlayıcı değiştirmek. Herkese açık benchmark’lar nadiren sizin görevinizle örtüşür. Gömme modellerinde bile MTEB benchmark’ı “no particular text embedding method dominates across all tasks” (çeviri: hiçbir metin gömme yöntemi tüm görevlerde üstün gelmiyor) sonucunu buldu. Tek güvenilir karşılaştırma kendi eval’inizdir. Bkz. model değiştirmeden önce bir LLM nasıl değerlendirilir.
- İstem değişiklikleri. Bir vaka için yapılan düzeltme çoğu zaman bir başkasını bozar. Her istem düzenlemesinde setin tamamını yeniden çalıştırın.
- Maliyet dengeleri. Bir eval, daha ucuz bir modelin belirli bir adım için yeterince iyi olup olmadığını izlenimlerle değil sayılarla gösterir.
- Güvenlik. Yalnızca sorunsuz senaryolar için değil, halüsinasyonlar, reddetmeler ve enjeksiyon girişimleri için de vakalar ekleyin.
BroadNet Inference’ta
BroadNet’in belgeleri bir eval ürünü listelemez. Eval setinizi kendi kodunuzdan OpenAI uyumlu uç noktaya karşı çalıştırın; modelleri karşılaştırmak için yalnızca model kimliğini değiştirin. Akıl yürütme modelleri akıl yürütmeyi max_tokens sınırına dahil eder; bu yüzden onlara yer bırakın, yoksa bir vaka yanlış bir yanıtla değil boş bir yanıtla başarısız olabilir. GLM 5.3 ile DeepSeek V4.1 Flash karşılaştırması yazısı, uygulamalı bir karşılaştırma örneğidir.