BroadRouter
Başlayın

Eval (LLM değerlendirmesi)

Güncellendi

Eval (evaluation, yani değerlendirme kelimesinin kısaltması), bir dil modelinin veya istemin tekrarlanabilir bir testidir: sabit bir girdi seti, iyi bir çıktının neye benzediğinin tarifi ve sürümlerin karşılaştırılabilmesi için her çıktıyı puanlayan bir değerlendirici (kod, bir insan veya başka bir model).

Diğer adları: eval, evals, LLM değerlendirmesi, model değerlendirmesi, LLM testi, değerlendirme seti, LLM evaluation, model evaluation, LLM testing, eval set

Eval, bir istem ve model için birim testidir: her seferinde aynı girdiler, net bir geçme ölçütü ve karşılaştırabileceğiniz bir puan.

Nasıl çalışır

Bir eval’in üç parçası vardır:

  1. Vakalar. Gerçek kullanımdan alınmış girdiler ve uç durumlar. Anthropic’in rehberi alakasız girdi, aşırı uzun girdi ve “where even humans would find it hard to reach an assessment consensus” (çeviri: insanların bile değerlendirmede uzlaşmakta zorlanacağı) belirsiz vakalar gibi örnekler sayar.
  2. Ölçütler. İyi bir yanıtın neye benzediği: kesin bir değer, zorunlu bir alan, bir ton, mutlaka geçmesi gereken bir bilgi.
  3. Değerlendirici. Her çıktıyı puanlayan bir şey.
Değerlendirici Ne için iyi Zayıf yönü
Kod (tam eşleşme, JSON Schema, regex) Sınıflandırma, çıkarma, yapılandırılmış çıktı Açık uçlu metni değerlendiremez
İnsan İncelik, ton, yeni görevler Yavaş ve maliyetli
Model (LLM-as-judge) Ölçekte açık uçlu yanıtlar Kendi önyargıları vardır

Anthropic mümkün olan yerde otomasyonu önerir ve “Prioritize volume over quality” (çeviri: kaliteden çok hacme öncelik verin) der: biraz daha gürültülü otomatik puanlamaya sahip daha fazla vaka, elle puanlanan birkaç vakadan iyidir. Ayrıca puanlamayı, çıktıyı üreten modelden farklı bir modelle yapmayı önerir.

Neden önemli

  • Model veya sağlayıcı değiştirmek. Herkese açık benchmark’lar nadiren sizin görevinizle örtüşür. Gömme modellerinde bile MTEB benchmark’ı “no particular text embedding method dominates across all tasks” (çeviri: hiçbir metin gömme yöntemi tüm görevlerde üstün gelmiyor) sonucunu buldu. Tek güvenilir karşılaştırma kendi eval’inizdir. Bkz. model değiştirmeden önce bir LLM nasıl değerlendirilir.
  • İstem değişiklikleri. Bir vaka için yapılan düzeltme çoğu zaman bir başkasını bozar. Her istem düzenlemesinde setin tamamını yeniden çalıştırın.
  • Maliyet dengeleri. Bir eval, daha ucuz bir modelin belirli bir adım için yeterince iyi olup olmadığını izlenimlerle değil sayılarla gösterir.
  • Güvenlik. Yalnızca sorunsuz senaryolar için değil, halüsinasyonlar, reddetmeler ve enjeksiyon girişimleri için de vakalar ekleyin.

BroadNet Inference’ta

BroadNet’in belgeleri bir eval ürünü listelemez. Eval setinizi kendi kodunuzdan OpenAI uyumlu uç noktaya karşı çalıştırın; modelleri karşılaştırmak için yalnızca model kimliğini değiştirin. Akıl yürütme modelleri akıl yürütmeyi max_tokens sınırına dahil eder; bu yüzden onlara yer bırakın, yoksa bir vaka yanlış bir yanıtla değil boş bir yanıtla başarısız olabilir. GLM 5.3 ile DeepSeek V4.1 Flash karşılaştırması yazısı, uygulamalı bir karşılaştırma örneğidir.

Sık sorulan sorular

Eval ile benchmark arasındaki fark nedir?

Benchmark, modelleri genel olarak karşılaştırmak için kullanılan herkese açık bir test setidir. Eval ise genellikle gerçek görevlerinizden oluşturduğunuz kendi setinizdir ve bir modelin sizin ürününüzde nasıl performans gösterdiğini söyler.

Bir eval kaç test vakasına ihtiyaç duyar?

Sabit bir sayı yok. Anthropic'in rehberi, elle puanlanan birkaç vaka yerine otomatik puanlanan daha fazla vakayı tercih eder; gerçek trafikten alınmış onlarca vakayla başlayın ve hata buldukça seti büyütün.

Eval'lerde sıcaklığı 0'a ayarlamalı mıyım?

Üretimde kullanacağınız ayarları kullanın. Çıktılar çalıştırmalar arasında değişiyorsa her vakayı birkaç kez puanlayın ve tek sonuçlar yerine ortalamaları karşılaştırın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor