BroadRouter

Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı

İyi sonucu bilinen 50 ile 200 gerçek istem toplayın. İki modeli önce kod kontrolleriyle, yalnızca kodun karar veremediği yerde bir LLM hakemle puanlayın. Konum yanlılığını gidermek için yanıt sırasını değiştirin, üçüncü bir model ailesinden hakem kullanın, onu kendi etiketlerinizle doğrulayın ve maliyet ile gecikme dahil geçme kuralını çalıştırmadan önce sabitleyin.

Geçiş yapmadan önce bir LLM’i değerlendirmek için iki modeli de iyi sonucu bilinen 50 ile 200 gerçek istem üzerinde çalıştırın. Önce kod kontrolleriyle, yalnızca kodun karar veremediği yerde yanlılığı giderilmiş bir LLM hakemle puanlayın; maliyeti ve gecikmeyi kaydedin ve geçme kuralını önceden sabitleyin.

Kod değişikliğinin kendisi küçük: bir OpenAI uyumlu API ile bu bir temel URL ve bir model kimliği demek. Geçiş kontrol listesi o kısmı, sağlayıcı kontrol listesi de fiyatı, limitleri ve gizliliği ele alıyor. Zor olan, yeni modelin sizin görevlerinizde aynı derecede iyi olup olmadığını bilmek. Herkese açık sıralama tabloları bunu yanıtlamaz; Artificial Analysis ve alternatifleri kısa liste oluşturmak içindir. Kendi trafiğinizden kurulan küçük bir eval seti ise bir iki günlük çalışmayla bunu yanıtlar.

Gerçek trafikten bir eval seti nasıl kurulur?

  1. Son 300 ile 1.000 isteği çekin; kullanım kayıtlarınızdan, hassas veriler ayıklandıktan sonra.
  2. Görev türüne göre gruplayın: veri çıkarma, sınıflandırma, özetleme, sohbet yanıtı, kod düzenleme, araç çağrısı.
  3. Her türden 10 ile 40 örnek alın; yüksek hacimli veya yüksek riskli türlerden daha fazla. Uzun istemleri, İngilizce dışı girdileri ve kullanıcıların şikâyet ettiği vakaları ekleyin.
  4. Her biri için beklenen sonucu yazın: kesin bir değer, bir şema, geçmesi gereken bir test ya da kısa bir değerlendirme ölçütü (“iade süresinden bahsediyor; uydurma politika yok”).
  5. Kritik vakaları etiketleyin. Yanlış bir fatura toplamı ya da sızdırılmış bir talimat, biraz daha kötü bir üslupla aynı şey değildir.
  6. Seti sürüm kontrolünde dondurun. Yeni hatalar buldukça vaka ekleyin; bir modeli daha iyi göstermek için asla vaka silmeyin.

Hangi kontroller kod, hangileri hakem olmalı?

Her vaka için en ucuz güvenilir kontrolü kullanın:

Görev Kontrol Hakem gerekli mi?
JSON veri çıkarma Ayrıştırılıyor, şema doğrulanıyor, alanlar beklenene eşit Hayır
Sınıflandırma Etiket beklenene eşit Hayır
Kod düzenleme Testler geçiyor Hayır
Araç çağrısı Doğru fonksiyon, argümanlar doğrulanıyor Hayır
Özet Gerekli olguları içeriyor; kaynakta olmayan olgu yok Bazen
Sohbet yanıtı, üslup, yardımseverlik Değerlendirme ölçütü Evet

Deterministik kontroller ücretsizdir, tekrarlanabilir ve pohpohlanamaz; bu yüzden olabildiğince çok vakayı kod kontrollerine taşıyın.

LLM hakemde neler ters gidiyor?

Bir LLM hakem (LLM-as-a-judge), diğer modellerin yanıtlarını bir değerlendirme ölçütüne göre notlayan bir modeldir. MT-Bench çalışması (Zheng vd.), güçlü hakemlerin insan tercihleriyle zamanın %80’inden fazlasında uyuştuğunu buldu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynı. Aynı makale, tasarımda hesaba katmanız gereken yanlılıkları da adlandırdı:

Yanlılık Ne oluyor Önlem
Konum Önce (veya ikinci) gösterilen yanıtı tercih ediyor Her çifti sıra değiştirilmiş olarak iki kez değerlendirin; yalnızca ikisi de aynı fikirdeyse galibiyet sayın
Uzunluk Daha uzun yanıtları tercih ediyor Doğruluğu ve kısalığı ödüllendiren ölçüt; istemde uzunluğu sınırlayın
Kendini kayırma Kendi üslubundaki yanıtları tercih ediyor İki adaydan da farklı bir model ailesinden hakem
Zayıf akıl yürütme Matematik veya koddaki hataları kaçırıyor Bu vakalar için onun yerine kod kontrolleri kullanın

Pratikten iki kural daha. Hakemi sabitleyin: tüm karşılaştırma boyunca aynı model sürümü, aynı istem, temperature 0. Ve kalibre edin: 30 ile 50 çifti kendiniz etiketleyin, hakemi bunlar üzerinde çalıştırın ve ancak çoğu zaman sizinle aynı fikirdeyse ona güvenin. Arize’ın değerlendirici rehberi de aynı tavsiyeyi veriyor (“Collect 20–100 examples”; BroadRouter çevirisi: 20–100 örnek toplayın, insan etiketleriyle) ve büyük sayısal ölçekler yerine geçti/kaldı gibi kategorik etiketler öneriyor.

Yan yana karşılaştırma nasıl yapılır?

İki adayı da her vakada çalıştırın, hakemi körleyin, sırayı değiştirin, maliyeti ve süreyi kaydedin:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

Sıra değiştirme kuralı, bir modelin yalnızca hakem onu iki konumda da tercih ettiğinde kazanması demek; her uyuşmazlık berabere sayılır. Uyuşmazlık oranı da kendi başına faydalıdır: yüksek bir oran, hakemin ya da ölçütün fazla belirsiz olduğunu gösterir. max_tokens=4000 ayarına dikkat edin: akıl yürütme modellerinde düşünme de sınıra dahildir ve düşük bir tavan, başarısızlık gibi görünen boş yanıtlar üretir. Bkz. akıl yürütme modelleri neden boş yanıt döndürür.

Ne kadar büyük bir fark gerçektir?

Eval skorları örneklemdir. n vaka üzerinde p geçme oranı için standart hata √(p × (1 − p) ÷ n), %95 güven payı da yaklaşık bunun iki katıdır.

Vaka Geçme oranı %95 güven payı
50 %80 yaklaşık ±11 puan
100 %80 yaklaşık ±8 puan
200 %80 yaklaşık ±6 puan
400 %80 yaklaşık ±4 puan

Yani 100 vakada %79’a karşı %82 alan bir modelin daha iyi olduğu gösterilmiş değildir. Bunun yerine vaka bazındaki farklara bakın: hangi vakalar geçtiden kaldıya döndü? Bunlar size toplamlardan daha fazlasını söyler ve kritik vakalarda tek bir dönüş geçiş kararını belirleyebilir.

Karar kuralı ne olmalı?

Sonuç onu eğip bükemesin diye kuralı eval’i çalıştırmadan önce yazın. Pratik bir şablon:

  1. Kritik olarak etiketlenmiş hiçbir vakada gerileme yok.
  2. Genel geçme oranı, mevcut modelinkinden hata payından daha fazla düşük değil.
  3. p95 gecikme bütçeniz dahilinde; nasıl ölçüleceği için TTFT ve işlem hacmi yazısına bakın.
  4. Başarılı vaka başına maliyet daha düşük ya da yalnızca kaliteye değdiği konusunda anlaştığınız bir miktar kadar yüksek. Aylık farkı LLM API maliyet hesaplayıcı ile fiyatlayın.
  5. Bir gölge dönem: canlı trafiğin bir kısmını yeni modele gönderin, ikisini de kaydedin ve geçişi yapmadan önce karşılaştırın.

Özel bir model düşünüyorsanız başlangıç noktası yine aynı eval setidir: ince ayardan önce yazısı, istemlerin ve erişimin (retrieval) ne zaman yeterli olduğunu ele alıyor.

BroadNet Inference’ın yeri

BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B dahil birkaç model ailesini tek bir OpenAI uyumlu uç noktanın arkasında sunar; böylece adaylar ve farklı bir aileden hakem aynı istemci ve anahtarla çalışabilir. Her yanıt, maliyet karşılaştırması için token kullanımını içerir ve yeni hesaplar $5 krediyle başlar; bakiye yüklemeden bu kredi yalnızca Gemma 4 VL 26B modelini çalıştırır, bu yüzden daha büyük modelleri karşılaştırmak için küçük bir bakiye yüklemesi planlayın. Bir değerlendirme altyapısı veya barındırılan hakem araçları içermez; yukarıdaki kodu kendiniz çalıştırırsınız. Arapça iş yükleri için Arapça için LLM seçimi neyin test edileceğini listeliyor. Yan yana fiyatlar karşılaştırma sayfasında.

Sık sorulan sorular

Bir LLM eval setinde kaç örnek gerekir?

Büyük gerilemeleri yakalamak için elli yeterli; 5 ile 10 puan civarındaki farkları görmek için 200. Kapsam, boyuttan daha önemli; bu yüzden her görev türünü ve bilinen başarısız vakalarınızı ekleyin.

LLM hakem (LLM-as-a-judge) güvenilir mi?

Kısmen. MT-Bench çalışmasında güçlü hakemler insan tercihleriyle zamanın %80'inden fazlasında uyuştu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynı. Ama konum, uzunluk ve kendini kayırma yanlılığı da gösterdiler; bu yüzden yanlılığı giderin ve örneklem kontrolleri yapın.

Hakem model, test edilen modelle aynı mı olmalı?

Hayır. Hakemler kendi yanıtlarına benzeyen yanıtları kayırma eğilimindedir. Farklı bir model ailesinden hakem kullanın ve tüm karşılaştırma boyunca tek bir sürüme sabitleyin.

LLM değerlendirmesinde konum yanlılığı nedir?

Hakemin, kaliteden bağımsız olarak önce (ya da ikinci) gösterilen yanıtı tercih etmesidir. Her çifti sıra değiştirilmiş olarak iki kez değerlendirip yalnızca iki sıra da aynı fikirdeyse galibiyet sayarak düzeltin.

Maliyet ve gecikmeyi aynı eval'de karşılaştırmalı mıyım?

Evet. Her eval çağrısı için token'ları ve süreyi kaydedin. İki puan daha yüksek skor alan ama üç kat maliyetli ya da üç kat yavaş bir model yine de yanlış bir geçiş olabilir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor