Geçiş yapmadan önce bir LLM’i değerlendirmek için iki modeli de iyi sonucu bilinen 50 ile 200 gerçek istem üzerinde çalıştırın. Önce kod kontrolleriyle, yalnızca kodun karar veremediği yerde yanlılığı giderilmiş bir LLM hakemle puanlayın; maliyeti ve gecikmeyi kaydedin ve geçme kuralını önceden sabitleyin.
Kod değişikliğinin kendisi küçük: bir OpenAI uyumlu API ile bu bir temel URL ve bir model kimliği demek. Geçiş kontrol listesi o kısmı, sağlayıcı kontrol listesi de fiyatı, limitleri ve gizliliği ele alıyor. Zor olan, yeni modelin sizin görevlerinizde aynı derecede iyi olup olmadığını bilmek. Herkese açık sıralama tabloları bunu yanıtlamaz; Artificial Analysis ve alternatifleri kısa liste oluşturmak içindir. Kendi trafiğinizden kurulan küçük bir eval seti ise bir iki günlük çalışmayla bunu yanıtlar.
Gerçek trafikten bir eval seti nasıl kurulur?
- Son 300 ile 1.000 isteği çekin; kullanım kayıtlarınızdan, hassas veriler ayıklandıktan sonra.
- Görev türüne göre gruplayın: veri çıkarma, sınıflandırma, özetleme, sohbet yanıtı, kod düzenleme, araç çağrısı.
- Her türden 10 ile 40 örnek alın; yüksek hacimli veya yüksek riskli türlerden daha fazla. Uzun istemleri, İngilizce dışı girdileri ve kullanıcıların şikâyet ettiği vakaları ekleyin.
- Her biri için beklenen sonucu yazın: kesin bir değer, bir şema, geçmesi gereken bir test ya da kısa bir değerlendirme ölçütü (“iade süresinden bahsediyor; uydurma politika yok”).
- Kritik vakaları etiketleyin. Yanlış bir fatura toplamı ya da sızdırılmış bir talimat, biraz daha kötü bir üslupla aynı şey değildir.
- Seti sürüm kontrolünde dondurun. Yeni hatalar buldukça vaka ekleyin; bir modeli daha iyi göstermek için asla vaka silmeyin.
Hangi kontroller kod, hangileri hakem olmalı?
Her vaka için en ucuz güvenilir kontrolü kullanın:
| Görev | Kontrol | Hakem gerekli mi? |
|---|---|---|
| JSON veri çıkarma | Ayrıştırılıyor, şema doğrulanıyor, alanlar beklenene eşit | Hayır |
| Sınıflandırma | Etiket beklenene eşit | Hayır |
| Kod düzenleme | Testler geçiyor | Hayır |
| Araç çağrısı | Doğru fonksiyon, argümanlar doğrulanıyor | Hayır |
| Özet | Gerekli olguları içeriyor; kaynakta olmayan olgu yok | Bazen |
| Sohbet yanıtı, üslup, yardımseverlik | Değerlendirme ölçütü | Evet |
Deterministik kontroller ücretsizdir, tekrarlanabilir ve pohpohlanamaz; bu yüzden olabildiğince çok vakayı kod kontrollerine taşıyın.
LLM hakemde neler ters gidiyor?
Bir LLM hakem (LLM-as-a-judge), diğer modellerin yanıtlarını bir değerlendirme ölçütüne göre notlayan bir modeldir. MT-Bench çalışması (Zheng vd.), güçlü hakemlerin insan tercihleriyle zamanın %80’inden fazlasında uyuştuğunu buldu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynı. Aynı makale, tasarımda hesaba katmanız gereken yanlılıkları da adlandırdı:
| Yanlılık | Ne oluyor | Önlem |
|---|---|---|
| Konum | Önce (veya ikinci) gösterilen yanıtı tercih ediyor | Her çifti sıra değiştirilmiş olarak iki kez değerlendirin; yalnızca ikisi de aynı fikirdeyse galibiyet sayın |
| Uzunluk | Daha uzun yanıtları tercih ediyor | Doğruluğu ve kısalığı ödüllendiren ölçüt; istemde uzunluğu sınırlayın |
| Kendini kayırma | Kendi üslubundaki yanıtları tercih ediyor | İki adaydan da farklı bir model ailesinden hakem |
| Zayıf akıl yürütme | Matematik veya koddaki hataları kaçırıyor | Bu vakalar için onun yerine kod kontrolleri kullanın |
Pratikten iki kural daha. Hakemi sabitleyin: tüm karşılaştırma boyunca aynı model sürümü, aynı istem, temperature 0. Ve kalibre edin: 30 ile 50 çifti kendiniz etiketleyin, hakemi bunlar üzerinde çalıştırın ve ancak çoğu zaman sizinle aynı fikirdeyse ona güvenin. Arize’ın değerlendirici rehberi de aynı tavsiyeyi veriyor (“Collect 20–100 examples”; BroadRouter çevirisi: 20–100 örnek toplayın, insan etiketleriyle) ve büyük sayısal ölçekler yerine geçti/kaldı gibi kategorik etiketler öneriyor.
Yan yana karşılaştırma nasıl yapılır?
İki adayı da her vakada çalıştırın, hakemi körleyin, sırayı değiştirin, maliyeti ve süreyi kaydedin:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Sıra değiştirme kuralı, bir modelin yalnızca hakem onu iki konumda da tercih ettiğinde kazanması demek; her uyuşmazlık berabere sayılır. Uyuşmazlık oranı da kendi başına faydalıdır: yüksek bir oran, hakemin ya da ölçütün fazla belirsiz olduğunu gösterir. max_tokens=4000 ayarına dikkat edin: akıl yürütme modellerinde düşünme de sınıra dahildir ve düşük bir tavan, başarısızlık gibi görünen boş yanıtlar üretir. Bkz. akıl yürütme modelleri neden boş yanıt döndürür.
Ne kadar büyük bir fark gerçektir?
Eval skorları örneklemdir. n vaka üzerinde p geçme oranı için standart hata √(p × (1 − p) ÷ n), %95 güven payı da yaklaşık bunun iki katıdır.
| Vaka | Geçme oranı | %95 güven payı |
|---|---|---|
| 50 | %80 | yaklaşık ±11 puan |
| 100 | %80 | yaklaşık ±8 puan |
| 200 | %80 | yaklaşık ±6 puan |
| 400 | %80 | yaklaşık ±4 puan |
Yani 100 vakada %79’a karşı %82 alan bir modelin daha iyi olduğu gösterilmiş değildir. Bunun yerine vaka bazındaki farklara bakın: hangi vakalar geçtiden kaldıya döndü? Bunlar size toplamlardan daha fazlasını söyler ve kritik vakalarda tek bir dönüş geçiş kararını belirleyebilir.
Karar kuralı ne olmalı?
Sonuç onu eğip bükemesin diye kuralı eval’i çalıştırmadan önce yazın. Pratik bir şablon:
- Kritik olarak etiketlenmiş hiçbir vakada gerileme yok.
- Genel geçme oranı, mevcut modelinkinden hata payından daha fazla düşük değil.
- p95 gecikme bütçeniz dahilinde; nasıl ölçüleceği için TTFT ve işlem hacmi yazısına bakın.
- Başarılı vaka başına maliyet daha düşük ya da yalnızca kaliteye değdiği konusunda anlaştığınız bir miktar kadar yüksek. Aylık farkı LLM API maliyet hesaplayıcı ile fiyatlayın.
- Bir gölge dönem: canlı trafiğin bir kısmını yeni modele gönderin, ikisini de kaydedin ve geçişi yapmadan önce karşılaştırın.
Özel bir model düşünüyorsanız başlangıç noktası yine aynı eval setidir: ince ayardan önce yazısı, istemlerin ve erişimin (retrieval) ne zaman yeterli olduğunu ele alıyor.
BroadNet Inference’ın yeri
BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B dahil birkaç model ailesini tek bir OpenAI uyumlu uç noktanın arkasında sunar; böylece adaylar ve farklı bir aileden hakem aynı istemci ve anahtarla çalışabilir. Her yanıt, maliyet karşılaştırması için token kullanımını içerir ve yeni hesaplar $5 krediyle başlar; bakiye yüklemeden bu kredi yalnızca Gemma 4 VL 26B modelini çalıştırır, bu yüzden daha büyük modelleri karşılaştırmak için küçük bir bakiye yüklemesi planlayın. Bir değerlendirme altyapısı veya barındırılan hakem araçları içermez; yukarıdaki kodu kendiniz çalıştırırsınız. Arapça iş yükleri için Arapça için LLM seçimi neyin test edileceğini listeliyor. Yan yana fiyatlar karşılaştırma sayfasında.
