---
title: "Geçişten önce LLM değerlendirme: eval seti ve LLM hakem"
description: "Gerçek trafikten küçük bir eval seti kurun, kod kontrolleri ve yanlılığı giderilmiş LLM hakemle puanlayın; geçişten önce kalite, maliyet ve gecikmeyi karşılaştırın."
url: https://broadrouter.com/tr/blog/evaluate-llm-before-switching/
lang: tr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/evaluate-llm-before-switching/) (güncelleme: 2026-11-14).

# Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı 2026-11-14

İyi sonucu bilinen 50 ile 200 gerçek istem toplayın. İki modeli önce kod kontrolleriyle, yalnızca kodun karar veremediği yerde bir LLM hakemle puanlayın. Konum yanlılığını gidermek için yanıt sırasını değiştirin, üçüncü bir model ailesinden hakem kullanın, onu kendi etiketlerinizle doğrulayın ve maliyet ile gecikme dahil geçme kuralını çalıştırmadan önce sabitleyin.

## Öne çıkanlar

-   Eval setini uydurma istemlerden değil, gerçek kayıtlardan kurun; zor ve başarısız vakaları da ekleyin.
-   Deterministik kontrolleri tercih edin (JSON ayrıştırılıyor, alan eşit, test geçiyor). LLM hakemi yalnızca kodun kontrol edemediği nitelikler için kullanın.
-   LLM hakemlerde konum, uzunluk ve kendini kayırma yanlılığı görülür. Her çifti sıra değiştirilmiş olarak iki kez değerlendirin.
-   100 vakada %80'lik bir skorun %95 güven payı yaklaşık ±8 puandır. Küçük farklar gürültüdür.
-   Maliyet, gecikme ve kritik vakalarda gerileme olmaması dahil geçme kuralına önceden karar verin.

**Bu sayfada**

1.  Gerçek trafikten bir eval seti nasıl kurulur?
2.  Hangi kontroller kod, hangileri hakem olmalı?
3.  LLM hakemde neler ters gidiyor?
4.  Yan yana karşılaştırma nasıl yapılır?
5.  Ne kadar büyük bir fark gerçektir?
6.  Karar kuralı ne olmalı?
7.  BroadNet Inference’ın yeri

Geçiş yapmadan önce bir LLM’i değerlendirmek için iki modeli de iyi sonucu bilinen 50 ile 200 gerçek istem üzerinde çalıştırın. Önce kod kontrolleriyle, yalnızca kodun karar veremediği yerde yanlılığı giderilmiş bir LLM hakemle puanlayın; maliyeti ve gecikmeyi kaydedin ve geçme kuralını önceden sabitleyin.

Kod değişikliğinin kendisi küçük: bir [OpenAI uyumlu API](https://broadrouter.com/tr/glossary/openai-compatible-api/) ile bu bir [temel URL](https://broadrouter.com/tr/glossary/base-url/) ve bir model kimliği demek. [Geçiş kontrol listesi](https://broadrouter.com/tr/blog/openai-compatible-api-migration-checklist/) o kısmı, [sağlayıcı kontrol listesi](https://broadrouter.com/tr/blog/choose-llm-api-provider-checklist/) de fiyatı, limitleri ve gizliliği ele alıyor. Zor olan, yeni modelin **sizin görevlerinizde** aynı derecede iyi olup olmadığını bilmek. Herkese açık sıralama tabloları bunu yanıtlamaz; [Artificial Analysis ve alternatifleri](https://broadrouter.com/tr/blog/artificial-analysis-alternatives/) kısa liste oluşturmak içindir. Kendi trafiğinizden kurulan küçük bir [eval](https://broadrouter.com/tr/glossary/eval/) seti ise bir iki günlük çalışmayla bunu yanıtlar.

## Gerçek trafikten bir eval seti nasıl kurulur?

1.  **Son 300 ile 1.000 isteği çekin**; [kullanım kayıtlarınızdan](https://broadrouter.com/tr/blog/llm-api-usage-logging/), hassas veriler ayıklandıktan sonra.
2.  **Görev türüne göre gruplayın**: veri çıkarma, sınıflandırma, özetleme, sohbet yanıtı, kod düzenleme, araç çağrısı.
3.  **Her türden 10 ile 40 örnek alın**; yüksek hacimli veya yüksek riskli türlerden daha fazla. Uzun istemleri, İngilizce dışı girdileri ve kullanıcıların şikâyet ettiği vakaları ekleyin.
4.  **Her biri için beklenen sonucu yazın**: kesin bir değer, bir şema, geçmesi gereken bir test ya da kısa bir değerlendirme ölçütü (“iade süresinden bahsediyor; uydurma politika yok”).
5.  **Kritik vakaları etiketleyin.** Yanlış bir fatura toplamı ya da sızdırılmış bir talimat, biraz daha kötü bir üslupla aynı şey değildir.
6.  **Seti sürüm kontrolünde dondurun.** Yeni hatalar buldukça vaka ekleyin; bir modeli daha iyi göstermek için asla vaka silmeyin.

## Hangi kontroller kod, hangileri hakem olmalı?

Her vaka için en ucuz güvenilir kontrolü kullanın:

| Görev | Kontrol | Hakem gerekli mi? |
| --- | --- | --- |
| JSON veri çıkarma | Ayrıştırılıyor, şema doğrulanıyor, alanlar beklenene eşit | Hayır |
| Sınıflandırma | Etiket beklenene eşit | Hayır |
| Kod düzenleme | Testler geçiyor | Hayır |
| Araç çağrısı | Doğru fonksiyon, argümanlar doğrulanıyor | Hayır |
| Özet | Gerekli olguları içeriyor; kaynakta olmayan olgu yok | Bazen |
| Sohbet yanıtı, üslup, yardımseverlik | Değerlendirme ölçütü | Evet |

Deterministik kontroller ücretsizdir, tekrarlanabilir ve pohpohlanamaz; bu yüzden olabildiğince çok vakayı kod kontrollerine taşıyın.

## LLM hakemde neler ters gidiyor?

Bir [LLM hakem](https://broadrouter.com/tr/glossary/llm-as-judge/) (LLM-as-a-judge), diğer modellerin yanıtlarını bir değerlendirme ölçütüne göre notlayan bir modeldir. MT-Bench çalışması (Zheng vd.), güçlü hakemlerin insan tercihleriyle zamanın %80’inden fazlasında uyuştuğunu buldu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynı. Aynı makale, tasarımda hesaba katmanız gereken yanlılıkları da adlandırdı:

| Yanlılık | Ne oluyor | Önlem |
| --- | --- | --- |
| Konum | Önce (veya ikinci) gösterilen yanıtı tercih ediyor | Her çifti sıra değiştirilmiş olarak iki kez değerlendirin; yalnızca ikisi de aynı fikirdeyse galibiyet sayın |
| Uzunluk | Daha uzun yanıtları tercih ediyor | Doğruluğu ve kısalığı ödüllendiren ölçüt; istemde uzunluğu sınırlayın |
| Kendini kayırma | Kendi üslubundaki yanıtları tercih ediyor | İki adaydan da farklı bir model ailesinden hakem |
| Zayıf akıl yürütme | Matematik veya koddaki hataları kaçırıyor | Bu vakalar için onun yerine kod kontrolleri kullanın |

Pratikten iki kural daha. **Hakemi sabitleyin**: tüm karşılaştırma boyunca aynı model sürümü, aynı istem, temperature 0. Ve **kalibre edin**: 30 ile 50 çifti kendiniz etiketleyin, hakemi bunlar üzerinde çalıştırın ve ancak çoğu zaman sizinle aynı fikirdeyse ona güvenin. Arize’ın değerlendirici rehberi de aynı tavsiyeyi veriyor (“Collect 20–100 examples”; BroadRouter çevirisi: 20–100 örnek toplayın, insan etiketleriyle) ve büyük sayısal ölçekler yerine geçti/kaldı gibi kategorik etiketler öneriyor.

## Yan yana karşılaştırma nasıl yapılır?

İki adayı da her vakada çalıştırın, hakemi körleyin, sırayı değiştirin, maliyeti ve süreyi kaydedin:

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

Sıra değiştirme kuralı, bir modelin yalnızca hakem onu iki konumda da tercih ettiğinde kazanması demek; her uyuşmazlık berabere sayılır. Uyuşmazlık oranı da kendi başına faydalıdır: yüksek bir oran, hakemin ya da ölçütün fazla belirsiz olduğunu gösterir. `max_tokens=4000` ayarına dikkat edin: akıl yürütme modellerinde düşünme de sınıra dahildir ve düşük bir tavan, başarısızlık gibi görünen boş yanıtlar üretir. Bkz. [akıl yürütme modelleri neden boş yanıt döndürür](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/).

## Ne kadar büyük bir fark gerçektir?

Eval skorları örneklemdir. n vaka üzerinde p geçme oranı için standart hata √(p × (1 − p) ÷ n), %95 güven payı da yaklaşık bunun iki katıdır.

| Vaka | Geçme oranı | %95 güven payı |
| --- | --- | --- |
| 50 | %80 | yaklaşık ±11 puan |
| 100 | %80 | yaklaşık ±8 puan |
| 200 | %80 | yaklaşık ±6 puan |
| 400 | %80 | yaklaşık ±4 puan |

Yani 100 vakada %79’a karşı %82 alan bir modelin daha iyi olduğu gösterilmiş değildir. Bunun yerine **vaka bazındaki farklara** bakın: hangi vakalar geçtiden kaldıya döndü? Bunlar size toplamlardan daha fazlasını söyler ve kritik vakalarda tek bir dönüş geçiş kararını belirleyebilir.

## Karar kuralı ne olmalı?

Sonuç onu eğip bükemesin diye kuralı eval’i çalıştırmadan önce yazın. Pratik bir şablon:

1.  Kritik olarak etiketlenmiş hiçbir vakada gerileme yok.
2.  Genel geçme oranı, mevcut modelinkinden hata payından daha fazla düşük değil.
3.  p95 gecikme bütçeniz dahilinde; nasıl ölçüleceği için [TTFT ve işlem hacmi](https://broadrouter.com/tr/blog/llm-latency-ttft-throughput/) yazısına bakın.
4.  Başarılı vaka başına maliyet daha düşük ya da yalnızca kaliteye değdiği konusunda anlaştığınız bir miktar kadar yüksek. Aylık farkı [LLM API maliyet hesaplayıcı](https://broadrouter.com/tools/llm-api-cost-calculator/) ile fiyatlayın.
5.  Bir gölge dönem: canlı trafiğin bir kısmını yeni modele gönderin, ikisini de kaydedin ve geçişi yapmadan önce karşılaştırın.

Özel bir model düşünüyorsanız başlangıç noktası yine aynı eval setidir: [ince ayardan önce](https://broadrouter.com/tr/blog/fine-tuning-readiness/) yazısı, istemlerin ve erişimin (retrieval) ne zaman yeterli olduğunu ele alıyor.

## BroadNet Inference’ın yeri

BroadNet Inference, [DeepSeek V4.1 Flash](https://broadrouter.com/tr/models/deepseek-v4.1-flash/), [GLM 5.3](https://broadrouter.com/tr/models/glm-5.3/) ve [Qwen3.8 27B](https://broadrouter.com/tr/models/qwen3.8-27b/) dahil birkaç model ailesini tek bir OpenAI uyumlu uç noktanın arkasında sunar; böylece adaylar ve farklı bir aileden hakem aynı istemci ve anahtarla çalışabilir. Her yanıt, maliyet karşılaştırması için token kullanımını içerir ve yeni hesaplar $5 krediyle başlar; bakiye yüklemeden bu kredi yalnızca [Gemma 4 VL 26B](https://broadrouter.com/tr/models/gemma-4-vl-26b/) modelini çalıştırır, bu yüzden daha büyük modelleri karşılaştırmak için küçük bir bakiye yüklemesi planlayın. Bir değerlendirme altyapısı veya barındırılan hakem araçları içermez; yukarıdaki kodu kendiniz çalıştırırsınız. Arapça iş yükleri için [Arapça için LLM seçimi](https://broadrouter.com/tr/blog/choosing-an-llm-for-arabic/) neyin test edileceğini listeliyor. Yan yana fiyatlar [karşılaştırma sayfasında](https://broadrouter.com/compare/).

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[Eval (LLM değerlendirmesi)](https://broadrouter.com/tr/glossary/eval/)

Eval (evaluation, yani değerlendirme kelimesinin kısaltması), bir dil modelinin veya istemin tekrarlanabilir bir testidir: sabit bir girdi seti, iyi bir çıktının neye benzediğinin tarifi ve sürümlerin karşılaştırılabilmesi için her çıktıyı puanlayan bir değerlendirici (kod, bir insan veya başka bir model).

[Araç çağırma (tool calling)](https://broadrouter.com/tr/glossary/tool-calling/)

Araç çağırma (tool calling), fonksiyon çağırma (function calling) olarak da bilinir; modelin, geliştiricinin tanımladığı bir fonksiyonu çalıştırmak için JSON argümanlı yapılandırılmış bir istek döndürdüğü bir LLM API özelliğidir. Fonksiyonu uygulama çalıştırır ve sonucu geri gönderir; model hiçbir zaman kodu kendisi çalıştırmaz.

[Hakem olarak LLM (LLM-as-a-judge)](https://broadrouter.com/tr/glossary/llm-as-judge/)

LLM-as-a-judge (hakem olarak LLM), bir dil modelinin diğer model çıktılarını notlandırdığı bir değerlendirme yöntemidir: ya tek bir yanıtı bir rubriğe göre puanlar ya da iki yanıttan daha iyisini seçer. İnsan yargısına çok daha düşük maliyetle yaklaşır, ancak ilk veya daha uzun yanıtı kayırmak gibi bilinen yanlılıkları vardır.

[Sıcaklık (temperature)](https://broadrouter.com/tr/glossary/temperature/)

Sıcaklık (temperature), bir dil modelinin çıktısının ne kadar rastgele olacağını belirleyen bir örnekleme parametresidir. Model, token puanlarını olasılığa çevirmeden önce sıcaklığa böler: düşük değerlerde en olası token baskın çıkar, yüksek değerler dağılımı düzleştirir ve daha az olası token'lar daha sık seçilir.

[Base URL (temel URL)](https://broadrouter.com/tr/glossary/base-url/)

Base URL (temel URL), https://api.example.com/v1 gibi, bir istemcinin /chat/completions gibi her uç nokta yolunun önüne eklediği sabit kök adrestir. OpenAI uyumlu SDK'larda base URL, API anahtarı ve model kimliğiyle birlikte değiştirildiğinde aynı kod farklı bir sağlayıcıya yönelir.

[Gecikme (latency)](https://broadrouter.com/tr/glossary/latency/)

Gecikme (latency), bir dil modeli API'sinde, isteğin gönderilmesinden son çıktı token'ının alınmasına kadar geçen süredir. İlk token süresi ile üretim süresinin toplamıdır ve genellikle ortalama yerine p50 ve p95 gibi yüzdeliklerle raporlanır.

[İlk token süresi (TTFT)](https://broadrouter.com/tr/glossary/time-to-first-token/)

İlk token süresi (time to first token, TTFT), bir dil modeline istek gönderildiği andan ilk çıktı token'ının geldiği ana kadar geçen süredir. Ağ süresini, sunucudaki kuyruk beklemesini ve modelin tüm istemi okuduğu ön doldurma (prefill) adımını içerir; bu yüzden istem uzunluğu ve yükle birlikte artar.

[İşlem hacmi (throughput)](https://broadrouter.com/tr/glossary/throughput/)

İşlem hacmi (throughput), LLM sunumunda bir sistemin tüm eşzamanlı isteklerde birim zamanda tamamladığı toplam iş miktarıdır; genellikle saniyedeki çıktı token'ı veya saniyedeki istek olarak ölçülür. Tek bir isteğin token'larını ne kadar hızlı aldığını gösteren akış başına hızdan farklıdır.

## Sık sorulan sorular

### Bir LLM eval setinde kaç örnek gerekir?

Büyük gerilemeleri yakalamak için elli yeterli; 5 ile 10 puan civarındaki farkları görmek için 200. Kapsam, boyuttan daha önemli; bu yüzden her görev türünü ve bilinen başarısız vakalarınızı ekleyin.

### LLM hakem (LLM-as-a-judge) güvenilir mi?

Kısmen. MT-Bench çalışmasında güçlü hakemler insan tercihleriyle zamanın %80'inden fazlasında uyuştu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynı. Ama konum, uzunluk ve kendini kayırma yanlılığı da gösterdiler; bu yüzden yanlılığı giderin ve örneklem kontrolleri yapın.

### Hakem model, test edilen modelle aynı mı olmalı?

Hayır. Hakemler kendi yanıtlarına benzeyen yanıtları kayırma eğilimindedir. Farklı bir model ailesinden hakem kullanın ve tüm karşılaştırma boyunca tek bir sürüme sabitleyin.

### LLM değerlendirmesinde konum yanlılığı nedir?

Hakemin, kaliteden bağımsız olarak önce (ya da ikinci) gösterilen yanıtı tercih etmesidir. Her çifti sıra değiştirilmiş olarak iki kez değerlendirip yalnızca iki sıra da aynı fikirdeyse galibiyet sayarak düzeltin.

### Maliyet ve gecikmeyi aynı eval'de karşılaştırmalı mıyım?

Evet. Her eval çağrısı için token'ları ve süreyi kaydedin. İki puan daha yüksek skor alan ama üç kat maliyetli ya da üç kat yavaş bir model yine de yanlış bir geçiş olabilir.

## Okumaya devam edin

-   [LLM API sağlayıcısı nasıl seçilir: 20 maddelik kontrol listesi](https://broadrouter.com/tr/blog/choose-llm-api-provider-checklist/)
-   [OpenAI uyumlu API'ye geçiş: adım adım kontrol listesi](https://broadrouter.com/tr/blog/openai-compatible-api-migration-checklist/)
-   [Arapça için LLM API seçimi: neler test edilmeli?](https://broadrouter.com/tr/blog/choosing-an-llm-for-arabic/)
-   [LLM API kullanım günlüğü: kullanıcı ve özellik başına maliyet, PII yok](https://broadrouter.com/tr/blog/llm-api-usage-logging/)
-   [LLM gecikmesi: TTFT, saniye başına token ve uçtan uca süre](https://broadrouter.com/tr/blog/llm-latency-ttft-throughput/)
-   [İnce ayardan önce: çözülecek sorunu tanımlayın](https://broadrouter.com/tr/blog/fine-tuning-readiness/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği](https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/)
-   [Rehber: OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/)
-   [Rehber: Akıl yürüten model neden boş yanıt döndürür?](https://broadrouter.com/tr/guides/reasoning-tokens-empty-response/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**Kaynaklar**

-   [Zheng vd., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685 (2026-11-14 tarihinde alındı)](https://arxiv.org/abs/2306.05685)
-   [Arize dokümantasyonu, değerlendirici en iyi uygulamaları (2026-11-14 tarihinde alındı)](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [BroadNet Inference API başvurusu (2026-11-14 tarihinde alındı) (İngilizce)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-evaluate-llm-before-switching&utm_content=sources)
-   [BroadNet Inference makine tarafından okunabilir fiyatlar, pricing.json (2026-11-14 tarihinde alındı) (İngilizce)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-evaluate-llm-before-switching&utm_content=sources)
