---
title: "LLM eval nedir? Model çıktısını test etmek | BroadRouter"
description: "Eval, LLM çıktılarını sizin ölçütlerinize göre puanlayan tekrarlanabilir bir test setidir. Nasıl kurulur, nasıl puanlanır, model değiştirmeden önce neden şarttır?"
url: https://broadrouter.com/tr/glossary/eval/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/eval/) (güncelleme: 2026-11-16).

# Eval (LLM değerlendirmesi)

Güncellendi 2026-11-16

Eval (evaluation, yani değerlendirme kelimesinin kısaltması), bir dil modelinin veya istemin tekrarlanabilir bir testidir: sabit bir girdi seti, iyi bir çıktının neye benzediğinin tarifi ve sürümlerin karşılaştırılabilmesi için her çıktıyı puanlayan bir değerlendirici (kod, bir insan veya başka bir model).

Diğer adları: eval, evals, LLM değerlendirmesi, model değerlendirmesi, LLM testi, değerlendirme seti, LLM evaluation, model evaluation, LLM testing, eval set

Eval, bir istem ve model için birim testidir: her seferinde aynı girdiler, net bir geçme ölçütü ve karşılaştırabileceğiniz bir puan.

## Nasıl çalışır

Bir eval’in üç parçası vardır:

1.  **Vakalar.** Gerçek kullanımdan alınmış girdiler ve uç durumlar. Anthropic’in rehberi alakasız girdi, aşırı uzun girdi ve “where even humans would find it hard to reach an assessment consensus” (çeviri: insanların bile değerlendirmede uzlaşmakta zorlanacağı) belirsiz vakalar gibi örnekler sayar.
2.  **Ölçütler.** İyi bir yanıtın neye benzediği: kesin bir değer, zorunlu bir alan, bir ton, mutlaka geçmesi gereken bir bilgi.
3.  **Değerlendirici.** Her çıktıyı puanlayan bir şey.

| Değerlendirici | Ne için iyi | Zayıf yönü |
| --- | --- | --- |
| Kod (tam eşleşme, JSON Schema, regex) | Sınıflandırma, çıkarma, [yapılandırılmış çıktı](https://broadrouter.com/tr/glossary/structured-output/) | Açık uçlu metni değerlendiremez |
| İnsan | İncelik, ton, yeni görevler | Yavaş ve maliyetli |
| Model ([LLM-as-judge](https://broadrouter.com/tr/glossary/llm-as-judge/)) | Ölçekte açık uçlu yanıtlar | Kendi önyargıları vardır |

Anthropic mümkün olan yerde otomasyonu önerir ve “Prioritize volume over quality” (çeviri: kaliteden çok hacme öncelik verin) der: biraz daha gürültülü otomatik puanlamaya sahip daha fazla vaka, elle puanlanan birkaç vakadan iyidir. Ayrıca puanlamayı, çıktıyı üreten modelden farklı bir modelle yapmayı önerir.

## Neden önemli

-   **Model veya sağlayıcı değiştirmek.** Herkese açık benchmark’lar nadiren sizin görevinizle örtüşür. Gömme modellerinde bile MTEB benchmark’ı “no particular text embedding method dominates across all tasks” (çeviri: hiçbir metin gömme yöntemi tüm görevlerde üstün gelmiyor) sonucunu buldu. Tek güvenilir karşılaştırma kendi eval’inizdir. Bkz. [model değiştirmeden önce bir LLM nasıl değerlendirilir](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/).
-   **İstem değişiklikleri.** Bir vaka için yapılan düzeltme çoğu zaman bir başkasını bozar. Her istem düzenlemesinde setin tamamını yeniden çalıştırın.
-   **Maliyet dengeleri.** Bir eval, daha ucuz bir modelin belirli bir adım için yeterince iyi olup olmadığını izlenimlerle değil sayılarla gösterir.
-   **Güvenlik.** Yalnızca sorunsuz senaryolar için değil, [halüsinasyonlar](https://broadrouter.com/tr/glossary/hallucination/), reddetmeler ve enjeksiyon girişimleri için de vakalar ekleyin.

## BroadNet Inference’ta

BroadNet’in belgeleri bir eval ürünü listelemez. Eval setinizi kendi kodunuzdan OpenAI uyumlu uç noktaya karşı çalıştırın; modelleri karşılaştırmak için yalnızca model kimliğini değiştirin. Akıl yürütme modelleri akıl yürütmeyi `max_tokens` sınırına dahil eder; bu yüzden onlara yer bırakın, yoksa bir vaka yanlış bir yanıtla değil boş bir yanıtla başarısız olabilir. [GLM 5.3 ile DeepSeek V4.1 Flash karşılaştırması](https://broadrouter.com/tr/blog/glm-5-3-vs-deepseek-v4-1-flash/) yazısı, uygulamalı bir karşılaştırma örneğidir.

## Sık sorulan sorular

### Eval ile benchmark arasındaki fark nedir?

Benchmark, modelleri genel olarak karşılaştırmak için kullanılan herkese açık bir test setidir. Eval ise genellikle gerçek görevlerinizden oluşturduğunuz kendi setinizdir ve bir modelin sizin ürününüzde nasıl performans gösterdiğini söyler.

### Bir eval kaç test vakasına ihtiyaç duyar?

Sabit bir sayı yok. Anthropic'in rehberi, elle puanlanan birkaç vaka yerine otomatik puanlanan daha fazla vakayı tercih eder; gerçek trafikten alınmış onlarca vakayla başlayın ve hata buldukça seti büyütün.

### Eval'lerde sıcaklığı 0'a ayarlamalı mıyım?

Üretimde kullanacağınız ayarları kullanın. Çıktılar çalıştırmalar arasında değişiyorsa her vakayı birkaç kez puanlayın ve tek sonuçlar yerine ortalamaları karşılaştırın.

## Ayrıca bakın

-   [Hakem olarak LLM (LLM-as-a-judge)](https://broadrouter.com/tr/glossary/llm-as-judge/) (terim)
-   [Halüsinasyon (yapay zeka halüsinasyonu)](https://broadrouter.com/tr/glossary/hallucination/) (terim)
-   [Yapılandırılmış çıktı (structured output)](https://broadrouter.com/tr/glossary/structured-output/) (terim)
-   [Sıcaklık (temperature)](https://broadrouter.com/tr/glossary/temperature/) (terim)
-   [Guardrails (koruma bariyerleri)](https://broadrouter.com/tr/glossary/guardrails/) (terim)
-   [LLM benchmark (kıyaslama testi)](https://broadrouter.com/tr/glossary/llm-benchmark/) (terim)
-   [OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/) (rehber)
-   [Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) (yazı)
-   [OpenAI uyumlu API'ye geçiş: adım adım kontrol listesi](https://broadrouter.com/tr/blog/openai-compatible-api-migration-checklist/) (yazı)
-   [GLM 5.3 mü DeepSeek V4.1 Flash mı: hangisi, ne zaman kullanılmalı?](https://broadrouter.com/tr/blog/glm-5-3-vs-deepseek-v4-1-flash/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-eval&utm_content=page-cta) ·

**Kaynaklar**

-   [Anthropic, başarı kriterlerini tanımlama ve değerlendirmeler oluşturma (test geliştirme) (kontrol tarihi 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng vd., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (kontrol tarihi 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff vd., MTEB: Massive Text Embedding Benchmark (arXiv) (kontrol tarihi 2026-11-16)](https://arxiv.org/abs/2210.07316)
