---
title: "LLM eval کیا ہے؟ ماڈل آؤٹ پٹ کی جانچ سمجھیں | BroadRouter"
description: "Eval ایک دہرایا جا سکنے والا ٹیسٹ سیٹ ہے جو LLM آؤٹ پٹ کو آپ کے معیار پر اسکور کرتا ہے۔ اسے کیسے بنائیں، گریڈ کیسے کریں، اور ماڈل بدلنے سے پہلے کیوں چلائیں۔"
url: https://broadrouter.com/ur/glossary/eval/
lang: ur
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

یہ صفحہ انگریزی سے AI کی مدد سے ترجمہ کیا گیا ہے۔ [انگریزی اصل پڑھیں](https://broadrouter.com/glossary/eval/) (اپ ڈیٹ: 2026-11-16).

# Eval (LLM ایویلیوایشن)

اپ ڈیٹ 2026-11-16

Eval (evaluation کا مخفف) کسی لینگویج ماڈل یا پرامپٹ کا دہرایا جا سکنے والا ٹیسٹ ہے: ان پٹس کا ایک مقررہ سیٹ، اچھے آؤٹ پٹ کی وضاحت، اور ایک گریڈر (کوڈ، انسان یا دوسرا ماڈل) جو ہر آؤٹ پٹ کو اسکور کرتا ہے، تاکہ مختلف ورژنز کا موازنہ ہو سکے۔

دوسرے نام: eval، LLM ایویلیوایشن، ماڈل کی جانچ، llm eval kya hai، evals، LLM evaluation، model evaluation، LLM testing، eval set

Eval پرامپٹ اور ماڈل کے لیے یونٹ ٹیسٹ ہے: ہر بار وہی ان پٹس، پاس ہونے کا واضح معیار، اور ایسا اسکور جس کا موازنہ ہو سکے۔

## یہ کیسے کام کرتا ہے

Eval کے تین حصے ہوتے ہیں:

1.  **کیسز۔** حقیقی استعمال سے لیے گئے ان پٹس، ایج کیسز سمیت۔ Anthropic کی گائیڈ ایسی مثالیں گنواتی ہے جیسے غیر متعلقہ ان پٹ، بہت لمبا ان پٹ اور مبہم کیسز “where even humans would find it hard to reach an assessment consensus.” (ترجمہ: جہاں انسانوں کے لیے بھی جائزے پر اتفاق کرنا مشکل ہو۔)
2.  **معیار۔** اچھا جواب کیسا دکھتا ہے: کوئی درست قدر، کوئی لازمی فیلڈ، کوئی لہجہ، کوئی حقیقت جو لازماً آنی چاہیے۔
3.  **گریڈر۔** کوئی چیز جو ہر آؤٹ پٹ کو اسکور کرے۔

| گریڈر | کس کے لیے اچھا | کمزوری |
| --- | --- | --- |
| کوڈ (exact match، JSON Schema، regex) | کلاسیفکیشن، ایکسٹریکشن، [اسٹرکچرڈ آؤٹ پٹ](https://broadrouter.com/ur/glossary/structured-output/) | کھلے جواب والے متن کو نہیں پرکھ سکتا |
| انسان | باریکیاں، لہجہ، نئے کام | سست اور مہنگا |
| ماڈل ([LLM-as-judge](https://broadrouter.com/ur/glossary/llm-as-judge/)) | بڑے پیمانے پر کھلے جوابات | اس کے اپنے تعصبات ہوتے ہیں |

Anthropic جہاں ممکن ہو خودکاری کی سفارش کرتا ہے اور کہتا ہے “Prioritize volume over quality” (ترجمہ: معیار سے زیادہ مقدار کو ترجیح دیں): قدرے زیادہ شور والی خودکار گریڈنگ کے ساتھ زیادہ کیسز، چند ہاتھ سے گریڈ کیے گئے کیسز سے بہتر ہیں۔ وہ یہ بھی تجویز کرتا ہے کہ گریڈنگ اس ماڈل سے مختلف ماڈل سے کریں جس نے آؤٹ پٹ بنایا۔

## یہ کیوں اہم ہے

-   **ماڈل یا فراہم کنندہ بدلنا۔** عوامی بینچ مارکس شاذ و نادر ہی آپ کے کام سے میل کھاتے ہیں۔ ایمبیڈنگ ماڈلز کے لیے بھی MTEB بینچ مارک نے پایا کہ “no particular text embedding method dominates across all tasks.” (ترجمہ: کوئی ایک ٹیکسٹ ایمبیڈنگ طریقہ تمام کاموں میں سب سے آگے نہیں رہتا۔) آپ کی اپنی eval ہی قابلِ بھروسہ موازنہ ہے۔ دیکھیں [ماڈل بدلنے سے پہلے LLM کو کیسے پرکھیں](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/)۔
-   **پرامپٹ میں تبدیلیاں۔** ایک کیس کی درستی اکثر دوسرا کیس توڑ دیتی ہے۔ ہر پرامپٹ ترمیم پر پورا سیٹ دوبارہ چلائیں۔
-   **لاگت کے سمجھوتے۔** Eval تاثرات کے بجائے اعداد سے دکھاتی ہے کہ کسی خاص مرحلے کے لیے سستا ماڈل کافی اچھا ہے یا نہیں۔
-   **حفاظت۔** صرف سیدھے راستوں کے لیے نہیں، [ہیلوسینیشنز](https://broadrouter.com/ur/glossary/hallucination/)، انکار اور انجیکشن کی کوششوں کے لیے بھی کیسز شامل کریں۔

## BroadNet Inference پر

BroadNet کی دستاویزات میں کوئی evals پروڈکٹ درج نہیں۔ اپنا eval سیٹ اپنے کوڈ سے OpenAI-compatible اینڈپوائنٹ پر چلائیں، اور ماڈلز کے موازنے کے لیے صرف ماڈل ID بدلیں۔ ریزننگ ماڈلز ریزننگ کو `max_tokens` میں گنتے ہیں، اس لیے انہیں گنجائش دیں، ورنہ کوئی کیس غلط جواب کے بجائے خالی جواب سے ناکام ہو سکتا ہے۔ [GLM 5.3 بمقابلہ DeepSeek V4.1 Flash](https://broadrouter.com/ur/blog/glm-5-3-vs-deepseek-v4-1-flash/) والی پوسٹ ایسے ہی ایک موازنے کی مثال ہے۔

## عام سوالات

### Eval اور بینچ مارک میں کیا فرق ہے؟

بینچ مارک ایک عوامی ٹیسٹ سیٹ ہے جس سے ماڈلز کا عمومی موازنہ ہوتا ہے۔ Eval عموماً آپ کا اپنا سیٹ ہوتا ہے، آپ کے حقیقی کاموں سے بنا، اور بتاتا ہے کہ آپ کی پروڈکٹ پر ماڈل کیسا کرتا ہے۔

### Eval میں کتنے ٹیسٹ کیسز چاہییں؟

کوئی مقررہ تعداد نہیں۔ Anthropic کی رہنمائی چند ہاتھ سے گریڈ کیے گئے کیسز کے بجائے خودکار گریڈنگ والے زیادہ کیسز کے حق میں ہے؛ حقیقی ٹریفک سے درجنوں کیسز سے شروع کریں اور جیسے جیسے ناکامیاں ملیں، سیٹ بڑھائیں۔

### کیا eval کے لیے temperature کو 0 رکھوں؟

وہی سیٹنگز استعمال کریں جو پروڈکشن میں چلائیں گے۔ اگر ہر رن میں آؤٹ پٹ بدلتا ہے تو ہر کیس کو کئی بار اسکور کریں اور الگ الگ نتائج کے بجائے اوسط کا موازنہ کریں۔

## یہ بھی دیکھیں

-   [LLM-as-a-judge (LLM جج)](https://broadrouter.com/ur/glossary/llm-as-judge/) (اصطلاح)
-   [ہیلوسینیشن (hallucination)](https://broadrouter.com/ur/glossary/hallucination/) (اصطلاح)
-   [اسٹرکچرڈ آؤٹ پٹ (structured output)](https://broadrouter.com/ur/glossary/structured-output/) (اصطلاح)
-   [ٹمپریچر (temperature)](https://broadrouter.com/ur/glossary/temperature/) (اصطلاح)
-   [گارڈریلز (LLM guardrails)](https://broadrouter.com/ur/glossary/guardrails/) (اصطلاح)
-   [LLM بینچ مارک (LLM benchmark)](https://broadrouter.com/ur/glossary/llm-benchmark/) (اصطلاح)
-   [BroadNet Inference کے ساتھ OpenAI Python SDK استعمال کریں](https://broadrouter.com/ur/guides/openai-python-sdk/) (گائیڈ)
-   [فراہم کنندہ بدلنے سے پہلے LLM کی جانچ کیسے کریں](https://broadrouter.com/ur/blog/evaluate-llm-before-switching/) (مضمون)
-   [OpenAI-compatible API پر منتقلی: مکمل چیک لسٹ](https://broadrouter.com/ur/blog/openai-compatible-api-migration-checklist/) (مضمون)
-   [GLM 5.3 بمقابلہ DeepSeek V4.1 Flash: کون سا چنیں اور کب](https://broadrouter.com/ur/blog/glm-5-3-vs-deepseek-v4-1-flash/) (مضمون)

اسے اپنے اصل کام پر آزمائیں۔ نئے اکاؤنٹس Gemma اور ٹرانسکرپشن کے لیے US$5 کے کریڈٹ سے شروع ہوتے ہیں۔ DeepSeek، GLM، اور Qwen3.8 کے لیے ٹاپ اپ ضروری ہے۔

[شروع کریں](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ur-glossary-eval&utm_content=page-cta) ·

**ذرائع**

-   [Anthropic، کامیابی کے معیار طے کرنا اور ایویلیوایشنز بنانا (ٹیسٹ تیار کرنا) (جانچ: 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng اور ساتھی، Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (جانچ: 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff اور ساتھی، MTEB: Massive Text Embedding Benchmark (arXiv) (جانچ: 2026-11-16)](https://arxiv.org/abs/2210.07316)
