---
title: "Ano ang LLM eval? Paano i-test ang output ng model | BroadRouter"
description: "Ang eval ay isang paulit-ulit na test set na nagbibigay ng score sa output ng LLM ayon sa criteria mo. Paano ito buuin at i-grade, at bakit bago lumipat ng model."
url: https://broadrouter.com/fil/glossary/eval/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/eval/) (na-update noong 2026-11-16).

# Eval (LLM evaluation)

Na-update 2026-11-16

Ang eval (maikli para sa evaluation) ay isang paulit-ulit na test ng language model o prompt: fixed na set ng mga input, paglalarawan kung ano ang magandang output, at grader (code, tao o ibang model) na nagbibigay ng score sa bawat output para maikumpara ang mga bersyon.

Tinatawag ding: evals, LLM evaluation, model evaluation, LLM testing, eval set, pag-test ng LLM

Ang eval ay parang unit test para sa prompt at model: parehong input sa bawat pagkakataon, malinaw na pasadong marka, at score na puwedeng ikumpara.

## Paano ito gumagana

Tatlo ang bahagi ng isang eval:

1.  **Mga case.** Mga input na kinuha sa totoong paggamit, kasama ang mga edge case. Naglilista ang gabay ng Anthropic ng mga halimbawa gaya ng walang kaugnayang input, sobrang habang input at malalabong case “where even humans would find it hard to reach an assessment consensus.” (Salin ng BroadRouter: “kung saan kahit mga tao ay mahihirapang magkasundo sa pagtatasa.”)
2.  **Criteria.** Ano ang hitsura ng magandang sagot: eksaktong value, kinakailangang field, tono, fact na dapat lumabas.
3.  **Grader.** Isang bagay na nagbibigay ng score sa bawat output.

| Grader | Bagay para sa | Kahinaan |
| --- | --- | --- |
| Code (exact match, JSON Schema, regex) | Classification, extraction, [structured output](https://broadrouter.com/fil/glossary/structured-output/) | Hindi kayang husgahan ang open-ended na text |
| Tao | Nuance, tono, mga bagong task | Mabagal at magastos |
| Model ([LLM-as-judge](https://broadrouter.com/fil/glossary/llm-as-judge/)) | Open-ended na sagot sa malakihang bilang | May sarili itong mga bias |

Inirerekomenda ng Anthropic na i-automate hangga’t maaari at sinasabi nitong “Prioritize volume over quality” (Salin ng BroadRouter: “Unahin ang dami kaysa kalidad”): mas mainam ang mas maraming case na may bahagyang mas maingay na automated grading kaysa sa iilang mano-manong na-grade. Iminumungkahi rin nitong mag-grade gamit ang ibang model kaysa sa model na gumawa ng output.

## Bakit ito mahalaga

-   **Paglipat ng model o provider.** Bihirang tumugma sa task mo ang mga public benchmark. Kahit sa mga embedding model, nakita ng MTEB benchmark na “no particular text embedding method dominates across all tasks.” (Salin ng BroadRouter: “walang iisang text embedding method na nangunguna sa lahat ng task.”) Ang sarili mong eval lang ang maaasahang paghahambing. Tingnan ang [paano mag-evaluate ng LLM bago lumipat](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/).
-   **Pagbabago ng prompt.** Ang ayos para sa isang case ay madalas na sumisira sa iba. Patakbuhin ulit ang buong set sa bawat edit ng prompt.
-   **Trade-off sa gastos.** Ipinapakita ng eval kung sapat na ang mas murang model para sa isang hakbang, gamit ang mga numero sa halip na kutob.
-   **Safety.** Magdagdag ng mga case para sa [hallucinations](https://broadrouter.com/fil/glossary/hallucination/), refusal at injection attempt, hindi lang para sa happy path.

## Sa BroadNet Inference

Walang evals na produkto na nakalista sa docs ng BroadNet. Patakbuhin ang eval set mo mula sa sarili mong code laban sa OpenAI-compatible na endpoint, at model ID lang ang palitan para ikumpara ang mga model. Ibinibilang ng mga reasoning model ang reasoning sa `max_tokens`, kaya bigyan sila ng espasyo, o baka pumalya ang isang case dahil walang laman ang sagot sa halip na mali ito. Isang halimbawang paghahambing ang post na [GLM 5.3 vs DeepSeek V4.1 Flash](https://broadrouter.com/fil/blog/glm-5-3-vs-deepseek-v4-1-flash/).

## Mga tanong

### Ano ang pinagkaiba ng eval at benchmark?

Ang benchmark ay public na test set na ginagamit para ikumpara ang mga model sa pangkalahatan. Ang eval ay kadalasang sarili mong set, na binuo mula sa totoong mga task mo, at sinasabi nito kung gaano kahusay ang isang model sa produkto mo.

### Ilang test case ang kailangan ng isang eval?

Walang fixed na bilang. Mas pinapaboran ng gabay ng Anthropic ang mas maraming case na may automated grading kaysa sa iilang mano-manong na-grade; magsimula sa ilang dosenang kinuha mula sa totoong traffic at palakihin ito habang may nakikita kang palpak.

### Dapat ko bang gawing 0 ang temperature para sa mga eval?

Gamitin ang mga setting na gagamitin mo sa production. Kung nag-iiba ang output sa bawat run, i-score ang bawat case nang ilang beses at ikumpara ang mga average sa halip na iisang resulta.

## Tingnan din

-   [LLM-as-a-judge](https://broadrouter.com/fil/glossary/llm-as-judge/) (termino)
-   [AI hallucination](https://broadrouter.com/fil/glossary/hallucination/) (termino)
-   [Structured output](https://broadrouter.com/fil/glossary/structured-output/) (termino)
-   [Temperature](https://broadrouter.com/fil/glossary/temperature/) (termino)
-   [Guardrails (LLM guardrails)](https://broadrouter.com/fil/glossary/guardrails/) (termino)
-   [LLM benchmark](https://broadrouter.com/fil/glossary/llm-benchmark/) (termino)
-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/) (gabay)
-   [Paano mag-evaluate ng LLM bago lumipat ng provider](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/) (artikulo)
-   [Paglipat sa OpenAI-compatible API: checklist sa migration](https://broadrouter.com/fil/blog/openai-compatible-api-migration-checklist/) (artikulo)
-   [GLM 5.3 vs DeepSeek V4.1 Flash: alin ang gagamitin, at kailan](https://broadrouter.com/fil/blog/glm-5-3-vs-deepseek-v4-1-flash/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-eval&utm_content=page-cta) ·

**Mga source**

-   [Anthropic, define success criteria and build evaluations (develop tests) (sinuri noong 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (sinuri noong 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff et al., MTEB: Massive Text Embedding Benchmark (arXiv) (sinuri noong 2026-11-16)](https://arxiv.org/abs/2210.07316)
