---
title: "Apakah itu eval LLM? Cara menguji output model | BroadRouter"
description: "Eval ialah set ujian berulang yang memberi skor kepada output LLM berdasarkan kriteria anda. Cara membina dan menggred, dan mengapa perlu sebelum menukar model."
url: https://broadrouter.com/ms/glossary/eval/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/eval/) (dikemas kini 2026-11-16).

# Eval (penilaian LLM)

Dikemas kini 2026-11-16

Eval (singkatan bagi evaluation, penilaian) ialah ujian berulang bagi model bahasa atau prompt: satu set input tetap, penerangan tentang rupa output yang baik, dan penggred (kod, manusia atau model lain) yang memberi skor kepada setiap output supaya versi boleh dibandingkan.

Juga dikenali sebagai: eval, evals, penilaian LLM, penilaian model, ujian LLM, LLM evaluation, model evaluation, LLM testing, eval set

Eval ialah ujian unit untuk prompt dan model: input yang sama setiap kali, markah lulus yang jelas, dan skor yang boleh dibandingkan.

## Cara ia berfungsi

Eval mempunyai tiga bahagian:

1.  **Kes.** Input yang diambil daripada penggunaan sebenar, termasuk kes pinggir (edge case). Panduan Anthropic menyenaraikan contoh seperti input yang tidak relevan, input yang terlalu panjang dan kes samar “where even humans would find it hard to reach an assessment consensus.” (Terjemahan BroadRouter: “di mana manusia pun sukar mencapai kata sepakat dalam penilaian.”)
2.  **Kriteria.** Rupa jawapan yang baik: nilai yang tepat, medan wajib, nada, fakta yang mesti ada.
3.  **Penggred.** Sesuatu yang memberi skor kepada setiap output.

| Penggred | Sesuai untuk | Kelemahan |
| --- | --- | --- |
| Kod (padanan tepat, JSON Schema, regex) | Pengelasan, pengekstrakan, [output berstruktur](https://broadrouter.com/ms/glossary/structured-output/) | Tidak dapat menilai teks terbuka |
| Manusia | Nuansa, nada, tugas baharu | Perlahan dan mahal |
| Model ([LLM-as-judge](https://broadrouter.com/ms/glossary/llm-as-judge/)) | Jawapan terbuka secara berskala | Ada biasnya sendiri |

Anthropic mengesyorkan automasi di mana boleh dan menyatakan “Prioritize volume over quality” (Terjemahan BroadRouter: “Utamakan jumlah berbanding kualiti”): lebih banyak kes dengan penggredan automatik yang sedikit lebih bising mengatasi beberapa kes yang digred secara manual. Ia juga mencadangkan penggredan dengan model yang berbeza daripada model yang menghasilkan output.

## Mengapa ia penting

-   **Menukar model atau penyedia.** Penanda aras awam jarang sepadan dengan tugas anda. Malah untuk model embedding, penanda aras MTEB mendapati “no particular text embedding method dominates across all tasks.” (Terjemahan BroadRouter: “tiada kaedah embedding teks tertentu yang mendominasi semua tugas.”) Eval anda sendiri ialah satu-satunya perbandingan yang boleh dipercayai. Lihat [cara menilai LLM sebelum bertukar](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/).
-   **Perubahan prompt.** Pembaikan untuk satu kes sering merosakkan kes lain. Jalankan semula set penuh pada setiap suntingan prompt.
-   **Pertukaran kos.** Eval menunjukkan sama ada model yang lebih murah cukup baik untuk sesuatu langkah, menggunakan angka dan bukannya tanggapan.
-   **Keselamatan.** Tambah kes untuk [halusinasi](https://broadrouter.com/ms/glossary/hallucination/), penolakan dan cubaan suntikan, bukan hanya untuk laluan biasa yang lancar.

## Di BroadNet Inference

Dokumentasi BroadNet tidak menyenaraikan produk eval. Jalankan set eval anda daripada kod anda sendiri terhadap endpoint yang serasi OpenAI, dengan hanya menukar ID model untuk membandingkan model. Model penaakulan mengira penaakulan dalam `max_tokens`, jadi beri mereka ruang, atau sesuatu kes boleh gagal dengan jawapan kosong dan bukannya jawapan yang salah. Artikel [GLM 5.3 vs DeepSeek V4.1 Flash](https://broadrouter.com/ms/blog/glm-5-3-vs-deepseek-v4-1-flash/) ialah satu contoh perbandingan.

## Soalan lazim

### Apakah beza eval dengan penanda aras (benchmark)?

Penanda aras ialah set ujian awam yang digunakan untuk membandingkan model secara umum. Eval biasanya set anda sendiri, dibina daripada tugas sebenar anda, dan memberitahu prestasi model pada produk anda.

### Berapa banyak kes ujian yang diperlukan oleh eval?

Tiada bilangan tetap. Panduan Anthropic lebih mengutamakan lebih banyak kes dengan penggredan automatik berbanding beberapa kes yang digred secara manual; mulakan dengan berpuluh-puluh kes daripada trafik sebenar dan tambah apabila anda menemui kegagalan.

### Patutkah saya tetapkan temperature kepada 0 untuk eval?

Gunakan tetapan yang akan anda jalankan dalam produksi. Jika output berbeza antara larian, beri skor setiap kes beberapa kali dan bandingkan purata, bukan keputusan tunggal.

## Lihat juga

-   [LLM-as-a-judge (LLM sebagai hakim)](https://broadrouter.com/ms/glossary/llm-as-judge/) (istilah)
-   [Halusinasi AI (AI hallucination)](https://broadrouter.com/ms/glossary/hallucination/) (istilah)
-   [Output berstruktur (structured output)](https://broadrouter.com/ms/glossary/structured-output/) (istilah)
-   [Temperature (suhu pensampelan)](https://broadrouter.com/ms/glossary/temperature/) (istilah)
-   [Guardrails (pagar keselamatan LLM)](https://broadrouter.com/ms/glossary/guardrails/) (istilah)
-   [Penanda aras LLM (LLM benchmark)](https://broadrouter.com/ms/glossary/llm-benchmark/) (istilah)
-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/) (panduan)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) (artikel)
-   [Beralih ke API serasi OpenAI: senarai semak migrasi](https://broadrouter.com/ms/blog/openai-compatible-api-migration-checklist/) (artikel)
-   [GLM 5.3 vs DeepSeek V4.1 Flash: yang mana patut digunakan, dan bila](https://broadrouter.com/ms/blog/glm-5-3-vs-deepseek-v4-1-flash/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-eval&utm_content=page-cta) ·

**Sumber**

-   [Anthropic, create strong empirical evaluations (develop tests) (disemak 2026-11-16)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv) (disemak 2026-11-16)](https://arxiv.org/abs/2306.05685)
-   [Muennighoff et al., MTEB: Massive Text Embedding Benchmark (arXiv) (disemak 2026-11-16)](https://arxiv.org/abs/2210.07316)
