BroadRouter
Magsimula

Eval (LLM evaluation)

Na-update

Ang eval (maikli para sa evaluation) ay isang paulit-ulit na test ng language model o prompt: fixed na set ng mga input, paglalarawan kung ano ang magandang output, at grader (code, tao o ibang model) na nagbibigay ng score sa bawat output para maikumpara ang mga bersyon.

Tinatawag ding: evals, LLM evaluation, model evaluation, LLM testing, eval set, pag-test ng LLM

Ang eval ay parang unit test para sa prompt at model: parehong input sa bawat pagkakataon, malinaw na pasadong marka, at score na puwedeng ikumpara.

Paano ito gumagana

Tatlo ang bahagi ng isang eval:

  1. Mga case. Mga input na kinuha sa totoong paggamit, kasama ang mga edge case. Naglilista ang gabay ng Anthropic ng mga halimbawa gaya ng walang kaugnayang input, sobrang habang input at malalabong case “where even humans would find it hard to reach an assessment consensus.” (Salin ng BroadRouter: “kung saan kahit mga tao ay mahihirapang magkasundo sa pagtatasa.”)
  2. Criteria. Ano ang hitsura ng magandang sagot: eksaktong value, kinakailangang field, tono, fact na dapat lumabas.
  3. Grader. Isang bagay na nagbibigay ng score sa bawat output.
Grader Bagay para sa Kahinaan
Code (exact match, JSON Schema, regex) Classification, extraction, structured output Hindi kayang husgahan ang open-ended na text
Tao Nuance, tono, mga bagong task Mabagal at magastos
Model (LLM-as-judge) Open-ended na sagot sa malakihang bilang May sarili itong mga bias

Inirerekomenda ng Anthropic na i-automate hangga’t maaari at sinasabi nitong “Prioritize volume over quality” (Salin ng BroadRouter: “Unahin ang dami kaysa kalidad”): mas mainam ang mas maraming case na may bahagyang mas maingay na automated grading kaysa sa iilang mano-manong na-grade. Iminumungkahi rin nitong mag-grade gamit ang ibang model kaysa sa model na gumawa ng output.

Bakit ito mahalaga

  • Paglipat ng model o provider. Bihirang tumugma sa task mo ang mga public benchmark. Kahit sa mga embedding model, nakita ng MTEB benchmark na “no particular text embedding method dominates across all tasks.” (Salin ng BroadRouter: “walang iisang text embedding method na nangunguna sa lahat ng task.”) Ang sarili mong eval lang ang maaasahang paghahambing. Tingnan ang paano mag-evaluate ng LLM bago lumipat.
  • Pagbabago ng prompt. Ang ayos para sa isang case ay madalas na sumisira sa iba. Patakbuhin ulit ang buong set sa bawat edit ng prompt.
  • Trade-off sa gastos. Ipinapakita ng eval kung sapat na ang mas murang model para sa isang hakbang, gamit ang mga numero sa halip na kutob.
  • Safety. Magdagdag ng mga case para sa hallucinations, refusal at injection attempt, hindi lang para sa happy path.

Sa BroadNet Inference

Walang evals na produkto na nakalista sa docs ng BroadNet. Patakbuhin ang eval set mo mula sa sarili mong code laban sa OpenAI-compatible na endpoint, at model ID lang ang palitan para ikumpara ang mga model. Ibinibilang ng mga reasoning model ang reasoning sa max_tokens, kaya bigyan sila ng espasyo, o baka pumalya ang isang case dahil walang laman ang sagot sa halip na mali ito. Isang halimbawang paghahambing ang post na GLM 5.3 vs DeepSeek V4.1 Flash.

Mga tanong

Ano ang pinagkaiba ng eval at benchmark?

Ang benchmark ay public na test set na ginagamit para ikumpara ang mga model sa pangkalahatan. Ang eval ay kadalasang sarili mong set, na binuo mula sa totoong mga task mo, at sinasabi nito kung gaano kahusay ang isang model sa produkto mo.

Ilang test case ang kailangan ng isang eval?

Walang fixed na bilang. Mas pinapaboran ng gabay ng Anthropic ang mas maraming case na may automated grading kaysa sa iilang mano-manong na-grade; magsimula sa ilang dosenang kinuha mula sa totoong traffic at palakihin ito habang may nakikita kang palpak.

Dapat ko bang gawing 0 ang temperature para sa mga eval?

Gamitin ang mga setting na gagamitin mo sa production. Kung nag-iiba ang output sa bawat run, i-score ang bawat case nang ilang beses at ikumpara ang mga average sa halip na iisang resulta.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity