Ang eval ay parang unit test para sa prompt at model: parehong input sa bawat pagkakataon, malinaw na pasadong marka, at score na puwedeng ikumpara.
Paano ito gumagana
Tatlo ang bahagi ng isang eval:
- Mga case. Mga input na kinuha sa totoong paggamit, kasama ang mga edge case. Naglilista ang gabay ng Anthropic ng mga halimbawa gaya ng walang kaugnayang input, sobrang habang input at malalabong case “where even humans would find it hard to reach an assessment consensus.” (Salin ng BroadRouter: “kung saan kahit mga tao ay mahihirapang magkasundo sa pagtatasa.”)
- Criteria. Ano ang hitsura ng magandang sagot: eksaktong value, kinakailangang field, tono, fact na dapat lumabas.
- Grader. Isang bagay na nagbibigay ng score sa bawat output.
| Grader | Bagay para sa | Kahinaan |
|---|---|---|
| Code (exact match, JSON Schema, regex) | Classification, extraction, structured output | Hindi kayang husgahan ang open-ended na text |
| Tao | Nuance, tono, mga bagong task | Mabagal at magastos |
| Model (LLM-as-judge) | Open-ended na sagot sa malakihang bilang | May sarili itong mga bias |
Inirerekomenda ng Anthropic na i-automate hangga’t maaari at sinasabi nitong “Prioritize volume over quality” (Salin ng BroadRouter: “Unahin ang dami kaysa kalidad”): mas mainam ang mas maraming case na may bahagyang mas maingay na automated grading kaysa sa iilang mano-manong na-grade. Iminumungkahi rin nitong mag-grade gamit ang ibang model kaysa sa model na gumawa ng output.
Bakit ito mahalaga
- Paglipat ng model o provider. Bihirang tumugma sa task mo ang mga public benchmark. Kahit sa mga embedding model, nakita ng MTEB benchmark na “no particular text embedding method dominates across all tasks.” (Salin ng BroadRouter: “walang iisang text embedding method na nangunguna sa lahat ng task.”) Ang sarili mong eval lang ang maaasahang paghahambing. Tingnan ang paano mag-evaluate ng LLM bago lumipat.
- Pagbabago ng prompt. Ang ayos para sa isang case ay madalas na sumisira sa iba. Patakbuhin ulit ang buong set sa bawat edit ng prompt.
- Trade-off sa gastos. Ipinapakita ng eval kung sapat na ang mas murang model para sa isang hakbang, gamit ang mga numero sa halip na kutob.
- Safety. Magdagdag ng mga case para sa hallucinations, refusal at injection attempt, hindi lang para sa happy path.
Sa BroadNet Inference
Walang evals na produkto na nakalista sa docs ng BroadNet. Patakbuhin ang eval set mo mula sa sarili mong code laban sa OpenAI-compatible na endpoint, at model ID lang ang palitan para ikumpara ang mga model. Ibinibilang ng mga reasoning model ang reasoning sa max_tokens, kaya bigyan sila ng espasyo, o baka pumalya ang isang case dahil walang laman ang sagot sa halip na mali ito. Isang halimbawang paghahambing ang post na GLM 5.3 vs DeepSeek V4.1 Flash.