Pinapalitan ng LLM-as-a-judge ng isang model call ang taong nagma-marka: ibigay ang tanong, ang sagot at ang rubric, at basahin ang score na ibinalik.
Paano ito gumagana
Malalim na pinag-aralan ang method nina Zheng et al. (2023), na bumuo ng MT-Bench (mga multi-turn na tanong) at Chatbot Arena (crowdsourced na head-to-head na boto) para i-test ito. Ang pangunahing resulta nila: sumang-ayon ang GPT-4 bilang judge sa mga preference ng expert at ng crowd “at over 80%” (Salin ng BroadRouter: “nang mahigit 80%”), kapareho ng antas ng pagsang-ayon ng tao sa tao.
Dalawang karaniwang setup:
- Single-answer grading. Nagbibigay ang judge ng score sa iisang output sa isang scale, halimbawa 1 hanggang 5, batay sa nakasulat na criteria. Tinatawag ito ng graders guide ng OpenAI na
score_modelgrader na nagbabalik ng “a numeric score based on the prompt within the given range.” (Salin ng BroadRouter: “isang numerong score batay sa prompt sa loob ng ibinigay na range.”) - Pairwise comparison. Nakikita ng judge ang dalawang sagot sa parehong tanong at pinipili ang mas mahusay, o tabla.
Kadalasang kasama sa judge prompt ang orihinal na tanong, ang sagot, isang reference answer kung mayroon ka, at ang rubric. Humingi ng maikling dahilan bago ang score, at limitahan ang score gamit ang structured output para ma-parse ito ng code mo.
Bakit ito mahalaga
Hindi kayang palakihin ang manual na pagma-marka ng tao para sa libu-libong eval case kada pagbabago ng prompt. Kaya ito ng judge, pero may dala itong mga bias na sinukat nina Zheng et al.:
| Bias | Ano ang nangyayari | Paano bawasan |
|---|---|---|
| Position | Pinapaboran ang una (o pangalawang) sagot | Pagpalitin ang ayos at hingin na magtugma |
| Verbosity | Pinapaboran ang mas mahahabang sagot | Rubric na ginagantimpalaan ang pagiging maikli; limit sa haba |
| Self-enhancement | Pinapaboran ang istilo ng sarili nitong model | Gumamit ng ibang model bilang judge |
Mahina rin ang mga judge sa pag-check ng math at mga fact na hindi nila mabe-verify. Para doon, bigyan ang judge ng reference answer, o gumamit ng mga check na nakabatay sa code. Maling kumpiyansa ang ibinibigay ng judge na nakakaligtaan ang mga hallucination.
Sa BroadNet Inference
Walang hosted grading service ang BroadNet; ikaw mismo ang susulat ng judge call laban sa chat completions endpoint. Sinisingil ang mga judge call gaya ng anumang request, kaya nagdadagdag ng input at output token kada case ang judge na nagbabasa ng mahahabang sagot. Tantiyahin ang isang run gamit ang LLM API cost calculator. Kung reasoning model ang judge, mag-iwan ng puwang sa max_tokens, dahil kasama rito ang reasoning. Para sa mas malawak na proseso, tingnan ang i-evaluate ang LLM bago lumipat.