BroadRouter

AI hallucination

Na-update

Ang hallucination ay output ng language model na kapani-paniwala pero mali, gawa-gawa o hindi suportado ng input na ibinigay dito, gaya ng inimbentong citation, maling numero o API na hindi umiiral. Nangyayari ito dahil hinuhulaan ng model ang malamang na text sa halip na mag-check ng facts.

Tinatawag ding: hallucination, AI hallucination, LLM hallucination, nag-iimbento ang AI, mali ang sagot ng AI, confabulation

Kamukhang-kamukha ng tamang sagot ang hallucination. Iyan mismo ang dahilan kung bakit ito magastos.

Paano ito gumagana

Isinusulat ng language model ang pinaka-kapani-paniwalang susunod na mga token batay sa training nito at sa prompt. Walang bahagi ng prosesong iyon ang nagche-check ng fact laban sa totoong mundo. Kapag hindi alam ng model ang sagot, may makukuha pa rin itong sagot na mukhang kapani-paniwala.

Sa isang paper noong 2025, ipinapaliwanag nina Kalai na nananatili ang hallucination dahil “training and evaluation procedures reward guessing over acknowledging uncertainty.” (Salin ng BroadRouter: “ginagantimpalaan ng training at evaluation ang panghuhula kaysa sa pag-amin ng kawalang-katiyakan.”) Karamihan sa mga benchmark ay nagbibigay ng puntos sa tamang hula at wala sa hindi pagsagot, kaya tinu-tune ang mga model para maging magaling na test-taker. Tinutunton din nila ang mga error sa isang statistical na pinagmulan: kung hindi maaasahang matukoy ng model kung tama o mali ang isang pahayag, makakabuo ang pretraining ng maling pahayag.

Mga karaniwang anyo nito sa trabaho sa API:

  • inimbentong citation, URL o quote
  • maling numero sa buod ng isang tamang dokumento
  • mga API method o parameter na hindi umiiral
  • mga sagot sa tanong na hindi sakop ng ibinigay na context

Bakit ito mahalaga

Sa mga susunod na hakbang lumalabas ang gastos: support bot na nag-imbento ng refund policy, report na mali ang total, code na tumatawag ng function na wala naman. Mura ang mga ayos kumpara roon:

  • I-ground ang sagot. Ilagay ang source text sa prompt o kunin ito gamit ang RAG. Nakita nina Lewis na mas “factual” ang retrieval-augmented generation kaysa sa baseline na umaasa lang sa parameters ng model. Tingnan ang grounding.
  • Payagan ang “hindi ko alam”. Isa sa mga pangunahing hakbang sa listahan ng Anthropic ang tahasang pagpayag sa model na umamin na hindi ito sigurado.
  • Humingi ng quote, saka i-verify. Ipabanggit sa model ang sumusuportang quote para sa bawat claim at tanggalin ang mga claim na wala nito.
  • Sukatin. Gumawa ng eval na may mga tanong na walang sagot sa context, at bantayan kung gaano kadalas mag-imbento ang model. Puwedeng i-flag ng logprobs ang mga sagot na mababa ang kumpiyansa, kung ibinabalik ito ng API.
  • I-check sa code. Puwedeng i-verify ang mga total, petsa at ID nang walang model.

Nakakatulong ang pagbaba ng temperature sa pag-anod sa mahabang text, pero hindi sa kumpiyansang pagkakamali.

Sa BroadNet Inference

Hindi naglalathala ang docs ng BroadNet ng hallucination rate para sa mga model nito at walang nakalistang guardrails o fact-checking na feature, kaya nasa application mo ang mga kontrol na ito. Nakakatulong sa grounding ang malaking context: tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng 1,048,576 token kada request, sapat para isama ang buong source documents. Para sa mga Arabic retrieval pipeline, tingnan ang Arabic RAG; para sa pag-check ng mga na-extract na field laban sa larawan, tingnan ang gabay sa invoice.

Mga tanong

Bakit nagha-hallucinate ang mga LLM?

Tinrain sila na bumuo ng malamang na text, at ayon kina Kalai, mas ginagantimpalaan ng training at mga benchmark ang kumpiyansang hula kaysa sa pag-amin na hindi sigurado. May puntos ang hula; walang puntos ang "hindi ko alam".

Puwede bang tuluyang mawala ang hallucination?

Walang paraan na tuluyang nag-aalis nito. Nababawasan ito ng grounding sa mga dokumento, pagpayag na sumagot ng "hindi ko alam", mga citation at pag-check sa code. Ayon sa gabay ng Anthropic, binabawasan ng mga technique na ito ang hallucination pero hindi tuluyang inaalis.

Napipigilan ba ng mas mababang temperature ang hallucination?

Nababawasan nito ang random na pagpili ng salita pero hindi ang kumpiyansang pagkakamali. Puwedeng ibigay ng model ang parehong maling sagot bawat beses kahit temperature 0.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity