BroadRouter
Magsimula

Grounding

Na-update

Ang grounding ay ang pagkonekta ng output ng language model sa mga partikular at nabe-verify na source ng impormasyon, gaya ng mga ibinigay na dokumento, search result o database record, at pag-utos dito na sumagot mula sa mga iyon. Natutunton pabalik sa source ang mga grounded na sagot at mas maliit ang tsansang may gawa-gawang fact.

Tinatawag ding: grounded generation, source grounding, grounded answers, grounded na sagot

Ang model na walang grounding ay sumasagot mula sa memorya. Ang grounded na model ay sumasagot mula sa page na nasa harap nito.

Paano ito gumagana

Tinutukoy ng Vertex AI docs ng Google ang grounding bilang “the ability to connect model output to verifiable sources of information.” (Salin ng BroadRouter: “ang kakayahang ikonekta ang output ng model sa mga nabe-verify na source ng impormasyon.”) Puwedeng web search, sarili mong mga dokumento, map service o database ang source. Anuman ang source, tatlo ang bahagi ng pattern:

  1. Kumuha ng ebidensya para sa tanong: mga retrieved na passage, buong file, larawan ng invoice, mga row mula sa SQL.
  2. Ilagay ito sa prompt kasama ang instruction na iyon lang ang pagbatayan ng sagot.
  3. Gawing ma-check ang sagot gamit ang mga quote, citation marker o link pabalik sa source.

Ang retrieval-augmented generation ang pinakakilalang method. Ipinares nina Lewis at mga kasama ang isang generator sa isang “dense vector index of Wikipedia” (dense vector index ng Wikipedia), na naa-access sa pamamagitan ng neural retriever, at iniulat nila na mas tiyak at mas factual ang mga sagot kaysa sa model na umaasa lang sa mga parameter nito. Gumagamit ng embeddings ang pagbuo ng index na iyon at madalas ng vector database.

Isang minimal na grounded prompt:

Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."

<policy>Refunds are available within 14 days of purchase.</policy>

Question: Can I get a refund after three weeks?

Sasagot ng hindi ang grounded na reply at iko-quote ang pangungusap tungkol sa 14 na araw. Puwedeng manghula ang model na walang grounding ng 30-araw na policy na mukhang karaniwan.

Para sa mahahabang input, iminumungkahi ng Anthropic ang quote-first na hakbang: para sa mga dokumentong lampas 20,000 token, ipakuha muna sa model ang mga salita-por-salitang quote, tapos sumagot mula lang sa mga quote na iyon.

Bakit ito mahalaga

  • Mas kaunting gawa-gawang fact. Inililista ng Google ang pagbaba ng hallucinations bilang pangunahing benepisyo. Ang grounding ang pinakadirektang lunas sa hallucination tungkol sa sarili mong data.
  • Bagong impormasyon. Nakapirmi ang weights ng model mula sa oras ng training. Puwedeng magbago araw-araw ang mga grounded na source nang hindi nagre-retrain.
  • Auditability. Puwedeng i-check ng tao o ng code ang isang claim na may quote.
  • Trade-off sa gastos. Input token ang ebidensya. Mas mura ang pagkuha ng limang passage kaysa sa pagpapadala ng buong manual, pero baka makaligtaan nito ang passage na mahalaga. May panganib din ng lost-in-the-middle na recall ang napakahahabang prompt.

Sa BroadNet Inference

Walang embeddings endpoint, search tool o citations feature na nakalista sa docs ng BroadNet, kaya sa code mo tumatakbo ang retrieval. Ang ibinibigay ng API ay espasyo para sa ebidensya: 1,048,576-token na context window sa DeepSeek V4.1 Flash at GLM 5.3, 262,144 sa Qwen3.8 27B, at image input sa mga model na may images o vision sa docs entry nila. Kaya totoong opsyon ang “i-paste ang buong dokumento”; ikinukumpara ng long context vs RAG ang gastos ng bawat isa, at gina-ground ng gabay sa invoice ang extraction sa isang na-scan na larawan.

Mga tanong

Pareho ba ang grounding at RAG?

Isang paraan ng grounding ang RAG. Kumukuha ito ng mga passage at idinadagdag ang mga ito sa prompt. Puwede ka ring mag-ground sa pag-paste ng buong dokumento, pag-attach ng larawan, o pagdagdag ng live search o database result.

Garantisado bang tama ang sagot kapag may grounding?

Hindi. Puwede pa ring mali ang pagbasa ng model sa source o balewalain ito. Humingi ng quote o citation at i-check na talagang nasa source ang bawat isa.

Paano ko mapapasagot ang LLM mula lang sa mga dokumento ko?

Ibigay ang mga dokumento, sabihin sa model na iyon lang ang gamitin, payagan itong sabihing wala roon ang sagot, at mag-require ng quote para sa bawat claim.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity