Model tanpa grounding menjawab dari ingatannya. Model dengan grounding menjawab dari halaman yang ada di depannya.
Cara kerjanya
Dokumentasi Vertex AI Google mendefinisikan grounding sebagai “the ability to connect model output to verifiable sources of information” (terjemahan: kemampuan menghubungkan output model ke sumber informasi yang dapat diverifikasi). Sumbernya bisa berupa pencarian web, dokumen Anda sendiri, layanan peta, atau database. Apa pun sumbernya, polanya punya tiga bagian:
- Ambil bukti untuk pertanyaan itu: potongan teks hasil retrieval, seluruh file, gambar faktur, baris dari SQL.
- Masukkan ke prompt dengan instruksi untuk menjawab hanya dari bukti itu.
- Buat jawabannya bisa diperiksa dengan kutipan, penanda sitasi, atau tautan kembali ke sumber.
Retrieval-augmented generation adalah metode yang paling dikenal. Lewis dan rekan-rekannya memasangkan generator dengan “dense vector index of Wikipedia” (terjemahan: indeks vektor padat dari Wikipedia), yang diakses lewat retriever neural, dan melaporkan jawaban yang lebih spesifik dan lebih faktual dibanding model yang hanya mengandalkan parameternya. Membangun indeks itu memakai embeddings dan sering kali vector database.
Prompt grounding yang minimal:
Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."
<policy>Refunds are available within 14 days of purchase.</policy>
Question: Can I get a refund after three weeks?
Jawaban yang di-grounding akan mengatakan tidak dan mengutip kalimat 14 hari itu. Model tanpa grounding bisa saja menebak kebijakan 30 hari yang terdengar wajar.
Untuk input panjang, Anthropic menyarankan langkah kutip-dulu: untuk dokumen di atas 20.000 token, minta model mengekstrak kutipan kata per kata, lalu menjawab hanya dari kutipan itu.
Mengapa penting
- Lebih sedikit fakta karangan. Google mencantumkan berkurangnya halusinasi sebagai manfaat utama. Grounding adalah perbaikan paling langsung untuk halusinasi tentang data Anda sendiri.
- Informasi terbaru. Bobot model membeku saat pelatihan. Sumber grounding bisa berubah setiap hari tanpa pelatihan ulang.
- Dapat diaudit. Klaim yang disertai kutipan bisa diperiksa oleh orang atau oleh kode.
- Pertimbangan biaya. Bukti adalah token input. Mengambil lima potongan teks lebih murah daripada mengirim seluruh manual, tetapi bisa melewatkan bagian yang penting. Prompt yang sangat panjang juga berisiko masalah recall lost-in-the-middle.
Di BroadNet Inference
Dokumentasi BroadNet tidak mencantumkan endpoint embeddings, tool pencarian, atau fitur sitasi, jadi retrieval berjalan di kode Anda. Yang diberikan API adalah ruang untuk bukti: context window 1.048.576 token pada DeepSeek V4.1 Flash dan GLM 5.3, 262.144 pada Qwen3.8 27B, dan input gambar pada model yang entri dokumentasinya menyebut images atau vision. Ini menjadikan “tempel seluruh dokumen” pilihan yang nyata; konteks panjang vs RAG membandingkan biaya keduanya, dan panduan faktur melakukan grounding ekstraksi pada gambar hasil pindaian.