RAG memberi model sebuah buku terbuka: sebelum model menjawab, kode Anda mencari halaman yang relevan dan menaruhnya di prompt.
Cara kerjanya
Istilah ini berasal dari Lewis dkk. (2020). Mereka memasangkan model generator (“parametric memory”, memori parametrik) dengan “a dense vector index of Wikipedia” (terjemahan: indeks vektor padat dari Wikipedia; “non-parametric memory”, memori non-parametrik) yang diakses lewat retriever neural, dan melaporkan hasil yang lebih baik dalam tanya-jawab domain terbuka dibanding model yang hanya mengandalkan bobotnya.
Pipeline RAG modern dengan API LLM biasanya seperti ini:
- Indeks. Pecah dokumen menjadi chunk, ubah masing-masing menjadi embeddings, lalu simpan di vector database, sering kali berdampingan dengan indeks kata kunci.
- Ambil. Buat embedding dari pertanyaan pengguna dan ambil chunk yang paling cocok, misalnya 5 sampai 20.
- Hasilkan. Taruh chunk tersebut di prompt dengan instruksi untuk menjawab hanya dari situ dan mengutipnya. Kirim ke model chat.
Model tidak pernah mencari sendiri. Kualitas retrieval menentukan batas atasnya: jika bagian yang tepat tidak terambil, model tidak bisa memakainya.
Kenapa ini penting
- Kebaruan. Bobot model berhenti di batas data pelatihannya. RAG memungkinkan model menjawab dari daftar harga atau kebijakan hari ini.
- Biaya. Mengirim 10 chunk memakan jauh lebih sedikit token input daripada mengirim seluruh korpus untuk setiap pertanyaan.
- Keterlacakan. Jawaban bisa mengutip bagian sumbernya, yang mendukung grounding dan membuat halusinasi lebih mudah dikenali.
- Urutan berpengaruh. Model memanfaatkan awal dan akhir prompt panjang lebih baik daripada bagian tengahnya. Taruh bagian terbaik di depan. Lihat lost in the middle.
Di BroadNet Inference
BroadNet menangani tahap generasi. Dokumentasinya tidak mencantumkan endpoint embeddings, jadi retriever membutuhkan model embedding terpisah atau pencarian kata kunci. DeepSeek V4.1 Flash dan GLM 5.3 menerima konteks hingga 1.048.576 token, sehingga retrieval yang longgar (atau tanpa retrieval untuk korpus kecil) menjadi praktis. Tulisan konteks panjang vs RAG membandingkan keduanya dari sisi biaya dan recall, dan pencarian RAG bahasa Arab membahas normalisasi dan retrieval hibrida untuk bahasa Arab.
Kesalahan umum
- Menyalahkan model padahal masalahnya di retriever. Catat chunk mana yang diambil untuk setiap jawaban.
- Chunk yang memotong tabel atau kalimat di tengah.
- Tidak ada instruksi untuk menjawab “tidak ditemukan”. Tanpa itu, model mengisi kekosongan dari ingatannya.