BroadRouter
Mulai

RAG (retrieval-augmented generation)

Diperbarui

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

Disebut juga: RAG, apa itu RAG, retrieval-augmented generation, retrieval augmented generation, pipeline RAG, generasi berbasis pengambilan, RAG pipeline, retrieval-augmented LLM

RAG memberi model sebuah buku terbuka: sebelum model menjawab, kode Anda mencari halaman yang relevan dan menaruhnya di prompt.

Cara kerjanya

Istilah ini berasal dari Lewis dkk. (2020). Mereka memasangkan model generator (“parametric memory”, memori parametrik) dengan “a dense vector index of Wikipedia” (terjemahan: indeks vektor padat dari Wikipedia; “non-parametric memory”, memori non-parametrik) yang diakses lewat retriever neural, dan melaporkan hasil yang lebih baik dalam tanya-jawab domain terbuka dibanding model yang hanya mengandalkan bobotnya.

Pipeline RAG modern dengan API LLM biasanya seperti ini:

  1. Indeks. Pecah dokumen menjadi chunk, ubah masing-masing menjadi embeddings, lalu simpan di vector database, sering kali berdampingan dengan indeks kata kunci.
  2. Ambil. Buat embedding dari pertanyaan pengguna dan ambil chunk yang paling cocok, misalnya 5 sampai 20.
  3. Hasilkan. Taruh chunk tersebut di prompt dengan instruksi untuk menjawab hanya dari situ dan mengutipnya. Kirim ke model chat.

Model tidak pernah mencari sendiri. Kualitas retrieval menentukan batas atasnya: jika bagian yang tepat tidak terambil, model tidak bisa memakainya.

Kenapa ini penting

  • Kebaruan. Bobot model berhenti di batas data pelatihannya. RAG memungkinkan model menjawab dari daftar harga atau kebijakan hari ini.
  • Biaya. Mengirim 10 chunk memakan jauh lebih sedikit token input daripada mengirim seluruh korpus untuk setiap pertanyaan.
  • Keterlacakan. Jawaban bisa mengutip bagian sumbernya, yang mendukung grounding dan membuat halusinasi lebih mudah dikenali.
  • Urutan berpengaruh. Model memanfaatkan awal dan akhir prompt panjang lebih baik daripada bagian tengahnya. Taruh bagian terbaik di depan. Lihat lost in the middle.

Di BroadNet Inference

BroadNet menangani tahap generasi. Dokumentasinya tidak mencantumkan endpoint embeddings, jadi retriever membutuhkan model embedding terpisah atau pencarian kata kunci. DeepSeek V4.1 Flash dan GLM 5.3 menerima konteks hingga 1.048.576 token, sehingga retrieval yang longgar (atau tanpa retrieval untuk korpus kecil) menjadi praktis. Tulisan konteks panjang vs RAG membandingkan keduanya dari sisi biaya dan recall, dan pencarian RAG bahasa Arab membahas normalisasi dan retrieval hibrida untuk bahasa Arab.

Kesalahan umum

  • Menyalahkan model padahal masalahnya di retriever. Catat chunk mana yang diambil untuk setiap jawaban.
  • Chunk yang memotong tabel atau kalimat di tengah.
  • Tidak ada instruksi untuk menjawab “tidak ditemukan”. Tanpa itu, model mengisi kekosongan dari ingatannya.

Pertanyaan umum

Apakah RAG sama dengan fine-tuning?

Tidak. RAG menambahkan dokumen ke prompt saat permintaan dan tidak mengubah apa pun pada model. Fine-tuning mengubah bobot model. RAG lebih mudah diperbarui; Anda cukup mengindeks ulang dokumen, bukan melatih ulang.

Apakah RAG butuh vector database?

Tidak selalu. Pencarian kata kunci, query SQL, atau indeks kecil di memori bisa berfungsi sebagai retriever. Vector database membantu saat dokumen Anda banyak dan butuh kecocokan semantik.

Apakah context window 1 juta token menggantikan RAG?

Kadang-kadang. Jika seluruh korpus muat dan sering ditanyakan dengan caching, Anda bisa mengirim semuanya. Untuk korpus yang besar atau cepat berubah, retrieval tetap lebih murah dan lebih cepat per pertanyaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity