BroadRouter
Mulakan

RAG (retrieval-augmented generation)

Dikemas kini

RAG (retrieval-augmented generation) ialah corak di mana aplikasi terlebih dahulu mendapatkan petikan yang berkaitan dengan soalan daripada stor luaran, seperti indeks carian atau vektor, kemudian menambahkannya pada prompt supaya model bahasa boleh menjawab berdasarkan teks itu dan bukan daripada ingatannya sahaja.

Juga dikenali sebagai: apakah itu RAG, penjanaan berasaskan dapatan semula, retrieval-augmented generation, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

RAG memberi model sebuah buku terbuka: sebelum ia menjawab, kod anda mencari halaman yang berkaitan dan meletakkannya dalam prompt.

Cara ia berfungsi

Istilah ini berasal daripada Lewis et al. (2020). Mereka menggandingkan model penjana (“parametric memory”) dengan “a dense vector index of Wikipedia” (Terjemahan BroadRouter: “indeks vektor padat Wikipedia”), iaitu “non-parametric memory”, yang dicapai melalui retriever neural, dan melaporkan hasil yang lebih baik dalam menjawab soalan domain terbuka berbanding model yang bergantung pada pemberatnya sahaja.

Saluran RAG moden dengan API LLM biasanya kelihatan begini:

  1. Indeks. Pecahkan dokumen kepada cebisan (chunk), tukar setiap satu kepada embedding dan simpan dalam pangkalan data vektor, selalunya bersama indeks kata kunci.
  2. Dapatkan semula. Buat embedding bagi soalan pengguna dan ambil cebisan yang paling sepadan, contohnya 5 hingga 20.
  3. Jana. Letakkan cebisan itu dalam prompt bersama arahan supaya menjawab berdasarkannya sahaja dan memetiknya. Hantar kepada model chat.

Model tidak pernah membuat carian sendiri. Kualiti retrieval menetapkan siling: jika petikan yang betul tidak didapatkan, model tidak boleh menggunakannya.

Mengapa ia penting

  • Maklumat terkini. Pemberat model terhenti pada tarikh had latihannya. RAG membolehkan ia menjawab berdasarkan senarai harga atau dasar hari ini.
  • Kos. Menghantar 10 cebisan menggunakan jauh lebih sedikit token input berbanding menghantar seluruh korpus untuk setiap soalan.
  • Kebolehkesanan. Jawapan boleh memetik petikan asalnya, yang menyokong grounding dan memudahkan halusinasi dikesan.
  • Susunan penting. Model menggunakan bahagian awal dan akhir prompt panjang dengan lebih baik berbanding bahagian tengah. Letakkan petikan terbaik di hadapan. Lihat lost in the middle.

Di BroadNet Inference

BroadNet meliputi langkah penjanaan. Dokumentasinya tidak menyenaraikan endpoint embeddings, jadi retriever memerlukan model embedding yang berasingan atau carian kata kunci. DeepSeek V4.1 Flash dan GLM 5.3 menerima sehingga 1,048,576 token konteks, menjadikan retrieval yang lebih longgar (atau tanpa retrieval untuk korpus kecil) praktikal. Artikel konteks panjang vs RAG membandingkan kedua-duanya dari segi kos dan recall, dan carian RAG bahasa Arab membincangkan penormalan dan retrieval hibrid untuk bahasa Arab.

Kesilapan biasa

  • Menyalahkan model sedangkan retriever yang bermasalah. Log cebisan yang didapatkan untuk setiap jawapan.
  • Cebisan yang memotong jadual atau ayat di tengah-tengah.
  • Tiada arahan untuk menyatakan “not found” (tidak dijumpai). Tanpanya, model mengisi kekosongan daripada ingatannya.

Soalan lazim

Adakah RAG sama dengan fine-tuning?

Tidak. RAG menambah dokumen pada prompt semasa permintaan dibuat dan tidak mengubah apa-apa pada model. Fine-tuning mengubah pemberat (weights) model. RAG lebih mudah dikemas kini; anda hanya mengindeks semula dokumen dan bukan melatih semula model.

Adakah saya memerlukan pangkalan data vektor untuk RAG?

Tidak semestinya. Carian kata kunci, pertanyaan SQL atau indeks kecil dalam memori semuanya boleh berfungsi sebagai retriever. Pangkalan data vektor membantu apabila anda mempunyai banyak dokumen dan memerlukan padanan semantik.

Adakah tetingkap konteks 1M token menggantikan RAG?

Kadangkala. Jika seluruh korpus muat dan kerap ditanya dengan caching, anda boleh menghantar kesemuanya. Untuk korpus yang besar atau cepat berubah, retrieval masih lebih murah dan lebih pantas bagi setiap soalan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity