RAG memberi model sebuah buku terbuka: sebelum ia menjawab, kod anda mencari halaman yang berkaitan dan meletakkannya dalam prompt.
Cara ia berfungsi
Istilah ini berasal daripada Lewis et al. (2020). Mereka menggandingkan model penjana (“parametric memory”) dengan “a dense vector index of Wikipedia” (Terjemahan BroadRouter: “indeks vektor padat Wikipedia”), iaitu “non-parametric memory”, yang dicapai melalui retriever neural, dan melaporkan hasil yang lebih baik dalam menjawab soalan domain terbuka berbanding model yang bergantung pada pemberatnya sahaja.
Saluran RAG moden dengan API LLM biasanya kelihatan begini:
- Indeks. Pecahkan dokumen kepada cebisan (chunk), tukar setiap satu kepada embedding dan simpan dalam pangkalan data vektor, selalunya bersama indeks kata kunci.
- Dapatkan semula. Buat embedding bagi soalan pengguna dan ambil cebisan yang paling sepadan, contohnya 5 hingga 20.
- Jana. Letakkan cebisan itu dalam prompt bersama arahan supaya menjawab berdasarkannya sahaja dan memetiknya. Hantar kepada model chat.
Model tidak pernah membuat carian sendiri. Kualiti retrieval menetapkan siling: jika petikan yang betul tidak didapatkan, model tidak boleh menggunakannya.
Mengapa ia penting
- Maklumat terkini. Pemberat model terhenti pada tarikh had latihannya. RAG membolehkan ia menjawab berdasarkan senarai harga atau dasar hari ini.
- Kos. Menghantar 10 cebisan menggunakan jauh lebih sedikit token input berbanding menghantar seluruh korpus untuk setiap soalan.
- Kebolehkesanan. Jawapan boleh memetik petikan asalnya, yang menyokong grounding dan memudahkan halusinasi dikesan.
- Susunan penting. Model menggunakan bahagian awal dan akhir prompt panjang dengan lebih baik berbanding bahagian tengah. Letakkan petikan terbaik di hadapan. Lihat lost in the middle.
Di BroadNet Inference
BroadNet meliputi langkah penjanaan. Dokumentasinya tidak menyenaraikan endpoint embeddings, jadi retriever memerlukan model embedding yang berasingan atau carian kata kunci. DeepSeek V4.1 Flash dan GLM 5.3 menerima sehingga 1,048,576 token konteks, menjadikan retrieval yang lebih longgar (atau tanpa retrieval untuk korpus kecil) praktikal. Artikel konteks panjang vs RAG membandingkan kedua-duanya dari segi kos dan recall, dan carian RAG bahasa Arab membincangkan penormalan dan retrieval hibrid untuk bahasa Arab.
Kesilapan biasa
- Menyalahkan model sedangkan retriever yang bermasalah. Log cebisan yang didapatkan untuk setiap jawapan.
- Cebisan yang memotong jadual atau ayat di tengah-tengah.
- Tiada arahan untuk menyatakan “not found” (tidak dijumpai). Tanpanya, model mengisi kekosongan daripada ingatannya.