BroadRouter
Mulakan

Konteks panjang vs RAG: bila 1M token menggantikan DB vektor

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Konteks panjang menggantikan RAG apabila korpus muat dalam tetingkap, jarang berubah dan soalan memerlukan banyak bahagiannya serentak; cache memastikan pertanyaan berulang kekal murah. RAG masih menang apabila korpus melebihi tetingkap, sentiasa dikemas kini, memerlukan kebenaran setiap pengguna atau mesti menjawab dalam sesaat dua. Banyak sistem mendapatkan semula dengan RAG dan membuat penaakulan dengan konteks panjang.

Panduan tetingkap konteks 1M token merangkumi apa yang muat dalam sejuta token dan berapa kos satu permintaan. Artikel ini menjawab soalan yang lebih sempit yang timbul dalam setiap semakan seni bina: bolehkah kita memadam pangkalan data vektor dan saluran RAG di sekelilingnya? Kadangkala boleh. Berikut cara membuat keputusan, berdasarkan empat paksi: kos, kependaman, recall dan penyelenggaraan.

Bilakah konteks panjang menggantikan RAG?

Keempat-empat perkara ini patut benar:

  1. Korpus itu muat. Prompt ditambah jawapan dan penaakulan kekal dalam tetingkap konteks dengan margin. Pada DeepSeek V4.1 Flash dan GLM 5.3, tetingkap itu ialah 1,048,576 token (perbandingan kedua-duanya). Kalkulator tetingkap konteks menyemak sama ada dokumen anda muat.
  2. Ia jarang berubah. Manual yang dikemas kini setiap bulan tidak mengapa. Baris gilir tiket yang dikemas kini setiap minit tidak sesuai.
  3. Semua orang boleh melihat keseluruhannya. Satu korpus dikongsi, tiada kebenaran setiap pengguna untuk ditapis.
  4. Soalan merentasi korpus. “Kontrak manakah yang bercanggah dengan dasar baharu?” memerlukan segala-galanya kelihatan; “berapa lama tempoh bayaran balik?” tidak.

Jika salah satu tidak benar, kekalkan pendapatan semula, atau gunakan hibrid.

Bagaimanakah perbandingan kos setiap pertanyaan?

Ambil set dokumen 400,000 token dan soalan dengan jawapan 500 token. Katakan RAG mendapatkan semula 8,000 token ketulan. Pada kunci bayar ikut guna dengan DeepSeek V4.1 Flash:

Pendekatan Input setiap pertanyaan Kos input setiap pertanyaan
Konteks panjang, pertanyaan pertama 400,000 baharu 0.4 × $0.175
Konteks panjang, pertanyaan berulang, prefix dicache kira-kira 400,000 dicache kira-kira 0.4 × $0.0055
RAG 8,000 baharu 0.008 × $0.175

Output adalah sama dalam setiap kes: 500 token × $0.52 setiap 1M. (Setiap pendarab ialah juta token didarab dengan harga setiap 1M.)

Tiga perkara menyusul. Tanpa cache, konteks panjang berharga 50 kali ganda RAG bagi setiap pertanyaan pada input, kerana ia menghantar 50 kali ganda token. Dengan korpus dicache, jurang itu mengecil dengan banyak, kerana input cache pada model ini berharga beberapa peratus daripada input baharu. Tetapi cache hanya bertahan selagi prefix kekal sama byte demi byte, jadi korpus mesti diletakkan dahulu dan kekal stabil; lihat struktur prompt untuk cache. RAG mempunyai kosnya sendiri yang tidak dimasukkan dalam jadual ini: membenamkan korpus, menjalankan stor vektor, dan masa kejuruteraan untuk menala pemotongan ketulan. Kalkulator kos embedding mengira harga bahagian embedding. Kalkulator chunking RAG mengira bahagian pertanyaan: ketulan, token setiap pertanyaan dan bil LLM bulanan.

Untuk melihat nilai kadar cache anda sendiri, cuba kalkulator prompt caching. Pada pelan kadar tetap, lajur input hilang: Full Moon ialah $60 sebulan setiap sesi tanpa meter token, jadi prompt 400,000 token berharga sama seperti prompt pendek.

Bagaimanakah perbandingan kependaman?

Model membaca keseluruhan prompt sebelum menulis token pertama. Time to first token bertambah dengan panjang prompt, dan prompt beratus-ratus ribu token mengambil masa yang ketara lebih lama untuk bermula berbanding prompt 8,000 token. Prefix yang dicache membantu dalam banyak sistem hidangan. Carian vektor itu sendiri biasanya menambah sedikit sahaja; panggilan pendapatan semula adalah kecil berbanding penjanaan.

Jadi untuk pembantu interaktif yang mesti menjawab dalam sesaat dua, RAG ialah pilihan lalai yang lebih selamat. Untuk penganalisis yang bertanya satu soalan mendalam dan menunggu jawapan, konteks panjang tidak mengapa. Ukur TTFT pada prompt anda sendiri pada saiz yang anda rancang untuk hantar.

Yang manakah mempunyai recall lebih baik?

Kedua-duanya tidak sempurna, dan kedua-duanya gagal dengan cara berbeza.

Konteks panjang boleh kehilangan fakta di tengah (lost in the middle). Kajian Lost in the Middle mendapati model menggunakan maklumat dengan paling baik apabila ia berada di awal atau akhir input, dan lebih teruk di antaranya. Penanda aras RULER mendapati model yang hampir sempurna pada ujian needle-in-a-haystack ringkas merosot pada tugasan lebih sukar apabila input bertambah, dan daripada model yang mendakwa 32K token atau lebih, “only half of them” (Terjemahan: hanya separuh daripadanya) mengekalkan prestasi memuaskan pada 32K. Model yang lebih baharu lebih baik, tetapi tetingkap yang diiklankan tidak sama dengan tetingkap di mana kualiti kekal.

RAG gagal sebelum model bermula: jika pendapatan semula terlepas petikan itu, model tidak pernah melihatnya. Soalan yang memerlukan banyak petikan, atau yang menggunakan perkataan berbeza daripada sumber, ialah kes terlepas yang klasik.

Mod kegagalan Konteks panjang RAG
Fakta tertimbus di tengah prompt Risiko bertambah dengan panjang Rendah, prompt pendek
Jawapan memerlukan 20 petikan bertaburan Kuat Lemah melainkan top-k besar
Kata-kata pertanyaan berbeza daripada sumber Kuat Bergantung pada embeddings dan reranking
Korpus lebih besar daripada tetingkap Tidak mungkin Kuat

Dua langkah mitigasi untuk konteks panjang: letakkan soalan di hujung, selepas dokumen, dan minta model memetik baris yang dijadikan sandaran.

Bagaimana pula dengan penyelenggaraan?

RAG ialah sebuah sistem: pemotongan ketulan, embeddings, indeks, pengindeksan semula apabila berlaku perubahan, penapis kebenaran, penilaian kualiti pendapatan semula. Konteks panjang ialah prompt: cantumkan fail dengan label yang jelas dan hantar. Untuk pasukan kecil dengan korpus yang muat, memadam saluran itu menghapuskan kerja sebenar. Untuk korpus besar, berubah-ubah dan berkebenaran, saluran itu melakukan kerja yang tidak mampu dilakukan oleh konteks panjang.

Hibrid yang akhirnya digunakan oleh kebanyakan pasukan

  1. Dapatkan semula secara murah hati, bukan lima ketulan tetapi keseluruhan dokumen, sehingga beberapa ratus ribu token.
  2. Susun secara stabil (mengikut ID dokumen, bukan skor) supaya prefix dicache merentas soalan berkaitan.
  3. Letakkan soalan di hujung dan hantar kepada model konteks panjang.
  4. Minta petikan kepada label dokumen, dan semak secara rawak.

Ini mengekalkan jangkauan RAG ke atas korpus yang sangat besar dan keupayaan konteks panjang untuk membuat penaakulan merentas banyak sumber. Ia juga lebih bertolak ansur dengan pendapatan semula yang lebih lemah, kerana dokumen yang hampir terlepas masih berada dalam prompt.

Di manakah BroadNet Inference sesuai

BroadNet Inference menawarkan dua model 1M token, DeepSeek V4.1 Flash dan GLM 5.3, dan ia tidak memangkas konteks anda, jadi permintaan yang terlalu besar gagal dan bukannya kehilangan dokumen secara senyap. Input cache dibilkan pada kadar cache yang lebih rendah pada kunci setiap token, dan pelan tanpa had menghapuskan meter token sepenuhnya untuk DeepSeek V4.1 Flash. Rujukan API-nya menyenaraikan chat completions dan transkripsi, bukan endpoint embeddings atau stor vektor, jadi untuk bahagian RAG anda perlu membawa sendiri. Tinggalkan ruang untuk token penaakulan dalam tetingkap; panduan penaakulan menerangkan sebabnya. Harga ada di halaman harga.

Soalan lazim

Adakah RAG sudah mati sekarang setelah model mempunyai tetingkap konteks 1M token?

Tidak. Konteks panjang menghapuskan keperluan pendapatan semula apabila keseluruhan korpus muat dan stabil. Kebanyakan pangkalan pengetahuan syarikat lebih besar daripada sejuta token, berubah setiap hari dan memerlukan kebenaran, dan itu masih wilayah RAG.

Adakah konteks panjang lebih tepat daripada RAG?

Bergantung pada soalan. Konteks panjang lebih baik apabila jawapan memerlukan gabungan banyak petikan. RAG boleh lebih baik untuk carian satu fakta dalam korpus yang sangat besar, kerana prompt pendek memastikan model kekal fokus. Uji kedua-duanya pada soalan sebenar.

Berapa banyak perkataan yang muat dalam tetingkap konteks 1 juta token?

Kira-kira 810,000 perkataan prosa Inggeris biasa dalam tetingkap 1,048,576 token DeepSeek V4.1 Flash, berdasarkan 1,290 token setiap 1,000 perkataan yang diukur merentas lima tokenizer dalam set data tokenizer BroadRouter. Bahasa Inggeris teknikal, kod, jadual dan bahasa Arab memerlukan lebih banyak token setiap perkataan, jadi lebih sedikit yang muat. Tinggalkan ruang untuk jawapan dan penaakulan.

Bolehkah saya menggabungkan RAG dan konteks panjang?

Ya, dan ia selalunya pilihan terbaik. Dapatkan semula secara murah hati, contohnya 100,000 hingga 200,000 token dokumen calon, kemudian biarkan model konteks panjang membuat penaakulan merentas kesemuanya dan bukan hanya lima ketulan teratas.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity