BroadRouter

Long context vs RAG: kapan 1M token menggantikan vector database

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Long context menggantikan RAG jika korpus muat di window, jarang berubah, dan pertanyaannya butuh banyak bagian korpus sekaligus; caching membuat query berulang tetap murah. RAG tetap unggul jika korpus melebihi window, terus diperbarui, butuh izin per pengguna, atau harus menjawab dalam satu dua detik. Banyak sistem mengambil data dengan RAG lalu bernalar dengan long context.

Panduan context window 1M token membahas apa yang muat dalam sejuta token dan berapa biaya satu permintaan. Artikel ini menjawab pertanyaan yang lebih sempit, yang muncul di setiap review arsitektur: bisakah kita menghapus vector database dan pipeline RAG di sekitarnya? Kadang bisa. Berikut cara memutuskannya, dari empat sisi: biaya, latensi, recall, dan pemeliharaan.

Kapan long context menggantikan RAG?

Keempat syarat ini sebaiknya terpenuhi:

  1. Korpusnya muat. Prompt plus jawaban plus penalaran tetap berada di dalam context window dengan margin. Di DeepSeek V4.1 Flash dan GLM 5.3, window-nya 1.048.576 token (perbandingan keduanya). Kalkulator context window mengecek apakah dokumen Anda muat.
  2. Jarang berubah. Manual yang diperbarui bulanan tidak masalah. Antrean tiket yang diperbarui setiap menit, masalah.
  3. Semua orang boleh melihat seluruhnya. Satu korpus bersama, tanpa izin per pengguna yang perlu difilter.
  4. Pertanyaannya mencakup seluruh korpus. “Kontrak mana yang bertentangan dengan kebijakan baru?” butuh semuanya terlihat; “berapa lama masa refund?” tidak.

Jika salah satunya tidak terpenuhi, pertahankan retrieval, atau pakai pendekatan hybrid.

Bagaimana perbandingan biaya per query?

Ambil kumpulan dokumen 400.000 token dan pertanyaan dengan jawaban 500 token. RAG mengambil, katakanlah, 8.000 token chunk. Dengan kunci bayar sesuai pemakaian di DeepSeek V4.1 Flash:

Pendekatan Input per query Biaya input per query
Long context, query pertama 400.000 baru 0,4 × $0.175
Long context, query ulang, prefiks di-cache sekitar 400.000 dari cache sekitar 0,4 × $0.0055
RAG 8.000 baru 0,008 × $0.175

Output-nya sama di setiap kasus: 500 token × $0.52 per 1M. (Setiap pengali adalah jumlah token dalam juta dikali harga per 1M.)

Ada tiga konsekuensi. Tanpa caching, long context memakan biaya input 50 kali RAG per query, karena mengirim token 50 kali lebih banyak. Dengan korpus di-cache, selisihnya menyusut jauh, karena input cache di model ini hanya beberapa persen dari harga input baru. Tetapi caching hanya berlaku selama prefiksnya identik byte demi byte, jadi korpus harus diletakkan paling awal dan tetap stabil; lihat struktur prompt untuk caching. RAG punya biaya sendiri yang tidak masuk tabel ini: embedding korpus, menjalankan vector store, dan waktu engineering untuk menyetel chunking. Kalkulator biaya embedding menghitung bagian embedding. Kalkulator chunking RAG menghitung sisi query: chunk, token per query, dan tagihan LLM bulanan.

Untuk melihat nilai cache rate Anda sendiri, coba kalkulator prompt caching. Di paket harga tetap, kolom input hilang: Full Moon seharga $60 per bulan per sesi tanpa meteran token, jadi prompt 400.000 token biayanya sama dengan prompt pendek.

Bagaimana perbandingan latensinya?

Model membaca seluruh prompt sebelum menulis token pertama. Time to first token bertambah seiring panjang prompt, dan prompt sepanjang ratusan ribu token butuh waktu mulai yang jelas lebih lama daripada prompt 8.000 token. Prefiks yang di-cache membantu di banyak sistem serving. Pencarian vektor sendiri biasanya hanya menambah sedikit; panggilan retrieval kecil dibandingkan proses generasi.

Jadi untuk asisten interaktif yang harus menjawab dalam satu dua detik, RAG adalah default yang lebih aman. Untuk analis yang mengajukan satu pertanyaan mendalam lalu menunggu jawabannya, long context tidak masalah. Ukur TTFT dengan prompt Anda sendiri pada ukuran yang akan Anda kirim.

Mana yang recall-nya lebih baik?

Tidak ada yang sempurna, dan keduanya gagal dengan cara berbeda.

Long context bisa kehilangan fakta di bagian tengah (lost in the middle). Studi Lost in the Middle menemukan model paling baik memakai informasi yang berada di awal atau akhir input, dan lebih buruk di antaranya. Benchmark RULER menemukan model yang skornya hampir sempurna di uji needle-in-a-haystack sederhana menurun pada tugas yang lebih sulit seiring input membesar, dan dari model yang mengklaim 32K token atau lebih, “only half of them” (Terjemahan BroadRouter: hanya separuhnya) yang mempertahankan performa memuaskan di 32K. Model yang lebih baru lebih baik, tetapi window yang diiklankan tidak sama dengan window tempat kualitas tetap terjaga.

RAG gagal sebelum model mulai bekerja: jika retriever melewatkan suatu bagian, model tidak pernah melihatnya. Pertanyaan yang butuh banyak bagian, atau yang memakai kata berbeda dari sumbernya, adalah contoh klasik yang terlewat.

Mode kegagalan Long context RAG
Fakta terkubur di tengah prompt Risiko naik seiring panjang Rendah, prompt-nya pendek
Jawaban butuh 20 bagian yang tersebar Kuat Lemah kecuali top-k besar
Kata-kata query berbeda dari sumber Kuat Tergantung embedding dan reranking
Korpus lebih besar dari window Tidak mungkin Kuat

Dua mitigasi untuk long context: letakkan pertanyaan di akhir, setelah dokumen, dan minta model mengutip baris yang menjadi dasarnya.

Bagaimana dengan pemeliharaan?

RAG adalah sebuah sistem: chunking, embedding, indeks, re-indexing saat ada perubahan, filter izin, evaluasi kualitas retrieval. Long context adalah sebuah prompt: gabungkan file dengan label yang jelas lalu kirim. Untuk tim kecil dengan korpus yang muat, menghapus pipeline berarti menghilangkan pekerjaan nyata. Untuk korpus yang besar, terus berubah, dan berizin, pipeline itu mengerjakan tugas yang tidak bisa dilakukan long context.

Hybrid yang akhirnya dipakai kebanyakan tim

  1. Ambil dengan longgar, bukan lima chunk tetapi dokumen utuh, sampai beberapa ratus ribu token.
  2. Urutkan secara stabil (berdasarkan ID dokumen, bukan skor) agar prefiksnya ter-cache di antara pertanyaan yang berkaitan.
  3. Letakkan pertanyaan di akhir dan kirim ke model long context.
  4. Minta sitasi ke label dokumen, dan cek beberapa secara acak.

Cara ini mempertahankan jangkauan RAG atas korpus yang sangat besar dan kemampuan long context untuk bernalar lintas banyak sumber. Cara ini juga lebih toleran terhadap retriever yang lebih lemah, karena dokumen yang nyaris terlewat tetap ada di dalam prompt.

Posisi BroadNet Inference

BroadNet Inference menawarkan dua model 1M token, DeepSeek V4.1 Flash dan GLM 5.3, dan tidak memangkas konteks Anda, sehingga permintaan yang kebesaran akan gagal alih-alih kehilangan dokumen diam-diam. Input cache ditagih dengan tarif cache yang lebih rendah pada kunci per token, dan paket unlimited menghapus meteran token sepenuhnya untuk DeepSeek V4.1 Flash. Referensi API-nya mencantumkan chat completions dan transkripsi, bukan endpoint embedding atau vector store, jadi untuk bagian RAG Anda perlu menyediakannya sendiri. Sisakan ruang untuk token penalaran di window; panduan penalaran menjelaskan alasannya. Harga ada di halaman harga.

Pertanyaan umum

Apakah RAG sudah mati karena model punya context window 1M token?

Belum. Long context menghilangkan kebutuhan retrieval jika seluruh korpus muat dan stabil. Sebagian besar knowledge base perusahaan lebih besar dari sejuta token, berubah setiap hari, dan butuh pengaturan izin; itu masih wilayah RAG.

Apakah long context lebih akurat daripada RAG?

Tergantung pertanyaannya. Long context lebih baik jika jawabannya butuh gabungan banyak bagian. RAG bisa lebih baik untuk pencarian satu fakta di korpus yang sangat besar, karena prompt yang pendek membuat model tetap fokus. Uji keduanya dengan pertanyaan nyata.

Berapa kata yang muat di context window 1 juta token?

Sekitar 810,000 kata prosa bahasa Inggris biasa di window 1.048.576 token milik DeepSeek V4.1 Flash, dengan rasio 1,290 token per 1.000 kata yang diukur di lima tokenizer dalam dataset tokenizer BroadRouter. Bahasa Inggris teknis, kode, tabel, dan bahasa Arab butuh lebih banyak token per kata, jadi lebih sedikit yang muat. Sisakan ruang untuk jawaban dan penalaran.

Bisakah saya menggabungkan RAG dan long context?

Bisa, dan sering kali itu pilihan terbaik. Ambil dokumen dengan longgar, misalnya 100.000 sampai 200.000 token dokumen kandidat, lalu biarkan model long context bernalar atas semuanya, bukan hanya lima chunk teratas.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity