Panduan tetingkap konteks 1M token merangkumi apa yang muat dalam sejuta token dan berapa kos satu permintaan. Artikel ini menjawab soalan yang lebih sempit yang timbul dalam setiap semakan seni bina: bolehkah kita memadam pangkalan data vektor dan saluran RAG di sekelilingnya? Kadangkala boleh. Berikut cara membuat keputusan, berdasarkan empat paksi: kos, kependaman, recall dan penyelenggaraan.
Bilakah konteks panjang menggantikan RAG?
Keempat-empat perkara ini patut benar:
- Korpus itu muat. Prompt ditambah jawapan dan penaakulan kekal dalam tetingkap konteks dengan margin. Pada DeepSeek V4.1 Flash dan GLM 5.3, tetingkap itu ialah 1,048,576 token (perbandingan kedua-duanya). Kalkulator tetingkap konteks menyemak sama ada dokumen anda muat.
- Ia jarang berubah. Manual yang dikemas kini setiap bulan tidak mengapa. Baris gilir tiket yang dikemas kini setiap minit tidak sesuai.
- Semua orang boleh melihat keseluruhannya. Satu korpus dikongsi, tiada kebenaran setiap pengguna untuk ditapis.
- Soalan merentasi korpus. “Kontrak manakah yang bercanggah dengan dasar baharu?” memerlukan segala-galanya kelihatan; “berapa lama tempoh bayaran balik?” tidak.
Jika salah satu tidak benar, kekalkan pendapatan semula, atau gunakan hibrid.
Bagaimanakah perbandingan kos setiap pertanyaan?
Ambil set dokumen 400,000 token dan soalan dengan jawapan 500 token. Katakan RAG mendapatkan semula 8,000 token ketulan. Pada kunci bayar ikut guna dengan DeepSeek V4.1 Flash:
| Pendekatan | Input setiap pertanyaan | Kos input setiap pertanyaan |
|---|---|---|
| Konteks panjang, pertanyaan pertama | 400,000 baharu | 0.4 × $0.175 |
| Konteks panjang, pertanyaan berulang, prefix dicache | kira-kira 400,000 dicache | kira-kira 0.4 × $0.0055 |
| RAG | 8,000 baharu | 0.008 × $0.175 |
Output adalah sama dalam setiap kes: 500 token × $0.52 setiap 1M. (Setiap pendarab ialah juta token didarab dengan harga setiap 1M.)
Tiga perkara menyusul. Tanpa cache, konteks panjang berharga 50 kali ganda RAG bagi setiap pertanyaan pada input, kerana ia menghantar 50 kali ganda token. Dengan korpus dicache, jurang itu mengecil dengan banyak, kerana input cache pada model ini berharga beberapa peratus daripada input baharu. Tetapi cache hanya bertahan selagi prefix kekal sama byte demi byte, jadi korpus mesti diletakkan dahulu dan kekal stabil; lihat struktur prompt untuk cache. RAG mempunyai kosnya sendiri yang tidak dimasukkan dalam jadual ini: membenamkan korpus, menjalankan stor vektor, dan masa kejuruteraan untuk menala pemotongan ketulan. Kalkulator kos embedding mengira harga bahagian embedding. Kalkulator chunking RAG mengira bahagian pertanyaan: ketulan, token setiap pertanyaan dan bil LLM bulanan.
Untuk melihat nilai kadar cache anda sendiri, cuba kalkulator prompt caching. Pada pelan kadar tetap, lajur input hilang: Full Moon ialah $60 sebulan setiap sesi tanpa meter token, jadi prompt 400,000 token berharga sama seperti prompt pendek.
Bagaimanakah perbandingan kependaman?
Model membaca keseluruhan prompt sebelum menulis token pertama. Time to first token bertambah dengan panjang prompt, dan prompt beratus-ratus ribu token mengambil masa yang ketara lebih lama untuk bermula berbanding prompt 8,000 token. Prefix yang dicache membantu dalam banyak sistem hidangan. Carian vektor itu sendiri biasanya menambah sedikit sahaja; panggilan pendapatan semula adalah kecil berbanding penjanaan.
Jadi untuk pembantu interaktif yang mesti menjawab dalam sesaat dua, RAG ialah pilihan lalai yang lebih selamat. Untuk penganalisis yang bertanya satu soalan mendalam dan menunggu jawapan, konteks panjang tidak mengapa. Ukur TTFT pada prompt anda sendiri pada saiz yang anda rancang untuk hantar.
Yang manakah mempunyai recall lebih baik?
Kedua-duanya tidak sempurna, dan kedua-duanya gagal dengan cara berbeza.
Konteks panjang boleh kehilangan fakta di tengah (lost in the middle). Kajian Lost in the Middle mendapati model menggunakan maklumat dengan paling baik apabila ia berada di awal atau akhir input, dan lebih teruk di antaranya. Penanda aras RULER mendapati model yang hampir sempurna pada ujian needle-in-a-haystack ringkas merosot pada tugasan lebih sukar apabila input bertambah, dan daripada model yang mendakwa 32K token atau lebih, “only half of them” (Terjemahan: hanya separuh daripadanya) mengekalkan prestasi memuaskan pada 32K. Model yang lebih baharu lebih baik, tetapi tetingkap yang diiklankan tidak sama dengan tetingkap di mana kualiti kekal.
RAG gagal sebelum model bermula: jika pendapatan semula terlepas petikan itu, model tidak pernah melihatnya. Soalan yang memerlukan banyak petikan, atau yang menggunakan perkataan berbeza daripada sumber, ialah kes terlepas yang klasik.
| Mod kegagalan | Konteks panjang | RAG |
|---|---|---|
| Fakta tertimbus di tengah prompt | Risiko bertambah dengan panjang | Rendah, prompt pendek |
| Jawapan memerlukan 20 petikan bertaburan | Kuat | Lemah melainkan top-k besar |
| Kata-kata pertanyaan berbeza daripada sumber | Kuat | Bergantung pada embeddings dan reranking |
| Korpus lebih besar daripada tetingkap | Tidak mungkin | Kuat |
Dua langkah mitigasi untuk konteks panjang: letakkan soalan di hujung, selepas dokumen, dan minta model memetik baris yang dijadikan sandaran.
Bagaimana pula dengan penyelenggaraan?
RAG ialah sebuah sistem: pemotongan ketulan, embeddings, indeks, pengindeksan semula apabila berlaku perubahan, penapis kebenaran, penilaian kualiti pendapatan semula. Konteks panjang ialah prompt: cantumkan fail dengan label yang jelas dan hantar. Untuk pasukan kecil dengan korpus yang muat, memadam saluran itu menghapuskan kerja sebenar. Untuk korpus besar, berubah-ubah dan berkebenaran, saluran itu melakukan kerja yang tidak mampu dilakukan oleh konteks panjang.
Hibrid yang akhirnya digunakan oleh kebanyakan pasukan
- Dapatkan semula secara murah hati, bukan lima ketulan tetapi keseluruhan dokumen, sehingga beberapa ratus ribu token.
- Susun secara stabil (mengikut ID dokumen, bukan skor) supaya prefix dicache merentas soalan berkaitan.
- Letakkan soalan di hujung dan hantar kepada model konteks panjang.
- Minta petikan kepada label dokumen, dan semak secara rawak.
Ini mengekalkan jangkauan RAG ke atas korpus yang sangat besar dan keupayaan konteks panjang untuk membuat penaakulan merentas banyak sumber. Ia juga lebih bertolak ansur dengan pendapatan semula yang lebih lemah, kerana dokumen yang hampir terlepas masih berada dalam prompt.
Di manakah BroadNet Inference sesuai
BroadNet Inference menawarkan dua model 1M token, DeepSeek V4.1 Flash dan GLM 5.3, dan ia tidak memangkas konteks anda, jadi permintaan yang terlalu besar gagal dan bukannya kehilangan dokumen secara senyap. Input cache dibilkan pada kadar cache yang lebih rendah pada kunci setiap token, dan pelan tanpa had menghapuskan meter token sepenuhnya untuk DeepSeek V4.1 Flash. Rujukan API-nya menyenaraikan chat completions dan transkripsi, bukan endpoint embeddings atau stor vektor, jadi untuk bahagian RAG anda perlu membawa sendiri. Tinggalkan ruang untuk token penaakulan dalam tetingkap; panduan penaakulan menerangkan sebabnya. Harga ada di halaman harga.
