Tetingkap konteks ialah ingatan kerja model untuk satu permintaan. Semua yang perlu dilihat oleh model, dan semua yang ditulisnya kembali, mesti muat di dalamnya.
Cara ia berfungsi
Tetingkap diukur dalam token. Dokumentasi Anthropic menggambarkannya sebagai “all the text a language model can reference when generating a response, including the response itself.” (Terjemahan BroadRouter: “semua teks yang boleh dirujuk oleh model bahasa semasa menjana respons, termasuk respons itu sendiri.”) Ini termasuk:
- prompt sistem dan setiap mesej, termasuk giliran terdahulu;
- definisi alatan dan hasil alatan;
- dokumen dan imej;
- output, termasuk token penaakulan yang tersembunyi.
Jadi bajetnya dikongsi. Dengan tetingkap 1,048,576 token, prompt 1,040,000 token meninggalkan kira-kira 8,000 token untuk penaakulan dan jawapan. Tetapkan max_tokens dengan mengambil kira perkara ini.
Model tidak mengingati permintaan terdahulu. Chat terasa berterusan hanya kerana klien menghantar semula sejarah pada setiap giliran, jadi perbualan panjang mengisi tetingkap sedikit demi sedikit.
Mengapa ia penting
- Keupayaan. Tetingkap besar membolehkan satu permintaan memuatkan seluruh pangkalan kod, satu set kontrak atau transkrip berjam-jam, jadi model boleh menghubungkan fakta merentasinya.
- Kos. Setiap token dalam tetingkap dibilkan sebagai input pada kunci setiap token. Caching menurunkan harga awalan yang berulang, tetapi token cache tetap menggunakan ruang tetingkap.
- Kualiti. Lebih banyak tidak semestinya lebih baik. Anthropic menamakan kehilangan ketepatan dalam prompt yang sangat panjang sebagai “context rot”. Pilih dengan teliti apa yang anda hantar.
- Kependaman. Prompt panjang mengambil masa lebih lama sebelum token pertama muncul.
Di BroadNet Inference
| Model | Tetingkap konteks |
|---|---|
| DeepSeek V4.1 Flash | 1,048,576 token |
| GLM 5.3 | 1,048,576 token |
| Qwen3.8 27B | 262,144 token |
| BroadNet Gemma 4 VL 26B | 32,768 token |
Tetingkap meliputi prompt dan jawapan bersama-sama, dan BroadNet tidak memangkas konteks anda. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, jadi tinggalkan ruang: tetingkap yang penuh dengan bajet output yang kecil akan memulangkan balasan kosong. Lihat mengapa model penaakulan memulangkan jawapan kosong.
Pelan tanpa had termasuk tetingkap penuh 1M token pada DeepSeek V4.1 Flash. Untuk mengetahui bila konteks sebesar itu lebih baik daripada retrieval, baca panduan tetingkap konteks 1M token.
Kesilapan biasa
- Menganggap tetingkap sebagai panjang output. Had output ditetapkan secara berasingan dengan
max_tokens. - Menghantar semula sejarah penuh tanpa henti. Ringkaskan atau buang giliran lama sebelum tetingkap penuh.