BroadRouter
Mulakan

Tetingkap konteks (context window)

Dikemas kini

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

Juga dikenali sebagai: konteks, panjang konteks, saiz konteks, had token, had konteks, context window, context length, context size, token limit, context limit

Tetingkap konteks ialah ingatan kerja model untuk satu permintaan. Semua yang perlu dilihat oleh model, dan semua yang ditulisnya kembali, mesti muat di dalamnya.

Cara ia berfungsi

Tetingkap diukur dalam token. Dokumentasi Anthropic menggambarkannya sebagai “all the text a language model can reference when generating a response, including the response itself.” (Terjemahan BroadRouter: “semua teks yang boleh dirujuk oleh model bahasa semasa menjana respons, termasuk respons itu sendiri.”) Ini termasuk:

  • prompt sistem dan setiap mesej, termasuk giliran terdahulu;
  • definisi alatan dan hasil alatan;
  • dokumen dan imej;
  • output, termasuk token penaakulan yang tersembunyi.

Jadi bajetnya dikongsi. Dengan tetingkap 1,048,576 token, prompt 1,040,000 token meninggalkan kira-kira 8,000 token untuk penaakulan dan jawapan. Tetapkan max_tokens dengan mengambil kira perkara ini.

Model tidak mengingati permintaan terdahulu. Chat terasa berterusan hanya kerana klien menghantar semula sejarah pada setiap giliran, jadi perbualan panjang mengisi tetingkap sedikit demi sedikit.

Mengapa ia penting

  • Keupayaan. Tetingkap besar membolehkan satu permintaan memuatkan seluruh pangkalan kod, satu set kontrak atau transkrip berjam-jam, jadi model boleh menghubungkan fakta merentasinya.
  • Kos. Setiap token dalam tetingkap dibilkan sebagai input pada kunci setiap token. Caching menurunkan harga awalan yang berulang, tetapi token cache tetap menggunakan ruang tetingkap.
  • Kualiti. Lebih banyak tidak semestinya lebih baik. Anthropic menamakan kehilangan ketepatan dalam prompt yang sangat panjang sebagai “context rot”. Pilih dengan teliti apa yang anda hantar.
  • Kependaman. Prompt panjang mengambil masa lebih lama sebelum token pertama muncul.

Di BroadNet Inference

Model Tetingkap konteks
DeepSeek V4.1 Flash 1,048,576 token
GLM 5.3 1,048,576 token
Qwen3.8 27B 262,144 token
BroadNet Gemma 4 VL 26B 32,768 token

Tetingkap meliputi prompt dan jawapan bersama-sama, dan BroadNet tidak memangkas konteks anda. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, jadi tinggalkan ruang: tetingkap yang penuh dengan bajet output yang kecil akan memulangkan balasan kosong. Lihat mengapa model penaakulan memulangkan jawapan kosong.

Pelan tanpa had termasuk tetingkap penuh 1M token pada DeepSeek V4.1 Flash. Untuk mengetahui bila konteks sebesar itu lebih baik daripada retrieval, baca panduan tetingkap konteks 1M token.

Kesilapan biasa

  • Menganggap tetingkap sebagai panjang output. Had output ditetapkan secara berasingan dengan max_tokens.
  • Menghantar semula sejarah penuh tanpa henti. Ringkaskan atau buang giliran lama sebelum tetingkap penuh.

Soalan lazim

Apakah yang berlaku jika prompt saya lebih panjang daripada tetingkap konteks?

API menolak permintaan itu, biasanya dengan ralat 400. Contohnya, Anthropic memulangkan "prompt is too long" (Terjemahan BroadRouter: "prompt terlalu panjang"). Sesetengah aplikasi chat memangkas mesej lama untuk anda; kebanyakan API tidak berbuat demikian.

Adakah tetingkap konteks yang lebih besar sentiasa lebih baik?

Tidak. Prompt panjang lebih mahal dan mengambil masa lebih lama untuk diproses, dan Anthropic menyatakan ketepatan dan ingatan semula boleh merosot apabila bilangan token bertambah. Hantar apa yang diperlukan oleh tugas itu sahaja.

Adakah BroadNet memangkas konteks saya?

Tidak. BroadNet Inference tidak memangkas konteks anda. Jika permintaan tidak muat, pendekkan sendiri.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity