BroadRouter

Khi nào context window 1M token đáng dùng (và khi nào không)

Đội ngũ BroadNet Inference · 4 phút đọc · Đăng ngày

Context window 1M token cho phép một request chứa cả codebase, một bộ hợp đồng hay nhiều giờ bản chép lời, để model thấy mọi thứ cùng lúc thay vì các mảnh truy xuất. Nó đáng giá khi cần suy luận xuyên nhiều file và phân tích một lần; với tra cứu lặp lại trên kho tài liệu lớn, hay đổi, truy xuất rẻ hơn. DeepSeek V4.1 Flash và GLM 5.3 nhận 1.048.576 token.

Light shining through towering cliffs made of stacked paper pages.

Context window đã tăng từ vài nghìn token lên hơn một triệu. DeepSeek V4.1 Flash và GLM 5.3 trên BroadNet Inference nhận 1.048.576 token mỗi request, tính chung prompt và câu trả lời. Điều đó thay đổi cách bạn có thể xây dựng hệ thống, nhưng không khiến mọi prompt tốt hơn.

Một triệu token chứa được những gì?

Để ước lượng: 1.000 từ văn xuôi tiếng Anh vào khoảng 1,290 token, tính trung bình trên năm tokenizer, trong bộ dữ liệu hiệu suất tokenizer của chúng tôi, nên một triệu token xấp xỉ 810,000 từ văn xuôi thông thường:

Nội dung Ước chừng
Một codebase cỡ vừa (hàng chục nghìn dòng) Vừa, còn dư chỗ
Vài hợp đồng dài kèm phụ lục Vừa
Bản chép lời các cuộc họp trong một ngày Vừa
Một monorepo lớn kèm dependency Thường không vừa; hãy chọn thư mục

Số token phụ thuộc vào ngôn ngữ và nội dung. Code và văn bản tiếng Ả Rập thường tốn nhiều token trên mỗi ký tự hơn văn xuôi tiếng Anh. Hãy đo bằng khối usage trên một request thật thay vì ước tính, hoặc kiểm tra một mẫu bằng công cụ tính context window.

Model nào của BroadNet có context window 1M token?

Model Context window Đầu vào Đầu ra Ảnh
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Có
GLM 5.3 1.048.576 $0.78 $3.46 Không
Qwen3.8 27B 262.144 $0.175 $2.17 Có
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Có

Giá tính trên mỗi 1M token. GLM 5.3 có thêm tool calling và đầu ra có cấu trúc trên cùng window 1M.

Khi nào window 1M token đáng dùng?

  • Suy luận xuyên nhiều file. “Vì sao test này thất bại?” thường phụ thuộc vào năm file mà không ai nghĩ tới việc truy xuất cùng nhau.
  • Rà soát toàn bộ tài liệu. Tìm mâu thuẫn giữa điều 4 và phụ lục B cần nhìn thấy cả hai.
  • Phân tích một lần. Với câu hỏi bạn chỉ hỏi một lần, công dựng index truy xuất lớn hơn những gì nó tiết kiệm được.
  • Agent. Một sub-agent đọc được toàn bộ module sẽ ít đoán sai hơn. Xem chạy agent song song.

Khi nào truy xuất vẫn là lựa chọn tốt hơn?

Truy xuất thắng khi cần nhiều lần tra cứu nhỏ trên một thư viện lớn hơn mọi window, với nội dung thay đổi từng phút, và với câu trả lời tương tác nhanh, nơi việc đọc một prompt khổng lồ trước tiên gây thêm độ trễ. Nhiều hệ thống production làm cả hai: truy xuất 200.000 token liên quan nhất, rồi để một model long context suy luận trên tất cả. Toàn bộ cách quyết định, với chi phí mỗi truy vấn, độ trễ và recall đặt cạnh nhau, có trong long context và RAG.

Model có thực sự dùng hết window không?

Không đồng đều. Các nghiên cứu nhất quán ở điểm này:

  • Bài báo Lost in the Middle (Liu và cộng sự) cho thấy hiệu năng “is often highest when relevant information occurs at the beginning or end of the input context” (bản dịch: thường cao nhất khi thông tin liên quan xuất hiện ở đầu hoặc cuối context đầu vào).
  • Báo cáo Context Rot của Chroma đã test 18 model và cho thấy “performance grows increasingly unreliable as input length grows” (bản dịch: hiệu năng ngày càng kém tin cậy khi độ dài đầu vào tăng), kể cả với tác vụ đơn giản.

Các nghiên cứu này không test các model trên BroadNet, nên hãy coi chúng là lời cảnh báo, không phải số đo. Quy tắc thực tế: một window nhận được một triệu token không có nghĩa mọi token đều được chú ý như nhau. Hãy đặt tài liệu quan trọng nhất gần đầu hoặc cuối, và test recall trên tài liệu của chính bạn.

Một prompt một triệu token tốn bao nhiêu?

Trên key trả theo mức dùng, DeepSeek V4.1 Flash tính $0.175 mỗi 1M token đầu vào và $0.0055 mỗi 1M token đầu vào đã cache. Một prompt đầy một triệu token tốn khoảng $0.175 ở lần đầu, và ít hơn nhiều ở các lần gọi lặp lại khi prefix được cache. Xem cách tăng tỷ lệ cache.

Công cụ tính prompt caching cho thấy một lần cache hit tiết kiệm bao nhiêu với kích thước prompt của bạn. Một ví dụ tính sẵn: mười câu hỏi về cùng một bộ hợp đồng 800.000 token. Không có cache, đó là 8 triệu token với giá $0.175 mỗi 1M. Nếu tài liệu đứng đầu và giữ nguyên, lần gọi đầu đọc 800.000 token mới, còn chín lần sau có thể đọc phần lớn từ cache với giá $0.0055 mỗi 1M. Chỉ câu hỏi và câu trả lời thay đổi.

Trên gói không giới hạn, kích thước prompt không làm thay đổi hóa đơn: Full Moon có giá $60 mỗi tháng cho mỗi phiên và không đo token. Đó là lý do agent long context thường là lý do để chọn gói giá cố định thay vì tính phí theo token.

Nên chừa bao nhiêu chỗ cho câu trả lời?

Window bao gồm prompt và đầu ra, và trên model suy luận, đầu ra gồm cả phần thinking. Nếu bạn gửi 1.040.000 token prompt, chỉ còn khoảng 8.000 cho suy luận và câu trả lời. Hãy giữ một khoảng dư, đặt max_tokens một cách tường minh, và đọc vì sao model suy luận có thể trả về câu trả lời rỗng.

Chuẩn bị codebase cho một prompt 1M token thế nào

  1. Loại bỏ những gì model không cần. File lock, kết quả build, dependency vendored, ảnh và code sinh tự động tốn token và thêm nhiễu.
  2. Đếm trước khi gửi. Gửi một mẫu nhỏ, đọc prompt_tokens từ usage, rồi nhân lên.
  3. Sắp xếp theo độ ổn định. File hiếm khi thay đổi đặt trước, file đang sửa đặt sau, câu hỏi ở cuối cùng. Cách này giữ cho prefix cache được.
  4. Gắn nhãn cho mọi file. Bọc file trong các dấu rõ ràng như === path/to/file.py === để model có thể trích dẫn.
  5. Yêu cầu trích dẫn. “Hãy trích dòng bạn dựa vào” giúp giảm các lỗi sai đầy tự tin trên đầu vào khổng lồ.
  6. Đo đạc. Ghi log token prompt, token cache và thời gian tới token đầu tiên cho từng request. Streaming hiển thị token đầu tiên ngay khi nó tới.

BroadNet Inference phù hợp ở đâu?

Hai trong số các model chat của dịch vụ nhận 1.048.576 token mỗi request, và BroadNet không cắt context của bạn. Trên key tính theo token, cache giữ cho các prompt dài lặp lại ở mức chi phí hợp lý; trong một phiên của gói, kích thước prompt không ảnh hưởng tới hóa đơn. Nếu kho tài liệu của bạn lớn hơn nhiều so với một triệu token hoặc thay đổi từng phút, bạn vẫn cần truy xuất, và không kích thước window nào thay đổi được điều đó.

Câu hỏi thường gặp

BroadNet có cắt bớt prompt dài không?

Không. BroadNet không cắt context của bạn. Nếu prompt cộng max_tokens vượt quá window của model, hãy rút ngắn prompt thay vì trông vào việc âm thầm cắt bớt.

1 triệu token là bao nhiêu từ?

Tùy ngôn ngữ và nội dung. Văn xuôi tiếng Anh đo được khoảng 129 token mỗi 100 từ trong bộ dữ liệu tokenizer của BroadRouter (1.000 từ vào khoảng 1,290 token, tính trung bình trên năm tokenizer), nên 1.048.576 token chứa khoảng 810,000 từ, hơn hẳn một nghìn trang. Văn bản kỹ thuật, code và tiếng Ả Rập cần nhiều token hơn, nên hãy đếm nội dung thật của bạn.

Request 1M token có chậm không?

Nó bắt đầu chậm hơn request ngắn, vì model phải đọc toàn bộ prompt trước. Prefix đã cache thường giúp ích ở các lần gọi lặp lại. Hãy đo thời gian tới token đầu tiên trên prompt của chính bạn.

LLM có thực sự dùng hết context window không?

Không đồng đều. Bài báo Lost in the Middle cho thấy độ chính xác thường cao nhất khi thông tin liên quan nằm ở đầu hoặc cuối đầu vào, và báo cáo Context Rot của Chroma cho thấy độ tin cậy giảm khi đầu vào dài ra. Hãy đặt tài liệu quan trọng ở hai đầu và test trên dữ liệu của bạn.

Có nên bỏ RAG không?

Không nhất thiết. Hãy dùng long context khi model cần nhìn mọi thứ cùng nhau, và truy xuất khi nó cần vài dữ kiện từ một thư viện khổng lồ. Nhiều hệ thống kết hợp cả hai.

Chuyện gì xảy ra nếu prompt lớn hơn context window?

BroadNet không cắt bớt giúp bạn, nên request sẽ không chạy như mong muốn. Hãy bỏ bớt file, tóm tắt các lượt cũ, hoặc chỉ truy xuất phần liên quan trước khi gửi.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity