Context window đã tăng từ vài nghìn token lên hơn một triệu. DeepSeek V4.1 Flash và GLM 5.3 trên BroadNet Inference nhận 1.048.576 token mỗi request, tính chung prompt và câu trả lời. Điều đó thay đổi cách bạn có thể xây dựng hệ thống, nhưng không khiến mọi prompt tốt hơn.
Một triệu token chứa được những gì?
Để ước lượng: 1.000 từ văn xuôi tiếng Anh vào khoảng 1,290 token, tính trung bình trên năm tokenizer, trong bộ dữ liệu hiệu suất tokenizer của chúng tôi, nên một triệu token xấp xỉ 810,000 từ văn xuôi thông thường:
| Nội dung | Ước chừng |
|---|---|
| Một codebase cỡ vừa (hàng chục nghìn dòng) | Vừa, còn dư chỗ |
| Vài hợp đồng dài kèm phụ lục | Vừa |
| Bản chép lời các cuộc họp trong một ngày | Vừa |
| Một monorepo lớn kèm dependency | Thường không vừa; hãy chọn thư mục |
Số token phụ thuộc vào ngôn ngữ và nội dung. Code và văn bản tiếng Ả Rập thường tốn nhiều token trên mỗi ký tự hơn văn xuôi tiếng Anh. Hãy đo bằng khối usage trên một request thật thay vì ước tính, hoặc kiểm tra một mẫu bằng công cụ tính context window.
Model nào của BroadNet có context window 1M token?
| Model | Context window | Đầu vào | Đầu ra | Ảnh |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | $0.175 | $0.52 | Có |
| GLM 5.3 | 1.048.576 | $0.78 | $3.46 | Không |
| Qwen3.8 27B | 262.144 | $0.175 | $2.17 | Có |
| BroadNet Gemma 4 VL 26B | 32.768 | $0.10 | $0.22 | Có |
Giá tính trên mỗi 1M token. GLM 5.3 có thêm tool calling và đầu ra có cấu trúc trên cùng window 1M.
Khi nào window 1M token đáng dùng?
- Suy luận xuyên nhiều file. “Vì sao test này thất bại?” thường phụ thuộc vào năm file mà không ai nghĩ tới việc truy xuất cùng nhau.
- Rà soát toàn bộ tài liệu. Tìm mâu thuẫn giữa điều 4 và phụ lục B cần nhìn thấy cả hai.
- Phân tích một lần. Với câu hỏi bạn chỉ hỏi một lần, công dựng index truy xuất lớn hơn những gì nó tiết kiệm được.
- Agent. Một sub-agent đọc được toàn bộ module sẽ ít đoán sai hơn. Xem chạy agent song song.
Khi nào truy xuất vẫn là lựa chọn tốt hơn?
Truy xuất thắng khi cần nhiều lần tra cứu nhỏ trên một thư viện lớn hơn mọi window, với nội dung thay đổi từng phút, và với câu trả lời tương tác nhanh, nơi việc đọc một prompt khổng lồ trước tiên gây thêm độ trễ. Nhiều hệ thống production làm cả hai: truy xuất 200.000 token liên quan nhất, rồi để một model long context suy luận trên tất cả. Toàn bộ cách quyết định, với chi phí mỗi truy vấn, độ trễ và recall đặt cạnh nhau, có trong long context và RAG.
Model có thực sự dùng hết window không?
Không đồng đều. Các nghiên cứu nhất quán ở điểm này:
- Bài báo Lost in the Middle (Liu và cộng sự) cho thấy hiệu năng “is often highest when relevant information occurs at the beginning or end of the input context” (bản dịch: thường cao nhất khi thông tin liên quan xuất hiện ở đầu hoặc cuối context đầu vào).
- Báo cáo Context Rot của Chroma đã test 18 model và cho thấy “performance grows increasingly unreliable as input length grows” (bản dịch: hiệu năng ngày càng kém tin cậy khi độ dài đầu vào tăng), kể cả với tác vụ đơn giản.
Các nghiên cứu này không test các model trên BroadNet, nên hãy coi chúng là lời cảnh báo, không phải số đo. Quy tắc thực tế: một window nhận được một triệu token không có nghĩa mọi token đều được chú ý như nhau. Hãy đặt tài liệu quan trọng nhất gần đầu hoặc cuối, và test recall trên tài liệu của chính bạn.
Một prompt một triệu token tốn bao nhiêu?
Trên key trả theo mức dùng, DeepSeek V4.1 Flash tính $0.175 mỗi 1M token đầu vào và $0.0055 mỗi 1M token đầu vào đã cache. Một prompt đầy một triệu token tốn khoảng $0.175 ở lần đầu, và ít hơn nhiều ở các lần gọi lặp lại khi prefix được cache. Xem cách tăng tỷ lệ cache.
Công cụ tính prompt caching cho thấy một lần cache hit tiết kiệm bao nhiêu với kích thước prompt của bạn. Một ví dụ tính sẵn: mười câu hỏi về cùng một bộ hợp đồng 800.000 token. Không có cache, đó là 8 triệu token với giá $0.175 mỗi 1M. Nếu tài liệu đứng đầu và giữ nguyên, lần gọi đầu đọc 800.000 token mới, còn chín lần sau có thể đọc phần lớn từ cache với giá $0.0055 mỗi 1M. Chỉ câu hỏi và câu trả lời thay đổi.
Trên gói không giới hạn, kích thước prompt không làm thay đổi hóa đơn: Full Moon có giá $60 mỗi tháng cho mỗi phiên và không đo token. Đó là lý do agent long context thường là lý do để chọn gói giá cố định thay vì tính phí theo token.
Nên chừa bao nhiêu chỗ cho câu trả lời?
Window bao gồm prompt và đầu ra, và trên model suy luận, đầu ra gồm cả phần thinking. Nếu bạn gửi 1.040.000 token prompt, chỉ còn khoảng 8.000 cho suy luận và câu trả lời. Hãy giữ một khoảng dư, đặt max_tokens một cách tường minh, và đọc vì sao model suy luận có thể trả về câu trả lời rỗng.
Chuẩn bị codebase cho một prompt 1M token thế nào
- Loại bỏ những gì model không cần. File lock, kết quả build, dependency vendored, ảnh và code sinh tự động tốn token và thêm nhiễu.
- Đếm trước khi gửi. Gửi một mẫu nhỏ, đọc
prompt_tokenstừ usage, rồi nhân lên. - Sắp xếp theo độ ổn định. File hiếm khi thay đổi đặt trước, file đang sửa đặt sau, câu hỏi ở cuối cùng. Cách này giữ cho prefix cache được.
- Gắn nhãn cho mọi file. Bọc file trong các dấu rõ ràng như
=== path/to/file.py ===để model có thể trích dẫn. - Yêu cầu trích dẫn. “Hãy trích dòng bạn dựa vào” giúp giảm các lỗi sai đầy tự tin trên đầu vào khổng lồ.
- Đo đạc. Ghi log token prompt, token cache và thời gian tới token đầu tiên cho từng request. Streaming hiển thị token đầu tiên ngay khi nó tới.
BroadNet Inference phù hợp ở đâu?
Hai trong số các model chat của dịch vụ nhận 1.048.576 token mỗi request, và BroadNet không cắt context của bạn. Trên key tính theo token, cache giữ cho các prompt dài lặp lại ở mức chi phí hợp lý; trong một phiên của gói, kích thước prompt không ảnh hưởng tới hóa đơn. Nếu kho tài liệu của bạn lớn hơn nhiều so với một triệu token hoặc thay đổi từng phút, bạn vẫn cần truy xuất, và không kích thước window nào thay đổi được điều đó.

