Bağlam pencereleri birkaç bin token’dan bir milyonun üzerine çıktı. BroadNet Inference’taki DeepSeek V4.1 Flash ve GLM 5.3, istem ve yanıt birlikte olmak üzere istek başına 1.048.576 token kabul ediyor. Bu, neler inşa edebileceğinizi değiştirir, ama her istemi daha iyi yapmaz.
Bir milyon token’a neler sığar?
Kabaca bir fikir vermek gerekirse: tokenizer verimliliği veri setimizde 1.000 kelimelik İngilizce düz metin, beş tokenizer ortalamasıyla yaklaşık 1,290 token tuttu; dolayısıyla bir milyon token kabaca 810,000 kelime düz metin eder:
| İçerik | Kabaca |
|---|---|
| Orta ölçekli bir kod tabanı (on binlerce satır) | Sığar, üstelik yer kalır |
| Ekleriyle birlikte birkaç uzun sözleşme | Sığar |
| Bir günlük toplantı transkriptleri | Sığar |
| Bağımlılıklarıyla büyük bir monorepo | Çoğu zaman sığmaz; dizin seçin |
Token sayıları dile ve içeriğe bağlıdır. Kod ve Arapça metin çoğu zaman İngilizce düz metinden karakter başına daha fazla token kullanır. Tahmin etmek yerine gerçek bir istekteki usage bloğuyla ölçün ya da bir örneği bağlam penceresi hesaplayıcısında kontrol edin.
Hangi BroadNet modellerinin 1M token’lık bağlam penceresi var?
| Model | Bağlam penceresi | Girdi | Çıktı | Görseller |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | $0.175 | $0.52 | Evet |
| GLM 5.3 | 1.048.576 | $0.78 | $3.46 | Hayır |
| Qwen3.8 27B | 262.144 | $0.175 | $2.17 | Evet |
| BroadNet Gemma 4 VL 26B | 32.768 | $0.10 | $0.22 | Evet |
Fiyatlar 1M token başınadır. GLM 5.3, aynı 1M pencerede araç çağırma ve yapılandırılmış çıktı da sunar.
1M token’lık bir pencere ne zaman değer?
- Dosyalar arası akıl yürütme. “Bu test neden başarısız oluyor?” sorusu çoğu zaman kimsenin birlikte getirmeyi düşünmeyeceği beş dosyaya bağlıdır.
- Belgenin tamamını inceleme. 4. madde ile B eki arasındaki çelişkileri bulmak için ikisinin de görünür olması gerekir.
- Tek seferlik analiz. Bir kez soracağınız bir soru için getirme indeksi kurmak, kazandırdığından fazla emek ister.
- Ajanlar. Modülün tamamını okuyabilen bir alt ajan daha az yanlış tahmin yapar. Bkz. paralel ajan çalıştırma.
Getirme ne zaman hâlâ daha iyi seçimdir?
Getirme; herhangi bir pencereden çok daha büyük bir kütüphanede çok sayıda küçük aramada, her dakika değişen içerikte ve önce devasa bir istemi okumanın gecikme eklediği hızlı etkileşimli yanıtlarda kazanır. Üretimdeki birçok sistem ikisini birlikte yapar: en ilgili 200.000 token’ı getirir, sonra uzun bağlamlı bir modelin hepsi üzerinde akıl yürütmesine izin verir. Sorgu başına maliyet, gecikme ve isabetin yan yana konduğu kararın tamamı uzun bağlam mı RAG mı yazısında.
Model pencerenin tamamını gerçekten kullanıyor mu?
Eşit şekilde değil. Araştırmalar bu konuda tutarlı:
- Lost in the Middle makalesi (Liu vd.), performansın “is often highest when relevant information occurs at the beginning or end of the input context” (BroadRouter çevirisi: çoğu zaman ilgili bilgi girdi bağlamının başında veya sonunda yer aldığında en yüksek olduğunu) buldu.
- Chroma’nın Context Rot raporu 18 modeli test etti ve basit görevlerde bile “performance grows increasingly unreliable as input length grows” (BroadRouter çevirisi: girdi uzunluğu arttıkça performansın giderek daha güvenilmez hale geldiğini) buldu.
Bu çalışmalar BroadNet’teki modelleri test etmedi; bu yüzden onları bir ölçüm değil, bir uyarı olarak görün. Pratik kural: bir milyon token kabul eden bir pencere, her token’ın eşit dikkat göreceği anlamına gelmez. En önemli içeriği başa veya sona yakın koyun ve isabeti kendi belgelerinizle test edin.
Bir milyon token’lık istemin maliyeti nedir?
Kullandıkça öde anahtarında DeepSeek V4.1 Flash, 1M girdi token’ı başına $0.175, 1M önbellekli girdi token’ı başına $0.0055 faturalandırır. Tam bir milyon token’lık istem ilk seferde yaklaşık $0.175 tutar; önek önbellekteyse tekrarlanan çağrılarda çok daha az. Önbellek oranınızı nasıl artırırsınız.
İstem önbellekleme hesaplayıcısı, bir önbellek isabetinin kendi istem boyutlarınızda ne kadar kazandırdığını gösterir. Bir örnek: aynı 800.000 token’lık sözleşme seti hakkında on soru. Önbellekleme olmadan bu, 1M başına $0.175 fiyatıyla 8M token eder. Belgeler başta gelir ve aynı kalırsa, ilk çağrı 800.000 yeni token okur, sonraki dokuz çağrı ise bunların çoğunu 1M başına $0.0055 fiyatıyla önbellekten okuyabilir. Yalnızca soru ve yanıt değişir.
Sınırsız bir planda istemin boyutu faturayı değiştirmez: Full Moon, token sayacı olmadan oturum başına ayda $60 tutar. Uzun bağlamlı ajanların token başına ödeme yerine sabit fiyatlı plan seçmek için yaygın bir neden olması bundandır.
Yanıt için ne kadar yer bırakmalısınız?
Pencere istemi ve çıktıyı kapsar; akıl yürüten modellerde çıktı düşünmeyi de içerir. 1.040.000 token’lık bir istem gönderirseniz akıl yürütme ve yanıt için yalnızca yaklaşık 8.000 token kalır. Bir pay bırakın, max_tokens değerini açıkça ayarlayın ve akıl yürüten modellerin neden boş yanıt döndürebileceğini okuyun.
Bir kod tabanını 1M token’lık istem için nasıl hazırlarsınız?
- Modelin ihtiyaç duymadıklarını dışarıda bırakın. Kilit dosyaları, derleme çıktıları, projeye gömülü bağımlılıklar, görseller ve üretilmiş kod token harcar ve gürültü ekler.
- Göndermeden önce sayın. Küçük bir örnek gönderin, usage içinden
prompt_tokensdeğerini okuyun ve ölçeği büyütün. - Sabitliğe göre sıralayın. Nadiren değişen dosyalar önce, düzenlenen dosyalar sonra, soru en sonda. Bu, öneki önbelleğe alınabilir tutar.
- Her dosyayı etiketleyin. Modelin onlara atıf yapabilmesi için dosyaları
=== path/to/file.py ===gibi net işaretlerle sarın. - Atıf isteyin. “Dayandığın satırı alıntıla” demek, devasa girdilerde kendinden emin hataları azaltır.
- Ölçün. İstek başına istem token’larını, önbellekli token’ları ve ilk token süresini loglayın. Akış, ilk token’ı gelir gelmez gösterir.
BroadNet Inference’ın yeri
Sohbet modellerinden ikisi istek başına 1.048.576 token alır ve BroadNet bağlamınızı kırpmaz. Token başına ücretli bir anahtarda önbellekleme, tekrarlanan uzun istemleri uygun maliyette tutar; bir plan oturumunda ise istem boyutu faturayı etkilemez. Derleminiz bir milyon token’dan çok daha büyükse veya her dakika değişiyorsa yine getirmeye ihtiyacınız var ve hiçbir pencere boyutu bunu değiştirmez.

