BroadRouter

1M token'lık bağlam penceresi ne zaman değer (ve ne zaman değmez)?

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı

1M token'lık bir bağlam penceresi, tek bir isteğin bütün bir kod tabanını, bir sözleşme setini veya saatlerce transkripti taşımasına izin verir; böylece model getirilen parçalar yerine her şeyi aynı anda görür. Dosyalar arası akıl yürütmede ve tek seferlik analizde karşılığını verir; büyük ve değişen bir derlemde tekrarlanan aramalar için getirme daha ucuzdur. DeepSeek V4.1 Flash ve GLM 5.3, 1.048.576 token kabul eder.

Light shining through towering cliffs made of stacked paper pages.

Bağlam pencereleri birkaç bin token’dan bir milyonun üzerine çıktı. BroadNet Inference’taki DeepSeek V4.1 Flash ve GLM 5.3, istem ve yanıt birlikte olmak üzere istek başına 1.048.576 token kabul ediyor. Bu, neler inşa edebileceğinizi değiştirir, ama her istemi daha iyi yapmaz.

Bir milyon token’a neler sığar?

Kabaca bir fikir vermek gerekirse: tokenizer verimliliği veri setimizde 1.000 kelimelik İngilizce düz metin, beş tokenizer ortalamasıyla yaklaşık 1,290 token tuttu; dolayısıyla bir milyon token kabaca 810,000 kelime düz metin eder:

İçerik Kabaca
Orta ölçekli bir kod tabanı (on binlerce satır) Sığar, üstelik yer kalır
Ekleriyle birlikte birkaç uzun sözleşme Sığar
Bir günlük toplantı transkriptleri Sığar
Bağımlılıklarıyla büyük bir monorepo Çoğu zaman sığmaz; dizin seçin

Token sayıları dile ve içeriğe bağlıdır. Kod ve Arapça metin çoğu zaman İngilizce düz metinden karakter başına daha fazla token kullanır. Tahmin etmek yerine gerçek bir istekteki usage bloğuyla ölçün ya da bir örneği bağlam penceresi hesaplayıcısında kontrol edin.

Hangi BroadNet modellerinin 1M token’lık bağlam penceresi var?

Model Bağlam penceresi Girdi Çıktı Görseller
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Evet
GLM 5.3 1.048.576 $0.78 $3.46 Hayır
Qwen3.8 27B 262.144 $0.175 $2.17 Evet
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Evet

Fiyatlar 1M token başınadır. GLM 5.3, aynı 1M pencerede araç çağırma ve yapılandırılmış çıktı da sunar.

1M token’lık bir pencere ne zaman değer?

  • Dosyalar arası akıl yürütme. “Bu test neden başarısız oluyor?” sorusu çoğu zaman kimsenin birlikte getirmeyi düşünmeyeceği beş dosyaya bağlıdır.
  • Belgenin tamamını inceleme. 4. madde ile B eki arasındaki çelişkileri bulmak için ikisinin de görünür olması gerekir.
  • Tek seferlik analiz. Bir kez soracağınız bir soru için getirme indeksi kurmak, kazandırdığından fazla emek ister.
  • Ajanlar. Modülün tamamını okuyabilen bir alt ajan daha az yanlış tahmin yapar. Bkz. paralel ajan çalıştırma.

Getirme ne zaman hâlâ daha iyi seçimdir?

Getirme; herhangi bir pencereden çok daha büyük bir kütüphanede çok sayıda küçük aramada, her dakika değişen içerikte ve önce devasa bir istemi okumanın gecikme eklediği hızlı etkileşimli yanıtlarda kazanır. Üretimdeki birçok sistem ikisini birlikte yapar: en ilgili 200.000 token’ı getirir, sonra uzun bağlamlı bir modelin hepsi üzerinde akıl yürütmesine izin verir. Sorgu başına maliyet, gecikme ve isabetin yan yana konduğu kararın tamamı uzun bağlam mı RAG mı yazısında.

Model pencerenin tamamını gerçekten kullanıyor mu?

Eşit şekilde değil. Araştırmalar bu konuda tutarlı:

  • Lost in the Middle makalesi (Liu vd.), performansın “is often highest when relevant information occurs at the beginning or end of the input context” (BroadRouter çevirisi: çoğu zaman ilgili bilgi girdi bağlamının başında veya sonunda yer aldığında en yüksek olduğunu) buldu.
  • Chroma’nın Context Rot raporu 18 modeli test etti ve basit görevlerde bile “performance grows increasingly unreliable as input length grows” (BroadRouter çevirisi: girdi uzunluğu arttıkça performansın giderek daha güvenilmez hale geldiğini) buldu.

Bu çalışmalar BroadNet’teki modelleri test etmedi; bu yüzden onları bir ölçüm değil, bir uyarı olarak görün. Pratik kural: bir milyon token kabul eden bir pencere, her token’ın eşit dikkat göreceği anlamına gelmez. En önemli içeriği başa veya sona yakın koyun ve isabeti kendi belgelerinizle test edin.

Bir milyon token’lık istemin maliyeti nedir?

Kullandıkça öde anahtarında DeepSeek V4.1 Flash, 1M girdi token’ı başına $0.175, 1M önbellekli girdi token’ı başına $0.0055 faturalandırır. Tam bir milyon token’lık istem ilk seferde yaklaşık $0.175 tutar; önek önbellekteyse tekrarlanan çağrılarda çok daha az. Önbellek oranınızı nasıl artırırsınız.

İstem önbellekleme hesaplayıcısı, bir önbellek isabetinin kendi istem boyutlarınızda ne kadar kazandırdığını gösterir. Bir örnek: aynı 800.000 token’lık sözleşme seti hakkında on soru. Önbellekleme olmadan bu, 1M başına $0.175 fiyatıyla 8M token eder. Belgeler başta gelir ve aynı kalırsa, ilk çağrı 800.000 yeni token okur, sonraki dokuz çağrı ise bunların çoğunu 1M başına $0.0055 fiyatıyla önbellekten okuyabilir. Yalnızca soru ve yanıt değişir.

Sınırsız bir planda istemin boyutu faturayı değiştirmez: Full Moon, token sayacı olmadan oturum başına ayda $60 tutar. Uzun bağlamlı ajanların token başına ödeme yerine sabit fiyatlı plan seçmek için yaygın bir neden olması bundandır.

Yanıt için ne kadar yer bırakmalısınız?

Pencere istemi ve çıktıyı kapsar; akıl yürüten modellerde çıktı düşünmeyi de içerir. 1.040.000 token’lık bir istem gönderirseniz akıl yürütme ve yanıt için yalnızca yaklaşık 8.000 token kalır. Bir pay bırakın, max_tokens değerini açıkça ayarlayın ve akıl yürüten modellerin neden boş yanıt döndürebileceğini okuyun.

Bir kod tabanını 1M token’lık istem için nasıl hazırlarsınız?

  1. Modelin ihtiyaç duymadıklarını dışarıda bırakın. Kilit dosyaları, derleme çıktıları, projeye gömülü bağımlılıklar, görseller ve üretilmiş kod token harcar ve gürültü ekler.
  2. Göndermeden önce sayın. Küçük bir örnek gönderin, usage içinden prompt_tokens değerini okuyun ve ölçeği büyütün.
  3. Sabitliğe göre sıralayın. Nadiren değişen dosyalar önce, düzenlenen dosyalar sonra, soru en sonda. Bu, öneki önbelleğe alınabilir tutar.
  4. Her dosyayı etiketleyin. Modelin onlara atıf yapabilmesi için dosyaları === path/to/file.py === gibi net işaretlerle sarın.
  5. Atıf isteyin. “Dayandığın satırı alıntıla” demek, devasa girdilerde kendinden emin hataları azaltır.
  6. Ölçün. İstek başına istem token’larını, önbellekli token’ları ve ilk token süresini loglayın. Akış, ilk token’ı gelir gelmez gösterir.

BroadNet Inference’ın yeri

Sohbet modellerinden ikisi istek başına 1.048.576 token alır ve BroadNet bağlamınızı kırpmaz. Token başına ücretli bir anahtarda önbellekleme, tekrarlanan uzun istemleri uygun maliyette tutar; bir plan oturumunda ise istem boyutu faturayı etkilemez. Derleminiz bir milyon token’dan çok daha büyükse veya her dakika değişiyorsa yine getirmeye ihtiyacınız var ve hiçbir pencere boyutu bunu değiştirmez.

Sık sorulan sorular

BroadNet uzun istemleri kırpar mı?

Hayır. BroadNet bağlamınızı kırpmaz. İstem ile max_tokens toplamı modelin penceresini aşıyorsa, sessiz kırpmaya güvenmek yerine istemi kısaltın.

1 milyon token kaç kelime eder?

Dile ve içeriğe bağlıdır. BroadRouter'ın tokenizer veri setinde İngilizce düz metin 100 kelime başına yaklaşık 129 token olarak ölçüldü (1.000 kelime, beş tokenizer ortalamasıyla yaklaşık 1,290 token tuttu); dolayısıyla 1.048.576 token kabaca 810,000 kelime, yani bin sayfanın çok üzerinde metin taşır. Teknik metin, kod ve Arapça daha fazla token gerektirir; bu yüzden gerçek içeriğinizi sayın.

1M token'lık bir istek yavaş mıdır?

Kısa bir istekten daha geç başlar, çünkü model önce istemin tamamını okumalıdır. Önbellekli önekler tekrarlanan çağrılarda genellikle yardımcı olur. İlk token süresini kendi istemlerinizle ölçün.

LLM'ler bağlam penceresinin tamamını gerçekten kullanıyor mu?

Eşit şekilde değil. Lost in the Middle makalesi, doğruluğun çoğu zaman ilgili bilgi girdinin başında veya sonunda olduğunda en yüksek olduğunu buldu; Chroma'nın Context Rot raporu da girdi uzunluğu arttıkça güvenilirliğin düştüğünü buldu. Kilit içeriği kenarlara koyun ve kendi verilerinizle test edin.

RAG kullanmayı bırakmalı mıyım?

Şart değil. Modelin her şeyi birlikte görmesi gerektiğinde uzun bağlamı, devasa bir kütüphaneden birkaç bilgiye ihtiyaç duyduğunda getirmeyi kullanın. Birçok sistem ikisini birleştirir.

İstemim bağlam penceresinden büyükse ne olur?

BroadNet sizin yerinize kırpmaz; bu yüzden istek amaçlandığı gibi çalışmaz. Göndermeden önce dosyaları çıkarın, eski turları özetleyin veya yalnızca ilgili kısımları getirin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor