BroadRouter
Başlayın

Sabit fiyatlı LLM API ile paralel kodlama ajanları nasıl çalıştırılır?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Aynı anda çalışan her ajana kendi plan oturumunu verin. Bir oturum token sayacı olmadan aynı anda tek istek işler; bu yüzden üç alt ajanlı bir orkestratör dört oturum ister. Uçuştaki istekleri kendi kodunuzda buna göre sınırlayın. Tek bir anahtar birkaç oturum taşıyabilir ve Full Moon'da her oturum ayda $60 tutar.

Ajan çerçeveleri tek bir asistandan çok sayıda asistana geçti: planlayan bir orkestratör, kod yazan, onu inceleyen ve testleri çalıştıran alt ajanlar ve bir iş birikimini işleyen toplu işçiler. Token başına ücretli bir API’de bunların her biri faturaya eklenir. Sabit fiyatlı bir API’de ise soru şuna dönüşür: modeli aynı anda kaç şey çağırıyor?

Sabit fiyatlı bir oturum neyi kapsar?

BroadNet’in sınırsız planları oturum satar. Bir oturum, sınırsız DeepSeek V4.1 Flash token’ıyla, kayan pencere veya haftalık tavan olmadan aynı anda tek istek işler. Bu, tek bir ajanın çalışma biçimine uyar: bir istek gönderir, yanıtı okur, bir araç çalıştırır ve sonraki isteği gönderir.

Kurulum Zirvede uçuştaki istekler Oturum
Tek terminalde bir kodlama ajanı 1 1
Orkestratör + 3 alt ajan 4 4
10 toplu işçi 10 10
2 geliştirici, her birinde 1 ajan 2 2 (her biri kendi hesabında)

Her Full Moon oturumu ayda $60. Tek bir anahtar birden fazla oturum tutabilir ya da bir planın oturumlarını anahtarlarına bölebilirsiniz; örneğin sunucu veya proje başına bir anahtar. Böylece sızan ya da iptal edilen bir anahtar yalnızca arkasındaki ajanları durdurur. Anahtarlar ve hesaplar kişiseldir: bir planı kendi ürününüze yerleştirebilirsiniz, ama anahtarı paylaşamaz veya yeniden satamazsınız. Oturum kurallarının tamamı.

Paralel ajanlar kaç oturum gerektirir?

Ajanlar zamanlarının çoğunu modeli çağırmadan geçirir: test çalıştırır, dosya okur, bir derlemeyi bekler. Her biri modeli zamanın %40’ında çağıran dört alt ajanın hepsine aynı anda nadiren ihtiyaç duyulur. Dört oturum satın almadan önce:

  1. Çerçevenizin yaptığı her model isteği için ajan bazında bir başlangıç ve bitiş zamanı loglayın.
  2. Her dakikada çakışan en yüksek istek sayısını sayın.
  3. Mutlak zirve için değil, çoğu zaman ulaştığınız çakışma için oturum satın alın ve geri kalanını kendi kodunuzda kuyruğa alın (aşağıdaki semafora bakın). BroadNet’in sayfaları sınırı aşan bir isteğin bekleyip beklemediğini ya da reddedilip reddedilmediğini söylemiyor; bu yüzden ajanların onu körlemesine göndermesine izin vermeyin.

Örneğin loglarınız çoğu zaman uçuşta iki istek, yalnızca kısa patlamalarda dört istek gösteriyorsa, iki oturum artı istemci tarafında bir kuyruk daha ucuz kurulum olabilir.

Sayımı kısa bir betik yapar. Loglarınızdan saniye cinsinden (start, end) zamanlarının bir listesi verildiğinde:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

Sonuç zamanın çoğunu uçuşta bir veya iki istekte gösteriyorsa iki oturum satın alın. Saatlerce dörtte kalıyorsa dört oturum satın alın.

Hangi ajan düzeni kaç oturum gerektirir?

Düzen Modeli nasıl çağırır Boyutlandırma kuralı
Orkestratör + işçiler Planlayıcı çağırır, sonra dağıtır Birlikte çalışan işçiler, planlayıcı çalışmaya devam ediyorsa onun için bir tane daha
Boru hattı (yaz → incele → test et) Görev başına aynı anda tek aşama Paralel çalışan görev başına bir oturum
Toplu iş birikimi Çok sayıda özdeş iş İşçi başına bir oturum; daha fazla işçi daha erken bitirir
Birkaç geliştiricinin ajanları Bağımsız Geliştirici başına bir oturum, her biri kendi hesabında

Paralel ajanlar birbirinin yolundan nasıl uzak tutulur?

Model kapasitesi sorunun yalnızca yarısıdır. Aynı dosyayı düzenleyen iki ajan birbirinin işini geri alır. Olağan çözüm ajan başına bir git worktree’dir: her biri aynı depodan kendi çalışma kopyasını ve dalını alır.

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

Ardından görevleri modül bazında bölün ki ajanlar aynı dosyalara nadiren dokunsun ve bir inceleme adımıyla birleştirin. Gözetimsiz çalıştırmak için gece boyu kodlama ajanı çalıştırma yazısına; ek ajanların token maliyeti için çoklu ajan maliyeti yazısına bakın.

Paralel ajanlar için kullandıkça öde ne zaman daha iyidir?

Bir kullandıkça öde anahtarı uçuşta 4 isteğe ve dakikada 30 isteğe izin verir. Bu, kısa ve sivri dağıtımlara uyar: yirmi saniye boyunca dört denetleyici başlatıp sonra sessizleşen bir inceleme adımı gibi. Sürekli yük oturumlara, sivri yük token başına faturalamaya uyar. Birçok kurulum ikisini birden kullanır: uzun süre çalışan ajanlar için plan oturumları, patlamalar ve GLM 5.3 gibi diğer modeller için bir kullandıkça öde anahtarı.

Bir kullandıkça öde anahtarı hız sınırına veya eşzamanlılık sınırına ulaştığında 429 döndürür. Geri çekilin ve yeniden deneyin; bkz. hata kodları ve ne zaman yeniden denenmeli. Hız sınırı hesaplayıcısı, belirli bir sınırın istek düzeniniz için ne kadar yeteceğini gösterir.

Ajanlar plana nasıl bağlanır?

Çoğu ajan çerçevesi OpenAI uyumlu bir temel URL kabul eder. Her ajanı broadnet/deepseek-v4.1-flash modeliyle https://inference.broadnet.ai/v1 adresine yönlendirin ve her birine bir anahtar verin:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

Tek bir terminal kodlama ajanı için tam ayarlar Aider rehberinde; Cline ve OpenCode için ayrı rehberler var. Kendi orkestratörünüz için OpenAI Python SDK rehberi istemci kurulumunu gösteriyor. Kendi kodunuzda uçuştaki istekleri oturum sayısıyla sınırlayın ki istekler sizin tarafınızda, görebileceğiniz yerde kuyruğa girsin:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

Paralel ajanlarda ne ters gider?

  • Her ajanı aynı anda başlatmak. Eşzamanlı ilk çağrıların patlaması oturumlarınızı hemen aşar. Başlangıçları birkaç saniye arayla kaydırın.
  • Yeniden deneme fırtınaları. Her ajan aynı anda yeniden denerse yine çarpışırlar. Geri çekilmeye rastgele sapma (jitter) ekleyin.
  • Çok düşük max_tokens. DeepSeek V4.1 Flash yanıtlamadan önce akıl yürütür; küçük bir sınır boş yanıt döndürebilir. Nedeni.
  • Tek anahtarı kişiler arasında paylaşmak. Anahtarlar kişiseldir. Her geliştiriciye kendi hesabını verin.

Her ajan ne kadar bağlam kullanabilir?

DeepSeek V4.1 Flash’ta her istek 1.048.576 token’a kadar taşıyabilir. Bir alt ajan, kırpılmış bir özet yerine üzerinde çalıştığı modülün tamamını okuyabilir ve planda uzun bir istem ek maliyet getirmez. 1M token’lık pencere ne zaman işe yarar.

Kurulum ucuza nasıl test edilir?

İhtiyaç duyduğunuzu düşündüğünüz her oturum için bir Meteor saati ($1) satın alın ve gerçek ajan iş akışınızı çalıştırın. Ajanlar birbirini çok sık bekliyorsa bir oturum ekleyin. Biri boşta duruyorsa onu bırakın. Sonra Full Moon’a veya haftalık Orbit oturumlarına (her biri $15) geçin.

BroadNet Inference nereye oturuyor?

Plan oturumları tek bir model üzerinde sürekli, paralel çalışan ajanlara uyar; çünkü fatura ne kadar okuduklarına değil, aynı anda kaç tanesinin çalıştığına bağlıdır. Ajanlarınız birkaç farklı modele ihtiyaç duyuyorsa ya da modeli yalnızca kısa patlamalarla çağırıyorsa, bir kullandıkça öde anahtarı veya bir yönlendirici daha ucuza gelebilir. Önce başa baş hesabıyla karşılaştırın.

Sık sorulan sorular

İki ajan aynı oturumu aynı anda kullanırsa ne olur?

Bir oturum aynı anda tek istek işler ve BroadNet'in sayfaları ikinci isteğin bekleyip beklemediğini ya da 429 ile reddedilip reddedilmediğini söylemiyor. İkisine de güvenmeyin: uçuştaki istekleri kendi kodunuzda oturum sayınızla sınırlayın, 429'ları geri çekilmeyle yeniden deneyin ve ajanlar çok beklerse bir oturum ekleyin.

Kaç kodlama ajanını paralel çalıştırabilirim?

Çakışan istekler için kaç oturumunuz varsa o kadar. Her plan oturumu aynı anda tek istek işler; bu yüzden modeli aynı anda çağıran dört ajan dört oturum ister. Çoğunlukla araç çalıştıran ajanlar, kodunuz model çağrılarını kuyruğa alıyorsa daha az oturumu paylaşabilir.

Paralel ajanların aynı dosyaları düzenlemesini nasıl önlerim?

Her ajana kendi git worktree'sini ve dalını verin, işi dosya veya modül bazında bölün. Olağan pull request'lerle ya da son bir inceleme adımıyla birleştirin.

Planı ve kullandıkça öde'yi birlikte kullanabilir miyim?

Evet. Plan anahtarları ile kullandıkça öde anahtarları ayrıdır. Yaygın bir düzen, sürekli çalışan ajanlar için plan oturumları ve ara sıra gelen patlamalar ya da diğer modeller için bir kullandıkça öde anahtarıdır.

Oturumlar ayrı anahtarlarda mı olmalı?

Hayır. Tek bir anahtar birkaç oturum taşıyabilir ya da onları anahtarlara bölebilirsiniz; örneğin sunucu veya proje başına bir anahtar.

Paralel ajanlar sabit fiyatlı planda daha pahalıya mı gelir?

Yalnızca oturum sayısı kadar. Planda token'lar ölçülmez; bu yüzden fatura, her ajan ne okursa ya da yazarsa yazsın, oturum sayısı çarpı plan fiyatıdır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor