BroadRouter
Mulakan

Cara menjalankan ejen pengekodan selari pada API LLM kadar tetap

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

Beri setiap ejen yang bekerja pada masa yang sama sesi pelannya sendiri. Satu sesi menjalankan satu permintaan pada satu masa tanpa meter token, jadi orkestrator dengan tiga sub-ejen memerlukan empat sesi. Hadkan permintaan serentak dalam kod anda sendiri supaya sepadan. Satu kunci boleh memegang beberapa sesi, dan setiap sesi Full Moon berharga $60 sebulan.

Rangka kerja ejen telah beralih daripada satu pembantu kepada banyak: orkestrator yang merancang, sub-ejen yang menulis kod, menyemaknya dan menjalankan ujian, dan pekerja kelompok yang memproses backlog. Pada API setiap token, setiap satu itu menambah bil. Pada API kadar tetap, soalannya menjadi: berapa banyak yang memanggil model pada saat yang sama?

Apakah yang diliputi oleh sesi kadar tetap?

Pelan tanpa had BroadNet menjual sesi. Satu sesi menjalankan satu permintaan pada satu masa, dengan token DeepSeek V4.1 Flash tanpa had dan tiada tetingkap bergulir atau had mingguan. Itu sepadan dengan cara satu ejen bekerja: ia menghantar permintaan, membaca jawapan, menjalankan alat, dan menghantar permintaan seterusnya.

Persediaan Permintaan serentak pada puncak Sesi
Satu ejen pengekodan dalam satu terminal 1 1
Orkestrator + 3 sub-ejen 4 4
10 pekerja kelompok 10 10
2 pembangun, 1 ejen setiap seorang 2 2 (masing-masing pada akaun sendiri)

Setiap sesi Full Moon berharga $60 sebulan. Satu kunci boleh memegang beberapa sesi, atau anda boleh membahagikan sesi sesuatu pelan merentas kuncinya, contohnya satu kunci bagi setiap pelayan atau projek, supaya kunci yang bocor atau dibatalkan hanya menghentikan ejen di belakangnya. Kunci dan akaun adalah peribadi: anda boleh membina pelan ke dalam produk anda sendiri, tetapi anda tidak boleh berkongsi atau menjual semula kunci. Peraturan sesi penuh.

Berapa banyak sesi yang diperlukan oleh ejen selari?

Ejen menghabiskan banyak masa tidak memanggil model: menjalankan ujian, membaca fail, menunggu binaan. Empat sub-ejen yang setiap satunya memanggil model 40% daripada masa jarang memerlukannya serentak. Sebelum membeli empat sesi:

  1. Log masa mula dan tamat bagi setiap permintaan model yang dibuat oleh rangka kerja anda, bagi setiap ejen.
  2. Kira bilangan maksimum permintaan yang bertindih dalam setiap minit.
  3. Beli sesi untuk pertindihan yang anda capai pada kebanyakan masa, bukan puncak mutlak, dan buat baris gilir untuk yang selebihnya dalam kod anda sendiri (lihat semaphore di bawah). Halaman BroadNet tidak menyatakan sama ada permintaan yang melebihi had menunggu atau ditolak, jadi jangan biarkan ejen menghantarnya secara membuta tuli.

Contohnya, jika log anda menunjukkan dua permintaan serentak pada kebanyakan masa dan empat hanya dalam lonjakan pendek, dua sesi serta baris gilir di sisi klien mungkin persediaan yang lebih murah.

Skrip pendek boleh membuat kiraan itu. Diberi senarai masa (start, end) dalam saat daripada log anda:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

Jika hasilnya menunjukkan kebanyakan masa berada pada satu atau dua permintaan serentak, beli dua sesi. Jika ia kekal pada empat selama berjam-jam, beli empat.

Corak ejen manakah yang memerlukan berapa banyak sesi?

Corak Cara ia memanggil model Peraturan saiz
Orkestrator + pekerja Perancang memanggil, kemudian menyebar Pekerja yang berjalan bersama, tambah satu untuk perancang jika ia terus bekerja
Saluran paip (tulis → semak → uji) Satu peringkat pada satu masa setiap tugas Satu sesi bagi setiap tugas yang berjalan selari
Backlog kelompok Banyak kerja yang serupa Satu sesi setiap pekerja; lebih banyak pekerja, lebih cepat siap
Ejen beberapa pembangun Bebas Satu sesi setiap pembangun, masing-masing pada akaun sendiri

Bagaimanakah anda menghalang ejen selari daripada saling mengganggu?

Kapasiti model hanyalah separuh daripada masalah. Dua ejen yang menyunting fail yang sama akan membatalkan kerja satu sama lain. Penyelesaian biasa ialah satu git worktree bagi setiap ejen: setiap satu mendapat checkout dan cabangnya sendiri daripada repositori yang sama.

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

Kemudian bahagikan tugas mengikut modul, supaya ejen jarang menyentuh fail yang sama, dan gabungkan melalui langkah semakan. Untuk menjalankannya tanpa pengawasan, lihat larian ejen pengekodan semalaman; untuk kos token ejen tambahan, lihat kos berbilang ejen.

Bilakah bayar ikut guna lebih baik untuk ejen selari?

Kunci bayar ikut guna membenarkan 4 permintaan serentak dan 30 permintaan seminit. Itu sesuai untuk sebaran yang pendek dan mendadak: langkah semakan yang melancarkan empat penyemak selama dua puluh saat, kemudian senyap. Beban berterusan sesuai dengan sesi, dan beban mendadak sesuai dengan pengebilan setiap token. Banyak persediaan menggunakan kedua-duanya: sesi pelan untuk ejen yang berjalan lama dan kunci bayar ikut guna untuk lonjakan dan untuk model lain seperti GLM 5.3.

Apabila kunci bayar ikut guna mencecah had kadar atau had keserentakan, ia memulangkan 429. Undur dan cuba semula; lihat kod ralat dan bila perlu mencuba semula. Kalkulator had kadar menunjukkan sejauh mana sesuatu had boleh menampung corak permintaan anda.

Bagaimanakah anda menyambungkan ejen ke pelan?

Kebanyakan rangka kerja ejen menerima base URL serasi OpenAI. Halakan setiap ejen ke https://inference.broadnet.ai/v1 dengan model broadnet/deepseek-v4.1-flash dan beri setiap satu kunci:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

Untuk satu ejen pengekodan terminal, panduan Aider mempunyai tetapan yang tepat; Cline dan OpenCode mempunyai panduan masing-masing. Untuk orkestrator anda sendiri, panduan OpenAI Python SDK menunjukkan persediaan klien. Dalam kod anda sendiri, hadkan permintaan serentak kepada bilangan sesi supaya ia beratur di pihak anda, di mana anda boleh melihatnya:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

Apakah yang biasanya tidak kena dengan ejen selari?

  • Memulakan semua ejen serentak. Lonjakan panggilan pertama serentak melebihi sesi anda sekali gus. Jarakkan permulaan beberapa saat.
  • Ribut cubaan semula. Jika setiap ejen mencuba semula pada saat yang sama, ia bertembung lagi. Tambah jitter pada backoff.
  • max_tokens terlalu kecil. DeepSeek V4.1 Flash membuat penaakulan sebelum menjawab; had yang kecil boleh memulangkan balasan kosong. Sebabnya.
  • Berkongsi satu kunci antara beberapa orang. Kunci adalah peribadi. Beri setiap pembangun akaun sendiri.

Berapa banyak konteks yang boleh digunakan oleh setiap ejen?

Setiap permintaan boleh membawa sehingga 1,048,576 token pada DeepSeek V4.1 Flash. Sub-ejen boleh membaca keseluruhan modul yang sedang diusahakannya dan bukan ringkasan yang dipangkas, dan pada pelan, prompt yang panjang tidak menambah kos. Bila tetingkap 1M token membantu.

Bagaimanakah anda menguji persediaan dengan murah?

Beli satu jam Meteor ($1) bagi setiap sesi yang anda fikir diperlukan, dan jalankan aliran kerja ejen sebenar anda. Jika ejen terlalu kerap menunggu satu sama lain, tambah sesi. Jika ada yang terbiar, buang. Kemudian beralih kepada Full Moon atau sesi Orbit seminggu ($15 setiap satu).

Di manakah tempat BroadNet Inference

Sesi pelan sesuai untuk ejen selari yang stabil pada satu model, kerana bil bergantung pada berapa banyak yang berjalan serentak, bukan berapa banyak yang dibaca. Jika ejen anda memerlukan beberapa model berbeza, atau memanggil model hanya dalam lonjakan pendek, kunci bayar ikut guna atau penghala mungkin berkos lebih rendah. Bandingkan dengan kiraan titik pulang modal dahulu.

Soalan lazim

Apakah yang berlaku jika dua ejen menggunakan satu sesi pada masa yang sama?

Satu sesi menjalankan satu permintaan pada satu masa, dan halaman BroadNet tidak menyatakan sama ada permintaan kedua menunggu atau ditolak dengan 429. Jangan bergantung pada mana-mana satu: hadkan permintaan serentak kepada bilangan sesi anda dalam kod anda sendiri, cuba semula 429 dengan backoff, dan tambah sesi jika ejen menunggu terlalu lama.

Berapa banyak ejen pengekodan yang boleh saya jalankan secara selari?

Sebanyak sesi yang anda ada untuk permintaan yang bertindih. Setiap sesi pelan menjalankan satu permintaan pada satu masa, jadi empat ejen yang memanggil model pada saat yang sama memerlukan empat sesi. Ejen yang kebanyakannya menjalankan alat boleh berkongsi sesi yang lebih sedikit jika kod anda membuat baris gilir bagi panggilan model mereka.

Bagaimanakah saya menghalang ejen selari daripada menyunting fail yang sama?

Beri setiap ejen git worktree dan cabangnya sendiri, dan bahagikan kerja mengikut fail atau modul. Gabungkan melalui pull request biasa atau langkah semakan terakhir.

Bolehkah saya mencampurkan pelan dan bayar ikut guna?

Ya. Kunci pelan dan kunci bayar ikut guna adalah berasingan. Corak biasa ialah sesi pelan untuk ejen yang stabil dan kunci bayar ikut guna untuk lonjakan sekali-sekala atau model lain.

Adakah sesi perlu berada pada kunci berasingan?

Tidak. Satu kunci boleh memegang beberapa sesi, atau anda boleh membahagikannya antara kunci, contohnya satu kunci setiap pelayan atau setiap projek.

Adakah ejen selari lebih mahal pada pelan kadar tetap?

Hanya mengikut bilangan sesi. Token tidak dimeter pada pelan, jadi bil ialah bilangan sesi didarab harga pelan, tidak kira berapa banyak yang dibaca atau ditulis oleh setiap ejen.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity