BroadRouter
Mulai

Cara menjalankan agen coding paralel dengan API LLM harga tetap

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Beri setiap agen yang bekerja bersamaan satu sesi paket sendiri. Satu sesi menjalankan satu permintaan dalam satu waktu tanpa meteran token, jadi orchestrator dengan tiga subagent butuh empat sesi. Batasi permintaan yang sedang berjalan di kode Anda sendiri agar sesuai. Satu kunci bisa memuat beberapa sesi, dan setiap sesi Full Moon berharga $60 per bulan.

Framework agen sudah bergeser dari satu asisten ke banyak asisten: orchestrator yang merencanakan, subagent yang menulis kode, me-review-nya, dan menjalankan tes, serta batch worker yang mengerjakan backlog. Di API per token, setiap komponen itu menambah tagihan. Di API harga tetap, pertanyaannya menjadi: berapa banyak yang memanggil model pada saat yang sama?

Apa yang dicakup satu sesi harga tetap?

Paket unlimited BroadNet menjual sesi. Satu sesi menjalankan satu permintaan dalam satu waktu, dengan token DeepSeek V4.1 Flash tanpa batas dan tanpa rolling window atau plafon mingguan. Ini cocok dengan cara kerja satu agen: mengirim permintaan, membaca jawaban, menjalankan tool, lalu mengirim permintaan berikutnya.

Setup Permintaan berjalan bersamaan saat puncak Sesi
Satu agen coding di satu terminal 1 1
Orchestrator + 3 subagent 4 4
10 batch worker 10 10
2 developer, masing-masing 1 agen 2 2 (masing-masing di akunnya sendiri)

Setiap sesi Full Moon berharga $60 per bulan. Satu kunci bisa memuat beberapa sesi, atau Anda bisa membagi sesi sebuah paket ke beberapa kuncinya, misalnya satu kunci per server atau per proyek, sehingga kunci yang bocor atau dicabut hanya menghentikan agen di belakangnya. Kunci dan akun bersifat pribadi: Anda boleh memasang paket di dalam produk Anda sendiri, tetapi tidak boleh membagikan atau menjual ulang kuncinya. Aturan sesi selengkapnya.

Berapa sesi yang dibutuhkan agen paralel?

Agen menghabiskan banyak waktu tidak memanggil model: menjalankan tes, membaca file, menunggu build. Empat subagent yang masing-masing memanggil model 40% dari waktunya jarang membutuhkannya bersamaan. Sebelum membeli empat sesi:

  1. Catat waktu mulai dan selesai setiap permintaan model yang dibuat framework Anda, per agen.
  2. Hitung jumlah permintaan tumpang tindih terbanyak di setiap menit.
  3. Beli sesi untuk tumpang tindih yang paling sering terjadi, bukan puncak mutlaknya, dan antrekan sisanya di kode Anda sendiri (lihat semaphore di bawah). Halaman BroadNet tidak menyebut apakah permintaan yang melebihi batas akan menunggu atau ditolak, jadi jangan biarkan agen mengirimnya begitu saja.

Misalnya, jika log Anda menunjukkan dua permintaan berjalan hampir sepanjang waktu dan empat hanya dalam lonjakan singkat, dua sesi plus antrean di sisi klien mungkin setup yang lebih murah.

Skrip singkat bisa melakukan penghitungannya. Dengan daftar waktu (start, end) dalam detik dari log Anda:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

Jika hasilnya menunjukkan sebagian besar waktu berada di satu atau dua permintaan berjalan, beli dua sesi. Jika bertahan di empat selama berjam-jam, beli empat.

Pola agen mana butuh berapa sesi?

Pola Cara memanggil model Aturan ukuran
Orchestrator + worker Planner memanggil, lalu menyebar Worker yang berjalan bersamaan, plus satu untuk planner jika ia tetap bekerja
Pipeline (tulis → review → tes) Satu tahap dalam satu waktu per tugas Satu sesi per tugas yang berjalan paralel
Batch backlog Banyak pekerjaan identik Satu sesi per worker; lebih banyak worker selesai lebih cepat
Agen milik beberapa developer Independen Satu sesi per developer, masing-masing di akunnya sendiri

Bagaimana menjaga agen paralel agar tidak saling mengganggu?

Kapasitas model baru separuh masalahnya. Dua agen yang mengedit file yang sama akan saling membatalkan pekerjaan. Solusi umumnya adalah satu git worktree per agen: masing-masing mendapat checkout dan branch sendiri dari repositori yang sama.

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

Lalu bagi tugas per modul, agar agen jarang menyentuh file yang sama, dan gabungkan lewat langkah review. Untuk menjalankannya tanpa diawasi, lihat menjalankan agen coding semalaman; untuk biaya token dari agen tambahan, lihat biaya multi-agent.

Kapan bayar sesuai pemakaian lebih baik untuk agen paralel?

Kunci bayar sesuai pemakaian mengizinkan 4 permintaan berjalan bersamaan dan 30 permintaan per menit. Ini cocok untuk fan-out yang singkat dan melonjak: langkah review yang memunculkan empat pemeriksa selama dua puluh detik, lalu diam. Beban stabil cocok dengan sesi, dan beban yang melonjak cocok dengan penagihan per token. Banyak setup memakai keduanya: sesi paket untuk agen yang berjalan lama dan kunci bayar sesuai pemakaian untuk lonjakan serta model lain seperti GLM 5.3.

Saat kunci bayar sesuai pemakaian mencapai rate limit atau batas konkurensi, ia mengembalikan 429. Lakukan backoff lalu ulangi; lihat kode error dan kapan harus retry. Kalkulator rate limit menunjukkan seberapa jauh suatu batas mencukupi pola permintaan Anda.

Bagaimana menghubungkan agen ke paket?

Kebanyakan framework agen menerima base URL kompatibel OpenAI. Arahkan setiap agen ke https://inference.broadnet.ai/v1 dengan model broadnet/deepseek-v4.1-flash dan beri masing-masing kunci:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

Untuk satu agen coding di terminal, panduan Aider memuat pengaturan yang persis; Cline dan OpenCode punya panduan sendiri. Untuk orchestrator buatan sendiri, panduan OpenAI Python SDK menunjukkan setup klien. Di kode Anda sendiri, batasi permintaan yang sedang berjalan sesuai jumlah sesi agar antrean terjadi di sisi Anda, tempat Anda bisa melihatnya:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

Apa yang sering salah dengan agen paralel?

  • Memulai semua agen sekaligus. Lonjakan panggilan pertama yang bersamaan langsung melebihi jumlah sesi Anda. Beri jeda beberapa detik antarmulai.
  • Badai retry. Jika setiap agen mengulang pada saat yang sama, mereka bertabrakan lagi. Tambahkan jitter ke backoff.
  • max_tokens terlalu kecil. DeepSeek V4.1 Flash bernalar sebelum menjawab; batas yang kecil bisa menghasilkan balasan kosong. Penyebabnya.
  • Berbagi satu kunci dengan banyak orang. Kunci bersifat pribadi. Beri setiap developer akunnya sendiri.

Berapa banyak konteks yang bisa dipakai setiap agen?

Setiap permintaan bisa membawa hingga 1.048.576 token di DeepSeek V4.1 Flash. Subagent bisa membaca seluruh modul yang sedang dikerjakannya alih-alih ringkasan yang dipangkas, dan di paket, prompt yang panjang tidak menambah biaya. Kapan jendela 1 juta token membantu.

Bagaimana menguji setup dengan murah?

Beli satu jam Meteor ($1) untuk setiap sesi yang menurut Anda dibutuhkan, lalu jalankan alur kerja agen Anda yang sebenarnya. Jika agen terlalu sering saling menunggu, tambah satu sesi. Jika ada yang menganggur, kurangi. Setelah itu pindah ke Full Moon atau sesi Orbit mingguan ($15 per sesi).

Di mana posisi BroadNet Inference?

Sesi paket cocok untuk agen paralel yang stabil di satu model, karena tagihannya bergantung pada berapa agen yang berjalan bersamaan, bukan pada berapa banyak yang mereka baca. Jika agen Anda butuh beberapa model berbeda, atau hanya memanggil model dalam lonjakan singkat, kunci bayar sesuai pemakaian atau router bisa lebih murah. Bandingkan dulu dengan hitungan titik impas.

Pertanyaan umum

Apa yang terjadi jika dua agen memakai satu sesi bersamaan?

Satu sesi menjalankan satu permintaan dalam satu waktu, dan halaman BroadNet tidak menyebut apakah permintaan kedua akan menunggu atau ditolak dengan 429. Jangan mengandalkan keduanya: batasi permintaan yang sedang berjalan sesuai jumlah sesi di kode Anda sendiri, ulangi 429 dengan backoff, dan tambah sesi jika agen menunggu terlalu lama.

Berapa agen coding yang bisa saya jalankan secara paralel?

Sebanyak sesi yang Anda miliki untuk permintaan yang tumpang tindih. Setiap sesi paket menjalankan satu permintaan dalam satu waktu, jadi empat agen yang memanggil model pada saat yang sama butuh empat sesi. Agen yang lebih banyak menjalankan tool bisa berbagi sesi yang lebih sedikit jika kode Anda mengantrekan panggilan model mereka.

Bagaimana mencegah agen paralel mengedit file yang sama?

Beri setiap agen git worktree dan branch sendiri, lalu bagi pekerjaan per file atau modul. Gabungkan lewat pull request biasa atau langkah review terakhir.

Bisakah saya menggabungkan paket dan bayar sesuai pemakaian?

Bisa. Kunci paket dan kunci bayar sesuai pemakaian terpisah. Pola yang umum adalah sesi paket untuk agen yang stabil dan kunci bayar sesuai pemakaian untuk lonjakan sesekali atau model lain.

Apakah sesi harus berada di kunci yang terpisah?

Tidak. Satu kunci bisa memuat beberapa sesi, atau Anda bisa membaginya ke beberapa kunci, misalnya satu kunci per server atau per proyek.

Apakah agen paralel lebih mahal di paket harga tetap?

Hanya sebanyak jumlah sesinya. Token tidak dihitung di paket, jadi tagihannya adalah jumlah sesi dikali harga paket, berapa pun yang dibaca atau ditulis setiap agen.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity