BroadRouter
Loslegen

Parallele Coding-Agenten mit einer LLM-API-Flatrate betreiben

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Geben Sie jedem Agenten, der gleichzeitig arbeitet, eine eigene Plan-Session. Eine Session verarbeitet eine Anfrage gleichzeitig ohne Token-Zähler; ein Orchestrator mit drei Sub-Agenten braucht also vier Sessions. Begrenzen Sie die gleichzeitig laufenden Anfragen in Ihrem eigenen Code passend dazu. Ein Schlüssel kann mehrere Sessions enthalten, und jede Session kostet bei Full Moon $60 im Monat.

Agenten-Frameworks sind von einem Assistenten zu vielen übergegangen: ein Orchestrator, der plant, Sub-Agenten, die Code schreiben, prüfen und Tests ausführen, und Batch-Worker, die einen Rückstand abarbeiten. Bei einer API mit Abrechnung pro Token erhöht jeder davon die Rechnung. Bei einer Flatrate-API lautet die Frage stattdessen: Wie viele Prozesse rufen das Modell im selben Moment auf?

Was deckt eine Flatrate-Session ab?

Die unbegrenzten Pläne von BroadNet verkaufen Sessions. Eine Session verarbeitet eine Anfrage gleichzeitig, mit unbegrenzten Tokens für DeepSeek V4.1 Flash und ohne rollierendes Zeitfenster oder Wochenlimit. Das entspricht der Arbeitsweise eines Agenten: Er sendet eine Anfrage, liest die Antwort, führt ein Tool aus und sendet die nächste Anfrage.

Setup Gleichzeitige Anfragen in der Spitze Sessions
Ein Coding-Agent in einem Terminal 1 1
Orchestrator + 3 Sub-Agenten 4 4
10 Batch-Worker 10 10
2 Entwickler, je 1 Agent 2 2 (jeder mit eigenem Konto)

Jede Full-Moon-Session kostet $60 im Monat. Ein Schlüssel kann mehrere Sessions halten, oder Sie verteilen die Sessions eines Plans auf dessen Schlüssel, zum Beispiel einen Schlüssel pro Server oder pro Projekt, sodass ein geleakter oder widerrufener Schlüssel nur die Agenten dahinter stoppt. Schlüssel und Konten sind persönlich: Sie dürfen einen Plan in Ihr eigenes Produkt einbauen, den Schlüssel aber nicht teilen oder weiterverkaufen. Alle Regeln für Sessions.

Wie viele Sessions brauchen parallele Agenten?

Agenten verbringen viel Zeit damit, das Modell nicht aufzurufen: Tests ausführen, Dateien lesen, auf einen Build warten. Vier Sub-Agenten, die jeweils 40 % der Zeit das Modell aufrufen, brauchen es selten alle gleichzeitig. Bevor Sie vier Sessions kaufen:

  1. Loggen Sie für jede Modellanfrage Ihres Frameworks Start- und Endzeit, pro Agent.
  2. Zählen Sie die höchste Zahl sich überlappender Anfragen in jeder Minute.
  3. Kaufen Sie Sessions für die Überlappung, die Sie die meiste Zeit erreichen, nicht für die absolute Spitze, und stellen Sie den Rest in Ihrem eigenen Code in eine Warteschlange (siehe die Semaphore unten). Die Seiten von BroadNet sagen nicht, ob eine Anfrage über dem Limit wartet oder abgelehnt wird; lassen Sie Agenten sie also nicht blind senden.

Zeigen Ihre Logs zum Beispiel meist zwei gleichzeitige Anfragen und vier nur in kurzen Spitzen, sind zwei Sessions plus eine clientseitige Warteschlange möglicherweise das günstigere Setup.

Ein kurzes Skript erledigt das Zählen. Es nimmt eine Liste von (start, end)-Zeiten in Sekunden aus Ihren Logs:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

Zeigt das Ergebnis, dass die meiste Zeit eine oder zwei Anfragen gleichzeitig laufen, kaufen Sie zwei Sessions. Liegt der Wert stundenlang bei vier, kaufen Sie vier.

Welche Agenten-Muster brauchen wie viele Sessions?

Muster Wie es das Modell aufruft Faustregel
Orchestrator + Worker Planer ruft auf, dann Fan-out Gleichzeitig laufende Worker, plus eine für den Planer, wenn er weiterarbeitet
Pipeline (schreiben → prüfen → testen) Eine Stufe gleichzeitig pro Aufgabe Eine Session pro parallel laufender Aufgabe
Batch-Rückstand Viele gleichartige Jobs Eine Session pro Worker; mehr Worker sind schneller fertig
Agenten mehrerer Entwickler Unabhängig Eine Session pro Entwickler, jeder mit eigenem Konto

Wie halten Sie parallele Agenten auseinander?

Modellkapazität ist nur die halbe Miete. Zwei Agenten, die dieselbe Datei bearbeiten, machen gegenseitig ihre Arbeit rückgängig. Die übliche Lösung ist ein Git-Worktree pro Agent: Jeder bekommt einen eigenen Checkout und Branch aus demselben Repository.

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

Teilen Sie die Aufgaben dann nach Modulen auf, damit Agenten selten dieselben Dateien anfassen, und führen Sie die Ergebnisse über einen Review-Schritt zusammen. Wie Sie sie unbeaufsichtigt laufen lassen, zeigt Coding-Agenten über Nacht laufen lassen; was die zusätzlichen Agenten an Tokens kosten, zeigt Kosten von Multi-Agenten-Systemen.

Wann ist Pay-as-you-go für parallele Agenten besser?

Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitige Anfragen und 30 Anfragen pro Minute. Das passt zu kurzem, sprunghaftem Fan-out: einem Review-Schritt, der für zwanzig Sekunden vier Prüfer startet und dann ruhig wird. Gleichmäßige Last passt zu Sessions, sprunghafte Last zur Abrechnung pro Token. Viele Setups nutzen beides: Plan-Sessions für die lange laufenden Agenten und einen Pay-as-you-go-Schlüssel für Lastspitzen und für andere Modelle wie GLM 5.3.

Erreicht ein Pay-as-you-go-Schlüssel sein Rate Limit oder sein Limit für Parallelität, gibt er 429 zurück. Warten Sie mit Backoff und versuchen Sie es erneut; siehe Fehlercodes und wann ein Retry sinnvoll ist. Der Rate-Limit-Rechner zeigt, wie weit ein bestimmtes Limit für Ihr Anfragemuster reicht.

Wie verbinden Sie Agenten mit dem Plan?

Die meisten Agenten-Frameworks akzeptieren eine OpenAI-kompatible Basis-URL. Richten Sie jeden Agenten auf https://inference.broadnet.ai/v1 mit dem Modell broadnet/deepseek-v4.1-flash aus und geben Sie jedem einen Schlüssel:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

Für einen einzelnen Coding-Agenten im Terminal nennt die Aider-Anleitung die genauen Einstellungen; Cline und OpenCode haben eigene Anleitungen. Für Ihren eigenen Orchestrator zeigt die Anleitung zum OpenAI Python SDK die Einrichtung des Clients. Begrenzen Sie in Ihrem Code die gleichzeitigen Anfragen auf die Zahl der Sessions, damit sie auf Ihrer Seite warten, wo Sie es sehen:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

Was geht bei parallelen Agenten schief?

  • Alle Agenten auf einmal starten. Eine Welle gleichzeitiger erster Aufrufe übersteigt Ihre Sessions sofort. Starten Sie versetzt, mit einigen Sekunden Abstand.
  • Retry-Stürme. Wiederholen alle Agenten im selben Moment, kollidieren sie erneut. Fügen Sie dem Backoff Jitter hinzu.
  • Zu kleines max_tokens. DeepSeek V4.1 Flash denkt vor der Antwort nach; ein kleines Limit kann eine leere Antwort liefern. Warum.
  • Einen Schlüssel zwischen Personen teilen. Schlüssel sind persönlich. Geben Sie jedem Entwickler ein eigenes Konto.

Wie viel Kontext kann jeder Agent nutzen?

Jede Anfrage kann bei DeepSeek V4.1 Flash bis zu 1.048.576 Tokens enthalten. Ein Sub-Agent kann das gesamte Modul lesen, an dem er arbeitet, statt einer gekürzten Zusammenfassung, und in einem Plan kostet ein langer Prompt nichts extra. Wann ein Fenster von 1 Mio. Tokens hilft.

Wie testen Sie das Setup günstig?

Kaufen Sie eine Meteor-Stunde ($1) pro Session, die Sie zu brauchen glauben, und lassen Sie Ihren echten Agenten-Workflow laufen. Warten die Agenten zu oft aufeinander, nehmen Sie eine Session dazu. Steht eine ungenutzt herum, lassen Sie sie weg. Wechseln Sie danach zu Full Moon oder zu einwöchigen Orbit-Sessions (je $15).

Wo BroadNet Inference passt

Plan-Sessions eignen sich für gleichmäßig laufende, parallele Agenten auf einem Modell, weil die Rechnung davon abhängt, wie viele gleichzeitig laufen, nicht davon, wie viel sie lesen. Brauchen Ihre Agenten mehrere verschiedene Modelle oder rufen sie das Modell nur in kurzen Spitzen auf, kostet ein Pay-as-you-go-Schlüssel oder ein Router möglicherweise weniger. Vergleichen Sie zuerst mit der Break-even-Rechnung.

Häufige Fragen

Was passiert, wenn zwei Agenten gleichzeitig eine Session nutzen?

Eine Session verarbeitet eine Anfrage gleichzeitig, und die Seiten von BroadNet sagen nicht, ob eine zweite Anfrage wartet oder mit 429 abgelehnt wird. Verlassen Sie sich auf keins von beidem: Begrenzen Sie die gleichzeitigen Anfragen in Ihrem eigenen Code auf die Zahl Ihrer Sessions, wiederholen Sie 429 mit Backoff und nehmen Sie eine Session dazu, wenn Agenten zu lange warten.

Wie viele Coding-Agenten kann ich parallel betreiben?

So viele, wie Sie Sessions für sich überlappende Anfragen haben. Jede Plan-Session verarbeitet eine Anfrage gleichzeitig; vier Agenten, die im selben Moment das Modell aufrufen, brauchen also vier Sessions. Agenten, die überwiegend Tools ausführen, können sich weniger Sessions teilen, wenn Ihr Code ihre Modellaufrufe in eine Warteschlange stellt.

Wie verhindere ich, dass parallele Agenten dieselben Dateien bearbeiten?

Geben Sie jedem Agenten einen eigenen Git-Worktree und Branch und teilen Sie die Arbeit nach Datei oder Modul auf. Führen Sie die Ergebnisse über normale Pull Requests oder einen abschließenden Review-Schritt zusammen.

Kann ich einen Plan und Pay-as-you-go kombinieren?

Ja. Plan-Schlüssel und Pay-as-you-go-Schlüssel sind getrennt. Ein verbreitetes Muster sind Plan-Sessions für gleichmäßig laufende Agenten und ein Pay-as-you-go-Schlüssel für gelegentliche Lastspitzen oder andere Modelle.

Müssen Sessions auf getrennten Schlüsseln liegen?

Nein. Ein Schlüssel kann mehrere Sessions enthalten, oder Sie verteilen sie auf mehrere Schlüssel, zum Beispiel einen pro Server oder pro Projekt.

Kosten parallele Agenten mit einer Flatrate mehr?

Nur über die Zahl der Sessions. Tokens werden in einem Plan nicht gezählt; die Rechnung ist daher Sessions mal Planpreis, egal was jeder Agent liest oder schreibt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen