BroadRouter
Inizia

Come far girare agenti di coding in parallelo con un’API LLM flat

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Dai a ogni agente che lavora in contemporanea la sua sessione del piano. Una sessione esegue una richiesta alla volta senza contatore di token, quindi un orchestratore con tre sub-agenti ha bisogno di quattro sessioni. Limita di conseguenza le richieste in corso nel tuo codice. Una chiave può contenere più sessioni, e ogni sessione Full Moon costa $60 al mese.

I framework per agenti sono passati da un assistente a molti: un orchestratore che pianifica, sub-agenti che scrivono codice, lo rivedono ed eseguono i test, e worker batch che smaltiscono un backlog. Su un’API a token ognuno di questi fa salire la fattura. Su un’API flat la domanda diventa: quante cose chiamano il modello nello stesso momento?

Cosa copre una sessione flat?

I piani illimitati di BroadNet vendono sessioni. Una sessione esegue una richiesta alla volta, con token DeepSeek V4.1 Flash illimitati e senza finestra mobile né tetto settimanale. Corrisponde a come lavora un agente: invia una richiesta, legge la risposta, esegue un tool e invia la richiesta successiva.

Configurazione Richieste in corso al picco Sessioni
Un agente di coding in un terminale 1 1
Orchestratore + 3 sub-agenti 4 4
10 worker batch 10 10
2 sviluppatori, 1 agente ciascuno 2 2 (ognuno sul proprio account)

Ogni sessione Full Moon costa $60 al mese. Una chiave può contenere più sessioni, oppure puoi dividere le sessioni di un piano tra le sue chiavi, per esempio una chiave per server o per progetto, così una chiave trapelata o revocata ferma solo gli agenti che la usano. Chiavi e account sono personali: puoi integrare un piano nel tuo prodotto, ma non puoi condividere né rivendere la chiave. Regole complete delle sessioni.

Quante sessioni servono agli agenti in parallelo?

Gli agenti passano molto tempo senza chiamare il modello: eseguono test, leggono file, aspettano una build. Quattro sub-agenti che chiamano il modello ciascuno per il 40% del tempo raramente ne hanno bisogno tutti insieme. Prima di comprare quattro sessioni:

  1. Registra un orario di inizio e di fine per ogni richiesta al modello che il tuo framework fa, per agente.
  2. Conta il massimo di richieste che si sovrappongono in ogni minuto.
  3. Compra sessioni per la sovrapposizione che raggiungi la maggior parte del tempo, non per il picco assoluto, e metti in coda il resto nel tuo codice (vedi il semaforo più sotto). Le pagine di BroadNet non dicono se una richiesta oltre il limite resta in attesa o viene rifiutata, quindi non lasciare che gli agenti la inviino alla cieca.

Per esempio, se i tuoi log mostrano due richieste in corso quasi sempre e quattro solo in brevi picchi, due sessioni più una coda lato client possono essere la configurazione più economica.

Uno script breve fa il conteggio. Data una lista di tempi (start, end) in secondi presi dai tuoi log:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

Se il risultato mostra che la maggior parte del tempo si sta a una o due richieste in corso, compra due sessioni. Se resta a quattro per ore, comprane quattro.

Quante sessioni servono a ciascuno schema di agenti?

Schema Come chiama il modello Regola di dimensionamento
Orchestratore + worker Il planner chiama, poi distribuisce il lavoro I worker che girano insieme, più una per il planner se continua a lavorare
Pipeline (scrivi → rivedi → testa) Una fase alla volta per attività Una sessione per ogni attività in parallelo
Backlog batch Molti job identici Una sessione per worker; più worker finiscono prima
Agenti di più sviluppatori Indipendenti Una sessione per sviluppatore, ognuno sul proprio account

Come eviti che gli agenti in parallelo si intralcino?

La capacità del modello è solo metà del problema. Due agenti che modificano lo stesso file annullano l’uno il lavoro dell’altro. La soluzione abituale è un git worktree per agente: ognuno ha il proprio checkout e il proprio branch dello stesso repository.

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

Poi dividi le attività per modulo, così gli agenti toccano di rado gli stessi file, e fai il merge con un passo di revisione. Per farli girare senza supervisione, vedi esecuzioni notturne degli agenti di coding; per quanto costano in token gli agenti in più, vedi il costo dei sistemi multi-agente.

Quando conviene il pagamento a consumo per agenti in parallelo?

Una chiave a pagamento a consumo permette 4 richieste in corso e 30 richieste al minuto. È adatta a distribuzioni brevi e a picchi: un passo di revisione che lancia quattro controllori per venti secondi e poi tace. Il carico costante si adatta alle sessioni, quello a picchi alla fatturazione a token. Molte configurazioni usano entrambi: sessioni del piano per gli agenti che girano a lungo e una chiave a consumo per i picchi e per altri modelli come GLM 5.3.

Quando una chiave a consumo raggiunge il suo rate limit o il limite di concorrenza, restituisce 429. Rallenta e riprova; vedi codici di errore e quando ripetere. Il calcolatore dei rate limit mostra fin dove arriva un dato limite con il tuo schema di richieste.

Come colleghi gli agenti al piano?

Quasi tutti i framework per agenti accettano un base URL compatibile con OpenAI. Punta ogni agente a https://inference.broadnet.ai/v1 con il modello broadnet/deepseek-v4.1-flash e dai a ciascuno una chiave:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

Per un singolo agente di coding da terminale, la guida ad Aider ha le impostazioni esatte; Cline e OpenCode hanno le loro guide. Per un orchestratore tuo, la guida all’SDK Python di OpenAI mostra come configurare il client. Nel tuo codice, limita le richieste in corso al numero di sessioni, così si mettono in coda dalla tua parte, dove puoi vederle:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

Cosa va storto con gli agenti in parallelo?

  • Avviare tutti gli agenti insieme. Una raffica di prime chiamate simultanee supera subito le tue sessioni. Scagliona gli avvii di qualche secondo.
  • Tempeste di retry. Se tutti gli agenti riprovano nello stesso istante, si scontrano di nuovo. Aggiungi jitter al backoff.
  • max_tokens troppo basso. DeepSeek V4.1 Flash ragiona prima di rispondere; un limite basso può restituire una risposta vuota. Perché.
  • Condividere una chiave tra più persone. Le chiavi sono personali. Dai a ogni sviluppatore il suo account.

Quanto contesto può usare ogni agente?

Ogni richiesta può portare fino a 1.048.576 token su DeepSeek V4.1 Flash. Un sub-agente può leggere l’intero modulo su cui lavora invece di un riassunto ridotto, e su un piano un prompt lungo non costa di più. Quando serve una finestra da 1M di token.

Come provi la configurazione spendendo poco?

Compra un’ora Meteor ($1) per ogni sessione che pensi di usare ed esegui il tuo flusso di agenti reale. Se gli agenti si aspettano troppo spesso, aggiungi una sessione. Se una resta inattiva, toglila. Poi passa a Full Moon o a sessioni Orbit settimanali ($15 ciascuna).

Dove si inserisce BroadNet Inference

Le sessioni del piano sono adatte ad agenti costanti e in parallelo su un unico modello, perché la fattura dipende da quanti ne girano insieme, non da quanto leggono. Se i tuoi agenti hanno bisogno di più modelli diversi, o chiamano il modello solo a brevi raffiche, una chiave a consumo o un router possono costare meno. Prima confronta con i conti del punto di pareggio.

Domande frequenti

Cosa succede se due agenti usano la stessa sessione nello stesso momento?

Una sessione esegue una richiesta alla volta, e le pagine di BroadNet non dicono se una seconda richiesta resta in attesa o viene rifiutata con un 429. Non contare su nessuna delle due: limita nel tuo codice le richieste in corso al numero di sessioni, ripeti i 429 con backoff e aggiungi una sessione se gli agenti aspettano troppo.

Quanti agenti di coding posso far girare in parallelo?

Tanti quante le sessioni che hai per le richieste che si sovrappongono. Ogni sessione del piano esegue una richiesta alla volta, quindi quattro agenti che chiamano il modello nello stesso momento hanno bisogno di quattro sessioni. Gli agenti che passano quasi tutto il tempo a eseguire tool possono condividere meno sessioni, se il tuo codice mette in coda le loro chiamate al modello.

Come evito che agenti in parallelo modifichino gli stessi file?

Dai a ogni agente il suo git worktree e il suo branch, e dividi il lavoro per file o per modulo. Fai il merge con normali pull request o con un passo finale di revisione.

Posso combinare un piano e il pagamento a consumo?

Sì. Le chiavi dei piani e quelle a consumo sono separate. Uno schema comune è usare sessioni del piano per gli agenti costanti e una chiave a consumo per i picchi occasionali o per altri modelli.

Le sessioni devono stare su chiavi separate?

No. Una chiave può contenere più sessioni, oppure puoi dividerle tra più chiavi, per esempio una chiave per server o per progetto.

Gli agenti in parallelo costano di più con un piano flat?

Solo in base al numero di sessioni. Su un piano i token non vengono contati, quindi la fattura è il numero di sessioni per il prezzo del piano, qualunque cosa ogni agente legga o scriva.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity