BroadRouter
开始使用

如何在固定价格大模型 API 上运行并行编程智能体

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

同时工作的每个智能体,各给一个套餐会话。一个会话同一时间处理一个请求,不计 token,所以一个编排器加三个子智能体需要四个会话。在你自己的代码里,把同时进行的请求数限制到相应数量。一个密钥可以挂多个会话;Full Moon 每个会话每月 $60。

智能体框架已经从一个助手发展到多个:一个负责规划的编排器,负责写代码、审查代码和运行测试的子智能体,还有处理积压任务的批处理 worker。在按 token 计费的 API 上,每一个都会增加账单。在固定价格 API 上,问题就变成了:同一时刻有多少个东西在调用模型?

一个固定价格会话包含什么?

BroadNet 的不限量套餐按会话出售。一个会话同一时间处理一个请求,DeepSeek V4.1 Flash 的 token 不限量,没有滚动时间窗口,也没有每周上限。这正好符合单个智能体的工作方式:发送请求,读取回答,运行工具,再发送下一个请求。

场景 峰值时进行中的请求数 会话数
一个终端里的一个编程智能体 1 1
编排器 + 3 个子智能体 4 4
10 个批处理 worker 10 10
2 名开发者,各 1 个智能体 2 2(各用自己的账户)

每个 Full Moon 会话每月 $60。一个密钥可以挂多个会话,你也可以把一个套餐的会话分配到它的多个密钥上,例如每台服务器或每个项目一个密钥,这样某个密钥泄露或被吊销时,只会停掉它背后的智能体。密钥和账户归个人使用:你可以把套餐集成到自己的产品中,但不能共享或转售密钥。参见完整的会话规则。

并行智能体需要多少个会话?

智能体有大量时间不在调用模型:运行测试、读取文件、等待构建。四个子智能体如果各自只有 40% 的时间在调用模型,就很少会同时需要它。在买四个会话之前:

  1. 按智能体记录框架发出的每个模型请求的开始和结束时间。
  2. 统计每分钟内最多有多少个请求重叠。
  3. 按大部分时间达到的重叠数购买会话,而不是按绝对峰值购买,其余请求在你自己的代码里排队(见下文的信号量)。BroadNet 的页面没有说明超出限制的请求是等待还是被拒绝,所以不要让智能体盲目发送。

例如,如果日志显示大部分时间有两个请求在进行,只在短时间突发时达到四个,那么两个会话加一个客户端队列可能是更便宜的方案。

一小段脚本就能完成统计。输入是日志中以秒为单位的 (start, end) 时间列表:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

如果结果显示大部分时间只有一到两个请求在进行,就买两个会话。如果几个小时都停在四个,就买四个。

不同的智能体模式需要多少个会话?

模式 如何调用模型 计算规则
编排器 + worker 先由规划者调用,再分发出去 同时运行的 worker 数,如果规划者持续工作,再加一个
流水线(编写 → 审查 → 测试) 每个任务一次只运行一个阶段 每个并行运行的任务一个会话
批量积压任务 大量相同的作业 每个 worker 一个会话;worker 越多,完成越快
多名开发者的智能体 相互独立 每名开发者一个会话,各用自己的账户

怎样让并行智能体互不干扰?

模型容量只是问题的一半。两个智能体编辑同一个文件,会互相覆盖对方的工作。常见的解决办法是每个智能体一个 git worktree:每个智能体都从同一个仓库获得自己的检出目录和分支。

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

然后按模块拆分任务,让智能体很少碰到同一批文件,并通过审查步骤合并。无人值守运行,参见通宵运行编程智能体;多出来的智能体会花多少 token,参见多智能体成本。

什么时候并行智能体用按量付费更好?

按量付费密钥允许同时进行 4 个请求、每分钟 30 个请求。这适合短暂而尖峰式的分发:比如一个审查步骤启动四个检查器运行二十秒,然后归于安静。稳定负载适合会话,尖峰负载适合按 token 计费。很多方案两者并用:长时间运行的智能体用套餐会话,突发流量和 GLM 5.3 等其他模型用按量付费密钥。

按量付费密钥达到速率限制或并发限制时会返回 429。请退避后重试;参见错误码及何时重试。速率限制计算器可以算出某个限制在你的请求模式下够用到什么程度。

怎样把智能体接到套餐上?

大多数智能体框架都接受 OpenAI 兼容的 base URL。把每个智能体指向 https://inference.broadnet.ai/v1,模型设为 broadnet/deepseek-v4.1-flash,并给每个智能体一个密钥:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

对于单个终端编程智能体,Aider 指南给出了准确的设置;Cline 和 OpenCode 也有各自的指南。如果是你自己写的编排器,OpenAI Python SDK 指南展示了客户端的配置。在你自己的代码里,把进行中的请求数限制为会话数,让请求在你这一侧排队,这样你能看得见:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

并行智能体容易出什么问题?

  • 所有智能体同时启动。 一波同时发出的首次调用会立刻超出你的会话数。把启动时间错开几秒。
  • 重试风暴。 如果每个智能体在同一时刻重试,它们会再次撞在一起。给退避加上随机抖动(jitter)。
  • max_tokens 太小。 DeepSeek V4.1 Flash 会先思考再回答;上限太小可能返回空回复。参见原因。
  • 多人共用一个密钥。 密钥归个人使用。给每名开发者一个自己的账户。

每个智能体能用多少上下文?

在 DeepSeek V4.1 Flash 上,每个请求最多可以携带 1,048,576 个 token。子智能体可以读取它正在处理的整个模块,而不是一份裁剪过的摘要;在套餐上,长提示词也不会额外收费。参见百万 token 窗口什么时候有用。

怎样低成本地测试这套方案?

按你认为需要的会话数,每个会话买一个 Meteor 小时($1),然后运行你真实的智能体工作流。如果智能体经常互相等待,就加一个会话。如果有一个会话闲着,就去掉它。然后再换成 Full Moon,或者按周计费的 Orbit 会话(每个 $15)。

BroadNet Inference 适合什么场景

套餐会话适合在同一个模型上稳定运行的并行智能体,因为账单取决于同时运行的数量,而不是它们读了多少内容。如果你的智能体需要多个不同的模型,或者只在短暂的突发中调用模型,按量付费密钥或路由服务可能更便宜。请先对照盈亏平衡的计算。

常见问题

两个智能体同时使用一个会话会怎样?

一个会话同一时间处理一个请求,而 BroadNet 的页面没有说明第二个请求是排队等待,还是被 429 拒绝。两种情况都不要依赖:在你自己的代码里把进行中的请求数限制为会话数,对 429 做退避重试;如果智能体等待太久,就加一个会话。

我可以并行运行多少个编程智能体?

你有多少个会话,就能支持多少个重叠的请求。每个套餐会话同一时间处理一个请求,所以四个智能体在同一时刻调用模型,就需要四个会话。如果智能体大部分时间在运行工具,而你的代码会让它们的模型调用排队,它们就可以共用更少的会话。

怎样防止并行智能体编辑同一批文件?

给每个智能体独立的 git worktree 和分支,并按文件或模块分配工作。通过常规的 pull request 或最后一道审查步骤来合并。

可以把套餐和按量付费混着用吗?

可以。套餐密钥和按量付费密钥相互独立。常见做法是:稳定运行的智能体用套餐会话,偶尔的突发流量或其他模型用按量付费密钥。

会话必须放在不同的密钥上吗?

不必。一个密钥可以挂多个会话,你也可以把它们分到多个密钥上,比如每台服务器或每个项目一个密钥。

在固定价格套餐上,并行智能体会更贵吗?

只取决于会话数量。套餐不计 token,所以账单就是会话数乘以套餐价格,与每个智能体读写多少无关。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity