BroadRouter

申请私有端点,先把工作负载说清楚

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于

申请私有端点之前,先写清工作负载:每天和高峰期的请求数、输入和输出 token、由此推算的并发、所需上下文、处理区域、模型及其许可证,以及预算。区域和限额要书面约定,拿到端点后先做冒烟测试,再接入真实数据。

“我们需要一个专属端点”只是对话的开始,而不是需求说明。没有你的数字,服务商无法确定容量的规模、部署位置和价格,你也无法判断他们的答复是否合理。本文列出申请之前要明确的内容,配合一个发票信息抽取的完整示例,最后给出一个用来检查所拿到端点的脚本。

这些内容适用于任何服务商。涉及 BroadNet 的部分,只采用 BroadNet 公开说明的内容,于 2026 年 11 月 15 日核对。超出这些范围的,都需要向 BroadNet 询问。

什么时候需要私有端点?

通常出于以下四个原因之一:

  • **流量超过自助服务的限制。**BroadNet 的 API 参考公布的按量付费密钥限制是每分钟 30 个请求、同时最多 4 个请求。持续超过这个水平的工作负载是容量问题,而不是重试问题。(短时突发见处理 429。)
  • **需要的模型不在公开列表中。**BroadNet 的目录把一些模型标为 “available on request”(可按需申请),包括 Qwen3-VL 30B-A3B、Qwen3-VL 8B,以及 BroadNet 基于 Cohere Transcribe Arabic 的微调模型。如何读懂模型目录解释了其中的区别。
  • **必须由你控制处理地点。**数据驻留规定,例如沙特和阿联酋 PDPL 检查清单中的那些,可能要求使用书面约定的区域。
  • **可预测的延迟。**共享容量会随其他用户的负载而波动。预留容量消除了这个变量,但消除不了网络距离和你自己的提示词大小。

如果以上都不适用,自助密钥更简单。如果你的用量非常大且稳定,就和自己部署对比一下:方法见自托管与 API 成本对比。

关于工作负载要明确什么?

写一页需求简介。服务商需要的是这些数字:

项目 要写下什么 示例
任务 用一句话说明模型做什么 读取发票照片,返回 JSON 字段
用量 每天的请求数,以及最忙一小时的占比 每天 40,000 个,高峰小时占 15%
Token 输入和输出 token 的平均值和第 95 百分位 输入 1,800(一页图片 + 提示词),输出 350
上下文 单个请求的最大值,提示词加回答 4,000 token
延迟 可接受的首 token 时间和完整回答时间 10 秒内返回完整回答
流式输出 是否需要 不需要(类似批处理)
输入 文本、图片、音频;格式和大小 JPEG 和 PNG,每张一页
语言 哪些语言,各占多少 阿拉伯语和英语,60/40
增长 6 个月和 12 个月后的预期用量 12 个月内翻倍

token 数要用真实样本测量,而不是靠猜。同样的文本,阿拉伯语往往比英语需要更多 token;阿拉伯语 token 计数器和各语言的真实成本展示了在不同分词器上相差多少。图片可以先用图片 token 计算器做初步估算。

如何把用量换算成每秒 token 数和并发?

高峰期每秒请求数等于最忙一小时的用量除以 3,600。并发,即同时在处理的请求数,由利特尔法则推出:系统中的平均数量等于到达率乘以每个请求在系统中的平均停留时间。对 API 来说,就是每秒请求数 × 每个请求的秒数。

import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))

它输出的结果是:高峰期每秒 1.67 个请求,每个请求约 5.8 秒,并发 10 个请求,每秒 3,000 个输入 token 和 583 个输出 token,每月 25.8 亿 token。每路流每秒 60 个 token 只是示例中的假设;请在你要使用的模型上自己测量,因为速度随模型、提示词长度和负载而变化。延迟、TTFT 与吞吐量一文说明了要测什么。

有两点要注意。这个公式忽略了提示词处理时间,所以长提示词或大图片会让实际请求更慢,推高并发。另外,平均值会掩盖突发:要把第 95 百分位的请求大小和一份简短的突发特征交给服务商,而不只是平均值。这个示例的高峰(约每分钟 100 个请求、同时 10 个)远高于单个按量付费密钥公布的自助限制,这正是值得开始谈容量的时候。

区域、数据驻留和限额怎么处理?

在任何受监管的数据流动之前,明确地以书面形式约定。BroadNet 的服务条款(§7.3a)写道:“Contact us to agree processing locations for your deployment before sending data with residency requirements”(译文:在发送有数据驻留要求的数据之前,请联系我们约定你的部署的处理地点),并说明合作方托管和备份处理会涉及其他处理方,客户可申请获取当前的子处理方列表。其隐私声明说,BroadNet 自有的和托管的开放权重模型运行在 BroadNet 位于美国的自有或租用硬件上,合作方容量作为备份;其概览页说,可按需申请在中东北非(MENA)或欧洲进行区域处理。

所以,要问任何服务商的问题是:

  1. 哪个区域处理请求,哪个区域承担备份容量?
  2. 哪些子处理方可能接触流量,包括故障切换或溢出时?
  3. 端点的速率、并发和 token 限额是多少,超过后会怎样?
  4. 适用哪些可用性和支持条款,写在哪里?BroadNet 的服务条款(§7.4)说,自助服务没有可用性承诺,私有端点和预留容量按你单独的书面协议执行。要了解其他服务商的书面 SLA 涵盖哪些内容,请阅读大模型 API SLA 对比。
  5. 保留什么?对于 BroadNet 的推理 API,公开的立场是:推理内容不会保留;必要的账户、账单和安全元数据会按其隐私声明中的说明保留。请确认同样的规定适用于你的端点。

用哪个模型,在什么许可证下?

写明确切的模型和版本,并确认其许可证允许你的用途以及通过 API 提供服务。BroadNet 的模型页列出 Gemma 4 26B、Qwen3-VL 30B-A3B 以及 Cohere Transcribe 基础权重采用 Apache-2.0 许可,而 BroadNet 基于 Cohere Transcribe Arabic 的微调模型为 “under contract”(按合同提供)。其服务条款说,模型受各自许可证约束,DeepSeek V4.1 Flash 由合作方托管时,其许可证依然适用。

上下文窗口也要约定。上下文限制取决于模型和部署方式,而不只是基础模型的最大值:BroadNet 列出其公开 API 上 Gemma 4 VL 26B 的上下文为 32K token,可按需申请的 Qwen3-VL 30B-A3B 为 16K。用上下文窗口计算器对照你最大的请求,而不是平均请求。

预算怎么定?

BroadNet 没有公布私有端点的价格;其概览页写的是 “Reserved GPU, priced to your traffic. Ask for a quote.”(译文:预留 GPU,按你的流量定价。请询价。)所以先定好你自己的上限。用大模型 API 成本计算器按自助价格为同样的工作负载估价,使用规模估算脚本得出的每月 token 数,然后决定可预测的容量、指定区域或非公开模型对你来说额外值多少钱。报价低于自助价格是意外之喜;报价远高于它,就需要从你的需求清单中找到理由。

如何提交咨询?

BroadNet 的 API 参考写道:“Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”(译文:私有端点、我们的阿拉伯语微调模型以及其他按需申请的模型,通过随端点签发的私有 ID 访问。)其概览页要求提供 “your model, languages and traffic requirements”(译文:你的模型、语言和流量需求)。通过联系页面发送你的一页需求简介,不要附带 API 密钥或客户数据。内容包括规模估算的输出、区域、模型和许可证、延迟目标、预算上限和时间表。

如何验证拿到的端点?

在接入生产流量之前,对照约定的内容测试端点。这个脚本只用 Python 标准库。它会检查私有模型 ID 是否可用、流式输出是否以 BroadNet 文档描述的 data: [DONE] 标记结束、约定的并发是否能跑通而不出现 429,以及错误的模型 ID 是否会被拒绝。

import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())

我们用一个允许 8 个并发请求的本地模拟服务器(不是真实端点)运行了它。设置 AGREED_CONCURRENCY=8 时,四项检查全部通过。设为 12 时,并发检查失败,结果是八个 200 和四个 429,这正是你希望在上线前而不是上线后看到的结果。max_tokens=1000 为思考模型留出了空间,它们在回答之前会用掉一部分预算。

冒烟测试之后,用真实大小的提示词,按你测得的高峰做一次简短的负载测试,记录端点的首 token 时间和完整回答延迟。保存好请求 ID;BroadNet 的文档要求在支持请求中提供 X-Request-ID、时间戳、路由和状态码。

BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 以自助方式销售公开模型的访问,按 token、按音频分钟、按会话套餐和按小时密钥计费;价格见价格页。私有端点、区域处理、微调模型以及标为 “on request”(按需申请)的模型都不是自助服务:它们是由 BroadNet 报价并书面约定的咨询项目。本文无法告诉你 BroadNet 会为你的工作负载提供什么。一份清晰的需求简介,就是找到答案的方式。

常见问题

什么是大模型私有端点?

一个由单个客户专用的预留容量支撑的 API 端点,而不是与所有自助用户共享。BroadNet 对它的描述是:一块预留的 GPU 或一个节点,运行你选择的模型,配有你自己的密钥和限额,以及你需要的区域,通过私有模型 ID 访问。

怎么估算需要多少并发?

用利特尔法则:并发请求数 = 高峰期每秒请求数 × 每个请求的秒数。每秒 1.67 个请求、每个约 5.8 秒,意味着约 10 个请求同时在处理。每个请求的秒数要用真实模型和真实提示词测量。

可以自助购买 BroadNet 的私有端点吗?

不可以。BroadNet 把私有端点、区域处理和未公开列出的模型作为咨询项目:你描述工作负载,BroadNet 报价。其服务条款说,私有端点和预留容量按单独的书面协议执行。

私有端点有 SLA 吗?

只有你的书面协议写明了才有。BroadNet 的服务条款说明,自助服务没有可用性承诺,服务等级只存在于单独的书面协议中。在依赖它之前,先要到确切的条款。

我的数据会在哪里处理?

在发送数据之前约定好。BroadNet 的服务条款要求有数据驻留要求的客户先约定处理地点,并说明合作方托管和备份处理会涉及其他处理方,客户可申请获取子处理方列表。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity