BroadRouter

文本、语音还是视觉?先从任务出发

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于

从输入和输出出发。输入文本、输出文本,就是对话。输入照片或扫描件、输出文本,就是在支持图片的模型上带图对话。输入录音、输出文本,就是转写;从语音得到回答,就是先转写再对话。BroadNet 不提供文本转语音、图像生成或 embeddings。

“我们该用哪个模型?” 是第二个问题。第一个问题是:“输入是什么,输出要是什么?” 一张发票照片、一条客户的语音消息和一个打字输入的问题,各自要发往不同类型的端点,而每个端点都有自己的模型、限制和失败方式。先确定任务,模型清单就会缩小到两三个。

本指南先把常见任务对应到输入类型,再对应到 BroadNet Inference 为每种类型提供的文档说明。BroadRouter 是 BroadNet 自己的网站;下面的模型信息来自 BroadNet 的价格数据和 API 参考,查阅日期为 2026 年 11 月 15 日。

你的任务需要哪种输入类型?

你的任务 输入 输出 端点 BroadNet 模型
回答、总结、分类或翻译文本 文本 文本 Chat completions 四个对话模型中任意一个
调用你自己的函数或工具 文本 工具调用 Chat completions GLM 5.3、Qwen3.8 27B(有文档记载)
读取照片、扫描件、截图或表单 图片 + 文本 文本或 JSON 带图片的 chat completions DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B
把录音或语音消息转成文字 音频文件 文本 音频转写 Transcribe Arabic、Transcribe(14 种语言)
总结一通电话或回复一条语音消息 音频文件 文本 先转写,再对话 各用一个
把回答朗读出来 文本 音频 文本转语音 不提供
进行实时语音对话 音频流 音频 实时语音 不提供
生成图片 文本 图片 图像生成 不提供
对文档做语义搜索 文本 向量 Embeddings 不提供

表中的 “视觉” 指图像理解:模型读取你发送的图片,而不是生成图片。两者的区别见词汇表中的视觉语言模型条目。

对话和转写有什么区别?

它们是不同的端点,请求格式、计费单位和模型都不一样。

对话(POST /v1/chat/completions)以 JSON 形式接收消息列表,返回文本。按 token 计费,输入和输出分开计价,每个模型都有一个同时容纳提示词和回答的上下文窗口。在 BroadNet 上,四个对话模型中有三个会先思考(reasoning)再回答,而思考内容计入 max_tokens,所以要留出余量(思考 token 与空回答)。

转写(POST /v1/audio/transcriptions)以 multipart 上传的方式接收音频文件,返回转写文本。按音频分钟计费。BroadNet 的文档规定格式为 WAV 或 MP3,每个文件最大 26,214,400 字节,并说明始终要传入 language,否则阿拉伯语可能会被音译成拉丁字母返回。

模型 语言 价格
BroadNet Transcribe Arabic 阿拉伯语:按 BroadNet 的说法,涵盖海湾、埃及、黎凡特、马格里布方言和现代标准阿拉伯语 每分钟 $0.0042(每小时约 $0.25)
BroadNet Transcribe 14 种,包括英语、西班牙语、法语、普通话和阿拉伯语 每分钟 $0.002(每小时约 $0.12)

BroadNet 上的对话模型不接收音频,转写模型也不回答问题。用文字回复的语音助手需要两次调用:先转写,再对话。用录音生成阿拉伯语会议纪要搭建的正是这条链路。

哪些模型接受图片?

价格数据中 modalities 列有 image 的模型。截至 2026 年 11 月 15 日:

模型 输入 上下文 每 1M token 输入 / 输出 使用条件
DeepSeek V4.1 Flash 文本、图片 1,048,576 $0.175 / $0.52 需要充值
Qwen3.8 27B 文本、图片 262,144 $0.175 / $2.17 需要充值
Gemma 4 VL 26B 文本、图片 32,768 $0.10 / $0.22 $5 初始额度
GLM 5.3 仅文本 1,048,576 $0.78 / $3.46 需要充值

把图片以 data: URL 的形式放进消息内容中发送,并写对 MIME 类型。BroadNet 的文档说,视觉功能 “only where the model row explicitly says images or vision”(译文:仅在模型条目明确写有 images 或 vision 时提供)。文档没有列出接受的图片格式,所以你打算接受的每种格式都要测试。使用按量付费的密钥时,图片按输入 token 计费,图片越大用量越多;发送前先缩小尺寸,并用图片 token 计算器估算。完整的文档提取流程见用视觉大模型从文档中提取数据。

在代码里怎样为每种输入选择路由?

下面这个函数根据文件类型选择端点,在发送前检查文档规定的限制,并从实时价格数据中读取支持图片的模型列表,而不是写死在代码里。它使用 OpenAI Python SDK,只要改一下 base URL 就能用于 BroadNet(配置指南)。

import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
                api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"}       # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400                                         # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"}        # your allow-list; test each one

def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
        stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
    kind = mimetypes.guess_type(path)[0] if path else None
    if kind is None:                                           # text only
        r = client.chat.completions.create(model=chat_model, max_tokens=1500,
                                           messages=[{"role": "user", "content": task}])
        return r.choices[0].message.content
    if kind in AUDIO_TYPES or kind.startswith("audio/"):
        if kind not in AUDIO_TYPES:
            raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
        if Path(path).stat().st_size > AUDIO_MAX:
            raise ValueError("over 26,214,400 bytes: split the audio before sending")
        with open(path, "rb") as f:                            # step 1: speech to text
            text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
        return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
    if kind in IMAGE_TYPES:
        if chat_model not in VISION:
            raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
        data = base64.b64encode(Path(path).read_bytes()).decode()
        r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
            "content": [{"type": "text", "text": task},
                        {"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
        return r.choices[0].message.content
    raise ValueError(f"unsupported input type {kind}")

我们把 BROADNET_BASE_URL 指向本地模拟服务器(没有调用真实 API),并使用实时价格数据做了测试。文本、一个 WAV 文件、一个带后续任务的 WAV 文件和一个 PNG,都到达了正确的模拟端点。用 chat_model="broadnet/glm-5.3" 发送 PNG 时,在发出任何请求之前就被拒绝,并列出了价格数据中三个支持图片的 ID。.ogg 文件被拒绝,同时给出了转换用的 ffmpeg 命令;这一步见转写 WhatsApp 语音消息。超过大小上限的录音需要切分;音频切分工具可以生成 ffmpeg 命令。

如果文档本来就是文本呢?

那就别发它的图片。从会计系统或文字处理软件导出的 PDF 通常带有文本层;用 PDF 库把文本提取出来,发给对话模型即可。使用按量付费的密钥时,这比发图片便宜,能避免误读,而且 GLM 5.3 也能处理。视觉功能留给扫描件、手机照片、手写体、印章和截图这些没有文本层可提取的情况。

文档流水线中一条实用的规则:先尝试提取文本,检查它是否返回了真正的文本(而不是空白页或乱码),只有不行时才退回到图片。对于阿拉伯语 PDF,在信任提取结果之前先读一段样本:取决于 PDF 的生成方式,提取出的阿拉伯字母可能顺序错乱,或者是未连写的表现形式(presentation forms)。哪些情况下图片是更好的来源,见用视觉大模型做阿拉伯语 OCR。

成本怎么比较?

每种输入类型都有自己的计费单位,所以要按任务而不是按请求比较:

  • 文本按输入和输出 token 计费。同样的内容,阿拉伯语往往比英语需要更多 token;阿拉伯语 token 计数器可以测量。
  • 图片在按量付费时按模型输入价格计为输入 token,所以一张大照片可能比一页文字还贵。在 DeepSeek 会话套餐中,图片包含在固定价格里。
  • 音频按音频分钟计费,与说了什么无关。在 BroadNet 上,用阿拉伯语模型转写 10,000 条每条 30 秒的阿拉伯语语音消息,费用约为 $21.00。其他用量可以用语音转文字成本计算器计算。

链路的成本是各部分之和:由对话模型回复的一条语音消息,费用是转写分钟数,加上转写文本和回答的对话 token。对话部分可以用大模型 API 成本计算器计算。

哪些功能不提供,应该怎么替代?

BroadNet 的 API 参考记载了两个推理端点:chat completions 和音频转写。所以没有:

  • 文本转语音。 没有 /v1/audio/speech。如果你的产品必须用语音回应,就把 BroadNet 的转写和对话与另一个 TTS 服务搭配使用。
  • 实时语音。 转写接收的是上传的文件,而不是实时音频流。如果电话智能体需要在通话中途回应,你需要在别处搭建实时语音技术栈。录制浏览器音频用于转写介绍了基于文件的替代方案。
  • 图像生成。 这里的视觉是读取图片,不是创建图片。
  • Embeddings。 没有 /v1/embeddings。做检索需要其他服务商的或自行部署的 embedding 模型;embedding 成本计算器可以比较价格。

BroadNet 的研究目录确实列出了文本转语音、图像生成和 embedding 模型,标注为在其实验室中做过基准测试。这记录的是 BroadNet 测试过什么,而不是它的 API 卖什么;两者的区别见如何解读模型目录。

为什么每种输入都需要单独的评测集?

因为每种输入类型的失败方式不同,把它们混在一起取平均会掩盖失败。

  • 文本: 用真实的用户消息打分,尽可能用代码检查。方法见切换大模型前如何评估。
  • 图片: 使用真实质量的真实照片:斜着拍的手机照片、褪色的收据、盖在文字上的印章。每个字段单独打分。干净的 PDF 渲染图得分会远高于用户实际发来的照片。
  • 语音: 在你自己的录音上测量词错误率,按方言、说话人和线路质量分开统计,并单独检查关键的词(姓名、数字、金额)。见阿拉伯语 ASR 的 WER 详解。
  • 链路: 当语音输入要交给对话模型时,两个步骤和最终结果都要打分。一个听错的数字会变成一个自信的错误回答,只有端到端测试才能看出这种情况有多频繁。

各个评测集要分开保存、做版本管理,每次更换模型或提示词时,重新运行相应的那一个。

BroadNet Inference 的定位

BroadNet Inference 用一个密钥和一个 base URL 覆盖了任务表的前五行:文本对话、GLM 5.3 和 Qwen3.8 27B 上的工具调用、三个模型上的图像理解,以及阿拉伯语或多语言转写。Gemma 4 VL 26B 和两个转写模型可以使用 $5 初始额度;DeepSeek、GLM 和 Qwen 需要充值。推理内容不会被保留;必要的账户、计费和安全元数据按 BroadNet 隐私声明所述保留。语音朗读、图像生成、实时语音或 embeddings,请使用其他服务。上述所有价格见价格页面。

常见问题

处理图片应该用哪个 AI 模型?

选你所用 API 上接受图片输入的模型。根据 BroadNet Inference 的价格数据,那就是 DeepSeek V4.1 Flash、Qwen3.8 27B 或 Gemma 4 VL 26B;GLM 5.3 只接受文本。把图片以 data URL 的形式放进对话消息里发送。

对话模型能转写音频吗?

在 BroadNet Inference 上不能。音频要用转写模型发送到转写端点 /v1/audio/transcriptions。如果之后还需要摘要或回答,再把转写文本作为第二步发给对话模型。

BroadNet Inference 提供文本转语音或图像生成吗?

不提供。它的 API 参考只记载了 chat completions 和音频转写。文本转语音和图像生成模型出现在 BroadNet 的研究目录中,标注为已做基准测试,这并不等于对外提供。

BroadNet 接受哪些音频格式?

WAV(audio/wav)或 MP3(audio/mpeg),每个文件最大 26,214,400 字节。其他格式(比如 WhatsApp 的 .ogg 语音消息)要先用 ffmpeg 转换,并且始终传入 language 参数。

图片怎么计费?

使用按量付费的密钥时,BroadNet 把图片按输入 token、以模型的输入价格计费,图片越大用的 token 越多。在 DeepSeek 会话套餐中,图片包含在固定价格里。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity