BroadRouter

推理服务商(inference provider)

更新于

推理服务商是在自有、租赁或租用的 GPU 上运行机器学习模型(通常是开放权重的大模型),并通过 API 出售使用权的公司,通常按 token、按请求或按时间计价。它负责模型部署、扩缩容和硬件。

又称: 推理提供商、大模型推理服务商、大模型 API 服务商、模型托管服务商、AI 推理平台、inference provider、LLM inference provider、LLM API provider、model hosting provider、AI inference provider

开放权重模型发布之后,总得有人来运行它。推理服务商就是做这件事的公司。

原理

服务商把模型权重加载到 GPU 上,运行负责批处理请求和管理显存的推理服务软件,再在前面加一层 API。大多数服务商提供 OpenAI 兼容 API,所以切换服务商只需改 base URL、密钥和模型 ID。

这个说法涵盖几种商业形态:

  • 模型厂商,部署自家的模型。
  • 独立托管方,部署来自多家厂商的开放权重模型。
  • 云厂商,出租 GPU 或托管端点,有时按 GPU 小时计费。
  • 聚合平台。 Hugging Face 的 Inference Providers 通过一个 token 提供 “hundreds of machine learning models, powered by world-class inference providers”(译文:数百个机器学习模型,由世界一流的推理服务商提供支持)。大模型路由器也是同样的思路。

由于 API 格式相同,同一份代码可以在任何一家上运行,只需改三个值:

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

计价方式也各不相同:按 token、按音频分钟、按小时,或按会话固定价格。

为什么重要

选择服务商,主要是在选择那些从模型名称上看不出来的取舍:

  • 数据处理。 保留、日志和训练用途各不相同。请寻找书面的零数据保留政策。
  • 运行地点。 地区和子处理方关系到合规。
  • 限制。 并发、速率限制和上下文长度可能低于模型本身的上限。
  • 部署选择。 精度和推理服务设置会影响速度,有时也会影响输出。
  • 计价方式。 哪种方式合适取决于你的流量;参见推理服务商价格对比。
  • 价格水平。 同一个开源模型,在一家服务商那里的价格可能是另一家的好几倍。参见同一模型,不同托管方。

在 BroadNet Inference 上

BroadNet Inference 是一家推理服务商。其隐私声明称,它自己的模型和它托管的开放权重模型 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(译文:运行在 BroadNet 自有或租用的美国境内硬件上,以合作伙伴的算力作为备份),由合作伙伴提供的模型则在与美国推理合作伙伴约定的零数据保留条款下运行。请求和响应内容不会被保留。

它通过位于 https://inference.broadnet.ai/v1 的 OpenAI 兼容 API 提供对话模型,包括 DeepSeek V4.1 Flash 和 GLM 5.3,以及两个语音转文字模型。计费方式有按 token 或按音频分钟的按量付费、按小时密钥,以及 DeepSeek V4.1 Flash 的固定价格套餐。用服务商选择清单,按你自己的标准把它和其他服务商比一比。

常见问题

推理服务商和大模型路由器有什么区别?

服务商自己运行模型,使用自有、租赁或租用的硬件。路由器则通过一个 API、一份账单,把你的请求转发给多家服务商中的一家。有些公司两者都做。

两家服务商部署同一个开源模型,回答会一样吗?

不一定。精度、上下文限制、默认设置和推理服务软件都可能不同,所以输出也可能不同。切换前请用你自己的提示词测试。

怎么切换推理服务商?

使用 OpenAI 兼容 API 时,改三个值:base URL、API 密钥和模型 ID。然后重新跑一遍你的评测,因为同一个模型换了服务商,表现可能不同。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity