BroadRouter

企业语音消息转文字:把 WhatsApp 和 Telegram 语音变成工单

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 · 更新于

要把客户语音消息变成工单,在 webhook 到达时立即从 WhatsApp Cloud API 或 Telegram Bot API 下载语音,转成 WAV,用正确的语言代码转写,再让大模型以 JSON 提取意图、紧急程度和订单号。创建附带转写文本的工单,并用文字回复客户。

An invoice, a phone showing an audio waveform and the Arabic word "مرحبا", with the text "Speech. Documents. Intelligence."

在中东的很多地方,客户不打字。他们发来一段 40 秒的海湾或埃及阿拉伯语语音,订单号往往夹在中间念出来。客服坐席只能听、倒回去、再录入工单系统。每天几百条下来,语音消息就成了你最慢的渠道。

本文围绕转写搭建业务流程:把语音从 WhatsApp 和 Telegram 里取出来,变成结构化工单,并把数据管住。格式转换和转写代码本身,请看我们的分步指南转写 WhatsApp 语音消息,这里不再重复。

语音消息怎样变成客服工单?

  1. 接收 WhatsApp 或 Telegram 的 webhook。
  2. 立即下载音频。
  3. 转换为 16 kHz 单声道 WAV。
  4. 用正确的语言代码转写。
  5. 用大模型提取工单字段。
  6. 创建附带转写文本的工单,并用文字回复。
  7. 删除音频文件。

第 1、2 步:怎样从 WhatsApp 取出音频?

在 WhatsApp Business Cloud API 上,收到的语音消息以带媒体 ID 的 webhook 形式到达,而不是文件本身。Meta 的媒体文档规定了这些规则:

  • 在 Graph API 上调用 GET /<MEDIA_ID>,获得一个 url。
  • 带上 Authorization: Bearer <token> 下载该 URL。没有令牌,请求会失败。
  • “Media URLs expire after 5 minutes.”(译文:媒体 URL 5 分钟后过期。)晚了就重新请求一个。
  • 来自入站 webhook 的媒体 ID 有效期为 7 天。
import os, requests

GRAPH = os.environ["GRAPH_BASE"]          # e.g. https://graph.facebook.com/<version>
HDR = {"Authorization": f"Bearer {os.environ['WA_TOKEN']}"}

def download_whatsapp(media_id, path):
    url = requests.get(f"{GRAPH}/{media_id}", headers=HDR, timeout=10).json()["url"]
    with open(path, "wb") as f:
        f.write(requests.get(url, headers=HDR, timeout=30).content)

在 webhook 处理程序的后台任务里做这件事,不要留到之后批量处理。每小时跑一次的队列会碰上已过期的 URL。

怎样从 Telegram 机器人取出语音消息?

Telegram 机器人会收到一个带 file_id 的 voice 对象。Bot API 说明,机器人“can download files of up to 20MB”(译文:可以下载最大 20MB 的文件),地址为 https://api.telegram.org/file/bot<token>/<file_path>,链接“valid for at least 1 hour”(译文:至少 1 小时内有效)。

TG = f"https://api.telegram.org/bot{os.environ['TG_TOKEN']}"

def download_telegram(file_id, path):
    file_path = requests.get(f"{TG}/getFile", params={"file_id": file_id}, timeout=10).json()["result"]["file_path"]
    with open(path, "wb") as f:
        f.write(requests.get(f"https://api.telegram.org/file/bot{os.environ['TG_TOKEN']}/{file_path}", timeout=30).content)

实际上两个平台发来的语音消息都是 Ogg/Opus。转写端点接受 WAV 或 MP3,所以先用 WhatsApp 指南里那条一行的 ffmpeg 命令转换,再用 language="ar"(或客户使用的语言)转写。

第 5 步:怎样把转写文本变成工单?

原始转写文本仍然难以分拣。大模型可以提取出工单系统需要的字段:

import json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

FIELDS = ("Return JSON with: intent (refund|delivery|billing|technical|other), urgency (low|normal|high), "
          "order_number (string or null), language, summary_en (one sentence), needs_human (true/false).")

def to_ticket(transcript):
    reply = client.chat.completions.create(
        model="broadnet/qwen3.8-27b",
        response_format={"type": "json_object"},
        messages=[{"role": "system", "content": "You triage customer support voice notes. " + FIELDS},
                  {"role": "user", "content": transcript}],
    ).choices[0].message.content
    return json.loads(reply)

Qwen3.8 27B 是 BroadNet 针对阿拉伯语(包括海湾和埃及方言)测试过的模型。写入工单系统前先校验 JSON,解析失败时回退为 needs_human: true;结构化输出一文给出了校验加修复的循环。如果语音里提到银行卡号或证件号,请在这一步之前脱敏;见向大模型 API 发送敏感数据。

哪些边界情况应该尽早处理?

真实的消息收件箱比演示乱得多。从第一周起就要考虑这些情况:

  • 连续多条语音。 客户常常发三条短语音,而不是一条长的。把同一发送者几分钟内的语音合并成一个工单,并按顺序转写。
  • 特别短的语音。 “好的”“谢谢”这类语音不需要建工单。转写文本只有几个词时,跳过字段提取。
  • 转发的语音。 转发来的语音可能是别人在说话。把它当作附件,而不是客户本人的话。
  • 混合语言。 海湾地区的客户会夹杂英文产品名。如果你的队列服务多种语言,请为每条转写记录发送时使用的语言,让坐席心里有数。
  • 大文件。 Meta 的媒体文档列出的音频上限是 16 MB,Telegram 机器人最多能下载 20 MB,两者都低于 25 MiB 的转写上限,但长录音处理起来仍然更久。请放到后台处理。

团队能得到什么

之前 之后
坐席逐条听语音,经常要听两遍 坐席读转写文本和一句话摘要
语音无法搜索 转写文本可按订单号或关键词搜索
谁有空谁分拣 按意图和紧急程度分派
阿拉伯语语音要等会阿拉伯语的人 有了英文摘要,任何坐席都能接简单的工单

语音消息转写要花多少钱?

转写是整条流水线里便宜的部分。按每分钟 $0.0042 计算,10,000 条 30 秒的阿拉伯语语音消息费用为 $21.00。支持 14 种语言的模型每分钟 $0.002。大模型这一步按 token 计价;一段简短的转写加上指令,通常只有几百个 token。把你自己的用量填进语音转文字费用计算器,或在语音转文字价格对比中比较其他供应商。

隐私和保留期限应该怎样处理?

语音消息是个人数据,而且内容往往比客户本想分享的更多。三个习惯有帮助:

  • 转写后删除音频,除非有规定要求保留。
  • 把转写文本和工单存在一起,受工单系统的访问控制保护,而不是放在应用日志里。
  • 选择不保留音频的供应商。 BroadNet 在请求结束后不保留音频或转写文本;见零数据保留。

用纯文本回复,对新联系人的第一条回复要简短,不带链接。消息平台会监控企业号码中类似垃圾信息的行为模式。

BroadNet Inference 适合什么场景

BroadNet 用一个 OpenAI 兼容的密钥覆盖转写和字段提取两步:阿拉伯语语音用 BroadNet Transcribe Arabic,阿拉伯语及另外 13 种语言用 BroadNet Transcribe,工单字段用经过阿拉伯语测试的对话模型。BroadNet 报告其阿拉伯语模型在 Open Universal Arabic ASR Leaderboard 上第 2 名(共 37 个)(这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。$5 的初始额度大约够转写 1,190 分钟阿拉伯语音频。

BroadNet 不会替你对接 WhatsApp、Telegram 或工单系统;webhook 处理和工单创建由你的代码或自动化工具完成。电话录音是另一类问题,有两个说话人、录音也长:见转写呼叫中心录音。

常见问题

WhatsApp 语音消息能自动转成文字吗?

可以。使用 WhatsApp Business Cloud API 时,每条语音消息以带媒体 ID 的 webhook 形式到达。你的服务端获取媒体 URL,用访问令牌下载文件,转换格式后发送到转写 API。

Telegram 语音消息怎么转文字?

你的机器人会收到一个带 file_id 的 voice 对象。调用 getFile,从返回的路径下载文件,用 ffmpeg 转成 WAV 再转写。机器人最多能下载 20 MB 的文件。

转写客户语音消息要花多少钱?

使用 BroadNet Transcribe Arabic,每分钟 $0.0042,10,000 条 30 秒的语音消息费用为 $21.00。支持 14 种语言的模型每分钟 $0.002。

收到语音消息,应该用语音回复吗?

对客服来说,简短的文字回复通常更好:客户在哪里都能看,双方也都能搜索。第一条回复保持简洁、纯文本。

需要保存原始音频吗?

通常不需要。对大多数客服流程来说,转写文本就够了。如果出于质检或法律原因保留音频,请设定保留期限并限制访问,因为语音属于个人数据。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity