BroadRouter

Dịch âm thanh tiếng Ả Rập sang văn bản tiếng Anh bằng API

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày · Cập nhật

Chạy hai bước. Chép lời âm thanh tiếng Ả Rập bằng API chuyển giọng nói thành văn bản với language là ar, rồi dịch bản chép lời bằng một LLM được dặn giữ tên và con số. Chia file dài trước, kiểm tra con số bằng code, và chấm một mẫu nhỏ bằng chrF để thấy bước chép lời làm giảm chất lượng bao nhiêu.

Phần lớn các trang xếp hạng cho “dịch âm thanh tiếng Ả Rập sang tiếng Anh” là công cụ web kiểu tải lên rồi tải xuống. Chúng ổn cho một file. Nếu bạn cần dịch bên trong sản phẩm của mình (cuộc gọi hỗ trợ, phỏng vấn, tin nhắn thoại, bài giảng), bạn cần hai lần gọi API và vài bước kiểm tra xung quanh. Bài này dựng pipeline đó trên một key tương thích OpenAI, test nó, và chỉ cách đo xem nó đã đủ tốt chưa.

Để dịch văn bản tiếng Ả Rập bạn đã có sẵn, xem dịch Ả Rập–Anh bằng LLM. Để biến bản ghi cuộc họp thành biên bản thay vì bản dịch đầy đủ, xem biên bản họp tiếng Ả Rập từ bản ghi âm.

Một lần gọi hay hai?

Có hai cách lấy văn bản tiếng Anh từ giọng nói tiếng Ả Rập:

Cách làm Hoạt động thế nào Phù hợp cho
Dịch giọng nói (một bước) Một request; dịch vụ trả về tiếng Anh Âm thanh trực tiếp, phụ đề, code đơn giản nhất
Chép lời, rồi dịch (hai bước) Một lần gọi chuyển giọng nói thành văn bản trả về văn bản tiếng Ả Rập; một LLM dịch nó File, khi bạn cũng cần tiếng Ả Rập, bảng thuật ngữ và kiểm tra

Endpoint một bước nổi tiếng nhất cho file đang thay đổi. Hướng dẫn chuyển giọng nói thành văn bản của OpenAI nói /v1/audio/translations “uses whisper-1 to translate a completed audio recording into English” (bản dịch: dùng whisper-1 để dịch một bản ghi âm hoàn chỉnh sang tiếng Anh). Trang ngừng hỗ trợ của họ, kiểm tra ngày 2026-11-15, ghi ngày thông báo là 26 tháng 8 năm 2026 và ngày tắt là 26 tháng 2 năm 2027. Bản thay thế được liệt kê là /v1/realtime/translations, một API realtime chứ không phải tải file lên. Nếu code của bạn gọi endpoint cũ, đằng nào bạn cũng phải dựng lại nó.

Soniox là một lựa chọn một bước hiện có: trang tiếng Ả Rập sang tiếng Anh của họ cho thấy một request WebSocket với khối translation đặt source ar và target en. Âm thanh trực tiếp là nơi một sản phẩm streaming như thế hợp lý nhất.

Pipeline hai bước có ba lợi thế thực tế với file:

  1. Bạn giữ được bản chép lời tiếng Ả Rập. Bạn có thể tìm kiếm, hiển thị cạnh bản tiếng Anh, và dịch lại sau bằng model tốt hơn mà không phải trả tiền chép lời lần nữa.
  2. Bạn kiểm soát bản dịch. Bạn chọn model, đưa cho nó bảng thuật ngữ về tên và từ chuyên ngành của sản phẩm, và kiểm tra đầu ra bằng code.
  3. Bạn thấy lỗi đến từ đâu. Một câu tiếng Anh sai là lỗi nhận dạng hoặc lỗi dịch. Có bản chép lời trong tay, bạn biết được là cái nào.

Cái giá là thêm một request và thêm code. Phần còn lại của bài là code đó.

Pipeline trông thế nào?

recording (.m4a, .mp4, .ogg, .wav)
  → ffmpeg: 16 kHz mono WAV, parts of 10 minutes or less
  → transcribe each part (language=ar)        → Arabic text
  → translate each part, with glossary and the end of the previous part as context
  → check numbers and empty or cut-off replies → English text

Bước 1: chuẩn bị và chia âm thanh thế nào?

Endpoint chép lời của BroadNet nhận WAV (audio/wav) hoặc MP3 (audio/mpeg) tới 26.214.400 byte mỗi file. Bản ghi âm điện thoại (.m4a), tin nhắn thoại WhatsApp (.ogg) và video đằng nào cũng cần chuyển đổi, nên hãy lấy mẫu lại và chia trong cùng một bước ffmpeg:

ffmpeg -i interview.m4a -ar 16000 -ac 1 -c:a pcm_s16le \
  -f segment -segment_time 600 chunks/part_%03d.wav

Âm thanh mono 16 kHz 16-bit là 32.000 byte mỗi giây, nên một phần 10 phút khoảng 19,2 MB, dưới giới hạn. Chúng tôi chạy lệnh này trên một file test 25 phút: nó tạo ra hai phần 19.200.162 và 19.200.194 byte và một phần 5 phút 9.599.878 byte.

Cắt theo độ dài cố định có thể chia đôi một từ. Với giọng nói thật, hãy cắt ở chỗ im lặng; chép lời file âm thanh dài có bộ chia theo khoảng lặng, và công cụ chia âm thanh viết lệnh ffmpeg cho bạn. Kiến thức nền về tần số lấy mẫu và vì sao 16 kHz là đủ cho giọng nói có trong thuật ngữ.

Bước 2 và 3: chép lời và dịch thế nào?

Script dưới đây gửi từng phần tới model chép lời tiếng Ả Rập, rồi tới một model chat với prompt dịch. Nó chạy với OpenAI Python SDK.

import os, re, glob
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

GLOSSARY = {"شركة النخيل": "Al Nakheel Company", "مازن": "Mazen"}  # your fixed terms
SYSTEM = """You translate transcripts of spoken Arabic into clear English.
The Arabic comes from speech recognition: it may be dialect, have no punctuation,
mix in English words, and contain recognition errors.
Rules:
- Translate the meaning faithfully. Do not summarise, add or drop content.
- Keep every number, date, amount and name. Write numbers as digits.
- Use the glossary spellings exactly.
- Keep English words that the speaker used as they are.
- If a phrase makes no sense, translate it literally and add [unclear] after it.
- Reply with the English translation only."""

def glossary_block(text: str) -> str:
    hits = [f"{ar} = {en}" for ar, en in GLOSSARY.items() if ar in text]
    return "Glossary:\n" + "\n".join(hits) + "\n\n" if hits else ""

def transcribe(path: str) -> str:
    with open(path, "rb") as audio:
        return client.audio.transcriptions.create(
            model="broadnet/cohere-transcribe-arabic", file=audio, language="ar").text

def translate(arabic: str, previous: str = "") -> str:
    context = f"Previous part, for context only, do not translate:\n{previous}\n\n" if previous else ""
    r = client.chat.completions.create(
        model="broadnet/qwen3.8-27b", max_tokens=4000, reasoning_effort="low",
        messages=[{"role": "system", "content": SYSTEM},
                  {"role": "user", "content": glossary_block(arabic) + context + "Translate:\n" + arabic}])
    choice = r.choices[0]
    if choice.finish_reason == "length" or not choice.message.content:
        raise RuntimeError("cut off: raise max_tokens or send a shorter part")
    return choice.message.content.strip()

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def missing_numbers(arabic: str, english: str) -> list[str]:
    nums = re.findall(r"\d+", arabic.translate(DIGITS))
    return [x for x in nums if x not in re.findall(r"\d+", english)]

previous = ""
for chunk in sorted(glob.glob("chunks/part_*.wav")):
    arabic = transcribe(chunk)
    english = translate(arabic, previous)
    print(f"--- {chunk}\nAR: {arabic}\nEN: {english}")
    if gaps := missing_numbers(arabic, english):
        print(f"CHECK: numbers {gaps} missing from the translation")
    previous = arabic[-500:]

Từng phần dùng để làm gì:

  • language="ar". Tài liệu của BroadNet nói luôn gửi language với request chép lời. Hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản nói chi tiết về request.
  • Prompt nói văn bản đến từ đâu. Bản chép lời không có dấu câu, có thể là phương ngữ và có thể chứa lỗi nhận dạng. Nói điều này cho model giúp nó không coi những cụm từ lạ là cố ý, và dấu [unclear] cho người duyệt thứ để tìm kiếm.
  • Giữ từ tiếng Anh. Người nói tiếng Ả Rập thường chuyển sang tiếng Anh giữa câu (“الـ deadline”, “فريق الـ QA”). Đó là chuyển mã ngôn ngữ, và model nên để yên những từ đó, không dịch qua dịch lại.
  • Bảng thuật ngữ theo từng phần. Chỉ các mục thuật ngữ xuất hiện trong phần đó mới được gửi, giúp prompt ngắn gọn. Phép so khớp là chính xác, nên nếu bản chép lời của bạn viết không thống nhất (أ so với ا, ة so với ه), hãy chuẩn hóa cả hai bên trước; công cụ chuẩn hóa văn bản tiếng Ả Rập cho thấy các quy tắc thường dùng.
  • Phần trước làm context. 500 ký tự cuối của phần tiếng Ả Rập trước giúp xử lý đại từ và câu bị cắt ở ranh giới. Prompt nói không dịch nó, nên nó không xuất hiện hai lần.
  • max_tokens=4000 và reasoning_effort="low". Tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời và phần suy luận được tính vào max_tokens. Giới hạn nhỏ có thể trả về câu trả lời rỗng; xem token suy luận và phản hồi rỗng. Code báo lỗi khi câu trả lời rỗng hoặc bị cắt thay vì lưu nửa bản dịch.
  • Kiểm tra con số. Con số là nơi bản dịch sai gây hại nhiều nhất. Phép kiểm tra chuyển chữ số Ả Rập-Ấn (٠-٩) và chữ số Ba Tư (۰-۹) thành 0-9 và xác nhận từng số có trong bản tiếng Anh. Số đọc bằng chữ (“خمسة عشر”) sẽ không bị bắt, nên người duyệt vẫn phải đọc những gì quan trọng.

Kết quả test thế nào?

Chúng tôi chạy script với một mock server cục bộ triển khai cả hai endpoint (không gọi API thật). Ba phần từ file test 25 phút được gửi với model=broadnet/cohere-transcribe-arabic và language=ar, và mỗi request chat mang theo các dòng thuật ngữ của phần đó và phần tiếng Ả Rập trước làm context. Bản dịch thứ ba của mock cố ý bỏ một con số, và script in ra:

--- chunks/part_002.wav
AR: اتفقنا مع شركة النخيل على تسليم ٢٤٠ وحدة قبل نهاية الشهر
EN: We agreed with Al Nakheel to deliver the units before month end.
CHECK: numbers ['240'] missing from the translation

Các câu tiếng Ả Rập và công ty là bịa ra để test. Lần chạy cho thấy code hoạt động, không cho thấy bản dịch của model nào tốt đến đâu; để biết điều đó, hãy dùng bước chấm điểm bên dưới.

Lỗi nhận dạng ảnh hưởng đến bản dịch thế nào?

Chúng đi thẳng qua. Nếu bản chép lời ghi ٢١٤ trong khi người nói nói ٢٤٠, bản dịch sẽ trung thành ghi 214. Nếu một từ phương ngữ bị nghe nhầm thành một từ chuẩn có âm tương tự, bản dịch sẽ trôi chảy nhưng sai. Tiếng Anh trôi chảy khiến những lỗi này khó phát hiện, và đó là rủi ro chính của mọi hệ thống dịch giọng nói.

Bạn có thể đo bao nhiêu phần lỗi đến từ mỗi bước. Thu thập 30 đoạn trở lên, và với mỗi đoạn lấy:

  1. một bản chép lời tiếng Ả Rập do người làm,
  2. một bản dịch tiếng Anh do người làm (bản chuẩn).

Sau đó dịch cả bản chép lời của người lẫn bản chép lời ASR bằng pipeline của bạn, và chấm cả hai so với bản chuẩn. chrF, điểm n-gram theo ký tự, xử lý tên và biến thể từ tốt hơn BLEU và là lựa chọn mặc định thường dùng cho Ả Rập–Anh; SacreBLEU tính được cả hai:

from sacrebleu.metrics import BLEU, CHRF

# One English reference per clip, written by a human translator.
refs = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
        "The deadline is December 15, and Mazen is following up with the QA team."]
# Your pipeline's English, from the human Arabic transcript (MT only)...
from_gold = ["We agreed with Al Nakheel Company to deliver 240 units before the end of the month.",
             "The deadline is 15 December, and Mazen is following up with the QA team."]
# ...and from the ASR transcript (the full pipeline).
from_asr = ["We agreed with Al Nakheel Company to deliver 214 units before the end of the month.",
            "The deadline is 15 December, and Mazen is following up with the key team."]

chrf, bleu = CHRF(), BLEU()
for name, hyp in [("MT on human transcript", from_gold), ("ASR + MT", from_asr)]:
    print(f"{name:24} chrF {chrf.corpus_score(hyp, [refs]).score:5.1f}   BLEU {bleu.corpus_score(hyp, [refs]).score:5.1f}")

Với hai câu đồ chơi này (SacreBLEU 2.6.0), nó in ra chrF 94,6 và BLEU 89,2 cho nhánh bản chép lời của người, và chrF 87,1 và BLEU 71,7 cho toàn bộ pipeline. Hai câu đồ chơi không chứng minh được gì về một model. Trên các đoạn của bạn, khoảng chênh lớn nghĩa là bạn nên cải thiện bước nhận dạng: âm thanh tốt hơn, một bộ test phương ngữ như trong nhận dạng giọng nói phương ngữ Ả Rập, hoặc nhà cung cấp khác. Khoảng chênh nhỏ nhưng điểm chung thấp nghĩa là bước dịch cần cải thiện: prompt tốt hơn, bảng thuật ngữ hoặc model khác. Để chấm riêng bước chép lời, dùng tỷ lệ lỗi từ.

Điểm tự động dùng để xếp hạng hệ thống; chúng không duyệt một bản dịch. Hãy nhờ một người song ngữ đọc một mẫu, đặc biệt là con số, tên và câu phủ định.

Nên dùng model nào?

Bước Model BroadNet Giá Ghi chú
Chép lời BroadNet Transcribe Arabic $0.0042 mỗi phút ($0.25 mỗi giờ) Chỉ tiếng Ả Rập; dùng được bằng tín dụng ban đầu $5
Dịch Qwen3.8 27B $0.175 đầu vào, $2.17 đầu ra trên 1 triệu token Model suy luận; context 262.144 token; cần nạp tiền
Dịch Gemma 4 VL 26B $0.10 đầu vào, $0.22 đầu ra trên 1 triệu token Dùng được bằng tín dụng ban đầu; context 32.768 token, thường đủ cho phần 10 phút; kiểm tra một mẫu bằng công cụ đếm token. Bỏ reasoning_effort, tham số BroadNet chỉ ghi nhận cho các model suy luận
Dịch DeepSeek V4.1 Flash $0.175 đầu vào, $0.52 đầu ra trên 1 triệu token, hoặc một phiên giá cố định Model suy luận; do đối tác host; cần nạp tiền hoặc mua gói

Chạy script chấm điểm trên cùng các đoạn với từng model dịch và chọn theo điểm và ghi chú của người duyệt, không theo bảng của chúng tôi. Chọn LLM cho tiếng Ả Rập nói về những đánh đổi rộng hơn.

Một giờ âm thanh tốn bao nhiêu?

Có hai phần:

  • Chép lời tính theo phút âm thanh: $0.25 mỗi giờ với BroadNet Transcribe Arabic.
  • Dịch tính theo token: prompt_tokens × input price + completion_tokens × output price, chia cho 1.000.000. Prompt gồm system prompt, các dòng thuật ngữ, context của phần trước và bản chép lời. Phần completion gồm bản tiếng Anh và, với model suy luận, các token suy luận.

Chúng tôi không công bố một con số chi phí dịch theo giờ, vì nó phụ thuộc vào tốc độ nói, phương ngữ và mức độ suy luận của model. Hãy đo: chạy một giờ điển hình, cộng usage.prompt_tokens và usage.completion_tokens từ các phản hồi, rồi nhập vào công cụ tính chi phí LLM API. Trước khi có âm thanh, bạn có thể dán một bản chép lời mẫu vào công cụ đếm token tiếng Ả Rập; tiếng Ả Rập thường tốn nhiều token mỗi từ hơn tiếng Anh, như số token mỗi từ trong tiếng Ả Rập và tiếng Anh cho thấy. Công cụ tính chi phí chuyển giọng nói thành văn bản tính giá phần âm thanh.

Với một lượng tồn đọng lớn, một phiên DeepSeek V4.1 Flash giá cố định bỏ đồng hồ đếm token ở bước dịch: $1 một giờ, $15 một tuần hoặc $60 một tháng cho mỗi phiên. Một phiên chạy một request mỗi lúc, nên các worker song song cần thêm phiên. Chép lời vẫn tính phí theo phút.

Khi nào pipeline này là lựa chọn sai?

  • Âm thanh trực tiếp. Cuộc gọi, phụ đề trực tiếp và voice agent cần kết quả streaming trong vài giây. Một API dịch giọng nói streaming, hoặc một endpoint realtime, phù hợp hơn tải file lên.
  • Phụ đề. Phản hồi chép lời của BroadNet chỉ có văn bản, không có timestamp. Phụ đề tiếng Ả Rập từ API chỉ trả văn bản cho thấy vị trí các đoạn đưa bạn đi được đến đâu; để có thời gian theo từ, hãy dùng nhà cung cấp trả về timestamp.
  • Ngôn ngữ BroadNet không chép lời. Model tiếng Ả Rập xử lý tiếng Ả Rập. Với các ngôn ngữ nguồn khác, hãy kiểm tra danh sách 14 ngôn ngữ của model đa ngôn ngữ trước.
  • Hồ sơ pháp lý hoặc y tế. Dùng pipeline cho bản nháp và một biên dịch viên cho hồ sơ chính thức.

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. BroadNet Inference cung cấp cả hai bước của pipeline này trên một key tương thích OpenAI: chép lời tiếng Ả Rập qua /v1/audio/transcriptions và dịch qua /v1/chat/completions. Họ không có endpoint dịch giọng nói một bước và không có chép lời streaming, nên với âm thanh trực tiếp hãy dùng nhà cung cấp khác. Chính sách quyền riêng tư của họ nói nội dung inference, gồm âm thanh, bản chép lời và câu trả lời, không được lưu giữ; metadata cần thiết về tài khoản, thanh toán và bảo mật thì được lưu giữ. Hãy bắt đầu với trang chép lời tiếng Ả Rập hoặc tài liệu tham chiếu API, và test trên bản ghi âm của chính bạn trước khi dựa vào đầu ra.

Câu hỏi thường gặp

Có dịch âm thanh tiếng Ả Rập sang tiếng Anh bằng một lần gọi API được không?

Được, với API dịch giọng nói như Soniox, vốn thêm thiết lập dịch vào request chuyển giọng nói thành văn bản. Endpoint /v1/audio/translations của OpenAI làm điều tương tự cho file nhưng đã ngừng hỗ trợ, với ngày tắt được ghi là 26 tháng 2 năm 2027. Pipeline hai bước cần hai lần gọi và cho bạn thêm bản chép lời tiếng Ả Rập.

Dịch giọng nói trực tiếp hay chép lời rồi dịch, cách nào tốt hơn?

Hãy test cả hai trên âm thanh của bạn. Chép lời rồi dịch cho phép bạn chọn model dịch, thêm bảng thuật ngữ, kiểm tra con số và giữ văn bản tiếng Ả Rập. API một bước đơn giản hơn và thường tốt hơn cho âm thanh trực tiếp. Hãy chấm 30 đoạn trở lên bằng chrF so với bản dịch của người trước khi chọn.

Pipeline có xử lý tiếng Ả Rập Ai Cập, vùng Vịnh hay Levant không?

Bước chép lời quyết định phần lớn, nên hãy test bằng bản ghi âm theo các phương ngữ bạn phục vụ. Sau đó báo cho model dịch biết bản chép lời có thể là phương ngữ và có thể lẫn từ tiếng Anh. Những từ phương ngữ mà model giọng nói hiếm khi gặp là nguồn lỗi chính.

Dịch file âm thanh tiếng Ả Rập lớn hơn 25 MB thế nào?

Chuyển sang WAV mono 16 kHz và chia thành các phần dài tối đa 10 phút bằng ffmpeg; mỗi phần khoảng 19,2 MB. Chép lời từng phần, rồi dịch các phần theo thứ tự, truyền đoạn cuối của phần trước làm context.

Cách này có cho phụ đề tiếng Anh kèm timestamp không?

Không trực tiếp từ BroadNet: phản hồi chép lời của họ chỉ có văn bản, không có timestamp. Bạn có thể căn thời gian phụ đề từ vị trí các đoạn, như trong bài của chúng tôi về phụ đề tiếng Ả Rập, hoặc dùng nhà cung cấp trả về timestamp theo từ hoặc theo đoạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity