BroadRouter

Thêm dấu cho tiếng Ả Rập bằng LLM: prompt, kiểm tra, DER

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày · Cập nhật

Hãy yêu cầu model chỉ thêm tashkeel đầy đủ, rồi xóa dấu khỏi câu trả lời và so với input. Đổi một chữ cái là loại và thử lại. Chấm một mẫu đã kiểm tra tay bằng tỷ lệ lỗi dấu (DER) và tỷ lệ lỗi từ (WER), có và không tính đuôi cách. Theo kết quả đã công bố, GPT-4 gần bằng nhưng vẫn kém các công cụ chuyên dụng tốt nhất.

Tiếng Ả Rập thường được viết mà không có nguyên âm ngắn. Người đọc tự điền chúng dựa vào ngữ cảnh; phần mềm thì thường không làm được. Việc khôi phục chúng, gọi là thêm dấu (diacritization) hay tashkeel, biến كتب thành كَتَبَ (anh ấy đã viết), كُتُبٌ (những cuốn sách) hoặc كُتِبَ (nó đã được viết), tùy câu. Bài này hướng dẫn làm việc đó bằng LLM qua một API tương thích OpenAI, cách ngăn model âm thầm sửa văn bản của bạn, và cách đo kết quả so với một công cụ thêm dấu chuyên dụng.

Khi nào bạn cần dấu?

  • Chuyển văn bản thành giọng nói. Giọng đọc cần nguyên âm để phát âm một từ. Bài báo CATT liệt kê chuyển văn bản thành giọng nói và dịch máy là các ứng dụng được dấu cải thiện. BroadNet Inference không có endpoint chuyển văn bản thành giọng nói, nên trong một pipeline TTS, văn bản đã thêm dấu sẽ được gửi tới một dịch vụ TTS riêng.
  • Người học và tài liệu cho trẻ em. Người đọc còn đang học dựa vào các dấu này.
  • Tên và thuật ngữ dễ nhầm. Danh từ riêng, từ hiếm và thuật ngữ chuyên môn, nơi một nguyên âm sai làm đổi nghĩa.
  • Văn bản tôn giáo và cổ điển. Ở đây dấu là một phần của văn bản, và công cụ tự động chỉ nên điền chỗ trống dưới sự rà soát của con người.

Với tìm kiếm hoặc truy xuất, bạn thường không muốn có dấu. Khi đó bạn xóa chúng đi, như trong chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm. Công cụ miễn phí chuẩn hóa văn bản tiếng Ả Rập làm việc xóa này ngay trong trình duyệt. Thêm dấu là thao tác ngược lại, và khó hơn nhiều: xóa dấu chỉ là tra bảng, còn thêm dấu cần ngữ pháp và ngữ cảnh.

LLM thêm dấu giỏi đến đâu?

Hai con số đã công bố, cần đọc cẩn thận:

Hệ thống Benchmark CATT, DER có tính đuôi cách DER không tính WER có tính đuôi cách WER không tính
CATT encoder-decoder 8,624% 6,989% 34,191% 28,477%
CATT encoder-only 8,762% 7,088% 35,508% 29,714%
GPT-4 (GPT-4-turbo theo nội dung bài báo) 9,515% 8,113% 38,311% 33,505%
Command R+ 13,169% 11,329% 48,518% 44,158%
Shakkala 13,494% 10,386% 50,387% 40,643%
Mishkal 16,482% 10,796% 60,844% 40,215%

Nguồn: Bảng 4 trong bài báo CATT (2024). Càng thấp càng tốt. Benchmark gồm 742 câu tin tức thu thập năm 2023, được hai chuyên gia bản ngữ thêm dấu và một người thứ ba kiểm tra.

Trên tập test thứ hai của bài báo, WikiNews (400 câu), GPT-4 đạt kết quả tốt hơn hẳn mọi hệ thống khác: DER 0,551%. Các tác giả đánh dấu dòng đó và cho rằng model có thể đã thấy WikiNews khi huấn luyện. Đây là cảnh báo chung cho benchmark LLM: văn bản test công khai có thể nằm trong dữ liệu huấn luyện. Các tác giả CATT cũng nêu lo ngại tương tự về Tashkeela, vì sách trong đó trích dẫn nhiều Quran và hadith.

Một bài báo riêng năm 2024 của Skiredj và Berrada báo cáo GPT-4 đạt khoảng 20% DER và 30% WER trên benchmark của Fadel và cộng sự, nhưng thiếu chi tiết cần thiết để so với bảng trên.

Vậy các model cỡ GPT-4 có thể tiến gần công cụ chuyên dụng, và cũng có thể thua xa. Cả hai bài báo đều ra đời trước các model mở mà bạn gọi được hôm nay. Hãy đo trên văn bản của bạn.

Có những tập test nào?

Dataset Nội dung
Tashkeela 75.629.921 từ có đủ dấu nguyên âm từ 97 cuốn sách; 98,85% tiếng Ả Rập cổ điển từ thư viện Shamela, 1,15% tiếng Ả Rập chuẩn hiện đại
Benchmark của Fadel và cộng sự Khoảng 2,3 triệu từ trích từ Tashkeela; 50.000 dòng huấn luyện, 2.500 dòng validation và 2.500 dòng test
Benchmark CATT 742 câu tin tức được thêm dấu thủ công, phát hành cùng các model CATT
WikiNews 400 câu tin tức MSA được thêm dấu thủ công

Tashkeela và tập Fadel phần lớn là tiếng Ả Rập cổ điển. Nếu văn bản của bạn là tiếng Ả Rập kinh doanh hoặc tin tức hiện đại, tập CATT và WikiNews gần hơn, và một mẫu từ chính văn bản của bạn là gần nhất.

Prompt nào giữ nguyên các chữ cái?

Nhiệm vụ của model là thêm dấu và không đụng vào gì khác. Nhưng LLM thích giúp đỡ: chúng sẽ sửa الى thành إلى, đổi ى cuối thành ي hoặc thêm hamza bị thiếu. Mỗi thay đổi có thể là tiếng Ả Rập đúng, nhưng đó là sửa chính tả, không phải thêm dấu. Nó đổi văn bản của bạn mà không báo.

Vì vậy prompt nêu rõ quy tắc, còn code thì thực thi nó: xóa dấu khỏi câu trả lời và so với input đã xóa dấu. Nếu khác một chữ cái, một khoảng trắng hay một dấu câu, câu trả lời bị loại.

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

MARKS = re.compile("[ً-ْٰ]")  # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""

def skeleton(s: str) -> str:
    """The text with every diacritic removed: what the model is not allowed to change."""
    return MARKS.sub("", unicodedata.normalize("NFC", s))

def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
    for attempt in range(tries):
        r = client.chat.completions.create(
            model=model, max_tokens=4000, temperature=0,
            messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
        out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
        if skeleton(out) == skeleton(text):
            return out
        diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
        print(f"attempt {attempt + 1}: letters changed {diff}")
    return None  # keep the undiacritized text; never ship a changed sentence

for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
    print(diacritize(line))

Chúng tôi chạy đoạn này với một mock server cục bộ, không phải API thật. Câu trả lời soạn sẵn cho câu đầu tiên đã “sửa” الى thành إلى ở cả hai lần thử, còn câu trả lời cho câu thứ hai thì sạch. Output là:

attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ

Ghi chú về code:

  • Unicode NFC trước tiên. Một hamza có thể đến dưới dạng một ký tự dựng sẵn (أ) hoặc một chữ cái cộng dấu kết hợp. NFC làm hai bên giống nhau trước khi so sánh. Bài về chuẩn hóa nói kỹ về cái bẫy này.
  • max_tokens=4000. Tài liệu BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận tính vào max_tokens. Giới hạn quá nhỏ sẽ trả về câu trả lời rỗng, và bước kiểm tra sẽ loại nó. Hãy chừa chỗ, hoặc đặt reasoning_effort là low; xem phản hồi rỗng từ model suy luận và công cụ tính ngân sách token suy luận.
  • Bước kiểm tra không test yêu cầu “giữ dấu có sẵn”. Nếu input của bạn đã có dấu một phần, hãy so cả các dấu đó.
  • Chính tả là một quyết định riêng. Nếu bạn muốn sửa الى, hãy chạy bước sửa lỗi trước, rồi thêm dấu cho văn bản đã sửa. Trộn hai việc làm cả hai không thể kiểm tra được.
  • Chia nhỏ văn bản dài. Gửi một câu hoặc một đoạn cho mỗi request. Bản thân CATT giới hạn input ở 1.024 ký tự và cắt câu dài tại dấu câu; thói quen này cũng giữ câu trả lời của LLM ngắn và việc thử lại rẻ.

Lời khuyên chung về viết prompt tiếng Ả Rập, kể cả khi nào nên dặn model đừng thêm dấu, có trong prompt engineering cho tiếng Ả Rập.

Chấm điểm việc thêm dấu thế nào: DER và WER?

Tỷ lệ lỗi dấu (DER) là tỷ lệ chữ cái có dấu khác với bản chuẩn. Tỷ lệ lỗi từ (WER) ở đây là tỷ lệ từ có ít nhất một dấu sai. Đó không phải WER của nhận dạng giọng nói trong bài về ASR; nó đếm các từ có dấu sai, không đếm từ bị chèn hay bị xóa.

Hai thiết lập làm thay đổi con số rất nhiều:

  • Có hay không tính đuôi cách. Chữ cái cuối của một từ mang cách ngữ pháp (i’rab), vốn phụ thuộc cú pháp. Các bài báo báo cáo cả hai thiết lập, vì đuôi cách gây ra nhiều lỗi.
  • Có đếm chữ cái không dấu hay không. Một số script đếm chữ cái trơn (như alef trong الطالب) là dự đoán “không dấu” đúng; số khác bỏ qua. Script chấm điểm của Fadel có cờ cho việc này.

Các script đã công bố khác nhau ở những lựa chọn này, nên chỉ so các con số tạo ra bởi cùng một script. Script dưới đây đủ ngắn để đọc:

import re, unicodedata

MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")

def letters(word: str) -> list[tuple[str, str]]:
    """(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
    out = []
    for ch in unicodedata.normalize("NFC", word):
        if LETTER.match(ch):
            out.append([ch, ""])
        elif MARK.match(ch) and out:
            out[-1][1] += ch
    return [(c, "".join(sorted(d))) for c, d in out]

def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
    """DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
    case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
    errs = total = werr = words = 0
    for g_line, p_line in zip(gold, pred):
        for g, p in zip(g_line.split(), p_line.split()):
            G, P = letters(g), letters(p)
            if [c for c, _ in G] != [c for c, _ in P]:
                raise ValueError(f"letters differ: {g} / {p}")  # score only same-skeleton output
            scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
                      if (case_ending or i < len(G) - 1) and (count_bare or gd)]
            if not scored:
                continue
            bad = sum(gd != pd for gd, pd in scored)
            errs += bad; total += len(scored); werr += bad > 0; words += 1
    return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}

gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
    print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))

Dự đoán mẫu có hai đuôi cách sai và một nguyên âm bên trong sai trên 32 chữ cái và 7 từ. Nó in DER 9,38 và WER 42,86 khi tính đuôi cách, và DER 4,0 và WER 14,29 khi không tính. Hãy để ý WER khuếch đại vài lỗi như thế nào: một dấu sai làm hỏng cả một từ.

Script từ chối chấm từ nào có chữ cái bị đổi. Đó là cố ý. Một công cụ thêm dấu mà sửa chữ cái thì đã thất bại nhiệm vụ, và DER của nó vô nghĩa.

Để kiểm tra thêm, chúng tôi chạy Mishkal 0.4.1, một công cụ thêm dấu dựa trên quy tắc, trên một câu 16 từ mà chúng tôi tự thêm dấu bằng tay. Cả bốn lỗi của nó đều là đuôi cách, chẳng hạn مُحَمَّدُ thay vì مُحَمَّدٌ. Nó đạt DER 5,88 khi tính đuôi cách và 0,0 khi không tính. Một câu không chứng minh được gì về Mishkal; nó chỉ cho thấy vì sao bạn cần báo cáo cả hai thiết lập.

Để xây tập test, hãy lấy 100 đến 200 câu từ văn bản của bạn, nhờ người bản ngữ thêm dấu, xóa dấu đi rồi chạy từng ứng viên. Giữ bản của con người làm bản chuẩn.

Khi nào công cụ chuyên dụng thắng LLM?

Chọn Khi
Model chuyên dụng (CATT, libtashkeel, Mishkal) Khối lượng lớn, loại văn bản cố định, yêu cầu độ trễ nghiêm ngặt, dùng offline hoặc trên thiết bị, hoặc cần output giữ nguyên từng chữ cái theo thiết kế
LLM qua API Khối lượng nhỏ hoặc thất thường, input hỗn hợp hoặc lộn xộn, team không có người vận hành ML, hoặc pipeline đã gọi LLM cho các bước khác

Model chuyên dụng dự đoán dấu cho từng chữ cái, nên không thể viết lại văn bản của bạn. CATT dùng Apache 2.0 và cài bằng pip install catt-tashkeel; README khuyên dùng model encoder-only nếu cần tốc độ và encoder-decoder nếu cần độ chính xác. libtashkeel dùng MIT và được huấn luyện chủ yếu trên MSA. Mishkal dựa trên quy tắc và dùng GPL, điều này quan trọng nếu bạn đóng gói nó trong sản phẩm.

LLM giúp bắt đầu nhanh hơn và xử lý được input mà model huấn luyện chưa từng gặp: phương ngữ, tiếng Ả Rập trộn tiếng Anh, dấu câu kỳ lạ. Nhưng nó cần bước kiểm tra khung chữ ở trên cho mọi câu trả lời, và tốn tiền theo token.

Thêm dấu bằng LLM tốn bao nhiêu?

Dấu là ký tự thêm vào, và tokenizer tách chúng thành token thêm. Chúng tôi đếm tập test Fadel 2.500 dòng (125.098 từ) bằng tokenizer riêng của từng model, văn bản trơn so với văn bản có đủ dấu:

Tokenizer Văn bản trơn Có dấu Tỷ lệ
Qwen3.8 27B 196.987 407.144 2,07×
DeepSeek V4.1 Flash 222.555 540.454 2,43×
Gemma 4 VL 26B 208.769 508.758 2,44×
GLM 5.3 239.753 770.361 3,21×

Bạn trả token input cho văn bản trơn và token output cho câu trả lời có dấu, cộng thêm phần suy luận nếu có. Output là phía đắt: mỗi 1 triệu token là $2.17 với Qwen3.8 27B, $0.52 với DeepSeek V4.1 Flash, $3.46 với GLM 5.3 và $0.22 với Gemma 4 VL 26B, theo trang giá của BroadNet. Các lần thử lại sau khi kiểm tra thất bại còn tốn thêm. Hãy dán văn bản của bạn vào công cụ đếm token tiếng Ả Rập để kiểm tra tỷ lệ trên dữ liệu thật, và xem số token mỗi từ trong tiếng Ả Rập và tiếng Anh để hiểu vì sao ngay từ đầu tiếng Ả Rập đã tốn nhiều token hơn.

Với một job chạy một lần trên kho lưu trữ lớn, các gói DeepSeek V4.1 Flash thay việc tính theo token bằng giá cố định mỗi phiên ($15 một tuần hoặc $1 một giờ); mỗi phiên xử lý một request mỗi lúc, nên hãy lên kế hoạch chạy như trong xử lý hàng loạt không cần batch API.

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. BroadNet Inference phục vụ bốn model chat ở trên qua một endpoint tương thích OpenAI, nên code chạy được với OpenAI Python SDK sau khi đặt base URL và key. Gemma 4 VL 26B dùng được với tín dụng ban đầu $5; DeepSeek, GLM và Qwen cần nạp tiền. BroadNet không có endpoint thêm dấu, không công bố benchmark thêm dấu riêng và không có chuyển văn bản thành giọng nói. Model nào của BroadNet thêm dấu cho văn bản của bạn tốt nhất thì chưa được đo: hãy chấm điểm chúng trên mẫu của bạn trước khi chọn. Xem tài liệu tham chiếu API để biết chi tiết request.

Câu hỏi thường gặp

Làm sao thêm dấu cho văn bản tiếng Ả Rập bằng Python?

Có hai cách. Cài một công cụ chuyên dụng như catt-tashkeel (Apache 2.0) hoặc mishkal (GPL) và gọi ở máy bạn, hoặc gửi văn bản tới LLM với prompt chỉ yêu cầu tashkeel. Nếu dùng LLM, hãy luôn kiểm tra câu trả lời sau khi bỏ dấu có giống input không.

ChatGPT hay GPT-4 có thêm dấu tiếng Ả Rập tốt không?

Trên một số bài test thì gần bằng các hệ thống chuyên dụng tốt nhất, trên bài khác thì kém hơn. Bài báo CATT đo GPT-4 đạt DER 9,515% có tính đuôi cách trên benchmark tin tức của họ, so với 8,624% của model CATT. Một bài báo khác năm 2024 báo cáo GPT-4 đạt khoảng 20% DER trên benchmark Fadel. Hãy test trên văn bản của bạn.

DER và WER khác nhau thế nào khi chấm việc thêm dấu?

DER là tỷ lệ chữ cái bị sai dấu. WER là tỷ lệ từ có ít nhất một dấu sai, nên luôn cao hơn. Cả hai đều được báo cáo khi có tính đuôi cách (chữ cái cuối của mỗi từ) và khi không tính.

Tại sao LLM đổi chữ cái khi thêm tashkeel?

Vì nó còn sửa chính tả: الى thành إلى, ى thành ي, một hamza bị thiếu xuất hiện. Có thể đúng, nhưng đó là sửa lỗi chứ không phải thêm dấu, và nó làm hỏng việc chấm theo từng chữ cái. Hãy dặn model đừng làm vậy, kiểm tra mọi câu trả lời, và nếu cần sửa chính tả thì chạy thành một bước riêng.

BroadNet có đọc to văn bản đã thêm dấu được không?

Không. BroadNet Inference không có endpoint chuyển văn bản thành giọng nói. Dịch vụ cung cấp các model chat và chuyển giọng nói thành văn bản. Nếu thêm dấu là khâu đầu của pipeline TTS, hãy gửi kết quả tới một dịch vụ TTS riêng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity

Nguồn