BroadRouter

Tóm tắt văn bản tiếng Ả Rập bằng LLM: prompt, độ dài và chấm điểm

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày · Cập nhật

Ghi rõ văn phong (thường là MSA, kể cả với đầu vào phương ngữ) và khoảng số từ trong prompt. Sau đó kiểm tra bằng code: đếm từ, xác nhận mọi con số trong bản tóm tắt có trong văn bản gốc, và thử lại một lần kèm mô tả lỗi. Chấm bằng tokenizer ROUGE hiểu tiếng Ả Rập cộng người duyệt; rouge-score mặc định cho tiếng Ả Rập điểm 0.

Tóm tắt văn bản tiếng Ả Rập bằng LLM chỉ cần một request. Nhưng để có bản tóm tắt đưa vào sản phẩm được, bạn cần ba quyết định mà request không tự đưa ra: viết theo văn phong nào, bản tóm tắt dài bao nhiêu, và làm sao biết nó đúng. Bài này nói về văn bản viết: bài báo, báo cáo, ticket và chuỗi tin nhắn dài. Với các cuộc họp nói, pipeline biên bản họp tiếng Ả Rập thêm bước chép lời và gộp từng phần.

Prompt tóm tắt tiếng Ả Rập nên nói gì?

Năm dòng quyết định phần lớn kết quả:

  1. Ngôn ngữ và văn phong. “Tiếng Ả Rập chuẩn hiện đại” (الفصحى), hoặc một phương ngữ cụ thể. Nếu không có, model tóm tắt đầu vào phương ngữ Ai Cập hay vùng Vịnh có thể trả lời bằng một thứ pha trộn.
  2. Một khoảng số từ. “Từ 40 đến 60 từ”. Khoảng dễ đạt hơn con số chính xác.
  3. Dữ kiện như đã viết. Số, ngày và tên được chép từ văn bản, không làm tròn hay quy đổi.
  4. Không thêm gì mới. Không có thông tin nền mà văn bản không chứa.
  5. Hình thức. Một đoạn văn, hoặc ba gạch đầu dòng, hoặc JSON với các trường cố định.

Chỉ dẫn có thể viết bằng tiếng Ả Rập hoặc tiếng Anh; dù cách nào, hãy ghi rõ ngôn ngữ và văn phong đầu ra. Prompt engineering cho tiếng Ả Rập nói sâu hơn về văn phong, chữ số và văn bản trộn nhiều hệ chữ. Đây là prompt dùng trong code bên dưới:

لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

Tóm tắt văn bản phương ngữ thế nào?

Phần lớn văn bản kinh doanh bằng tiếng Ả Rập không phải MSA: đánh giá của khách hàng, chuỗi tin nhắn WhatsApp và bài đăng mạng xã hội viết bằng phương ngữ, thường trộn với tiếng Anh hoặc Arabizi. Ba lựa chọn giúp ích:

  • Mặc định tóm tắt sang MSA. Nó trung tính giữa các vùng và dễ tìm kiếm hơn. Nếu bản tóm tắt được gửi lại cho chính khách hàng đó, hãy dùng phương ngữ của họ.
  • Giữ nguyên văn các trích dẫn quan trọng. Khi giọng điệu quan trọng, như một lời phàn nàn, hãy yêu cầu một trích dẫn ngắn bằng cách diễn đạt gốc. Diễn giải phương ngữ sang MSA có thể làm nhẹ đi sắc thái.
  • Test trên phương ngữ của bạn. Khả năng hiểu phương ngữ khác nhau giữa các model; xem LLM xử lý tiếng Ả Rập vùng Vịnh và Ai Cập ra sao.

Dữ liệu công khai sẽ không làm việc test đó thay bạn. Các bộ dữ liệu tóm tắt tiếng Ả Rập lớn đều là tin tức MSA, và chúng tôi không tìm thấy benchmark tóm tắt công khai nào cho phương ngữ vùng Vịnh hay Ai Cập để giới thiệu.

Kiểm soát độ dài bản tóm tắt thế nào?

Yêu cầu bằng từ, rồi đo bằng từ. Đừng tin con số model tự đếm, và đừng dùng ngân sách token làm đơn vị: số token cho mỗi từ tiếng Ả Rập khác nhau tùy model. Chúng tôi đo một đoạn tin tức tiếng Ả Rập 96 từ được 166 token với tokenizer chính thức của Qwen3.8 27B, và bản tóm tắt 58 từ của nó được 114 token. Với tokenizer của bốn model chat của BroadNet, đếm bằng các file tokenizer của công cụ đếm token tiếng Ả Rập, cùng đoạn văn đó dao động từ 166 đến 224 token. Số token mỗi từ trong tiếng Ả Rập có phép đo lớn hơn.

Tách theo khoảng trắng là cách đếm đúng cho hầu hết mục đích, vì đó là thứ người đọc nhìn thấy. Tiếng Ả Rập gắn و, ب, ل và ال vào từ, nên bản tóm tắt 50 từ tiếng Ả Rập mang nhiều nội dung hơn 50 từ tiếng Anh. Hãy đặt khoảng số từ dựa trên những ví dụ tiếng Ả Rập bạn thấy tốt, không dựa trên mục tiêu tiếng Anh.

Thêm hai quy tắc về độ dài:

  • max_tokens không phải công cụ kiểm soát độ dài. Nó cắt câu trả lời giữa chừng. Hãy đặt nó cao hơn hẳn kích thước bản tóm tắt, nhất là với model suy luận: tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận đó được tính vào max_tokens. Xem phản hồi rỗng từ model suy luận.
  • Thử lại một lần, kèm con số. “Bản tóm tắt của bạn dài 17 từ; tôi yêu cầu 40 đến 60” sửa được nhiều hơn là lặp lại chỉ dẫn.

Bắt chi tiết bịa đặt thế nào?

Các bộ tóm tắt trừu tượng (abstractive) có bịa ra thông tin. Maynez và cộng sự (ACL 2020) tìm thấy “substantial amounts of hallucinated content” (bản dịch: một lượng đáng kể nội dung ảo giác) trong mọi bản tóm tắt của model mà người chú thích của họ xem xét; đó là trước các LLM ngày nay, nhưng không model nào miễn nhiễm. Bạn không thể kiểm tra ý nghĩa một cách rẻ bằng code, nhưng có thể kiểm tra con số: mọi con số trong bản tóm tắt phải xuất hiện trong văn bản gốc. Hãy chuyển chữ số Ả Rập phương Đông (٠–٩) và chữ số Ba Tư (۰–۹) thành 0–9 trước, nếu không ١٢ và 12 sẽ trông khác nhau.

import os, re
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

PROMPT = """لخّص النص التالي بالعربية الفصحى في {lo} إلى {hi} كلمة.
- اذكر الأرقام والتواريخ والأسماء كما وردت في النص فقط.
- لا تضف معلومات غير موجودة في النص.
- اكتب فقرة واحدة دون عناوين أو نقاط.

النص:
{text}"""

DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "01234567890123456789")
def numbers(s: str) -> set[str]:
    return set(re.findall(r"\d+(?:[.,٫]\d+)?", s.translate(DIGITS)))

def words(s: str) -> int:
    return len(s.split())          # clitics (و، ال، ب) stay attached: count what readers see

def check(source: str, summary: str, lo: int, hi: int) -> list[str]:
    issues = []
    n = words(summary)
    if not lo <= n <= hi:
        issues.append(f"الطول {n} كلمة، والمطلوب من {lo} إلى {hi}.")
    extra = numbers(summary) - numbers(source)
    if extra:
        issues.append("أرقام غير موجودة في النص: " + "، ".join(sorted(extra)))
    return issues

def summarize(text: str, lo=40, hi=60, model="broadnet/qwen3.8-27b", attempts=2) -> dict:
    messages = [{"role": "user", "content": PROMPT.format(lo=lo, hi=hi, text=text)}]
    for i in range(attempts):
        r = client.chat.completions.create(model=model, messages=messages, max_tokens=2000)
        summary = (r.choices[0].message.content or "").strip()
        issues = check(text, summary, lo, hi)
        if not issues:
            return {"summary": summary, "attempts": i + 1, "issues": []}
        messages += [{"role": "assistant", "content": summary},
                     {"role": "user", "content": "صحّح الملخص: " + " ".join(issues)}]
    return {"summary": summary, "attempts": attempts, "issues": issues}   # send to review

Chúng tôi test đoạn code này với một mock server cục bộ (không gọi API thật) bằng một bài báo tổng hợp 96 từ về kế hoạch xe buýt thành phố. Câu trả lời đầu tiên của mock dài 17 từ và ghi ٣٠٠ xe buýt trong khi bài báo ghi ٢٤٠. check trả về cả hai vấn đề: độ dài đo được, và “số không có trong văn bản: 300”. Câu trả lời thứ hai đã sửa đạt 58 từ, nên hàm trả về nó với attempts: 2.

Phép kiểm tra con số bỏ sót nhiều thứ: một cái tên sai, một quyết định bị đảo ngược, một khẳng định không có con số. Nó là bộ lọc, không phải phán quyết. Với tên riêng, hãy dùng lại phép kiểm tra span từ trích xuất thực thể có tên tiếng Ả Rập: trích thực thể từ bản tóm tắt và xác nhận từng cái có trong văn bản gốc.

Tóm tắt tài liệu tiếng Ả Rập dài thế nào?

Nếu văn bản vừa context window mà vẫn còn dư, hãy gửi nguyên văn. Qwen3.8 27B nhận 262.144 token mỗi request và GLM 5.3 nhận 1.048.576, tính cả prompt và câu trả lời; Gemma 4 VL 26B nhận 32.768. Tuy vậy, đầu vào dài có một điểm yếu đã biết: model dùng dữ kiện ở giữa context dài kém tin cậy hơn (lost in the middle). Với báo cáo dài, hãy tóm tắt từng phần, rồi tóm tắt các bản tóm tắt, và giữ tiêu đề các phần trong prompt cuối. Bài về biên bản họp có bước gộp bằng code; context dài hay RAG nói khi nào nên truy xuất thay vào đó.

Đánh giá bản tóm tắt tiếng Ả Rập thế nào?

Dùng ba lớp: một điểm trùng lặp tự động để bắt hồi quy, một điểm ngữ nghĩa làm ý kiến thứ hai, và con người để quyết định.

ROUGE, với tokenizer đúng. Gói rouge-score của Google (phiên bản 0.1.2, vẫn là bản phát hành hiện tại trên PyPI vào ngày 16/11/2026) chuyển văn bản thành chữ thường và thay mọi ký tự ngoài a–z và 0–9 bằng khoảng trắng. Tiếng Ả Rập biến mất. Chúng tôi đã kiểm tra:

import re
from rouge_score import rouge_scorer

ref = "أعلنت البلدية خطة لتوسعة النقل العام تضيف ١٢ خطاً للحافلات"
hyp = "البلدية تعلن خطة توسعة للنقل العام بإضافة ١٢ خطا للحافلات"

print(rouge_scorer.RougeScorer(["rouge1"]).score(ref, hyp)["rouge1"].fmeasure)   # 0.0

class ArabicTokenizer:
    """Whitespace tokens, no diacritics, unified alef, optional light prefix stripping."""
    def __init__(self, strip_prefixes=False):
        self.strip = strip_prefixes
    def tokenize(self, text):
        text = re.sub(r"[ً-ٰٟـ]", "", text)
        text = re.sub("[إأآ]", "ا", text).replace("ى", "ي").replace("ة", "ه")
        toks = re.findall(r"\w+", text)
        if self.strip:   # crude: drop و/ب/ل/ال prefixes on longer words
            toks = [re.sub(r"^(وال|بال|لل|ال|و|ب|ل)(?=\w{3,})", "", t) for t in toks]
        return toks

for strip in (False, True):
    s = rouge_scorer.RougeScorer(["rouge1"], tokenizer=ArabicTokenizer(strip))
    print(strip, round(s.score(ref, hyp)["rouge1"].fmeasure, 3))   # False 0.6, True 0.8

Cùng hai câu đạt 0, 0,6 hoặc 0,8 chỉ tùy vào cách tách token. Đó mới là bài học thật: hình thái học tiếng Ả Rập (للنقل so với النقل, بإضافة so với تضيف) làm ROUGE thay đổi rất nhiều, nên một điểm số không có ý nghĩa nếu thiếu tokenizer của nó. Các tác giả XL-Sum công bố một bản fork ROUGE đa ngôn ngữ có stemming theo từng ngôn ngữ, bao gồm tiếng Ả Rập; hãy dùng nó, hoặc tokenizer của riêng bạn, và giữ cố định qua mọi lần chạy bạn so sánh.

BERTScore so sánh ý nghĩa qua embedding, nên chấp nhận diễn đạt lại. Với các ngôn ngữ ngoài tiếng Anh và tiếng Trung, model mặc định của nó là bert-base-multilingual-cased. Hãy coi nó là tín hiệu thứ hai, không thay thế việc đọc.

Con người, với tiêu chí chấm. Nhờ một người đọc tiếng Ả Rập chấm 50 đến 100 bản tóm tắt theo ba câu hỏi: có thiếu điều gì quan trọng không, có điều gì được nêu mà văn bản gốc không nói không, và văn phong có đúng không. Một LLM làm giám khảo có thể sàng lọc trước ở quy mô lớn khi điểm của nó khớp với người đọc trên một mẫu. Đánh giá LLM trước khi chuyển đổi nói về cách xây bộ đó.

Dữ liệu tham khảo công khai:

Dataset Nội dung Ghi chú
XL-Sum tiếng Ả Rập 46.897 cặp bài báo và tóm tắt của BBC tiếng Ả Rập (37.519 / 4.689 / 4.689) CC BY-NC-SA 4.0: chỉ cho nghiên cứu phi thương mại
EASC 153 bài, mỗi bài năm bản tóm tắt trích xuất do người viết Nhỏ; Wikipedia và hai tờ báo
LANS 8,4 triệu bài báo có tóm tắt từ 22 tờ báo Ả Rập, 1999 đến 2019 Tóm tắt lấy từ metadata của trang

Cả ba đều là tin tức MSA. Ticket hỗ trợ và báo cáo của bạn thì không, nên một mẫu văn bản của chính bạn, do người tóm tắt, mới là phép test có giá trị.

Nên dùng model BroadNet nào, và chi phí bao nhiêu?

Để chạy thử, Gemma 4 VL 26B chạy được bằng tín dụng ban đầu $5 với giá $0.10 đầu vào và $0.22 đầu ra trên 1 triệu token; cửa sổ 32.768 token của nó vừa với hầu hết các bài báo đơn lẻ. Qwen3.8 27B, model mà BroadNet cho biết đã test về khả năng viết tiếng Ả Rập trôi chảy và hiểu phương ngữ vùng Vịnh và Ai Cập, có giá $0.175 đầu vào và $2.17 đầu ra sau khi nạp tiền. Dùng GLM 5.3 khi một tài liệu dài hơn cửa sổ của Qwen.

Phép tính cho 10.000 bài báo, mỗi bài 1.000 token, với bản tóm tắt 150 token: 10 triệu token đầu vào và 1,5 triệu token đầu ra, nên trên Qwen3.8 27B là 10 × $0.175 cộng 1,5 × $2.17. Cộng thêm token suy luận, được tính phí như đầu ra, và các lần thử lại; đo cả hai trên một mẫu từ khối usage. Nếu prompt giống nhau cho mọi bài, hãy đặt nó lên đầu để có thể được tính theo giá đầu vào được cache.

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. BroadNet Inference phục vụ bước tóm tắt qua API tương thích OpenAI, nên code ở trên chạy được với OpenAI Python SDK. Tài liệu của họ cho biết prompt và câu trả lời không được lưu giữ sau request. BroadNet không công bố benchmark tóm tắt tiếng Ả Rập nào của riêng mình, và không nội dung nào ở đây đo chất lượng tóm tắt trên các model của họ; hãy chạy các bước kiểm tra ở trên với văn bản của bạn. Với đầu vào là giọng nói, hãy kết hợp với BroadNet Transcribe Arabic như trong bài về biên bản họp.

Câu hỏi thường gặp

LLM có tóm tắt văn bản tiếng Ả Rập tốt không?

Có, nhưng trôi chảy không có nghĩa là chính xác. Hãy kiểm tra độ dài và con số bằng code, và nhờ một người đọc tiếng Ả Rập chấm một mẫu để tìm ý bị thiếu và chi tiết bịa đặt trước khi dựa vào nó.

Bản tóm tắt của văn bản phương ngữ nên viết bằng phương ngữ hay MSA?

Thường là MSA, vì nó trung tính và dễ tìm kiếm giữa các vùng. Giữ trích dẫn ngắn bằng phương ngữ gốc khi cách diễn đạt quan trọng, như một lời phàn nàn. Hãy nói rõ bạn muốn kiểu nào trong prompt; nếu không, model sẽ trôi qua lại giữa hai kiểu.

Vì sao ROUGE cho bản tóm tắt tiếng Ả Rập của tôi điểm 0?

Gói Python rouge-score phổ biến mặc định thay mọi ký tự ngoài a-z và 0-9 bằng khoảng trắng, nên văn bản tiếng Ả Rập không tạo ra token nào. Hãy truyền tokenizer của riêng bạn, hoặc dùng bản fork ROUGE đa ngôn ngữ của các tác giả XL-Sum.

Làm sao kiểm soát độ dài bản tóm tắt tiếng Ả Rập?

Yêu cầu một khoảng số từ, không phải số token, và đo câu trả lời bằng cách tách theo khoảng trắng. Nếu trượt, gửi lại một lần kèm độ dài đo được. Nhớ rằng từ tiếng Ả Rập thường mang tiền tố dính liền, nên bản tóm tắt 50 từ tiếng Ả Rập chứa nhiều ý hơn 50 từ tiếng Anh.

Có thể dùng dataset nào để test tóm tắt tiếng Ả Rập?

XL-Sum có 46.897 cặp bài báo và tóm tắt của BBC tiếng Ả Rập (giấy phép phi thương mại). EASC có 153 bài, mỗi bài có năm bản tóm tắt trích xuất do người viết. Cả hai đều là tin tức MSA, nên hãy thêm một mẫu văn bản của chính bạn, nhất là văn bản phương ngữ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity