Việc phân loại tiếng Ả Rập có ở khắp nơi: đánh giá này tích cực không, tin nhắn WhatsApp này có phải khiếu nại không, ticket này nên chuyển cho nhóm nào, có khẩn cấp không. Trước khi có LLM, mỗi việc cần một bộ dữ liệu gắn nhãn và một model fine-tune. Giờ bạn có thể bắt đầu bằng một prompt. Nhanh hơn, nhưng cũng dễ ra mắt một bộ phân loại trông ổn trên mười ví dụ rồi thất bại với phương ngữ vùng Vịnh. Bài này nói về prompt, định dạng output, cách test và chi phí.
Những việc phân loại nào hợp với LLM?
| Việc | Ví dụ nhãn | Ghi chú |
|---|---|---|
| Cảm xúc | positive, negative, neutral, mixed | Neutral và mixed là nơi người và model bất đồng nhiều nhất |
| Ý định | complaint, question, order, cancel, other | Giữ “other”; ép gán nhãn sẽ sinh lỗi |
| Định tuyến ticket | billing, delivery, technical, account | Đặt nhãn theo các nhóm thật của bạn |
| Mức khẩn cấp | urgent, normal | Định nghĩa khẩn cấp trong một dòng: “khách hàng không dùng được dịch vụ ngay lúc này” |
| Phương ngữ hoặc chữ viết | MSA, vùng Vịnh, Ai Cập, Levant, Arabizi | Hữu ích để định tuyến tới mẫu trả lời phù hợp; xem Arabizi |
| Thẻ chủ đề | Nhiều nhãn từ một danh sách cố định | Yêu cầu một danh sách, giới hạn độ dài |
LLM phù hợp khi bạn có ít ví dụ gắn nhãn, khi nhãn thay đổi thường xuyên, hoặc khi bạn muốn có lý do kèm mỗi nhãn. Bộ phân loại fine-tune phù hợp khi nhãn ổn định, khối lượng rất lớn và bạn đã có hàng nghìn ví dụ gắn nhãn.
Nghiên cứu nói gì về LLM với tiếng Ả Rập?
Có hai kết quả nên biết trước khi bắt đầu:
- Model tiếng Ả Rập đã fine-tune có thể thắng. GPTAraEval test ChatGPT trên 44 tác vụ tiếng Ả Rập và thấy nó “consistently surpassed by smaller models that have undergone finetuning on Arabic” (bản dịch: liên tục bị các model nhỏ hơn đã fine-tune trên tiếng Ả Rập vượt qua). Các tác giả cũng thấy kết quả với phương ngữ yếu hơn so với tiếng Ả Rập chuẩn hiện đại (Khondaker và cộng sự).
- Prompt có tính đến phương ngữ giúp ích. Một nghiên cứu RANLP 2025 về DeepSeek-R1, Qwen2.5 và LLaMA-3 cho phân tích cảm xúc trên MSA, phương ngữ Ả Rập Xê Út và Darija Morocco báo cáo rằng prompt có tính đến phương ngữ cải thiện độ chính xác, nhất là với lớp trung tính và tiêu cực (Alharbi và cộng sự).
Đây là các model cũ hơn hoặc khác với model bạn sẽ dùng, nên hãy coi chúng là phương hướng, không phải con số. Bài học vẫn đúng: đo trên tin nhắn của bạn, theo từng phương ngữ.
Thiết kế nhãn như thế nào?
Hãy bắt đầu từ đây, không phải từ model.
- Giữ danh sách ngắn. Bốn đến tám nhãn cho mỗi câu hỏi. Hỏi các câu riêng (cảm xúc, ý định, mức khẩn cấp) thành các trường riêng, không gộp thành một danh sách khổng lồ.
- Định nghĩa mỗi nhãn trong một dòng, kèm điều nó không phải: “complaint: khách hàng báo có vấn đề với thứ họ đã mua. Không phải câu hỏi về giá.”
- Thêm một nhãn thoát như
otherhoặcunclear. - Quyết định trước các trường hợp lẫn lộn. “Giao hàng trễ nhưng tài xế tử tế” là mixed, không phải neutral. Hãy ghi quy tắc đó lại.
Định nghĩa nhãn có thể viết bằng tiếng Anh dù văn bản là tiếng Ả Rập. Giữ giá trị nhãn bằng tiếng Anh để code của bạn không phụ thuộc vào việc so khớp chuỗi tiếng Ả Rập.
Prompt nào hiệu quả cho phân loại tiếng Ả Rập?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Vì sao có từng phần:
- Dòng về phương ngữ cho model biết sẽ gặp gì, đó chính là kiểu prompt có tính đến phương ngữ mà nghiên cứu RANLP thấy hữu ích.
- Ví dụ ở nhiều phương ngữ. Các ví dụ trên trộn phương ngữ vùng Vịnh và Ai Cập. Hãy dùng tin nhắn thật (đã ẩn danh) từ lưu lượng của chính bạn.
- Bằng chứng dạng trích dẫn cho phép người duyệt kiểm tra một nhãn trong một giây, và giúp dễ phát hiện các lần đoán mò.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 và DeepSeek V4.1 Flash suy luận trước khi trả lời, và phần suy luận được tính vàomax_tokens. Tài liệu BroadNet gợi ý đặtreasoning_effortlàlowhoặc chừa từ 1.000 token trở lên. Vì sao nếu không thì câu trả lời trả về rỗng.- Loại nhãn lạ trong code. Đừng bao giờ tin model sẽ tự bám danh sách.
Muốn ràng buộc output chặt hơn, xem JSON mode và json_schema. BroadNet liệt kê structured output cho GLM 5.3 và Qwen3.8 27B.
Nên dùng model BroadNet nào?
| Model | Vì sao chọn | Input / output mỗi 1 triệu token |
|---|---|---|
| Qwen3.8 27B | BroadNet đã test bằng tiếng Ả Rập: hiểu phương ngữ vùng Vịnh và Ai Cập; có liệt kê structured output | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Giá mỗi token thấp nhất trên BroadNet; chạy được bằng tín dụng ban đầu $5; không liệt kê structured output, nên hãy kiểm tra output chặt chẽ | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Có cả gói giá cố định $60 mỗi tháng cho mỗi phiên, mỗi lần một request | $0.175 / $0.52 |
| GLM 5.3 | Có liệt kê structured output; giá cao nhất trong bốn model | $0.78 / $3.46 |
Hãy chạy bộ test của bạn trên Qwen3.8 27B và Gemma 4 VL 26B trước. Nếu điểm của Gemma đủ gần, đó là lựa chọn rẻ hơn cho nhãn ngắn. Hãy chọn theo con số của bạn, không theo bảng này.
Test bộ phân loại như thế nào?
- Gắn nhãn tay 200 tin nhắn thật, cùng một người bản ngữ, theo định nghĩa nhãn ở trên. Đưa vào mọi phương ngữ bạn nhận được, mỗi loại ít nhất 30 tin.
- Chạy model trên cả 200 tin.
- Tính macro F1, trung bình điểm F1 của từng nhãn, để nhãn hiếm được tính ngang nhãn phổ biến. Chỉ nhìn accuracy sẽ che mất một model không bao giờ trả
cancel. - Đọc ma trận nhầm lẫn. Nếu
questionvàcomplainthay bị đổi chỗ, định nghĩa đang chồng lấn: sửa định nghĩa trước khi đổi model. - Tách kết quả theo phương ngữ. Một model có thể mạnh với MSA và yếu với tiếng vùng Vịnh.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Chạy lại cùng bộ test mỗi khi bạn đổi prompt hay model. Cách đánh giá LLM trước khi chuyển đổi nói về việc giữ một bộ test cố định.
Phân loại với khối lượng lớn như thế nào?
Phân loại nặng về input: system prompt dài, tin nhắn ngắn và câu trả lời một từ. Có ba đòn bẩy quan trọng.
Gom tin nhắn theo request. Một key BroadNet trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang chạy cùng lúc. Mỗi request một tin nhắn thì bạn bị giới hạn ở 30 tin mỗi phút cho mỗi key, tức gấp 1.440 lần con số đó mỗi ngày. Gửi 20 tin nhắn ngắn dưới dạng danh sách đánh số và yêu cầu một mảng JSON gồm 20 kết quả: cùng giới hạn request khi đó bao phủ gấp hai mươi lần số tin nhắn. Kiểm tra độ dài mảng có khớp và mỗi phần tử có số thứ tự của nó.
Giữ phần đầu prompt giống hệt nhau. System prompt và ví dụ giống nhau ở mọi lần gọi. Đặt chúng trước và tin nhắn cuối cùng, để chúng được đọc từ cache với giá input cache, chẳng hạn $0.0435 thay vì $0.175 mỗi 1 triệu token trên Qwen3.8 27B. Cách sắp xếp prompt để phần đầu được cache.
Giữ output ngắn. Token output đắt hơn input. Một nhãn và một trích dẫn ngắn là đủ; bỏ trường bằng chứng khi bạn đã tin model.
Tiếng Ả Rập thường tốn nhiều token mỗi từ hơn tiếng Anh, nên hãy đếm một mẫu tin nhắn của bạn bằng công cụ đếm token tiếng Ả Rập, rồi tính giá cả tháng bằng máy tính chi phí API LLM.
Nên tránh những sai lầm nào?
- Test trên bản dịch tiếng Anh. Văn bản dịch không phải cách khách hàng của bạn viết.
- Một điểm cho mọi phương ngữ. Báo cáo riêng từng phương ngữ.
- Không có nhãn thoát. Ép mọi tin nhắn vào một nhãn thật làm tăng lỗi.
- Câu trả lời tự do. “Có vẻ tiêu cực” không parse được. Hãy yêu cầu JSON và kiểm tra.
- Bỏ qua lối nói mỉa. “ما شاء الله، ثالث مرة يتأخر الطلب” (bản dịch: giỏi thật, lần thứ ba đơn hàng bị trễ) đọc từng từ thì tích cực nhưng là khiếu nại. Hãy đưa một ví dụ như vậy vào prompt.
Khi nào LLM là bộ phân loại không phù hợp?
Khi nhãn ổn định, bạn đã có hàng nghìn ví dụ gắn nhãn và khối lượng lên tới hàng triệu, một model encoder tiếng Ả Rập đã fine-tune thường rẻ hơn trên mỗi tin nhắn và, theo GPTAraEval, có thể chính xác hơn. Với job offline lớn có thể chờ, nhà cung cấp có batch API cũng có thể rẻ hơn: OpenAI quảng cáo giảm 50% cho batch job hoàn tất trong 24 giờ. BroadNet không có batch API. Một cách làm phổ biến là dùng LLM gắn nhãn vài nghìn tin nhắn đầu, kiểm tra bằng tay, rồi huấn luyện một model nhỏ trên kết quả đó.
BroadNet Inference phù hợp ở đâu
BroadNet cho bạn một model đã test bằng tiếng Ả Rập (Qwen3.8 27B), một model rẻ dùng được bằng tín dụng ban đầu (Gemma 4 VL 26B) và một lựa chọn giá cố định (DeepSeek V4.1 Flash) sau một key tương thích OpenAI, không lưu nội dung tin nhắn sau request. Điều đó hợp với các nhóm hỗ trợ muốn phân loại tin nhắn tiếng Ả Rập mà không xây pipeline huấn luyện. Nó không hợp với job offline rất lớn, nơi giảm giá batch hoặc model fine-tune sẽ rẻ hơn. Hãy bắt đầu với prompt ở trên, bài test 200 tin nhắn, và bài về phương ngữ vùng Vịnh, Ai Cập và Levant để xây bộ test.
