BroadRouter

Taa marbuta (chữ ة tiếng Ả Rập)

Cập nhật

Taa marbuta (ة, U+0629) là chữ cái tiếng Ả Rập chỉ xuất hiện ở cuối từ, thường đánh dấu danh từ và tính từ giống cái. Nó trông như heh (ه, U+0647) có thêm hai chấm, nên văn bản gõ tay hay lẫn hai chữ này, và nhiều bộ chuẩn hóa tìm kiếm đổi ة thành ه.

Còn gọi là: taa marbuta là gì, chữ ة, ta marbuta, teh marbuta, taa marbouta

Với hầu hết người đọc tiếng Ả Rập, مدرسة và مدرسه là cùng một từ, “trường học”. Với phép so sánh chuỗi, chúng khác nhau. Nguyên nhân là taa marbuta.

Cách hoạt động

Unicode Standard xếp TEH MARBUTA (U+0629) vào nhóm ký tự cuối (trailing character), tức ký tự chỉ xuất hiện ở cuối từ hoặc cuối hình vị. Đây là chữ nối bên phải, nên chỉ nối với chữ đứng trước nó. Hình dạng của nó là hình dạng của HEH (U+0647) ở cuối từ, cộng thêm hai chấm:

Ký tự Code point Tên Unicode Dạng cuối sau ب
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

Vì hai chữ chỉ khác nhau ở hai dấu chấm cuối từ, cả hai cách viết đều xuất hiện trong văn bản gõ tay. Bouamor và cộng sự (2018) lưu ý rằng tiếng Ả Rập chuẩn hiện đại có chính tả chuẩn, còn các phương ngữ thì không, và người ta thường viết theo cách phát âm. Vì vậy trong văn bản không trang trọng và văn bản phương ngữ tiếng Ả Rập, hãy chuẩn bị gặp ه ở cuối từ tại những chỗ từ điển viết ة.

Các bộ chuẩn hóa tìm kiếm gộp hai chữ này làm một. normalize_teh_marbuta_ar của CAMeL Tools chỉ là một lệnh s.replace('ة', 'ه') đơn giản, còn ArabicNormalizer của Lucene liệt kê “normalization of teh marbuta to heh” (Bản dịch: chuẩn hóa teh marbuta thành heh) là một quy tắc.

Vì sao quan trọng

Recall. Gộp ة vào ه giúp truy vấn مدرسه tìm thấy tài liệu viết مدرسة, và ngược lại. Đây là một trong các quy tắc chuẩn của chuẩn hóa văn bản tiếng Ả Rập, cùng với gộp alef và hamza.

Từ bị gộp. Quy tắc này cũng gộp những từ chỉ khác nhau ở chữ cái này:

Từ gốc Nghĩa Sau khi đổi ة thành ه
كرة quả bóng كره
كره sự căm ghét كره

Với tìm kiếm, thỉnh thoảng khớp nhầm thường là cái giá chấp nhận được. Với đối chiếu thực thể, sửa chính tả hay văn bản pháp lý, hãy giữ sự phân biệt và so sánh bản gốc.

Chấm điểm. Khi đánh giá speech-to-text, một bản phiên âm viết ه ở chỗ bản tham chiếu có ة sẽ bị tính là lỗi từ, trừ khi cả hai được chuẩn hóa giống nhau. Hãy quyết định trước khi chấm điểm, và ghi rõ quyết định đó.

Trên BroadNet Inference

API của BroadNet không chuẩn hóa văn bản. Các model chat nhận và trả ة và ه đúng như đã viết, còn BroadNet Transcribe Arabic trả về văn bản tiếng Ả Rập thông thường. Hãy áp dụng quy tắc ة trong code đánh chỉ mục hoặc chấm điểm của chính bạn, cho cả hai phía.

Nếu bạn nhờ model chat sửa chính tả, hãy kiểm tra các chỉnh sửa bằng code: bài sửa chính tả tiếng Ả Rập trình bày cách kiểm tra dựa trên diff. Về chỉ mục, bài tìm kiếm RAG tiếng Ả Rập và hướng dẫn chuẩn hóa cho thấy quy tắc này nằm ở đâu. Bạn có thể thử quy tắc trên chuỗi của mình bằng công cụ chuẩn hóa văn bản tiếng Ả Rập.

Câu hỏi thường gặp

Sao không đổi ngược ه thành ة?

Vì ه là một chữ cái phổ biến theo đúng nghĩa của nó, kể cả trong hậu tố đại từ mang nghĩa "của anh ấy". Đổi ة thành ه là phép biến đổi một chiều và an toàn để áp dụng ở mọi nơi; làm ngược lại sẽ tạo ra những chữ không có thật.

Quy tắc đổi ة thành ه có áp dụng ở giữa từ không?

Taa marbuta chỉ xuất hiện ở cuối từ hoặc cuối hình vị, nên trên thực tế quy tắc này chỉ thay đổi chữ cuối. CAMeL Tools thay mọi chữ ة mà không kiểm tra vị trí.

Công cụ sửa chính tả có nên khôi phục ة không?

Có thể, nhưng chữ ه ở cuối có nên là ة hay không còn tùy từ, đôi khi tùy cả phương ngữ. Hãy để model sửa, rồi kiểm tra thay đổi bằng code và qua review.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity