Hamza là dấu nhỏ thường phân biệt cách viết tiếng Ả Rập đúng với cách viết phổ biến. أحمد và احمد là cùng một cái tên với người đọc, nhưng là hai chuỗi khác nhau với máy tính.
Cách hoạt động
Unicode Standard viết “the hamza may occur above or below other letters” (Bản dịch: hamza có thể nằm trên hoặc dưới các chữ khác), và liệt kê alef, waw và yeh là chữ đỡ. Mỗi dạng có chữ đỡ được mã hóa thành một ký tự dựng sẵn:
| Ký tự | Code point | Tên Unicode |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
Unicode cũng định nghĩa phân rã: أ, ؤ và ئ đều tương đương chính tắc với chữ gốc theo sau là U+0654 ARABIC HAMZA ABOVE. Vì vậy cùng một chữ أ nhìn thấy có thể đến dưới dạng một hoặc hai code point. Chuẩn hóa Unicode sang NFC hoặc NFKC biến ا + U+0654 trở lại thành một U+0623 duy nhất, và đó là lý do nó nên chạy trước mọi quy tắc hamza.
Văn bản gõ tay không phải lúc nào cũng viết hamza, nên cùng một từ có thể xuất hiện với أ, إ, آ hoặc ا trơn. Đó là sự khác biệt mà chuẩn hóa nhắm tới. normalize_alef_ar của CAMeL Tools ánh xạ إ أ ٱ آ về ا. ArabicNormalizer của Lucene chuẩn hóa “hamza with alef seat to a bare alef” (Bản dịch: hamza trên chữ đỡ alef thành alef trơn).
Vì sao quan trọng
- Tìm kiếm. Người dùng gõ اسلام còn tài liệu của bạn có إسلام. Không có quy tắc alef, tìm kiếm từ khóa sẽ bỏ sót. Xem chuẩn hóa văn bản tiếng Ả Rập.
- Chấm điểm giọng nói. Open Universal Arabic ASR Leaderboard tính WER sau khi “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (Bản dịch: loại bỏ mọi dấu câu cũng như dấu phụ, và chuẩn hóa các ký tự có hamza và madda). Nếu bạn tự chấm tỷ lệ lỗi từ (WER) mà không có bước tương tự, một bản chép lời đúng nhưng thiếu hamza sẽ bị tính là sai, và số liệu của bạn sẽ không so sánh được với leaderboard.
- Cái giá phải trả. Gộp hamza làm nhập các từ chỉ khác nhau ở hamza. Động từ سأل (anh ấy đã hỏi) và سال (nó đã chảy) đều thành سال. Tiểu từ إن và أن đều thành ان. Với phần lớn tác vụ tìm kiếm thì chấp nhận được; với sửa chính tả hay văn bản pháp lý thì không.
Trên BroadNet Inference
API của BroadNet truyền văn bản đi nguyên vẹn; việc xử lý hamza diễn ra trong code của bạn. Bản chép lời từ BroadNet Transcribe Arabic là văn bản tiếng Ả Rập thông thường, nên hãy áp dụng cùng một bước chuẩn hóa cho cả văn bản tham chiếu lẫn bản chép lời trước khi chấm điểm. Hãy gửi language=ar như tài liệu BroadNet khuyên. Hướng dẫn chuyển giọng nói tiếng Ả Rập thành văn bản có sẵn request mẫu.
Để sửa hamza trong văn bản người dùng, một model chat có thể giúp; bài về sửa chính tả cho thấy cách kiểm tra rằng chỉ những ký tự dự định mới bị thay đổi. Để xem việc gộp ảnh hưởng thế nào tới chuỗi của bạn, hãy thử công cụ chuẩn hóa văn bản tiếng Ả Rập.