함자는 올바른 아랍어 철자와 흔히 쓰는 철자를 가장 자주 가르는 작은 기호입니다. 독자에게 أحمد와 احمد 두 표기는 같은 이름이지만, 컴퓨터에게는 서로 다른 문자열입니다.
작동 방식
유니코드 표준은 “the hamza may occur above or below other letters”(번역: 함자는 다른 글자의 위나 아래에 올 수 있다)라고 하며, 받침으로 알리프, 와우, 야를 듭니다. 받침이 있는 각 형태는 미리 합성된 문자 하나로 인코딩됩니다.
| 문자 | 코드 포인트 | 유니코드 이름 |
|---|---|---|
| ء | U+0621 | ARABIC LETTER HAMZA |
| أ | U+0623 | ARABIC LETTER ALEF WITH HAMZA ABOVE |
| إ | U+0625 | ARABIC LETTER ALEF WITH HAMZA BELOW |
| آ | U+0622 | ARABIC LETTER ALEF WITH MADDA ABOVE |
| ؤ | U+0624 | ARABIC LETTER WAW WITH HAMZA ABOVE |
| ئ | U+0626 | ARABIC LETTER YEH WITH HAMZA ABOVE |
유니코드는 분해도 정의합니다. أ, ؤ, ئ 세 글자는 각각 기본 글자 뒤에 U+0654 ARABIC HAMZA ABOVE가 오는 것과 정준 등가입니다. 그래서 눈에 보이는 같은 أ 글자가 코드 포인트 하나로 올 수도, 둘로 올 수도 있습니다. NFC나 NFKC로 유니코드 정규화를 하면 ا + U+0654 조합이 다시 U+0623 하나로 바뀌므로, 함자 규칙보다 먼저 실행해야 합니다.
입력된 텍스트는 함자를 항상 쓰지는 않으므로, 같은 단어가 أ, إ, آ 또는 맨 ا 글자로 나타날 수 있습니다. 정규화가 겨냥하는 것이 바로 이 차이입니다. CAMeL Tools의 normalize_alef_ar는 إ أ ٱ آ 네 글자를 ا 글자로 바꿉니다. Lucene의 ArabicNormalizer는 “hamza with alef seat to a bare alef”(번역: 알리프 받침의 함자를 맨 알리프로) 정규화합니다.
왜 중요한가
- 검색. 사용자는 اسلام 형태로 입력하는데 문서에는 إسلام 형태로 적혀 있습니다. 알리프 규칙이 없으면 키워드 검색이 이를 놓칩니다. 아랍어 텍스트 정규화를 참고하세요.
- 음성 채점. Open Universal Arabic ASR Leaderboard는 “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas”(번역: 모든 구두점과 발음 구별 기호를 제거하고 함자와 마다가 있는 문자를 정규화한) 뒤에 WER을 계산합니다. 같은 단계 없이 직접 단어 오류율을 채점하면, 함자만 빠진 올바른 전사본이 오답으로 처리되고 점수를 리더보드와 비교할 수 없게 됩니다.
- 대가. 함자를 합치면 함자만 다른 단어들이 하나로 합쳐집니다. 동사 سأل(그가 물었다)와 سال(그것이 흘렀다) 두 단어가 모두 سال 형태가 됩니다. 불변화사 إن, أن 두 단어도 모두 ان 형태가 됩니다. 대부분의 검색에서는 받아들일 만하지만, 맞춤법 교정이나 법률 텍스트에서는 그렇지 않습니다.
BroadNet Inference에서는
BroadNet API는 텍스트를 바꾸지 않고 그대로 전달하며, 함자 처리는 여러분의 코드에서 합니다. BroadNet Transcribe Arabic의 전사본은 일반 아랍어 텍스트이므로, 채점 전에 기준 텍스트와 전사본 양쪽에 같은 정규화를 적용하세요. BroadNet 문서의 권고대로 language=ar을 보내세요. 요청 예시는 아랍어 음성 인식 가이드에 있습니다.
사용자 텍스트의 함자를 교정할 때는 채팅 모델이 도움이 됩니다. 맞춤법 교정 글에서 의도한 문자만 바뀌었는지 확인하는 방법을 보여 줍니다. 정규화가 실제 문자열에 어떤 영향을 주는지 보려면 아랍어 텍스트 정규화 도구를 써 보세요.