مدرسة와 مدرسه는 대부분의 아랍어 독자에게 “학교”라는 같은 단어입니다. 하지만 문자열 비교에서는 서로 다릅니다. 그 원인이 타 마르부타입니다.
작동 방식
유니코드 표준은 TEH MARBUTA(U+0629)를 후행 문자(trailing character), 즉 단어나 형태소 끝에만 나타나는 문자로 분류합니다. 오른쪽으로만 연결되는 글자라서 앞 글자에만 이어집니다. 모양은 단어 끝에 오는 HEH(U+0647)의 모양에 점 두 개를 더한 것입니다.
| 문자 | 코드 포인트 | 유니코드 이름 | ب 뒤의 어말형 |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
단어 끝의 점 두 개만 다르기 때문에 입력된 텍스트에는 두 철자가 모두 나타납니다. Bouamor 외(2018)는 현대 표준 아랍어에는 표준 철자법이 있지만 방언에는 없으며, 사람들이 발음대로 단어를 적는 경우가 많다고 지적합니다. 그래서 비격식 텍스트와 아랍어 방언 텍스트에서는 사전이라면 ة로 쓸 자리에 ه가 오는 경우를 예상해야 합니다.
검색 정규화 도구는 둘을 하나로 합칩니다. CAMeL Tools의 normalize_teh_marbuta_ar는 단순한 s.replace('ة', 'ه')이며, Lucene의 ArabicNormalizer는 “normalization of teh marbuta to heh”(번역: 타 마르부타를 헤로 정규화)를 규칙으로 명시합니다.
왜 중요한가
재현율(recall). ة를 ه로 합치면 مدرسه로 검색해도 مدرسة로 쓴 문서를 찾고, 반대도 마찬가지입니다. 알레프와 함자 통합과 함께 아랍어 텍스트 정규화의 표준 규칙 중 하나입니다.
합쳐지는 단어. 이 규칙은 이 글자 하나만 다른 단어들도 하나로 합칩니다.
| 원래 단어 | 뜻 | ة를 ه로 바꾼 뒤 |
|---|---|---|
| كرة | 공 | كره |
| كره | 증오 | كره |
검색에서는 가끔 생기는 잘못된 일치가 대개 감수할 만한 대가입니다. 개체 매칭, 맞춤법 교정, 법률 텍스트에서는 구분을 유지하고 원문끼리 비교하세요.
채점. 음성 인식 평가에서 정답이 ة인데 전사본에 ه라고 쓰면, 양쪽을 같은 방식으로 정규화하지 않는 한 단어 오류로 집계됩니다. 채점 전에 정하고, 그 결정을 밝히세요.
BroadNet Inference에서는
BroadNet API는 텍스트를 정규화하지 않습니다. 채팅 모델은 ة와 ه를 쓴 그대로 받고 돌려주며, BroadNet Transcribe Arabic은 일반 아랍어 텍스트를 반환합니다. ة 규칙은 직접 만든 색인이나 채점 코드에서 양쪽 모두에 적용하세요.
채팅 모델에게 맞춤법 교정을 맡긴다면 수정 내용을 코드로 확인하세요. 아랍어 맞춤법 교정 글에 diff 기반 검사 방법이 있습니다. 색인에 대해서는 아랍어 RAG 검색 글과 정규화 가이드에서 이 규칙이 들어갈 위치를 보여 줍니다. 아랍어 텍스트 정규화 도구로 직접 가진 문자열에 규칙을 적용해 볼 수 있습니다.