아랍어 사용자는 같은 단어를 여러 방식으로 입력합니다. 정규화는 그 표기들이 서로 일치하게 만듭니다.
작동 방식
정규화는 저장된 텍스트와 쿼리 양쪽에 적용하는 문자 치환 규칙의 묶음입니다. 여러 검색 엔진에서 쓰는 Apache Lucene의 ArabicNormalizer는 다섯 가지 규칙을 둡니다.
- 알리프 받침 위의 함자를 맨 알리프로 바꾸기
- 타 마르부타(ة)를 하(ه)로 바꾸기
- 점 없는 야, 즉 알리프 막수라(ى)를 야(ي)로 바꾸기
- 하라카트(발음 구별 기호) 제거
- “늘이는 문자(stretching character)“인 타트윌 제거
CAMeL Tools는 같은 개념을 개별 함수로 제공합니다. normalize_alef_ar는 إ أ ٱ آ(U+0625, U+0623, U+0671, U+0622)를 ا로, normalize_alef_maksura_ar는 ى를 ي로, normalize_teh_marbuta_ar는 ة를 ه로 바꿉니다. normalize_unicode는 기본값으로 NFKC를 실행하는데, 이것은 유니코드 정규화이며 가장 먼저 적용해야 합니다.
타트윌(U+0640, 카시다라고도 함)은 유니코드 표준이 양쪽 정렬용으로 설명하는 연결 문자로, 글자 사이에 넣으면 줄이 늘어납니다. 의미가 없으므로 كتـــاب, كتاب 두 표기는 같은 것으로 매칭되어야 합니다.
예시는 다음과 같습니다.
| 입력 | 정규화 후 | 적용 규칙 |
|---|---|---|
| إِسْلامٌ | اسلام | 발음 구별 기호, 알리프 |
| مدرسة | مدرسه | 타 마르부타 |
| مستشفى | مستشفي | 알리프 막수라 |
| كتـــاب | كتاب | 타트윌 |
왜 중요한가
Larkey, Ballesteros, Connell(2002)은 TREC-2001 아랍어 뉴스 컬렉션에서 구두점, 발음 구별 기호, 글자가 아닌 문자를 지우고 여러 글자 변형을 한 형태로 바꾸는 정규화를 적용했습니다. 정규화만으로 단일 언어 평균 정밀도가 .194에서 .238로 올랐고, 그 위에 light8 어간 추출기를 더하자 .376에 이르렀습니다.
같은 원리가 다음에도 적용됩니다.
- RAG와 키워드 검색. 함자 없이 입력한 쿼리도 함자가 있는 문서를 찾아야 합니다. 아랍어 RAG 검색을 참고하세요.
- 단어 오류율. 아랍어 음성 인식 점수는 정답 텍스트와 전사 결과를 같은 방식으로 정규화했는지에 따라 달라집니다. 아랍어 WER 해설에서 그 효과를 보여 줍니다.
- 중복 제거와 분석. 정규화 없이 단어나 사용자 용어를 세면 한 단어가 여러 개로 쪼개집니다.
대가는 서로 다른 단어가 합쳐진다는 점입니다. 알리프를 통일하면 서로 다른 불변화사 إن, أن 두 단어가 같은 문자열이 되고, ة→ه 규칙은 كرة(공)과 كره(증오)를 합칩니다. 함자와 타 마르부타 규칙은 조정 가능한 것으로 다루세요.
BroadNet Inference에서는
정규화는 API가 아니라 내 코드에서 실행됩니다. BroadNet의 채팅 및 전사 엔드포인트는 보낸 텍스트나 오디오를 그대로 받습니다. 사본을 두 개 유지하세요. 모델과 사용자에게 보여 줄 원문, 그리고 매칭용 정규화 키입니다.
무료 아랍어 텍스트 정규화 도구는 이 규칙들을 브라우저에서 적용해 각 규칙이 무엇을 바꾸는지 보여 줍니다. 정규화 가이드에는 테스트를 거친 Python 코드와 규칙별 설명이 있습니다.
흔한 실수
- 문서는 정규화하고 쿼리는 하지 않거나, 그 반대로 하는 것.
- 정규화된 텍스트를 사용자에게 보여 주거나 인용하는 것.
- ى를 서로 다르게 매핑하는 것처럼 규칙이 다른 라이브러리를 섞어 쓰는 것.