BroadRouter
시작하기

아랍어 텍스트 정규화(Arabic text normalization)

업데이트

아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.

다른 이름: 아랍어 정규화, 알리프 정규화, 철자 정규화, 아랍어 표기 정규화, 타트윌, 카시다, Arabic normalization, alef normalization, orthographic normalization, tatweel, kashida, alef variants

아랍어 사용자는 같은 단어를 여러 방식으로 입력합니다. 정규화는 그 표기들이 서로 일치하게 만듭니다.

작동 방식

정규화는 저장된 텍스트와 쿼리 양쪽에 적용하는 문자 치환 규칙의 묶음입니다. 여러 검색 엔진에서 쓰는 Apache Lucene의 ArabicNormalizer는 다섯 가지 규칙을 둡니다.

  1. 알리프 받침 위의 함자를 맨 알리프로 바꾸기
  2. 타 마르부타(ة)를 하(ه)로 바꾸기
  3. 점 없는 야, 즉 알리프 막수라(ى)를 야(ي)로 바꾸기
  4. 하라카트(발음 구별 기호) 제거
  5. “늘이는 문자(stretching character)“인 타트윌 제거

CAMeL Tools는 같은 개념을 개별 함수로 제공합니다. normalize_alef_ar는 إ أ ٱ آ(U+0625, U+0623, U+0671, U+0622)를 ا로, normalize_alef_maksura_ar는 ى를 ي로, normalize_teh_marbuta_ar는 ة를 ه로 바꿉니다. normalize_unicode는 기본값으로 NFKC를 실행하는데, 이것은 유니코드 정규화이며 가장 먼저 적용해야 합니다.

타트윌(U+0640, 카시다라고도 함)은 유니코드 표준이 양쪽 정렬용으로 설명하는 연결 문자로, 글자 사이에 넣으면 줄이 늘어납니다. 의미가 없으므로 كتـــاب, كتاب 두 표기는 같은 것으로 매칭되어야 합니다.

예시는 다음과 같습니다.

입력 정규화 후 적용 규칙
إِسْلامٌ اسلام 발음 구별 기호, 알리프
مدرسة مدرسه 타 마르부타
مستشفى مستشفي 알리프 막수라
كتـــاب كتاب 타트윌

왜 중요한가

Larkey, Ballesteros, Connell(2002)은 TREC-2001 아랍어 뉴스 컬렉션에서 구두점, 발음 구별 기호, 글자가 아닌 문자를 지우고 여러 글자 변형을 한 형태로 바꾸는 정규화를 적용했습니다. 정규화만으로 단일 언어 평균 정밀도가 .194에서 .238로 올랐고, 그 위에 light8 어간 추출기를 더하자 .376에 이르렀습니다.

같은 원리가 다음에도 적용됩니다.

  • RAG와 키워드 검색. 함자 없이 입력한 쿼리도 함자가 있는 문서를 찾아야 합니다. 아랍어 RAG 검색을 참고하세요.
  • 단어 오류율. 아랍어 음성 인식 점수는 정답 텍스트와 전사 결과를 같은 방식으로 정규화했는지에 따라 달라집니다. 아랍어 WER 해설에서 그 효과를 보여 줍니다.
  • 중복 제거와 분석. 정규화 없이 단어나 사용자 용어를 세면 한 단어가 여러 개로 쪼개집니다.

대가는 서로 다른 단어가 합쳐진다는 점입니다. 알리프를 통일하면 서로 다른 불변화사 إن, أن 두 단어가 같은 문자열이 되고, ة→ه 규칙은 كرة(공)과 كره(증오)를 합칩니다. 함자와 타 마르부타 규칙은 조정 가능한 것으로 다루세요.

BroadNet Inference에서는

정규화는 API가 아니라 내 코드에서 실행됩니다. BroadNet의 채팅 및 전사 엔드포인트는 보낸 텍스트나 오디오를 그대로 받습니다. 사본을 두 개 유지하세요. 모델과 사용자에게 보여 줄 원문, 그리고 매칭용 정규화 키입니다.

무료 아랍어 텍스트 정규화 도구는 이 규칙들을 브라우저에서 적용해 각 규칙이 무엇을 바꾸는지 보여 줍니다. 정규화 가이드에는 테스트를 거친 Python 코드와 규칙별 설명이 있습니다.

흔한 실수

  • 문서는 정규화하고 쿼리는 하지 않거나, 그 반대로 하는 것.
  • 정규화된 텍스트를 사용자에게 보여 주거나 인용하는 것.
  • ى를 서로 다르게 매핑하는 것처럼 규칙이 다른 라이브러리를 섞어 쓰는 것.

자주 묻는 질문

정규화는 임베딩 검색에도 도움이 되나요?

고전적인 연구 결과는 키워드 검색에서 측정한 것입니다. 임베딩이라면 정규화한 입력과 원본 입력을 내 쿼리로 직접 테스트한 뒤 결정하세요.

LLM에 보내기 전에 텍스트를 정규화해야 하나요?

대개는 아닙니다. 모델이 실제 철자, 함자, 발음 구별 기호를 볼 수 있도록 원문을 보내세요. 정규화는 매칭, 인덱싱, 채점에 쓰는 사본에만 적용하세요.

라이브러리마다 같은 규칙을 적용하나요?

아닙니다. CAMeL Tools와 Lucene은 둘 다 알리프 막수라를 야(yeh)로, 타 마르부타를 하(heh)로 바꾸지만, 다른 라이브러리는 다를 수 있습니다. 규칙 세트 하나를 정해 문서와 쿼리 양쪽에 똑같이 적용하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기