BroadRouter

타 마르부타(taa marbuta, ة)

업데이트

타 마르부타(ة, U+0629)는 단어 끝에만 나타나는 아랍어 글자로, 여성 명사와 형용사를 표시하는 경우가 많습니다. 점 두 개가 붙은 헤(ه, U+0647)처럼 생겨서 입력된 텍스트에서 둘이 섞이며, 많은 검색 정규화 도구가 ة를 ه로 바꿉니다.

다른 이름: 타 마르부타, 타마르부타, 아랍어 ة, 테 마르부타, taa marbuta, ta marbuta, teh marbuta, taa marbouta

مدرسة와 مدرسه는 대부분의 아랍어 독자에게 “학교”라는 같은 단어입니다. 하지만 문자열 비교에서는 서로 다릅니다. 그 원인이 타 마르부타입니다.

작동 방식

유니코드 표준은 TEH MARBUTA(U+0629)를 후행 문자(trailing character), 즉 단어나 형태소 끝에만 나타나는 문자로 분류합니다. 오른쪽으로만 연결되는 글자라서 앞 글자에만 이어집니다. 모양은 단어 끝에 오는 HEH(U+0647)의 모양에 점 두 개를 더한 것입니다.

문자 코드 포인트 유니코드 이름 ب 뒤의 어말형
ة U+0629 ARABIC LETTER TEH MARBUTA بة
ه U+0647 ARABIC LETTER HEH به

단어 끝의 점 두 개만 다르기 때문에 입력된 텍스트에는 두 철자가 모두 나타납니다. Bouamor 외(2018)는 현대 표준 아랍어에는 표준 철자법이 있지만 방언에는 없으며, 사람들이 발음대로 단어를 적는 경우가 많다고 지적합니다. 그래서 비격식 텍스트와 아랍어 방언 텍스트에서는 사전이라면 ة로 쓸 자리에 ه가 오는 경우를 예상해야 합니다.

검색 정규화 도구는 둘을 하나로 합칩니다. CAMeL Tools의 normalize_teh_marbuta_ar는 단순한 s.replace('ة', 'ه')이며, Lucene의 ArabicNormalizer는 “normalization of teh marbuta to heh”(번역: 타 마르부타를 헤로 정규화)를 규칙으로 명시합니다.

왜 중요한가

재현율(recall). ة를 ه로 합치면 مدرسه로 검색해도 مدرسة로 쓴 문서를 찾고, 반대도 마찬가지입니다. 알레프와 함자 통합과 함께 아랍어 텍스트 정규화의 표준 규칙 중 하나입니다.

합쳐지는 단어. 이 규칙은 이 글자 하나만 다른 단어들도 하나로 합칩니다.

원래 단어 뜻 ة를 ه로 바꾼 뒤
كرة 공 كره
كره 증오 كره

검색에서는 가끔 생기는 잘못된 일치가 대개 감수할 만한 대가입니다. 개체 매칭, 맞춤법 교정, 법률 텍스트에서는 구분을 유지하고 원문끼리 비교하세요.

채점. 음성 인식 평가에서 정답이 ة인데 전사본에 ه라고 쓰면, 양쪽을 같은 방식으로 정규화하지 않는 한 단어 오류로 집계됩니다. 채점 전에 정하고, 그 결정을 밝히세요.

BroadNet Inference에서는

BroadNet API는 텍스트를 정규화하지 않습니다. 채팅 모델은 ة와 ه를 쓴 그대로 받고 돌려주며, BroadNet Transcribe Arabic은 일반 아랍어 텍스트를 반환합니다. ة 규칙은 직접 만든 색인이나 채점 코드에서 양쪽 모두에 적용하세요.

채팅 모델에게 맞춤법 교정을 맡긴다면 수정 내용을 코드로 확인하세요. 아랍어 맞춤법 교정 글에 diff 기반 검사 방법이 있습니다. 색인에 대해서는 아랍어 RAG 검색 글과 정규화 가이드에서 이 규칙이 들어갈 위치를 보여 줍니다. 아랍어 텍스트 정규화 도구로 직접 가진 문자열에 규칙을 적용해 볼 수 있습니다.

자주 묻는 질문

반대로 ه를 ة로 바꾸면 안 되나요?

ه는 그 자체로 흔한 글자이기 때문입니다. "그의"라는 뜻의 대명사 접미사로도 쓰입니다. ة를 ه로 바꾸는 것은 한 방향 변환이라 어디에 적용해도 안전하지만, 반대로 하면 없던 글자를 만들어 냅니다.

ة를 ه로 바꾸는 규칙이 단어 중간에도 적용되나요?

타 마르부타는 단어나 형태소 끝에만 나타나므로, 실제로 이 규칙은 끝 글자만 바꿉니다. CAMeL Tools는 위치를 확인하지 않고 모든 ة를 바꿉니다.

맞춤법 교정에서 ة를 복원해야 하나요?

그럴 수 있지만, 끝의 ه가 ة여야 하는지는 단어에 따라, 때로는 방언에 따라 다릅니다. 모델에게 교정을 맡기고, 그 변경 사항을 코드와 검토로 확인하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기