아랍어 교정은 “이 텍스트를 교정해 줘”라는 한 줄짜리 프롬프트처럼 보입니다. 실제로는 모델이 문장을 바꿔 쓰고, 발음 부호를 넣고, 방언 단어를 격식체 단어로 바꾸고, 수정 이유까지 설명하는 바람에 어떤 수정이 필요했는지 알 수 없습니다. 이 글에서는 OpenAI 호환 LLM 위에 교정기를 만듭니다. 수정을 최소화하고, 응답을 코드로 검사하고, 수정마다 오류 유형 라벨을 붙이고, 연구 벤치마크와 같은 방식으로 전체를 채점합니다.
LLM은 아랍어 문법 교정을 얼마나 잘하나요?
표준 벤치마크는 QALB 공동 과제입니다. QALB-2014는 Al Jazeera 웹사이트에 달린 현대 표준 아랍어 댓글을 썼습니다. 학습 텍스트는 100만 단어 이상에 교정이 약 306,000건이고, 테스트 세트는 약 50,000단어입니다. QALB-2015는 아랍어를 외국어(L2)로 배우는 학습자의 에세이로 두 번째 트랙을 추가했습니다. 두 과제 모두 M2 scorer로 수정 단위로 시스템을 채점했습니다. 최고 점수는 다음과 같습니다(F1, 높을수록 좋음).
| 테스트 세트 | 최고 시스템 F1 | 텍스트 |
|---|---|---|
| QALB-2014 테스트 | 67.91 | 원어민의 뉴스 댓글 |
| QALB-2015 원어민 테스트 | 72.87 | 원어민의 뉴스 댓글 |
| QALB-2015 L2 테스트 | 41.20 | 학습자의 에세이 |
L2 행이 쓸모 있는 경고입니다. 학습자 텍스트에는 어휘 선택 오류와 빠진 단어가 더 많고, 최고 시스템도 훨씬 낮은 점수를 받았습니다. 사용자가 학습자라면 내 수치도 이 행에 가까울 것이라고 예상하세요.
이후 Kwon, Bhatia, Nagoudi, Abdul-Mageed(ArabicNLP 2023)가 QALB-2014 테스트 세트에서 ChatGPT와 GPT-4를 돌렸습니다. 같은 채점기 기준입니다.
| 시스템 | F1 |
|---|---|
| ChatGPT, 예시 1개 | 53.59 |
| ChatGPT, 예시 5개 | 63.98 |
| GPT-4, 예시 5개 | 65.49 |
| AraT5v2, 파인튜닝 | 67.70 |
프롬프트에 중요한 세부 사항이 두 가지 있습니다. 예시를 늘리자 크게 좋아졌습니다. 그리고 제로샷 프롬프트와 아랍어로 쓴 프롬프트는 설명으로 가득한 응답을 내놓아, 저자들이 자동으로 채점할 수 없었습니다. 교정기에는 프로그램이 diff할 수 있는 출력이 필요합니다.
그냥 텍스트를 정규화하면 안 되나요?
이 사이트의 아랍어 텍스트 정규화 도구는 타쉬킬과 타트윌을 지우고, أ إ آ를 ا로, 선택적으로 ى를 ي로, ة를 ه로 바꿉니다. 검색에는 맞는 단계입니다. احمد라고 입력한 사용자가 أحمد를 찾아야 하니까요. 하지만 교정 전에는 틀린 단계입니다. 교정기가 되살려야 할 구분을 지워 버리기 때문입니다. 정규화 후에는 انا와 أنا가 같은 문자열이 되므로, 함자 오류도 사라지고 그 수정도 사라집니다.
둘 다 필요하다면 사본을 세 개 두세요. 원문, 사용자에게 보여 줄 교정본, 검색 색인용으로 교정본을 정규화한 사본입니다. 색인 쪽은 검색을 위한 아랍어 텍스트 정규화에서 다룹니다. 교정 전에 해야 할 정규화가 하나 있긴 합니다. 유니코드 NFC입니다. 분해된 알리프와 결합 함자를 한 문자로 합쳐, diff가 실제로 없는 변경을 보고하지 않게 합니다.
프롬프트에는 무엇을 써야 하나요?
최소 수정을 요청하고, 신경 쓰는 오류 유형을 명시하고, 원하지 않는 변경은 금지하고, 교정된 텍스트만 달라고 하세요. 지시문을 영어로 쓸지 아랍어로 쓸지는 선택입니다. 장단점은 아랍어 프롬프트 엔지니어링에서 다룹니다. Kwon 외는 예시를 곁들인 영어 지시문으로 쓸 만한 출력을 얻었습니다. 내 데이터에서 교정된 문장 쌍 세~다섯 개를 추가하는 것(퓨샷)이 가장 먼저 시도할 만한 가장 저렴한 개선입니다.
temperature는 0으로 설정하세요. 매번 같은 교정이 나와야 합니다. 텍스트가 이집트나 걸프 아랍어 같은 방언이라면 방언을 유지할지 밝히세요. 아래 프롬프트는 현대 표준 아랍어(MSA)를 가정하고 문체를 바꾸지 말라고 지시하는데, 이는 방언에도 적용됩니다.
모델의 응답은 어떻게 검사하나요?
코드는 요청을 한 번 보내고, 응답이 입력과 얼마나 다른지 측정하고, 단어 단위 수정을 뽑아 각각 라벨을 붙입니다.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""
def tokens(s: str) -> list[str]:
s = unicodedata.normalize("NFC", s) # composed hamza forms, so أ is one character
return re.findall(r"\w+|[^\w\s]", s) # Arabic letters are \w; ، ؟ ؛ become tokens
def edits(src: str, hyp: str) -> list[tuple]:
"""Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
a, b = tokens(src), tokens(hyp)
out = []
for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
i, j = i1, j1
while op != "equal" and (i < i2 or j < j2): # split the block into one-word edits
if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]: # و قابلت -> وقابلت
out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]: # عبدالله -> عبد الله
out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
elif i < i2 and j < j2:
out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
elif i < i2: # deleted word
out.append((i, i + 1, "", a[i])); i += 1
else: # inserted word
out.append((i, i, b[j], "")); j += 1
return out
HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
("taa marbuta", lambda w: w.replace("ة", "ه")),
("alef maqsura", lambda w: w.replace("ى", "ي"))]
def error_class(orig: str, corr: str) -> str:
if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
return "punctuation"
if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
return "merge" if " " in orig else "split"
for name, f in RULES:
if orig != corr and f(orig) == f(corr):
return name
both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
if both(orig) == both(corr):
return "mixed orthography"
return "other"
def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
r = client.chat.completions.create(
model=model, temperature=0, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = r.choices[0].message.content.strip()
sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
if sim < min_similarity: # a rewrite, not a correction: keep the original
return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
return {"text": out, "similarity": round(sim, 2),
"edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}
이 코드는 미리 준비한 응답을 돌려주는 로컬 목(mock) 서버를 상대로 실행했습니다(목 서버는 저희가 쓴 대로 돌려주므로 실제 API 호출은 없습니다). ذهبت الى المدرسه و قابلت المعلمه في الصباح에 대해 ذهبت إلى المدرسة وقابلت المعلمة في الصباح라는 응답은 수정 네 개를 냈습니다. الى→إلى(함자), المدرسه→المدرسة(타 마르부타), و قابلت→وقابلت(붙이기), المعلمه→المعلمة(타 마르부타)입니다. مشي الي에 대해서는 مشي→مشى(알리프 막수라)와 الي→إلى(복합 철자, 함자와 알리프 막수라를 한 번에 고치므로)를 나열했습니다. الطقس جميل اليوم을 두 배 길이의 문장으로 바꾼 준비 응답은 유사도 0.52를 받아, 코드가 원문을 유지하고 응답을 로그로 남겼습니다.
코드에 대한 메모:
- 유사도 가드는 무딘 도구입니다. 맞춤법이 심하게 틀린 문장은 정당하게 0.8 근처로 떨어질 수 있습니다. 내 데이터로 임계값을 조정하고, 거부된 응답은 버리지 말고 사람에게 보내세요.
max_tokens=2000은 추론할 여유를 남깁니다. BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며 그 추론이max_tokens에 포함됩니다.reasoning_effort를 low로 설정할 수도 있습니다. 추론 모델의 빈 응답을 참고하세요.- 유형 라벨은 파서가 아니라 규칙입니다. “기타”에는 빠진 글자(مسؤل→مسؤول), 일치, 어휘 선택이 들어갑니다. 전체 분류 체계가 필요하면 같은 쌍에 ARETA(아래)를 돌리세요.
어떤 오류 유형을 추적해야 하나요?
QALB 주최 측은 함자가 붙은 알리프와 알리프 막수라/야 혼동을 가장 흔한 아랍어 맞춤법 오류로 꼽습니다. CAMeL Lab의 오류 유형 주석 도구 ARETA(Belkebir, Habash, CoNLL 2021)는 Arabic Learner Corpus 기반 태그 세트를 씁니다. 철자 태그에는 OH(함자), OT(하와 타 마르부타), OA(알리프와 야)가 있고, 그 밖에 형태, 구문, 의미, 문장 부호, 붙이기(MG), 띄우기(SP) 태그가 있습니다. 논문은 사람이 라벨을 붙인 학습자 텍스트 대비 마이크로 평균 F1 85.8%를 보고합니다.
| 유형 | 틀린 형태 | 맞는 형태 | 무엇이 틀리나 |
|---|---|---|---|
| 함자 | انا، الى، مسأله | أنا، إلى، مسألة | 함자가 없거나, 받침이 틀리거나, 알리프의 반대쪽에 있음 |
| 타 마르부타 | المدرسه | المدرسة | 끝의 ة를 ه로 쓰거나 그 반대 |
| 알리프 막수라 | مشي، علي (전치사) | مشى، على | 끝의 ى를 ي로 씀. علي는 이름이기도 하므로 문맥으로 판단 |
| 붙이기·띄우기 | و قابلت، عبدالله | وقابلت، عبد الله | و와 ال 주변의 공백, 복합 이름 |
| 문장 부호 | ، 나 ؟ 누락 | 추가 | QALB 주석자들 사이의 일치도가 가장 낮았던 항목 |
유형별 재현율을 추적하세요. 타 마르부타는 고치지만 전치사 뒤의 함자를 놓치는 모델에는 다른 모델이 아니라 그 패턴의 예시가 필요합니다.
교정기는 어떻게 채점하나요?
문법 오류 교정(GEC)은 수정 단위로 채점합니다. 원문을 사람이 교정한 정답 문장으로 바꾸는 수정과, 원문을 모델 출력으로 바꾸는 수정을 비교합니다. 정밀도는 모델 수정 중 정답과 일치하는 비율이고, 재현율은 정답 수정 중 모델이 해낸 비율입니다. QALB는 F1을 보고했고, Kwon 외를 비롯한 이후 연구는 정밀도에 재현율의 두 배 가중치를 두는 F0.5도 보고합니다. 틀린 “교정”이 놓친 교정보다 사용자를 더 짜증 나게 하기 때문입니다.
from collections import Counter
def score(sources, golds, hyps, beta=0.5):
"""Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
tp = fp = fn = 0
by_class = Counter()
for s, g, h in zip(sources, golds, hyps):
G = {e[:3] for e in edits(s, g)}
H = {e[:3] for e in edits(s, h)}
tp += len(G & H); fp += len(H - G); fn += len(G - H)
for e in edits(s, g):
by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
p = tp / (tp + fp) if tp + fp else 1.0
r = tp / (tp + fn) if tp + fn else 1.0
f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
for c in sorted({c for c, _ in by_class})}
return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}
정답 수정이 일곱 개인 두 문장짜리 예시 세트에서, 출력이 붙이기 하나와 타 마르부타 하나를 놓치고 마침표를 하나 추가했을 때 P 0.833, R 0.714, F0.5 0.806이 출력되었고, 유형별 재현율은 함자 2/2, 타 마르부타 2/3, 붙이기 0/1이었습니다.
이것은 M2의 아이디어를 단순화한 것입니다. 공식 M2 scorer는 정답과 가장 잘 맞는 시스템 수정 정렬을 찾으므로, 정답과 다르게 쪼개진 올바른 수정이 불이익을 받지 않습니다. 저희의 정확 일치 방식은 더 엄격합니다. 공개된 수치와 비교할 때는 공식 채점기를 쓰세요(개발자 버전은 아직 Python 2가 필요합니다). ERRANT도 같은 수정 추출을 하지만 영어 전용입니다.
정답 세트는 실제 사용자 텍스트 100~200문장으로 만들고, 모델에게 준 것과 같은 최소 수정 규칙으로 꼼꼼한 주석자 한 명이 교정하게 하세요. 후보 모델과 프롬프트마다 돌려 F0.5와 유형별 재현율을 비교하세요. 이 비교를 공정하게 하는 방법은 모델을 바꾸기 전에 LLM을 평가하는 법에서 다룹니다.
Tibyan과 합성 데이터는 어떤가요?
라벨이 붙은 아랍어 교정 데이터는 드뭅니다. Alrehili와 Alhothali는 QALB-14와 QALB-15를 합쳐도 병렬 예시가 약 20,500개라고 지적합니다. 이들의 Tibyan 코퍼스(arXiv 2024, 이후 PeerJ Computer Science 게재)는 흔한 아랍어 오류를 다룬 책을 바탕으로 ChatGPT로 오류 문장과 정답 문장 쌍을 생성하고 언어학자가 검토했습니다. 약 600,000토큰이며, 오류 유형은 철자, 형태, 구문, 의미, 문장 부호, 붙이기, 띄우기 일곱 가지입니다. 저자들은 코퍼스가 공개되어 있다고 하지만, 저희는 라이선스를 확인할 다운로드 링크를 찾지 못했습니다. 퓨샷 예시와 스트레스 테스트에는 유용하지만 합성 데이터이므로 수용 테스트로 쓰지는 마세요.
LLM이 아닌 기준선이 필요하다면 CAMeL Lab의 arabic-gec 저장소가 Alhafni 외(EMNLP 2023)의 코드와 모델을 공개합니다. 맞춤법만이라면 ar-corrector 패키지가 한두 번 편집 거리 안의 사전 단어를 제안합니다. 문법은 다루지 않고, 마지막 릴리스는 2021년이었습니다.
어떤 BroadNet 모델을 써야 하나요?
가격은 BroadNet 가격 페이지 기준 100만 토큰당입니다. 교정 출력은 입력과 길이가 비슷하므로 출력 가격이 중요합니다.
| 모델 | 이유 | 입력 / 출력 |
|---|---|---|
| Qwen3.8 27B | 추론 기능이 문서화됨. BroadNet은 걸프와 이집트 방언 이해를 포함한 아랍어 테스트를 보고함 | $0.175 / $2.17 |
| GLM 5.3 | 추론 기능이 문서화됨. 문서 전체를 넣을 수 있는 긴 컨텍스트 | $0.78 / $3.46 |
| DeepSeek V4.1 Flash | 여기 있는 추론 모델 중 출력 가격이 가장 낮음. 정액 세션 플랜도 있음 | $0.175 / $0.52 |
| Gemma 4 VL 26B | $5 상당의 초기 크레딧으로 쓸 수 있어, 충전 전에 파이프라인을 만들 수 있음 | $0.10 / $0.22 |
정답 세트에 모델마다 채점기를 돌리고 F0.5와 가격으로 고르세요. 아랍어는 보통 영어보다 단어당 토큰이 많습니다. 샘플을 아랍어 토큰 카운터에 붙여 넣고 LLM API 비용 계산기로 청구액을 추정하세요. BroadNet에는 Batch API가 없으므로, 대규모 아카이브를 교정하려면 Batch API 없이 하는 배치 처리처럼 동시성을 제한해 돌리거나, 주당 $15 의 DeepSeek 세션에서 돌리세요(세션당 한 번에 요청 하나).
BroadNet Inference의 위치
BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference는 위 모델들에 OpenAI 호환으로 접근하게 해 주므로, base URL만 바꾸면 OpenAI Python SDK로 코드가 돌아갑니다. 교정 전용 엔드포인트는 없고 자체 아랍어 교정 벤치마크도 공개하지 않으므로, 내 텍스트로 측정하세요. 개인정보 처리 방침에 따르면 추론 콘텐츠는 보관되지 않으며, 고객 메시지를 교정할 때 중요한 부분입니다. 아주 많은 물량을 위해 자체 호스팅 교정기가 필요하다면, CAMeL Lab의 모델 같은 파인튜닝 모델이 더 저렴하고 일관될 수 있습니다. 위에 공개된 점수가 둘 다 테스트해 봐야 하는 이유입니다.
