모델의 아랍어 답변은 정확한데, 화면에서는 가격이 반대편에 붙고 모델 이름이 두 동강 나 있습니다. 이것은 모델 문제가 아니라 bidi(양방향 텍스트) 문제입니다.
작동 방식
텍스트는 논리 순서, 즉 읽고 입력하는 순서로 저장됩니다. 유니코드 양방향 알고리즘인 UAX #9는 각 문자에 방향 유형을 지정하고 한 줄의 표시 순서를 계산합니다. 메모리 안에서 문자가 움직이는 일은 없으며, 바뀌는 것은 표시뿐입니다.
글자는 강한(strong) 문자입니다. 아랍어는 오른쪽에서 왼쪽, 라틴 문자는 왼쪽에서 오른쪽입니다. 숫자와 문장 부호는 약하거나 중립적인 문자여서 주변 텍스트에 따라 위치가 정해집니다. 유럽식 숫자는 EN 유형, 아랍-인도 숫자는 AN 유형이며, UAX #9는 아랍어 글자 뒤에 오는 EN을 AN으로 처리합니다.
아랍어 어시스턴트가 흔히 내놓는 혼합 문자열은 이렇습니다.
جرّب النموذج broadnet/qwen3.8-27b على 20 رسالة
이 문자열을 왼쪽에서 오른쪽 맥락에서 표시하면, 아랍어 구간은 오른쪽에서 왼쪽으로 읽히지만 문단은 왼쪽에서 시작합니다. 그래서 문장 순서가 뒤바뀌어 보이고, 슬래시와 점, 숫자 20이 엉뚱한 구간에 붙을 수 있습니다. 해결책은 문자 순서를 바꾸는 것이 아니라 기본 방향을 설정하는 것입니다.
마크업을 쓸 수 없을 때를 위해 유니코드에는 보이지 않는 제어 문자가 있습니다.
| 코드 포인트 | 이름 | 용도 |
|---|---|---|
| U+200F | RLM, right-to-left mark | 중립 문자를 RTL 쪽으로 붙임 |
| U+061C | ALM, Arabic letter mark | 같은 용도, 아랍어 맥락용 |
| U+2067 | RLI, right-to-left isolate | RTL 구간 시작 |
| U+2066 | LRI, left-to-right isolate | 모델 ID 같은 LTR 구간 시작 |
| U+2068 | FSI, first strong isolate | 내용에서 방향을 결정 |
| U+2069 | PDI, pop directional isolate | 모든 격리 구간 종료 |
UAX #9는 새 문서에서 예전 임베딩 문자(U+202A~U+202C)보다 격리 문자를 쓰라고 권합니다. 임베딩은 주변 텍스트에 너무 강하게 영향을 주기 때문입니다. 또 오버라이드 문자(U+202D, U+202E)는 보안 문제가 있으므로 가능하면 피해야 한다고 말합니다.
왜 중요한가
HTML에서 W3C는 페이지가 RTL이면 html 요소에 dir="rtl"을 지정하고, 기본 방향을 CSS로 설정하지 말라고 권합니다. 모델 답변이나 사용자 이름처럼 방향을 알 수 없는 텍스트에는 dir="auto" 또는 bdi 요소를 쓰세요. W3C는 auto가 첫 번째 강한 문자로 방향을 정한다고 설명합니다. 그래서 대부분 영어인 문단이 아랍어 단어로 시작하면 여전히 잘못 표시될 수 있습니다.
API 사용자가 흔히 겪는 문제는 다음과 같습니다.
- 채팅 UI. 스트리밍 답변이 영어로 시작했다가 아랍어로 바뀝니다. 페이지에 한 번만 지정하지 말고 메시지마다
dir="auto"를 지정하세요. - JSON과 로그. 모델 출력에는 보이지 않는 마크가 들어 있을 수 있습니다.
"gulf"같은 값은"gulf"와 같지 않습니다. 구조화된 출력 필드를 비교하기 전에 bidi 제어 문자를 지우세요. - 번역된 UI 문자열. 아랍어 안에 들어가는 플레이스홀더와 제품 이름에는 격리 문자가 필요합니다. 앱 문자열을 아랍어로 번역하기를 참고하세요.
BroadNet Inference에서는
BroadNet의 채팅 엔드포인트는 다른 OpenAI 호환 API와 마찬가지로 아랍어를 JSON 응답 안의 일반 텍스트로 반환하며, 표시나 bidi 관련 기능은 없습니다. 방향 처리는 프런트엔드가 맡습니다. 검색용으로 텍스트를 정규화한다면 유니코드 정규화와 같은 단계에서 bidi 제어 문자도 지우세요. NFC와 NFKC는 이 문자를 그대로 남깁니다.
흔한 실수
- 표시를 “고치려고” 코드에서 아랍어 문자열을 뒤집는 것.
- CSS만으로 방향을 설정하는 것.
- ID, 키, enum 값 안에 U+200F나 U+2067을 남겨 두는 것.