モデルのアラビア語の回答は正しいのに、画面では価格が反対側にあり、モデル名が真っ二つに割れている。これはモデルの問題ではなく、bidi(双方向テキスト)の問題です。
仕組み
テキストは論理順、つまり読んで入力する順番で保存されます。Unicode 双方向アルゴリズムである UAX #9 は、各文字に方向の種別を割り当て、行の表示順を計算します。メモリ上の文字は動かず、変わるのは表示だけです。
字母(レター)は強い文字で、アラビア文字は右から左、ラテン文字は左から右です。数字や句読点は弱い文字または中立の文字で、位置は周囲のテキストから決まります。ヨーロッパ数字は EN 型、アラビア・インド数字は AN 型で、UAX #9 はアラビア文字の後ろにある EN を AN として解決します。
アラビア語アシスタントが返す典型的な混在文字列です。
جرّب النموذج broadnet/qwen3.8-27b على 20 رسالة
左から右の文脈で表示すると、アラビア語の部分はそれぞれ右から左に読めても段落が左から始まるため、文全体の順序がおかしく見え、スラッシュ、ドット、数字の 20 が別の部分にくっつくことがあります。直すべきは基本方向の設定で、文字の並べ替えではありません。
マークアップが使えない場合のために、Unicode には目に見えない制御文字があります。
| コードポイント | 名前 | 用途 |
|---|---|---|
| U+200F | RLM、右から左マーク | 中立の文字を RTL 側に寄せる |
| U+061C | ALM、アラビア文字マーク | 同上、アラビア語の文脈向け |
| U+2067 | RLI、右から左アイソレート | RTL の範囲を開始する |
| U+2066 | LRI、左から右アイソレート | モデル ID などの LTR の範囲を開始する |
| U+2068 | FSI、最初の強い文字によるアイソレート | 内容から方向を決める |
| U+2069 | PDI、方向アイソレートの終了 | あらゆるアイソレートを終える |
UAX #9 は、新しい文書では古いエンベディング(U+202A〜U+202C)よりアイソレートを使うよう勧めています。エンベディングは周囲のテキストへの影響が強すぎるためです。また、オーバーライド(U+202D、U+202E)はセキュリティ上の懸念から、できる限り避けるべきだとしています。
なぜ重要か
HTML について W3C は、ページが RTL なら html 要素に dir="rtl" を付け、基本方向の設定に CSS を使わないよう勧めています。モデルの返答やユーザー名のように方向がわからないテキストには、dir="auto" か bdi 要素を使います。W3C は、auto が最初の強い文字で方向を決めるため、大部分が英語でもアラビア語の単語で始まる段落は誤って表示されうると注意しています。
API 利用者がよく出会う問題は次のとおりです。
- チャット UI。 ストリーミングの返答が英語で始まり、途中でアラビア語に変わります。
dir="auto"はページに 1 回ではなく、メッセージごとに設定してください。 - JSON とログ。 モデルの出力には目に見えないマークが含まれることがあります。
"gulf"のような値は"gulf"と一致しません。構造化出力のフィールドを比較する前に、bidi 制御文字を取り除いてください。 - 翻訳した UI 文字列。 アラビア語の中のプレースホルダーや製品名にはアイソレートが必要です。アプリの文字列を LLM でアラビア語に翻訳するを参照してください。
BroadNet Inference の場合
BroadNet のチャットエンドポイントは、ほかの OpenAI 互換 API と同じく、アラビア語を JSON レスポンスの普通のテキストとして返します。BroadNet には表示や bidi に関する機能はありません。方向の処理はフロントエンドの役割です。検索用にテキストを正規化するなら、Unicode 正規化と同じ処理の中で bidi 制御文字も削除してください。NFC と NFKC はそれらを残すためです。
よくある間違い
- 表示を「直す」ために、コードでアラビア語の文字列を反転させる。
- 方向を CSS だけで設定する。
- ID、キー、enum の値に U+200F や U+2067 を残したままにする。