画面上ではまったく同じに見える 2 つの文字列が、等価比較では一致しないことがあります。その解決策が Unicode 正規化です。
仕組み
UAX #15 は 4 つの形式を定義しています。
| 形式 | 定義 |
|---|---|
| NFD | 正準分解 |
| NFC | 正準分解の後、正準合成 |
| NFKD | 互換分解 |
| NFKC | 互換分解の後、正準合成 |
MDN の言葉では、正準等価な文字は見た目も振る舞いも同じであるべきものです。互換等価な文字は “should be treated alike in some — but not necessarily all — applications”(訳:一部の、ただし必ずしもすべてではないアプリケーションで同じに扱うべき)ものなので、NFKC と NFKD はテキストの見た目を変えることがあります。JavaScript の normalize() のデフォルトは NFC です。Python は unicodedata.normalize(form, s) で同じ 4 形式を提供し、unicodedata.is_normalized で文字列を検査できます。
アラビア語には両方の種類があります。
正準等価。 Unicode 標準によれば、أ(U+0623)は ا(U+0627)と U+0654 HAMZA ABOVE に分解されます。キーボードや変換ツールによっては、テキストがこの 2 文字の形で届きます。NFC はこれを U+0623 に合成し直すので、一致するようになります。
互換等価。 Unicode はアラビア文字の表示形、つまり文脈に応じた字形や合字を U+FB50〜U+FDFF と U+FE70〜U+FEFE に収録し、これらは互換用で “should not be used in general interchange”(訳:一般的なデータ交換には使うべきではない)としています。それでも、古い PDF からコピーしたテキストや一部の OCR 出力には現れます。NFKC はこれらをまとめます。
| 入力 | コードポイント | NFKC 後 |
|---|---|---|
| ﻻ | U+FEFB、LAM WITH ALEF ISOLATED FORM | لا(2 文字) |
| ﷲ | U+FDF2、ALLAH ISOLATED FORM | الله(4 文字) |
| ﺍ | U+FE8D、ALEF ISOLATED FORM | ا |
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا" # True
unicodedata.normalize("NFC", "أ") == "أ" # True
CAMeL Tools の normalize_unicode はデフォルトで NFKC を適用し、その前に 2 つの特殊文字、リヤル記号 U+FDFC とバスマラの合字 U+FDFD を通常のアラビア文字に変換します。
なぜ重要か
- 検索と RAG。 表示形を含む PDF から抽出した文書は、通常のキーボードで入力したクエリと一致しません。標準的な文字を前提とするアラビア語テキストの正規化のルールより前に、両方に NFKC をかけてください。
- トークン数。 表示形は通常の文字とは別のコードポイントなので、トークナイザーは見た目が同じ単語を異なる数のトークンに分けることがあります。UTF-8 では ﻻ は 3 バイト、لا は 4 バイトです。入力が PDF 由来なら、アラビア語トークンカウンターで両方を数えてください。
- 検証。 モデルの出力を原文と比べる前に正規化してください。たとえば、抽出したエンティティが本当に文書に現れるかを確かめるときです。
BroadNet Inference の場合
BroadNet の API リファレンスは、サーバー側で入力を正規化するかどうかを記載していません。送信、インデックス作成、比較の前に、自分のコードで正規化してください。アラビア語の文書については、ビジョン LLM による OCR の記事とアラビア語の請求書ガイドが、Gemma 4 VL 26B などのモデルでページを画像として読む方法を紹介しています。これで壊れた PDF のテキスト層を避けられます。返ってきたテキストには、マッチングの前に NFKC をかけてください。
よくある間違い
- 表示用に NFKC のテキストを保存する。NFC の原文を残してください。
- 文書は正規化するのに、クエリは正規化しない。
- 正規化で発音記号、タトウィール(伸長記号)、bidi マークが消えると思い込む。消えません。