BroadRouter
始める

Unicode 正規化(Unicode normalization)

更新日

Unicode 正規化とは、見た目が同じ文字列が同じコードポイントを使うように、テキストを標準形に変換することです。NFD、NFC、NFKD、NFKC の 4 形式があり、K の付く形式はアラビア文字の表示形や合字などの互換文字も通常の文字にまとめます。

別名: ユニコード正規化、文字の正規化、正規化形式、NFC、NFKC、NFD、NFKD、Unicode normalization

画面上ではまったく同じに見える 2 つの文字列が、等価比較では一致しないことがあります。その解決策が Unicode 正規化です。

仕組み

UAX #15 は 4 つの形式を定義しています。

形式 定義
NFD 正準分解
NFC 正準分解の後、正準合成
NFKD 互換分解
NFKC 互換分解の後、正準合成

MDN の言葉では、正準等価な文字は見た目も振る舞いも同じであるべきものです。互換等価な文字は “should be treated alike in some — but not necessarily all — applications”(訳:一部の、ただし必ずしもすべてではないアプリケーションで同じに扱うべき)ものなので、NFKC と NFKD はテキストの見た目を変えることがあります。JavaScript の normalize() のデフォルトは NFC です。Python は unicodedata.normalize(form, s) で同じ 4 形式を提供し、unicodedata.is_normalized で文字列を検査できます。

アラビア語には両方の種類があります。

正準等価。 Unicode 標準によれば、أ(U+0623)は ا(U+0627)と U+0654 HAMZA ABOVE に分解されます。キーボードや変換ツールによっては、テキストがこの 2 文字の形で届きます。NFC はこれを U+0623 に合成し直すので、一致するようになります。

互換等価。 Unicode はアラビア文字の表示形、つまり文脈に応じた字形や合字を U+FB50〜U+FDFF と U+FE70〜U+FEFE に収録し、これらは互換用で “should not be used in general interchange”(訳:一般的なデータ交換には使うべきではない)としています。それでも、古い PDF からコピーしたテキストや一部の OCR 出力には現れます。NFKC はこれらをまとめます。

入力 コードポイント NFKC 後
ﻻ U+FEFB、LAM WITH ALEF ISOLATED FORM لا(2 文字)
ﷲ U+FDF2、ALLAH ISOLATED FORM الله(4 文字)
ﺍ U+FE8D、ALEF ISOLATED FORM ا
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True

CAMeL Tools の normalize_unicode はデフォルトで NFKC を適用し、その前に 2 つの特殊文字、リヤル記号 U+FDFC とバスマラの合字 U+FDFD を通常のアラビア文字に変換します。

なぜ重要か

  • 検索と RAG。 表示形を含む PDF から抽出した文書は、通常のキーボードで入力したクエリと一致しません。標準的な文字を前提とするアラビア語テキストの正規化のルールより前に、両方に NFKC をかけてください。
  • トークン数。 表示形は通常の文字とは別のコードポイントなので、トークナイザーは見た目が同じ単語を異なる数のトークンに分けることがあります。UTF-8 では ﻻ は 3 バイト、لا は 4 バイトです。入力が PDF 由来なら、アラビア語トークンカウンターで両方を数えてください。
  • 検証。 モデルの出力を原文と比べる前に正規化してください。たとえば、抽出したエンティティが本当に文書に現れるかを確かめるときです。

BroadNet Inference の場合

BroadNet の API リファレンスは、サーバー側で入力を正規化するかどうかを記載していません。送信、インデックス作成、比較の前に、自分のコードで正規化してください。アラビア語の文書については、ビジョン LLM による OCR の記事とアラビア語の請求書ガイドが、Gemma 4 VL 26B などのモデルでページを画像として読む方法を紹介しています。これで壊れた PDF のテキスト層を避けられます。返ってきたテキストには、マッチングの前に NFKC をかけてください。

よくある間違い

  • 表示用に NFKC のテキストを保存する。NFC の原文を残してください。
  • 文書は正規化するのに、クエリは正規化しない。
  • 正規化で発音記号、タトウィール(伸長記号)、bidi マークが消えると思い込む。消えません。

よくある質問

NFC と NFKC のどちらを使うべきですか?

保存と表示には、見た目を変えない NFC を使います。検索キーやマッチングには、合字や表示形をまとめたい場面なので NFKC を使います。MDN は、互換形式は見た目を変えると注意しています。

Unicode 正規化でアラビア語の発音記号は消えますか?

消えません。発音記号は独立した文字なので残ります。取り除くのは、アラビア語テキストの正規化の別の手順です。

正規化で目に見えない bidi マークやゼロ幅文字は消えますか?

U+200F や U+2067 のような bidi 制御文字は消えず、NFC でも NFKC でもそのまま残ります。マッチングの妨げになるなら、別途削除してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く