---
title: "Unicode 正規化とは？LLM テキストの NFC と NFKC | BroadRouter"
description: "Unicode 正規化（NFC、NFD、NFKC、NFKD）は、等価な文字列が同じコードポイントを使うようにします。どの形式を使うべきか、アラビア語の PDF や OCR のテキストで NFKC が重要な理由を解説します。"
url: https://broadrouter.com/ja/glossary/unicode-normalization/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/unicode-normalization/) (2026-11-15 更新).

# Unicode 正規化（Unicode normalization）

更新日 2026-11-15

Unicode 正規化とは、見た目が同じ文字列が同じコードポイントを使うように、テキストを標準形に変換することです。NFD、NFC、NFKD、NFKC の 4 形式があり、K の付く形式はアラビア文字の表示形や合字などの互換文字も通常の文字にまとめます。

別名： ユニコード正規化、文字の正規化、正規化形式、NFC、NFKC、NFD、NFKD、Unicode normalization

画面上ではまったく同じに見える 2 つの文字列が、等価比較では一致しないことがあります。その解決策が Unicode 正規化です。

## 仕組み

UAX #15 は 4 つの形式を定義しています。

| 形式 | 定義 |
| --- | --- |
| NFD | 正準分解 |
| NFC | 正準分解の後、正準合成 |
| NFKD | 互換分解 |
| NFKC | 互換分解の後、正準合成 |

MDN の言葉では、正準等価な文字は見た目も振る舞いも同じであるべきものです。互換等価な文字は “should be treated alike in some — but not necessarily all — applications”（訳：一部の、ただし必ずしもすべてではないアプリケーションで同じに扱うべき）ものなので、NFKC と NFKD はテキストの見た目を変えることがあります。JavaScript の `normalize()` のデフォルトは NFC です。Python は `unicodedata.normalize(form, s)` で同じ 4 形式を提供し、`unicodedata.is_normalized` で文字列を検査できます。

アラビア語には両方の種類があります。

**正準等価。** Unicode 標準によれば、أ（U+0623）は ا（U+0627）と U+0654 HAMZA ABOVE に分解されます。キーボードや変換ツールによっては、テキストがこの 2 文字の形で届きます。NFC はこれを U+0623 に合成し直すので、一致するようになります。

**互換等価。** Unicode はアラビア文字の表示形、つまり文脈に応じた字形や合字を U+FB50〜U+FDFF と U+FE70〜U+FEFE に収録し、これらは互換用で “should not be used in general interchange”（訳：一般的なデータ交換には使うべきではない）としています。それでも、古い PDF からコピーしたテキストや一部の OCR 出力には現れます。NFKC はこれらをまとめます。

| 入力 | コードポイント | NFKC 後 |
| --- | --- | --- |
| ﻻ | U+FEFB、LAM WITH ALEF ISOLATED FORM | لا（2 文字） |
| ﷲ | U+FDF2、ALLAH ISOLATED FORM | الله（4 文字） |
| ﺍ | U+FE8D、ALEF ISOLATED FORM | ا |

```python
import unicodedata
unicodedata.normalize("NFKC", "ﻻ") == "لا"   # True
unicodedata.normalize("NFC", "أ") == "أ"    # True
```

CAMeL Tools の `normalize_unicode` はデフォルトで NFKC を適用し、その前に 2 つの特殊文字、リヤル記号 U+FDFC とバスマラの合字 U+FDFD を通常のアラビア文字に変換します。

## なぜ重要か

-   **検索と RAG。** 表示形を含む PDF から抽出した文書は、通常のキーボードで入力したクエリと一致しません。標準的な文字を前提とする[アラビア語テキストの正規化](https://broadrouter.com/ja/glossary/arabic-text-normalization/)のルールより前に、両方に NFKC をかけてください。
-   **トークン数。** 表示形は通常の文字とは別のコードポイントなので、[トークナイザー](https://broadrouter.com/ja/glossary/tokenizer/)は見た目が同じ単語を異なる数のトークンに分けることがあります。UTF-8 では ﻻ は 3 バイト、لا は 4 バイトです。入力が PDF 由来なら、[アラビア語トークンカウンター](https://broadrouter.com/tools/arabic-token-counter/)で両方を数えてください。
-   **検証。** モデルの出力を原文と比べる前に正規化してください。たとえば、抽出したエンティティが本当に文書に現れるかを確かめるときです。

## BroadNet Inference の場合

BroadNet の API リファレンスは、サーバー側で入力を正規化するかどうかを記載していません。送信、インデックス作成、比較の前に、自分のコードで正規化してください。アラビア語の文書については、[ビジョン LLM による OCR](https://broadrouter.com/ja/blog/arabic-ocr-vision-llm/) の記事と[アラビア語の請求書ガイド](https://broadrouter.com/ja/guides/read-arabic-invoices-with-vision/)が、[Gemma 4 VL 26B](https://broadrouter.com/ja/models/gemma-4-vl-26b/) などのモデルでページを画像として読む方法を紹介しています。これで壊れた PDF のテキスト層を避けられます。返ってきたテキストには、マッチングの前に NFKC をかけてください。

## よくある間違い

-   表示用に NFKC のテキストを保存する。NFC の原文を残してください。
-   文書は正規化するのに、クエリは正規化しない。
-   正規化で発音記号、タトウィール（伸長記号）、bidi マークが消えると思い込む。消えません。

## よくある質問

### NFC と NFKC のどちらを使うべきですか？

保存と表示には、見た目を変えない NFC を使います。検索キーやマッチングには、合字や表示形をまとめたい場面なので NFKC を使います。MDN は、互換形式は見た目を変えると注意しています。

### Unicode 正規化でアラビア語の発音記号は消えますか？

消えません。発音記号は独立した文字なので残ります。取り除くのは、アラビア語テキストの正規化の別の手順です。

### 正規化で目に見えない bidi マークやゼロ幅文字は消えますか？

U+200F や U+2067 のような bidi 制御文字は消えず、NFC でも NFKC でもそのまま残ります。マッチングの妨げになるなら、別途削除してください。

## 関連項目

-   [アラビア語テキストの正規化（Arabic text normalization）](https://broadrouter.com/ja/glossary/arabic-text-normalization/) (用語)
-   [ハムザ（hamza）](https://broadrouter.com/ja/glossary/hamza/) (用語)
-   [トークナイザー（tokenizer）](https://broadrouter.com/ja/glossary/tokenizer/) (用語)
-   [OCR（光学文字認識）](https://broadrouter.com/ja/glossary/ocr/) (用語)
-   [RTL テキスト（右から左に書く文字、right-to-left）](https://broadrouter.com/ja/glossary/rtl-text/) (用語)
-   [トークン（token）](https://broadrouter.com/ja/glossary/token/) (用語)
-   [ビジョンモデルでアラビア語の請求書とレシートを読み取る](https://broadrouter.com/ja/guides/read-arabic-invoices-with-vision/) (ガイド)
-   [検索と RAG のためのアラビア語テキスト正規化：変えるもの、変えないもの](https://broadrouter.com/ja/blog/arabic-text-normalization-search/) (記事)
-   [アラビア語 OCR と Vision LLM：アラビア語の文書と請求書を読み取る](https://broadrouter.com/ja/blog/arabic-ocr-vision-llm/) (記事)
-   [アラビア語と英語の 1 語あたりのトークン数：アラビア語が高くつく理由](https://broadrouter.com/ja/blog/tokens-per-word-arabic-english/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-unicode-normalization&utm_content=page-cta) ·

**出典**

-   [Unicode Standard Annex #15、Unicode 正規化形式（Unicode 18.0）（2026-11-15 確認）](https://www.unicode.org/reports/tr15/)
-   [MDN Web Docs、String.prototype.normalize()（2026-11-15 確認）](https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/String/normalize)
-   [Python ドキュメント、unicodedata（normalize、is\_normalized）（2026-11-15 確認）](https://docs.python.org/3/library/unicodedata.html)
-   [The Unicode Standard 18.0、第 9 章 Middle East-I、アラビア文字（表示形）（2026-11-15 確認）](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
-   [CAMeL Tools のソース、normalize.py（normalize\_unicode）（2026-11-15 確認）](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
