---
title: "アラビア語テキストの正規化とは？検索と RAG のルール | BroadRouter"
description: "アラビア語テキストの正規化は、アリフの異体、タトウィール、発音記号などの表記ゆれを 1 つの形にそろえ、検索・RAG・WER の採点で一致させる処理です。ルールとトレードオフを解説します。"
url: https://broadrouter.com/ja/glossary/arabic-text-normalization/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/glossary/arabic-text-normalization/) (2026-11-15 更新).

# アラビア語テキストの正規化（Arabic text normalization）

更新日 2026-11-15

アラビア語テキストの正規化とは、照合の前に同じ単語の表記ゆれを 1 つの形にそろえる処理です。発音記号とタトウィールを取り除き、アリフの形を統一し、多くの場合 ى を ي に、ة を ه に置き換えます。検索キーと評価に使い、表示するテキストには使いません。

別名： アラビア語 正規化、アラビア語 表記ゆれ、アリフ 正規化、正書法の正規化、タトウィール、カシーダ、Arabic normalization、alef normalization、orthographic normalization、tatweel、kashida、alef variants、Arabic text normalization

アラビア語のユーザーは、同じ単語をいくつもの書き方で入力します。正規化は、それらの綴りを一致させるための処理です。

## しくみ

正規化は、保存するテキストとクエリの両方に適用する文字の書き換えルールの集まりです。多くの検索エンジンで使われている Apache Lucene の ArabicNormalizer は、次の 5 つのルールを挙げています。

1.  アリフを台にしたハムザを、ただのアリフにする。
2.  ター・マルブータ（ة）をハー（ه）にする。
3.  点のないヤー、つまりアリフ・マクスーラ（ى）をヤー（ي）にする。
4.  ハラカート（[発音記号](https://broadrouter.com/ja/glossary/arabic-diacritics/)）を取り除く。
5.  「引き伸ばし文字」であるタトウィールを取り除く。

CAMeL Tools は、同じ考え方を個別の関数として提供しています。`normalize_alef_ar` は إ أ ٱ آ（U+0625、U+0623、U+0671、U+0622）を ا に、`normalize_alef_maksura_ar` は ى を ي に、`normalize_teh_marbuta_ar` は ة を ه に置き換えます。`normalize_unicode` はデフォルトで NFKC を実行します。これは [Unicode 正規化](https://broadrouter.com/ja/glossary/unicode-normalization/)で、最初に行うべき処理です。

タトウィール（U+0640、カシーダとも呼ばれます）は、Unicode 標準が行の均等割り付け用と説明している連結文字です。文字の間に挿入すると行が引き伸ばされます。意味は持たないので、كتـــاب と كتاب は一致すべきです。

具体例です。

| 入力 | 正規化後 | 適用したルール |
| --- | --- | --- |
| إِسْلامٌ | اسلام | 発音記号、アリフ |
| مدرسة | مدرسه | ター・マルブータ |
| مستشفى | مستشفي | アリフ・マクスーラ |
| كتـــاب | كتاب | タトウィール |

## なぜ重要か

Larkey、Ballesteros、Connell（2002）は、TREC-2001 のアラビア語ニュースコレクションを正規化しました。句読点、発音記号、文字以外を取り除き、いくつかの文字の異体を 1 つの形に置き換えたものです。正規化だけで、単一言語の平均適合率は .194 から .238 に上がりました。さらに彼らの light8 ステマーを重ねると .376 に達しました。

同じことが次の場面にも当てはまります。

-   **[RAG](https://broadrouter.com/ja/glossary/rag/) とキーワード検索。** ハムザなしで入力したクエリでも、ハムザ付きで書かれたドキュメントが見つかるべきです。[アラビア語の RAG 検索](https://broadrouter.com/ja/blog/arabic-rag-search/)を参照してください。
-   **[単語誤り率](https://broadrouter.com/ja/glossary/word-error-rate/)。** アラビア語 ASR のスコアは、参照テキストと書き起こしが同じ方法で正規化されたかどうかで変わります。その影響は[アラビア語 WER の解説記事](https://broadrouter.com/ja/blog/arabic-asr-wer-explained/)で示しています。
-   **重複排除と分析。** 正規化せずに単語やユーザーの用語を数えると、1 つの単語がいくつにも分かれます。

代償は、別の単語が 1 つにまとまってしまうことです。アリフを統一すると、異なる小辞 إن と أن が同じ文字列になり、ة を ه にするルールは كرة（ボール）と كره（憎しみ）を一緒にしてしまいます。[ハムザ](https://broadrouter.com/ja/glossary/hamza/)と[ター・マルブータ](https://broadrouter.com/ja/glossary/taa-marbuta/)のルールは調整可能なものとして扱ってください。

## BroadNet Inference の場合

正規化は API ではなく、あなたのコードの中で行います。BroadNet のチャットと書き起こしのエンドポイントは、テキストや音声を受け取ったまま処理します。2 つのコピーを持ってください。モデルとユーザー向けの元のテキストと、照合用の正規化したキーです。

無料の[アラビア語テキスト正規化ツール](https://broadrouter.com/tools/arabic-text-normalizer/)はこれらのルールをブラウザで適用し、それぞれのルールが何を変えるかを確認できます。[正規化ガイド](https://broadrouter.com/ja/blog/arabic-text-normalization-search/)には、テスト済みの Python コードとルールごとの検討があります。

## よくある間違い

-   ドキュメントは正規化してクエリは正規化しない、あるいはその逆。
-   正規化したテキストをユーザーに表示したり、引用したりすること。
-   ى の置き換え方が 2 通りあるなど、ルールの異なるライブラリを混ぜて使うこと。

## よくある質問

### 正規化はエンベディング検索にも効果がありますか？

古典的な結果はキーワード検索で測定されたものです。エンベディングについては、自分のクエリで正規化した入力としていない入力をテストしてから決めてください。

### LLM に送る前にテキストを正規化すべきですか？

通常はしません。モデルが実際の綴り、ハムザ、発音記号を見られるよう、元のテキストを送ってください。正規化するのは、照合・インデックス・採点に使うコピーだけです。

### どのライブラリも同じルールを使っていますか？

いいえ。CAMeL Tools と Lucene はどちらもアリフ・マクスーラをヤーに、ター・マルブータをハーに置き換えますが、ほかのライブラリは異なります。1 つのルールセットを選び、ドキュメントにもクエリにも同じものを使ってください。

## 関連項目

-   [アラビア語の発音記号（タシュキール、tashkeel）](https://broadrouter.com/ja/glossary/arabic-diacritics/) (用語)
-   [ハムザ（hamza）](https://broadrouter.com/ja/glossary/hamza/) (用語)
-   [ター・マルブータ（taa marbuta、ة）](https://broadrouter.com/ja/glossary/taa-marbuta/) (用語)
-   [Unicode 正規化（Unicode normalization）](https://broadrouter.com/ja/glossary/unicode-normalization/) (用語)
-   [RAG（検索拡張生成）](https://broadrouter.com/ja/glossary/rag/) (用語)
-   [単語誤り率（WER、word error rate）](https://broadrouter.com/ja/glossary/word-error-rate/) (用語)
-   [検索と RAG のためのアラビア語テキスト正規化：変えるもの、変えないもの](https://broadrouter.com/ja/blog/arabic-text-normalization-search/) (記事)
-   [アラビア語 RAG：うまくいく正規化、チャンク分割、検索](https://broadrouter.com/ja/blog/arabic-rag-search/) (記事)
-   [アラビア語音声認識の単語誤り率（WER）をわかりやすく解説](https://broadrouter.com/ja/blog/arabic-asr-wer-explained/) (記事)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-arabic-text-normalization&utm_content=page-cta) ·

**出典**

-   [CAMeL Tools ドキュメント、camel\_tools.utils.normalize（2026-11-15 確認）](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [CAMeL Tools のソースコード、normalize.py（アリフ、アリフ・マクスーラ、ター・マルブータのルール）（2026-11-15 確認）](https://raw.githubusercontent.com/CAMeL-Lab/camel_tools/master/camel_tools/utils/normalize.py)
-   [Apache Lucene 9.0 API、ArabicNormalizer（2026-11-15 確認）](https://lucene.apache.org/core/9_0_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Larkey、Ballesteros、Connell、Improving Stemming for Arabic Information Retrieval（SIGIR 2002）（2026-11-15 確認）](https://ciir-publications.cs.umass.edu/pub/web/getpdf.php?id=249)
-   [The Unicode Standard 18.0、第 9 章 Middle East-I、アラビア文字（タトウィール）（2026-11-15 確認）](https://www.unicode.org/versions/Unicode18.0.0/core-spec/chapter-9/)
