LLM API 用語集
更新日
開発者が LLM や音声認識の API を呼び出すときに出会う用語を、出典付きで簡潔に定義します。トークンとコンテキストウィンドウとは何か、キャッシュ入力と定額プランで請求額がどう変わるか、レート制限とデータ非保持が実際に何を意味するかを説明します。
API と連携
- AI エージェント(AI agent)
- AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。
- AI コーディングエージェント(AI coding agent)
- AI コーディングエージェントとは、言語モデルがループの中でコードベースに取り組むソフトウェアツールです。ファイルを読み、編集し、テストなどのコマンドを実行し、出力を読んで次の手順を決めることを、タスクが終わるか上限に達するまで繰り返します。
- BM25
- BM25(Okapi BM25)とは、キーワード検索のランキング関数で、クエリの語が文書に何回出現するか、その語がコレクション全体でどれだけ珍しいか、文書の長さはどれくらいかをもとに文書をスコアリングします。Lucene と Elasticsearch のデフォルトの類似度です。
- Chat Completions API(チャット補完 API)
- Chat Completions API とは、OpenAI の HTTP エンドポイント POST /v1/chat/completions で、モデル名とロール付きメッセージのリストを受け取り、モデルの次のメッセージを返します。そのリクエストと応答の形は、OpenAI 互換のプロバイダーや SDK が使う共通形式になりました。
- finish_reason(終了理由)
- finish_reason とは、チャット補完の応答で各 choice に付くフィールドで、モデルが生成を止めた理由を示します。OpenAI 形式の値は stop、length、tool_calls、content_filter と、非推奨の function_call です。Anthropic の Messages API では同じ考え方を stop_reason で返します。
- JSON Schema(JSON スキーマ)
- JSON Schema とは、JSON データの構造(型、必須フィールド、許可される値、入れ子)を記述・検証するための、JSON で書かれた語彙です。現行バージョンは 2020-12 です。LLM API はツールのパラメーターや、構造化出力が従うべき正確な形の定義に使います。
- JSON モード(JSON mode)
- JSON モード(JSON mode)とは、OpenAI 形式の API で response_format {"type": "json_object"} と指定する設定で、モデルの応答を有効でパース可能な JSON にします。JSON Schema を使う構造化出力と違い、どのキー、型、値が入るかは保証しません。
- LLM ルーター(LLM router)
- LLM ルーターとは、アプリと 1 つ以上の言語モデル API の間に入り、コスト、レイテンシ、可用性、タスクの種類などのルールに基づいて、リクエストごとにどのモデルやプロバイダーが処理するかを決めるソフトウェアまたはサービスです。
- MCP(Model Context Protocol)
- MCP(Model Context Protocol)とは、LLM アプリと外部のツールやデータの接続方法を標準化した、JSON-RPC 2.0 ベースのオープンなプロトコルです。サーバーがツール、リソース、プロンプトを公開し、ホストアプリ内のクライアントがそれらを見つけて、モデルのツール呼び出しを渡します。
- OpenAI 互換 API(OpenAI-compatible API)
- OpenAI 互換 API とは、POST /v1/chat/completions など OpenAI API と同じリクエスト形式とレスポンス形式を受け付ける HTTP API です。OpenAI の SDK やツールは、ベース URL、API キー、モデル名を変えるだけで利用できます。
- RAG(検索拡張生成)
- RAG(検索拡張生成)とは、アプリケーションがまず検索エンジンやベクトルインデックスなどの外部ストアから質問に関連する文章を取り出し、それをプロンプトに加えて、言語モデルが記憶だけでなくそのテキストをもとに回答できるようにする手法です。
- ReAct(Reasoning and Acting)
- ReAct(Reasoning and Acting)とは、Yao らが 2022 年に提案したプロンプトのパターンで、言語モデルが推論の過程と、検索やツール呼び出しなどの行動を交互に行います。各観察結果を読んで計画を更新し、最終回答を出せるまで繰り返します。
- RTL テキスト(右から左に書く文字、right-to-left)
- RTL(right-to-left)テキストとは、アラビア語やヘブライ語のように右から左へ表示される文字のことです。コンピューターは論理的な読み順で保存し、左から右の文字、数字、モデル名、コードと混在する場合は Unicode 双方向アルゴリズムが表示順を決めます。
- seed パラメーター(シード値)
- seed パラメーターとは、リクエストに付ける整数で、同じリクエストの繰り返し時に API ができるだけ同じトークンを選ぶようにします。OpenAI はベストエフォートとしており、決定性は保証されません。バックエンド構成の変更は system_fingerprint でわかります。
- SLA(サービスレベルアグリーメント)
- SLA(サービスレベルアグリーメント)とは、プロバイダーが測定可能なサービス水準、通常は月間稼働率を契約で約束し、未達時の補償、通常はサービスクレジットを定めたものです。何をダウンタイムとみなすか、何が対象外か、どう請求するかも定めます。
- SSE(Server-Sent Events)
- SSE(Server-Sent Events)とは、content type が text/event-stream の長時間続く 1 つの HTTP 応答を通じて、サーバーがクライアントにテキストイベントのストリームを送るための Web 標準です。各イベントは data: などのフィールド行 1 行以上と、最後の空行からなります。
- tool_choice(ツール選択パラメーター)
- tool_choice とは、ツールの使用を制御するリクエストパラメーターです。OpenAI の Chat Completions では auto(モデルが判断)、required(1 つ以上のツールを必ず呼ぶ)、none(ツールなし)、または強制する関数名を指定します。Anthropic では auto、any、tool、none が対応します。
- TTFT(最初のトークンまでの時間)
- TTFT(最初のトークンまでの時間)とは、言語モデルにリクエストを送ってから最初の出力トークンが届くまでの時間です。ネットワーク、サーバーでの待ち行列、モデルがプロンプト全体を読むプリフィルを含むため、プロンプトの長さと負荷に応じて伸びます。
- Unicode 正規化(Unicode normalization)
- Unicode 正規化とは、見た目が同じ文字列が同じコードポイントを使うように、テキストを標準形に変換することです。NFD、NFC、NFKD、NFKC の 4 形式があり、K の付く形式はアラビア文字の表示形や合字などの互換文字も通常の文字にまとめます。
- サーバーレス推論(serverless inference)
- サーバーレス推論とは、エンドポイント背後の計算資源をプラットフォームが自動で起動・拡縮・停止し、アイドル時はゼロまで縮小することも多く、予約マシンでなく使用量で課金するモデルの実行方式です。コールドスタートの遅延が起こりうるのが難点です。
- サブエージェント(subagent)
- サブエージェントとは、メインのエージェントが 1 つの限定的なタスクのために起動する別のエージェントです。独自のコンテキストウィンドウ、システムプロンプト、ツール権限で動き、結果や要約だけをメインに返すので、メインの会話を小さく保てます。
- システムプロンプト(system prompt)
- システムプロンプトとは、アプリケーションが会話の前に言語モデルへ送る指示文で、通常は system または developer ロールのメッセージです。モデルの役割、ルール、口調、出力形式を決め、ユーザーのメッセージと矛盾する場合もモデルはこちらに従うことになっています。
- ストリーミング(streaming)
- ストリーミングとは、言語モデルの応答を最後にまとめて返すのではなく、生成中に小さなチャンクに分けて返す方式です。OpenAI 互換 API では、リクエストで stream を true にすると Server-Sent Events(SSE)でストリーミングされます。
- スループット(throughput)
- スループット(throughput)とは、LLM の推論提供で、すべての同時リクエストを合わせてシステムが単位時間に完了する仕事の総量です。通常は出力トークン毎秒やリクエスト毎秒で測り、1 リクエストがトークンを受け取る速さ(ストリーム単位の速度)とは異なります。
- チャンク分割(chunking)
- チャンク分割とは、検索パイプラインで埋め込みとインデックス化の前に文書をチャンクと呼ぶ小さな断片に分ける処理です。チャンクサイズは各断片の量を決め、オーバーラップは隣接チャンク間でテキストを重複させて境界で切れた内容の欠落を防ぎます。
- ツール呼び出し(Function Calling、tool calling)
- ツール呼び出し(Function Calling とも呼ばれます)とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。
- ハイブリッド検索(hybrid search)
- ハイブリッド検索とは、同じクエリに対して BM25 などのキーワード検索と、エンベディングによるベクトル検索の両方を実行し、2 つのランキングを 1 つに統合する検索手法です。統合には Reciprocal Rank Fusion(RRF)や正規化スコアの重み付き和がよく使われます。
- バッチ API(Batch API)
- バッチ API とは、多数のリクエストを通常はファイルとして一度に受け付け、すぐにではなく決められた時間枠の中で処理し、結果をまとめて返す非同期の LLM エンドポイントです。OpenAI や Anthropic などの事業者は、バッチリクエストを標準 API より割り引いた価格にしています。
- ベース URL(base URL)
- ベース URL とは、https://api.example.com/v1 のような API の固定のルートアドレスで、クライアントが /chat/completions などのエンドポイントパスの前に付けます。OpenAI 互換の SDK では、API キーとモデル ID と一緒にベース URL を変えるだけで、同じコードを別のプロバイダーに向けられます。
- ベクトルデータベース(vector database)
- ベクトルデータベースとは、エンベディングのベクトルを多くの場合元のテキストやメタデータとともに保存し、最近傍検索に答えるデータストアです。クエリベクトルに最も似た保存済みベクトルを、主にコサイン距離、ユークリッド距離、内積で返します。
- マルチエージェントシステム(multi-agent system)
- マルチエージェントシステムとは、それぞれプロンプト、ツール、コンテキストを持つ複数のエージェントが 1 つのタスクを分担する LLM アプリケーションです。代表的なオーケストレーター・ワーカー型では、リードが計画し、並列のワーカーの結果を統合します。
- モデルの非推奨化(model deprecation)
- モデルの非推奨化とは、API プロバイダーがモデルの提供終了を告知することで、通常は廃止(retirement や shutdown)の日付と推奨される後継モデルが示されます。その日を過ぎるとリクエストは失敗するため、アプリは事前に別のモデル ID へ移行する必要があります。
- モデルフォールバック(model fallback)
- モデルフォールバックとは、失敗した LLM リクエストを順序付きリストの別のモデルやプロバイダーで再試行する手法です。きっかけはエラー、レート制限、コンテキスト長エラー、ポリシーによる拒否などで、クライアントか前段のゲートウェイで実行します。
- リクエストタイムアウト(request timeout)
- リクエストタイムアウト(request timeout)とは、HTTP クライアントがサーバーを待つ最長時間で、超えるとリクエストを諦めます。通常は接続タイムアウトと読み取りタイムアウトに分かれます。長い回答には時間がかかるため、LLM では読み取りタイムアウトを長めにします。
- リランキング(reranking)
- リランキングとは検索の第 2 段階で、より正確だが遅いモデル(通常はクロスエンコーダー)が、一次検索で得たクエリと候補文書のペアをそれぞれ採点して並べ替え、最も関連性の高い少数だけを言語モデルに渡します。
- レイテンシ(latency)
- LLM API のレイテンシとは、リクエストを送ってから最後の出力トークンを受け取るまでの時間です。最初のトークンまでの時間(TTFT)と生成時間の合計で、平均ではなく p50 や p95 などのパーセンタイルで示すのが一般的です。
- レート制限(rate limit)
- レート制限とは、1 分あたりのリクエスト数やトークン数など、一定時間内にクライアントが API を使える量に API 側が設ける上限です。上限を超えたリクエストは、使用量が下回るまで通常 HTTP 429 Too Many Requests で拒否されます。
- 構造化出力(Structured Outputs)
- 構造化出力とは、モデルの回答を開発者が指定した形式(通常は JSON Schema)に制約し、コードで確実に解析できるようにする LLM API の機能です。有効な JSON であることだけを保証し、特定の形までは保証しない JSON モードより厳格です。
- 指数バックオフ(exponential backoff)
- 指数バックオフ(exponential backoff)とは、失敗するたびに待ち時間を長くして再試行するリトライ戦略で、通常は上限まで遅延を 2 倍ずつ増やします。各待ち時間にランダムなジッターを加えると、多数のクライアントの再試行が分散し、同時にサーバーへ集中しなくなります。
- 推論プロバイダー(inference provider)
- 推論プロバイダーとは、機械学習モデル(多くはオープンウェイトの LLM)を、所有、リース、レンタルした GPU で動かし、API 経由で利用を販売する企業です。料金は通常、トークン、リクエスト、時間単位です。サービングやスケーリング、ハードウェアも担います。
- 停止シーケンス(stop sequences)
- 停止シーケンス(stop sequences)とは、リクエストと一緒に送る文字列で、モデルがそのいずれかを生成した時点で生成を止めます。OpenAI ではフィールド名が stop で最大 4 つまで、Anthropic では stop_sequences です。一致した文字列は通常、返される出力に含まれません。
- 同時実行数(concurrency)
- 同時実行数(concurrency)とは、クライアントが同時に処理中にしているリクエストの数です。開いているリクエストは応答が終わるまで GPU の容量を占有するため、LLM API は毎分リクエスト数とは別に、キーやプランごとにこれを制限することがよくあります。
- 並列ツール呼び出し(parallel tool calls)
- 並列ツール呼び出しとは、モデルが 1 回の応答で複数のツール呼び出し(たとえば 3 つのファイル読み込み)を返すことです。OpenAI 形式では tool_calls 内の複数のエントリとして届き、parallel_tool_calls を false にするとモデルは 1 ターンに 0 個か 1 個しか呼び出しません。
- 冪等キー(idempotency key)
- 冪等キーとは、決済や購入など状態を変えるリクエストにクライアントが付ける一意の値で、通常は UUID などのランダムな ID です。同じキーで同じリクエストが再送されると、サーバーは処理を 2 回実行せず、最初の結果を返します。
モデルとトークン
- AWQ(Activation-aware Weight Quantization)
- AWQ(Activation-aware Weight Quantization)とは、LLM の重みを低い精度、通常は 4 ビット整数に圧縮する学習後量子化の手法です。小さなキャリブレーションセットの活性化の統計から最も重要な重みのチャネルを見つけ、精度が落ちにくいようにスケーリングします。誤差逆伝播は不要です。
- Chain-of-Thought(CoT、思考の連鎖)
- Chain-of-Thought(CoT)とは、言語モデルに最終的な答えの前に途中の推論ステップを書かせる、あるいはその例を示すプロンプトの手法です。算数や論理のような多段階の問題で精度が上がり、今では推論モデルが自動的に生成します。
- Few-shot プロンプティング(few-shot prompting)
- Few-shot プロンプティングとは、実際の入力の前に、入力と出力の具体例を少数プロンプトに入れ、言語モデルにタスクと形式を推測させる手法です。モデルの重みは変わりません。例を使わないものを zero-shot、1 つだけ使うものを one-shot と呼びます。
- FP8(8 ビット浮動小数点)
- FP8 とは、ディープラーニングで使われる 8 ビットの浮動小数点数形式です。指数 4 ビット・仮数 3 ビットの E4M3 と、指数 5 ビット・仮数 2 ビットの E5M2 の 2 種類があります。16 ビット形式に比べてメモリが半分になり、最近の GPU ではネイティブに動作します。
- frequency penalty と presence penalty
- frequency penalty と presence penalty とは、出力にすでに現れたトークンのスコアを下げるサンプリング設定です。presence penalty はトークンが一度でも現れると適用され、frequency penalty は繰り返すたびに大きくなります。OpenAI の API ではどちらも -2.0〜2.0 で、デフォルトは 0 です。
- GGUF
- GGUF とは、llama.cpp など GGML ベースのランタイムで推論するための言語モデルのバイナリファイル形式です。1 ファイルに重み(多くは量子化済み)と、トークナイザーやアーキテクチャなど読み込みに必要なメタデータが入り、メモリマップで高速に読み込めます。
- INT4(4 ビット量子化)
- INT4 とは、16 段階を表せる 4 ビットの整数形式です。LLM の推論では通常、4 ビットの重みのみ量子化(W4A16)を指します。重みをスケール係数とともに INT4 で保存し、計算時に 16 ビットに戻すため、メモリは 16 ビットの重みの約 4 分の 1 で済みます。
- KV キャッシュ(KV cache)
- KV キャッシュとは、Transformer 言語モデルが処理済みの各トークンの attention のキーと値を保存するメモリです。新しいトークンはそれを再利用し、系列全体を再計算せずに済みます。コンテキスト長とともに大きくなり、GPU が同時に処理できるリクエスト数を制約しがちです。
- LLM ベンチマーク(LLM benchmark)
- LLM ベンチマークとは、知識問題、コーディング、音声認識など 1 つの能力で言語モデルを測り比べるための、固定された(通常は公開の)タスクと採点方法です。スコアはそのテストでの相対的な能力を示し、自社のワークロードでの実力は示しません。
- LLM-as-a-Judge(LLM による評価)
- LLM-as-a-Judge とは、言語モデルが他のモデルの出力を採点する評価手法です。1 つの回答を評価基準で採点するか、2 つの回答から良いほうを選びます。人手の判断をはるかに安く近似できますが、先に出た回答や長い回答を好むなどの既知のバイアスがあります。
- logprobs(対数確率)
- logprobs(対数確率)とは、言語モデルが生成したトークンに割り当てた確率の対数です。logprobs を返す API では、出力トークンごとにモデルがどれだけありそうだと判断したかと、必要に応じてその位置の有力な代替トークンがわかります。
- LoRA(Low-Rank Adaptation)
- LoRA(低ランク適応)とは、事前学習済みモデルの重みを凍結し、選んだ層の小さな低ランク行列のペアだけを学習する、効率的なファインチューニング手法です。更新は小さなアダプターで保存でき、重みにマージすれば推論レイテンシも増えません。
- Lost in the Middle(中間の情報の見落とし)
- Lost in the Middle とは、言語モデルが長い入力の中で、関連情報が冒頭や末尾にあるときに最もよく活用し、中間にあるときに最も活用できないという傾向です。Liu らの 2023 年の研究で名付けられました。
- max_tokens(最大出力トークン数)
- max_tokens とは、モデルが 1 回の応答で生成できるトークン数の上限を決める LLM API のパラメーターです。生成が上限に達すると止まり、応答は途中で打ち切られたものとして、たとえば finish_reason が "length" になります。
- OCR(光学文字認識)
- OCR(光学文字認識)とは、画像、スキャン、PDF 内の印刷文字や手書き文字を検出し、機械で読める文字に変換する技術です。従来の OCR は文字とページ上の位置を出力し、視覚言語モデルは文字を読んでその内容についての質問に直接答えられます。
- temperature(温度)
- temperature(温度)とは、言語モデルの出力のランダム性を決めるサンプリングのパラメーターです。トークンのスコアをこの値で割ってから確率にするため、低いと最有力のトークンが支配的になり、高いと分布が平らになって確率の低いトークンも選ばれやすくなります。
- top-p(Nucleus サンプリング)
- top-p(Nucleus サンプリング)とは、確率の高い順に合計が閾値 p(0.9 など)に達する最小のトークン集合からだけ次のトークンを選び、可能性の低い裾を切り捨てるデコード手法です。
- vLLM
- vLLM とは、LLM の推論とサービングのためのオープンソースライブラリで、UC バークレーの Sky Computing Lab で開発が始まりました。PagedAttention で KV キャッシュのメモリを管理し、リクエストを連続的にバッチ処理し、多くの量子化形式に対応し、OpenAI 互換の HTTP サーバーを提供します。
- アラビア語テキストの正規化(Arabic text normalization)
- アラビア語テキストの正規化とは、照合の前に同じ単語の表記ゆれを 1 つの形にそろえる処理です。発音記号とタトウィールを取り除き、アリフの形を統一し、多くの場合 ى を ي に、ة を ه に置き換えます。検索キーと評価に使い、表示するテキストには使いません。
- アラビア語の発音記号(タシュキール、tashkeel)
- アラビア語の発音記号(タシュキール)とは、文字の上下に書く小さな記号で、短母音、子音の重複、母音がないことを示します。省略可能で、ニュースを含むほとんどのアラビア語テキストでは書かれないため、読み手もソフトウェアも文脈から母音を推測します。
- アラビア語の方言(dialectal Arabic)
- アラビア語の方言とは、エジプト、湾岸、レバント、マグリブなど、地域や都市で日常的に話されるアラビア語です。音、語彙、文法が現代標準アラビア語と異なり、標準的な綴りがなく、ネットで書かれることも増え、言語モデルには扱いにくい対象です。
- アラビア語方言識別(Arabic dialect identification)
- アラビア語方言識別とは、テキストや録音がエジプト、湾岸、レバント、マグリブの各方言や現代標準アラビア語など、どのアラビア語の変種かを地域・国・都市の単位で判定するタスクです。メッセージの振り分け、プロンプト選択、評価セットの分割に使います。
- アラビージー(Arabizi)
- アラビージー(Arabizi)とは、ラテン文字でくだけて書くアラビア語で、ラテン文字にない音は ع を 3 で表すように数字で書きます。チャットや SNS でよく使われ、ほとんどが方言で、決まった綴りがなく、英語やフランス語が混ざることもよくあります。
- エンベディング(埋め込み、embeddings)
- エンベディング(埋め込み)とは、テキストや画像などの入力を表すためにモデルが出力する浮動小数点数のリスト(ベクトル)です。意味の近い入力ほどベクトルも近いので、その距離で検索結果の順位付け、文書の分類、関連項目の発見ができます。
- オープンウェイトモデル(open-weight model)
- オープンウェイトモデルとは、学習済みの重みが公開され、誰でもダウンロードして実行できるモデルで、通常は条件付きのライセンスで提供されます。学習コードや学習データの詳細も公開し、他者が検証・再現できる完全なオープンソース AI とは別物です。
- グラウンディング(grounding)
- グラウンディングとは、言語モデルの出力を、提供した文書、検索結果、データベースのレコードなど、具体的で検証可能な情報源に結びつけ、それに基づいて答えるよう指示することです。根拠のある回答は情報源までたどれ、事実の捏造も起きにくくなります。
- コンテキストウィンドウ(context window)
- コンテキストウィンドウとは、言語モデルが 1 回のリクエストで扱えるトークン数の上限です。プロンプト、会話履歴、ツール定義、画像、推論トークンを含む出力がすべて入ります。収まらない部分は削るか要約するか、複数のリクエストに分けます。
- コンテキストエンジニアリング(context engineering)
- コンテキストエンジニアリングとは、システムプロンプト、ツール定義、履歴、検索した文書、メモなど、モデルが各リクエストで見るトークンの集合を選び、保守する作業です。タスクに必要な、最小限で情報価値の高い内容をモデルに渡すことを目指します。
- コンテキストの圧縮(context compaction)
- コンテキストの圧縮とは、コンテキストウィンドウの上限に近づいた会話を要約し、その要約からセッションを続ける手法です。エージェントは重要な決定や状態を保ちながら、古いツール出力などの生の履歴を捨てられます。
- コンテキストの劣化(context rot)
- コンテキストの劣化(context rot)とは、入力が長くなるにつれて言語モデルの精度と信頼性が徐々に下がる現象です。タスクが同じで、入力がコンテキストウィンドウに十分収まっていても起こります。18 モデルを検証した Chroma の 2025 年の技術レポートで広まった用語です。
- ター・マルブータ(taa marbuta、ة)
- ター・マルブータ(ة、U+0629)とは、語末にだけ現れるアラビア文字で、女性名詞や形容詞を示すことが多い文字です。2 つの点が付いたハー(ه、U+0647)のように見えるため、入力されたテキストでは両者が混同され、多くの検索用正規化は ة を ه に変換します。
- チャットテンプレート(chat template)
- チャットテンプレートとは、ロール付きのメッセージのリストを、制御トークンも含めてモデルが想定する 1 本のトークン列に変換する書式ルールです。通常は Jinja で書かれ、トークナイザーと一緒に配布されます。誤ったテンプレートでは回答の質が大幅に落ちます。
- トークナイザー(tokenizer)
- トークナイザーとは、テキストを言語モデルが読む整数のトークン ID の列に変換し、生成された ID をテキストに戻す部品です。モデルごとに独自のトークナイザーがあるため、同じテキストでもモデルによってトークン数が変わります。
- トークン(token)
- トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。
- トークン毎秒(TPS、tokens per second)
- トークン毎秒(TPS)とは、言語モデルが出力トークンを生成する速さで、通常は 1 リクエストの最初のトークン以降で測ります。応答が流れる速さを決め、全同時リクエストの合計がシステムのスループットです。最初のトークンまでの待ち時間は別に測ります。
- バイトペアエンコーディング(BPE)
- バイトペアエンコーディング(BPE)とは、1 文字または 1 バイトから始め、最頻出の隣接ペアを新しい語彙項目として結合する操作を目標の語彙サイズまで繰り返すサブワード分割のアルゴリズムです。今の LLM のトークナイザーの多くは BPE かそのバイトレベル版です。
- ハムザ(hamza)
- ハムザ(ء)とは、アラビア語で声門閉鎖音を表す文字です。単独か、alef(أ إ)、waw(ؤ)、yeh(ئ)を台にして書き、آ は alef と madda の組み合わせです。表記が揺れるため、検索や音声の採点では alef 系の字形を ا にまとめることがよくあります。
- ハルシネーション(hallucination)
- ハルシネーションとは、言語モデルが出力する、もっともらしいが誤っている、作り話である、または入力に根拠がない内容です。架空の引用、誤った数字、存在しない API などがあり、事実を確認せずにありそうなテキストを予測することから生じます。
- ファインチューニング(fine-tuning)
- ファインチューニングとは、事前学習済みの言語モデルを、会話の例などタスク固有の小さなデータセットでさらに学習させることです。重みが変わるため、毎回のプロンプトに長い指示や例を入れなくても、そのタスクや文体をより安定してこなせます。
- プリフィルとデコード(prefill and decode)
- プリフィルとデコードは LLM 推論の 2 つのフェーズです。プリフィルではプロンプト全体を並列に処理して KV キャッシュを埋め、デコードではそのキャッシュを使って 1 トークンずつ生成します。前者は主に初回トークンまでの時間、後者は出力速度を決めます。
- プロンプトエンジニアリング(prompt engineering)
- プロンプトエンジニアリングとは、言語モデルに与える指示を書き、構成し、テストして、要件を満たす出力を安定して得るためのプロセスです。ロールのメッセージ、明確な指示、例、書式、テストケースによる結果の測定を含みます。
- マルチモーダル AI(multimodal AI)
- マルチモーダル AI とは、テキスト、画像、動画、音声など複数の種類のデータを扱うモデルやシステムです。写真と質問を一緒に読んだり、音声を受け取ってテキストで答えたりします。最も一般的なのは視覚言語モデルです。
- モデルライセンス(model license)
- モデルライセンスとは、モデルの重み、コード、出力の利用・改変・共有の条件を定めた法的な取り決めです。オープンウェイトモデルは Apache 2.0 や MIT などの標準ライセンス、または大規模な商用サービスへの制限などの条件を加えうる独自ライセンスで公開されます。
- 画像トークン(image tokens)
- 画像トークンとは、ビジョン言語モデルがプロンプト内の画像を表す入力トークンです。数は画像サイズから計算され、通常はリサイズ後に固定サイズのパッチやタイルに分割します。テキストの入力トークンと同様に課金され、大きい画像ほど高くなります。
- 現代標準アラビア語(MSA)
- 現代標準アラビア語(MSA)とは、アラブ世界全体で書き言葉、ニュース、教育、公式のスピーチに使われる標準化されたアラビア語です。誰の日常の母語でもなく、人々はエジプト方言や湾岸方言などの地域方言を話し、改まった場面で MSA に切り替えます。
- 固有表現抽出(NER、named entity recognition)
- 固有表現抽出(NER)とは、テキスト中の名前を見つけ、人物、組織、場所などの種類をそれぞれにラベル付けするタスクです。従来のシステムはすべてのトークンにタグを付けますが、LLM ではエンティティの一覧を JSON で返させ、原文と照合するのが一般的です。
- 語彙サイズ(vocabulary size)
- 語彙サイズとは、トークナイザーにある異なるトークンの数で、各トークンが固有の ID とエンベディングを持ちます。大きいほど一般的なテキストを少ないトークンで表せますが、埋め込み層と出力層が大きくなり、効果は語彙の学習に使ったテキストに限られます。
- 混合エキスパート(MoE)
- 混合エキスパート(MoE)とは、層の中に多数のエキスパート(サブネットワーク)を持ち、学習済みのルーターが各トークンを少数のエキスパートだけに送る設計です。MoE の言語モデルは総パラメータ数が大きくても、トークンごとに使うのは一部だけです。
- 視覚言語モデル(VLM、vision-language model)
- 視覚言語モデル(VLM)とは、画像とテキストを一緒に入力として受け取り、テキストを出力するモデルです。画像の説明、画像についての質問への回答、文書・グラフ・スクリーンショットの読み取りができます。image-text-to-text モデルやマルチモーダルモデルとも呼ばれます。
- 推論トークン(reasoning tokens)
- 推論トークンとは、推論モデルが目に見える回答を書く前に、問題を考え抜くために生成するトークンです。通常は出力トークンとして課金され、出力の上限とコンテキストウィンドウに算入されます。API によっては非表示になったり、要約されたりします。
- 知識蒸留(knowledge distillation)
- 蒸留(知識蒸留)とは、小さな生徒モデルが大きな教師モデルの出力(確率分布や生成した回答など)を再現するように学習する手法です。生徒モデルは、より低い実行コストで教師モデルの品質の多くを保てます。
- 投機的デコーディング(speculative decoding)
- 投機的デコーディングとは、小さく高速なドラフトモデルが次のトークンを複数提案し、大きなターゲットモデルが 1 回のフォワードパスでそれを検証して受け入れた分を残す推論手法です。出力の分布を変えずに生成を速くします。
- 評価(eval、LLM evaluation)
- eval(evaluation の略)とは、言語モデルやプロンプトを繰り返し検証できるテストです。固定した入力のセット、良い出力の条件、各出力を採点する採点者(コード、人間、別のモデル)で構成され、バージョン同士を比較できます。
- 量子化(quantization)
- 量子化とは、ニューラルネットワークの数値(主に重み)を 16 ビットではなく 8 ビットや 4 ビットなどの低い精度で保存する処理です。モデルのメモリ使用量が減り、多くの場合は速く動きます。優れた手法では精度の低下を小さく抑えられます。
料金と請求
- GPU 時間(GPU-hour)
- GPU 時間とは、GPU 1 基を 1 時間使うことです。クラウド事業者はレンタルした GPU インスタンスを時間単位や秒単位で課金し、研究者はジョブに使った計算量を GPU 時間で表します。稼働しているかどうかに関係なく、マシンの時間に料金がかかります。
- キャッシュ入力トークン(cached input tokens)
- キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。
- プリペイドクレジット(prepaid credit)
- プリペイドクレジットとは、使用前に API アカウントに入金しておくお金です。リクエストごとに費用が残高から差し引かれ、残高がなくなると、チャージするまで従量課金のリクエストは止まります。支出は支払った額までに抑えられます。
- 支出上限(spend limit)
- 支出上限とは、API のアカウント、プロジェクト、キーが一定期間(通常は 1 か月)に使える金額の上限です。利用額が達すると、プロバイダーは期間がリセットされるか上限が引き上げられるまで、以降のリクエストを HTTP 429 や 400 などのエラーで拒否します。
- 従量課金(pay-as-you-go)
- 従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。
- 定額 LLM プラン(flat-rate LLM plan)
- 定額 LLM プランとは、言語モデル API の利用に対し、トークン単位ではなく月などの期間ごとに固定料金を課すプランです。通常は同時実行数、速度、使えるモデル、利用時間枠など別の何かが制限されるため、料金と同じくらい制限の内容が重要です。
- 入力トークンと出力トークン(input and output tokens)
- 入力トークンとは、モデルがリクエストで読むトークンで、システムプロンプト、会話履歴、ツール定義、画像を含みます。出力トークンは、推論を含めモデルが返答として生成するトークンです。LLM API は通常この 2 つを別の単価で課金し、出力のほうが高額です。
プライバシーとセキュリティ
- API キー(API key)
- API キーとは、API を呼び出すクライアントを識別し、認可するための秘密の文字列です。LLM API では通常 Authorization: Bearer ヘッダーで送り、キーを持つ人は誰でも、そのキーの所有アカウントに課金されるリクエストを送れます。
- GDPR(EU 一般データ保護規則)
- GDPR(一般データ保護規則、規則(EU)2016/679)とは、個人データの処理に関する EU の法律です。2018 年 5 月 25 日から適用され、EU に拠点を置く組織と一部の EU 域外の組織が対象です。LLM API では、処理者との契約、国際移転、データ最小化を規律します。
- IP 許可リスト(IP allow list)
- IP 許可リストとは、登録した IP アドレスや CIDR 範囲からのリクエストだけを受け付け、それ以外をすべて拒否するセキュリティ対策です。API に使うと、リストにないネットワークからはキーが使えないため、キー漏えいの被害を抑えられます。
- PDPL(サウジアラビアと UAE の個人データ保護法)
- PDPL(個人データ保護法)とは、勅令 M/19 で公布され SDAIA が執行するサウジアラビアの個人データ法と、UAE の 2021 年連邦政令法第 45 号の通称です。どちらも個人データの処理を規制し、外国の LLM API に送るプロンプトを含む国外移転に条件を定めています。
- PII(個人を特定できる情報)
- PII(個人を特定できる情報)とは、氏名、ID 番号、生体情報など個人の身元を識別・追跡できる情報と、その人に結び付いた、または結び付けうる情報です。GDPR ではより広い「個人データ」を使います。LLM では、プロンプトが社外に出る前に PII をマスキングします。
- ガードレール(guardrails)
- ガードレールとは、言語モデルの呼び出しを決めた範囲に収めるため、アプリがその前後で実行するチェックです。入力、出力、ツール操作をそれぞれ検証し、チェックに通らなければリクエストをブロック、書き換え、またはフラグ付けします。
- サブプロセッサー(再委託先、subprocessor)
- サブプロセッサーとは、処理者が管理者に代わって個人データを処理するために委託する第三者です。LLM API では、GPU ホスト、提携する推論プロバイダー、バックアップ容量が含まれえます。GDPR 第 28 条により、管理者の承認と同等のデータ保護義務が必要です。
- ジェイルブレイク(LLM jailbreak)
- ジェイルブレイクとは、言語モデルに安全性の学習や導入先アプリのルールを無視させ、通常なら拒否する内容の生成や操作をさせるために作られた入力です。OWASP はジェイルブレイクをプロンプトインジェクションの一形態として扱っています。
- ゼロデータ保持(ZDR)
- ゼロデータ保持(ZDR)とは、AI プロバイダーがプロンプトと出力をリクエストの処理のためだけに扱い、その後はログ、キャッシュ、学習データのいずれにも保存しないデータ取り扱い方針です。トークン数や処理時間など、内容を含まない記録は通常残ります。
- データレジデンシー(data residency)
- データレジデンシーとは、データを特定の国や地域で保存・処理するという要件、またはその約束です。LLM API では、推論時にプロンプトがどこで処理されるか、保存されたコンテンツがどこにあるかが対象で、アカウントや請求のデータは対象外のことが多いです。
- データ処理契約(DPA)
- データ処理契約(DPA)とは、管理者と処理者の間で処理者による個人データの取り扱いを定める契約です。GDPR 第 28 条 3 項がこれを義務づけ、文書化された指示、守秘、セキュリティ、サブプロセッサーのルール、データの削除・返却、監査を内容に挙げています。
- プロンプトインジェクション(prompt injection)
- プロンプトインジェクションとは、ユーザーの入力や、Web ページ、メール、ファイル、ツールの結果に隠されたテキストが、開発者の意図に反して言語モデルの振る舞いを変える攻撃です。OWASP は LLM アプリケーションの Top 10 で 1 位(LLM01:2025)としています。
音声
- Ogg Opus
- Ogg Opus とは、Opus コーデック(RFC 6716)で符号化し、Ogg コンテナ(RFC 7845)に格納した音声です。低ビットレートでの音声や双方向の音声向けに設計されており、WhatsApp がボイスメッセージに使う形式で、通常は .ogg または .opus ファイルです。
- SRT 字幕(SRT subtitles)
- SRT(SubRip)とは、プレーンテキストの字幕形式です。各字幕は連番、hh:mm:ss,mmm --> hh:mm:ss,mmm と書く開始・終了時刻、1 行以上のテキスト、空行で構成されます。WebVTT は HTML の動画で使われる、よく似た Web 向けの形式です。
- WAV
- WAV(Waveform Audio File Format、WAVE とも)とは、Microsoft と IBM の RIFF 形式をベースにした音声コンテナです。通常は非圧縮のリニア PCM サンプルを格納するため、サイズは予測できます。1 秒あたりのバイト数は、サンプリングレート × サンプルあたりのバイト数 × チャンネル数です。
- コードスイッチング(code-switching)
- コードスイッチングとは、同じ会話や同じ文の中で、話し言葉でも書き言葉でも 2 つ以上の言語、あるいは 1 つの言語の複数の変種を使うことです。アラビア語話者が方言に英単語を混ぜたり、現代標準アラビア語と方言を行き来したりするのがその例です。
- サンプリングレート(sample rate)
- サンプリングレートとは、1 秒間に取り込む音声サンプルの数で、単位はヘルツ(Hz)です。音声認識モデルは一般に 16,000 Hz(16 kHz)のモノラル音声を前提とします。ビット深度、チャンネル数とあわせて、非圧縮音声の 1 分あたりのサイズを決めます。
- タイムスタンプ(音声認識、timestamps)
- 音声認識のタイムスタンプとは、文字起こしの各部分に付く開始・終了時刻(秒)です。セグメント単位は句や文を、単語単位は各単語を対象にします。字幕、録音内の検索、テキストと話者の対応付けに必要です。
- 音声区間検出(VAD)
- 音声区間検出(VAD)とは、音声を短いフレームに分け、各フレームが発話か非発話かを判定する信号処理のステップです。音声システムは無音のスキップ、長い録音の間での分割、話し終わりの検出、背景雑音の文字起こし防止に使います。
- 音声合成(TTS、text-to-speech)
- 音声合成(TTS、text-to-speech)とは、書かれたテキストを話し言葉の音声に変換する技術です。TTS API はテキスト、声、MP3 や WAV などの出力形式を受け取り、生成した音声を返します。音声をテキストにする音声認識とは逆方向の処理です。
- 音声認識(Speech-to-Text)
- 音声認識(Speech-to-Text)とは、話し言葉の音声を文字に変換する技術で、自動音声認識(ASR)とも呼ばれます。API は音声ファイルやストリームから文字起こしを返し、通常は音声 1 分単位で課金されます。精度は単語誤り率で測り、訛り、方言、録音品質で変わります。
- 単語誤り率(WER、word error rate)
- 単語誤り率(WER)とは、音声認識の標準的な精度指標です。書き起こしを正しい参照テキストに直すのに必要な単語の置換・削除・挿入の数を、参照テキストの単語数で割って求めます。値が低いほど良好です。
- 文字誤り率(CER、character error rate)
- 文字誤り率(CER)とは、書き起こしや OCR の精度を文字単位で測る指標で、出力を参照テキストに直すのに必要な置換・削除・挿入の数を、参照テキストの文字数で割ったものです。低いほど良く、0 は完全一致です。
- 話者ダイアライゼーション(speaker diarization)
- 話者ダイアライゼーションとは、録音を話者ごとの区間に分け、「誰がいつ話したか」に答えるタスクです。各発話区間に SPEAKER_00 のような匿名の話者 ID を付け、たいていは文字起こしと組み合わせて、各行を誰が話したかを示します。