BroadRouter
始める

マルチモーダル AI(multimodal AI)

更新日

マルチモーダル AI とは、テキスト、画像、動画、音声など複数の種類のデータを扱うモデルやシステムです。写真と質問を一緒に読んだり、音声を受け取ってテキストで答えたりします。最も一般的なのは視覚言語モデルです。

別名: マルチモーダル、マルチモーダル AI、マルチモーダルモデル、マルチモーダル LLM、マルチモーダル入力、モダリティ、multimodal、multimodal model、multimodal AI model、multimodal input、multi-modal、modalities

「マルチモーダル」は、モデルが何を受け取れるかを表します。どちらもマルチモーダルと呼ばれる 2 つのモデルでも、受け付ける入力がかなり違うことがあるので、必ず具体的な一覧を確認してください。

仕組み

各入力は、言語モデルがもともと読めるもの、つまりコンテキストウィンドウ内のベクトル列に変換されます。テキストはトークナイザーを通ります。画像はビジョンエンコーダーを通って、画像トークンのまとまりになります。動画は通常フレームの連続として扱われ、音声は音声エンコーダーを通ります。

モデルカードを見ると、同じファミリーの中でもどれほど細かく違うかがわかります。

モデル モデルカードに記載の入力 出力
Gemma 4 26B A4B テキスト、画像、フレームとしての動画。音声はなし(Google は音声を E2B、E4B、12B サイズにのみ記載) テキスト
Qwen3.8 27B テキスト、画像、動画 テキスト

API もエンドポイントごとに役割を分けています。たとえば OpenAI の音声ガイドは、ファイルの文字起こしを音声認識エンドポイントに送り、音声が必要なチャットアプリには別の「チャットでの音声」機能を案内しています。

テキストと画像に限った、より狭い言葉が視覚言語モデルです。

なぜ重要か

  • コスト。 テキスト以外の入力は、トークンに換算されるか、メディアの単位で課金されます。BroadNet では大きな画像ほど入力トークンが増えるので、必要な精細さまで縮小してください。
  • アーキテクチャ。 手元のすべての入力を受け付けるモデルが 1 つもなければ、モデルをつなぎます。まず音声認識、次にテキストまたはビジョンのモデルです。
  • 品質チェック。 印刷された請求書、グラフ、手書きのメモを読むのは、それぞれ別のスキルです。デモ画像だけでなく、自社の文書でそのモダリティをテストしてください。

BroadNet Inference の場合

BroadNet のドキュメントには、モデルごとに次の入力が記載されています。

モデル 入力
DeepSeek V4.1 Flash テキストと画像
GLM 5.3 テキスト
Qwen3.8 27B テキストとビジョン
BroadNet Gemma 4 VL 26B テキストと画像
BroadNet Transcribe Arabic / BroadNet Transcribe 音声(/v1/audio/transcriptions)

画像は、メッセージのコンテンツリストに data: URL として入れて /v1/chat/completions に送ります。完全な例はアラビア語請求書のガイドにあります。音声は別のリクエストで、WAV または MP3、最大 26,214,400 バイト、language を指定します。WhatsApp ボイスメッセージのガイドを参照してください。つまり、ボイスメッセージのアシスタントは、文字起こしとチャットの 2 回の呼び出しを行います。

よくある質問

視覚言語モデルはマルチモーダルですか?

はい。視覚言語モデルはテキストと画像を受け取る、最も一般的なマルチモーダルモデルです。マルチモーダルはより広い言葉で、音声や動画も含みます。

BroadNet ではチャットモデルに音声を送れますか?

BroadNet のドキュメントでは、音声は文字起こしエンドポイントにしか記載されていません。まず音声を文字起こしし、そのテキストをチャットモデルに送ってください。

画像はテキストより高くつきますか?

BroadNet の従量課金キーでは、画像はモデルの入力単価で入力トークンとして課金され、大きな画像ほど多くのトークンを使います。プランでは、画像も定額料金に含まれます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く