Multimodal AIマルチモーダルAIとは、文章・画像・音声・動画など、複数の種類の情報を扱えるAIです。
写真を見せて説明を頼むなら
写真と質問異なる種類の入力
画像と言葉を処理内容を組み合わせる
文章で説明写真について回答
ここでいう「モダリティ」は情報の種類・形式という意味です。文章だけではなく、画像を見たり音声を扱ったりできるAIを説明するときに使われます。
1写真の説明や、グラフの読み取りを頼める
たとえば、写真をAIに渡して「この画像に何が写っている?」と質問したり、グラフ画像を見せて内容を説明してもらったりできます。
対応するAIであれば、音声を文字にしたり、文章と画像を組み合わせて内容を分析したりすることもできます。
2文章だけのAIとの違い
文章だけを入力として扱うAIは、基本的に文字情報から回答を作ります。
マルチモーダルAIは「文章+画像」「文章+音声」のように異なる形式を組み合わせて処理できる点が特徴です。
ただし、どの形式に対応しているか、どこまで正確に扱えるかはサービスやモデルによって異なります。
3モダリティは、文章・画像・音声などの情報の種類
「マルチ(multi)」は複数、「モダリティ(modality)」は情報の種類・形式を表します。
つまり、名前の意味をそのまま捉えると、複数種類の情報を扱えるAIです。
4一緒に知ると分かりやすい言葉
5基礎から学ぶ・実際に使ってみる
AIを基礎から順番に知りたい方は、AIロードマップで学ぶ順番を確認できます。
実際の活用・比較・検証を見たい方は、AI実験室をご覧ください。
参考にした公式情報(確認日:2026年10月19日)
