マルチモーダル AI

マルチモーダル AI は、文章、画像、音声、動画など、種類の違う複数の情報（モダリティ）を合わせて扱う AI です。たとえば、画像と文章を一緒に入力し、画像の内容についての質問に答えさせます。

Baltrušaitis ほかの概説論文（2017年）は、複数のモダリティの情報を処理し、関係づけるモデルを作ることを、マルチモーダル機械学習のねらいとしています。課題を、表現、変換、対応づけ、融合、共同の学習の5つに分けています。

技術文書では、図、表、画面の写真を含むマニュアルを扱う場面に関係します。Microsoft の RAG の設計の手引きは、LLM で画像の説明文や表の要約を作り、それをチャンクにする方法を挙げています。

読み

まるちもーだるえーあい

英語

Multimodal AI

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• 生成 AI：生成 AI は、文章、画像、プログラムなどを新しく作り出す AI の総称です。日本の「AI 事業者ガイドライン」（第1.2版）と…
• LLM（大規模言語モデル）：LLM（Large Language Model。大規模言語モデル）は、大量の文章のデータで学習し、文章の続きを予測するしくみで…
• 音声認識（ASR）：音声認識（ASR。Automatic Speech Recognition）は、人が話した音声を文字に変える技術です。Speec…
• 音声合成（TTS）：音声合成（TTS。Text-to-Speech）は、文章を、人が話すような音声に変える技術です。文章の読み上げ、音声での案内、対…

出典

• Baltrušaitis、Ahuja、Morency「Multimodal Machine Learning: A Survey and Taxonomy」（arXiv:1705.09406、2017年5月26日）（別のタブで開きます）
• Anthropic: Vision（別のタブで開きます）
• Microsoft Learn: Develop a RAG Solution - Chunking Phase（2026年6月18日更新）（別のタブで開きます）