マルチモーダルAI：テキスト、画像、書類を一緒に扱う方法

マルチモーダルとは何を指すのか

マルチモーダルAIとは、AIが2種類以上の入力や出力を扱えるということです。日々の仕事では、たいていテキストに加えて画像、スクリーンショット、PDF、グラフ、表、書類、スライドが対象になります。質問を打つだけでなく、視覚的な材料や書類そのものを渡して、見えているものを抽出、説明、比較、要約、変換してもらえます。

役に立つ問いは「マルチモーダルAIとは何か」ではありません。「自分の仕事のどの部分が、テキストと画像と書類の根拠を同時に必要としているか」です。そこが、デモで終わるか、午後まるごとを節約してくれるかの分かれ目です。

プロダクトマネージャーがスクリーンショットをアップロードして、UXの問題点を挙げてもらう。創業者が競合3社の料金ページをアップロードして、比較表を作ってもらう。研究者がPDFをアップロードして、主張、留保、出典に裏づけられた要点を出してもらう。サポート担当が顧客の苦情とスクリーンショットを並べて貼り、原因の見立てを頼む。

よくできたマルチモーダルの手順には4つの動きがあります。観察、抽出、解釈、検証です。観察は、見えているもの、そこにあるものを説明させます。抽出は、入力を構造化された項目に変えます。解釈は、その根拠が何を意味しうるかを説明します。検証は、答えが出典から離れていないかを確かめます。うまくいかないプロンプトの多くは、いきなり解釈へ飛びます。自信満々の誤りが忍び込むのは、まさにそこです。

実践的な原則はこうです。出典について推論させる前に、出典をちゃんと見たと証明させること。画像なら見えている根拠を求めます。PDFなら文書の見取り図を求めます。長い資料の束なら、最終的な要約の前に、章立て、主張、表、わからなかった点を求めます。これがマルチモーダルAIを、目新しい遊びから繰り返し使える仕事の仕組みに変えます。

画像からテキストへの手順

画像を入力できるAIモデルは、スクリーンショット、グラフ、ホワイトボード、商品写真、請求書、手書きメモ、SNS広告、ダッシュボード、図解、目視の品質確認に役立ちます。要は、画像の分析を意見ではなく証拠集めとして扱うことです。何が見えるか、何が読み取れないか、何を推測しているかをモデルに聞きましょう。

正確さが重要なときは、この手順を使います。画像をアップロードし、見えている根拠の一覧を出させ、詳細を構造化して抽出させ、解釈は別に頼み、最後に検証パスをかけます。小さすぎる文字、切れた端、ぼやけた領域、判別しにくい部分があるなら、隙間を埋めるのではなくその限界を明示するよう伝えてください。

スクリーンショット分析のプロンプト：「このスクリーンショットを4つのセクションに分けて分析してください。1つ目、見えている要素だけを列挙します。見出し、ボタン、エラー、ラベル、数値、レイアウトの問題。2つ目、読み取れるテキストを、位置と確信度を添えた表に抽出します。3つ目、見えている根拠だけをもとに、起こりそうなユーザーの困りごとを説明します。4つ目、小さすぎる、切れている、不明瞭で確認できない箇所を挙げます。」

グラフ抽出のプロンプト：「このグラフを見てください。タイトル、軸、ラベル、凡例、対象期間、最大値と最小値、見て取れる傾向、注意すべき点を抽出してください。直接見えるデータと解釈は分けてください。正確な値が読み取れない場合は、およその値だと明記し、その理由を説明してください。」

UXレビューのプロンプト：「このプロダクト画面を、ユーザビリティのレビュアーとして見てください。まず見えている観察から始めます。次に、つまずきの箇所、アクセシビリティ上の懸念、紛らわしいラベル、抜けている状態表示、次に取られそうな行動を特定します。課題、根拠、影響、改善案、確信度を列にした、優先度つきの表で返してください。」

マルチモーダルのプロンプトは、出力の形式を明示すると質が上がります。「これどう思う？」のような曖昧な依頼は、曖昧な答えを招きます。よいプロンプトは、表、チェックリスト、リスクの一覧、書き換え前後の対比を求めます。成果物が欲しいなら、その成果物を指定してください。

書類とPDFの手順

書類には別の難しさがあります。PDFや長いファイルには、本文、ページ構成、表、脚注、グラフ、付録、スキャン画像、そして矛盾が入り混じります。AIで書類を分析できるからといって、どの要約も自動的に信頼できるようになるわけではありません。出典に根ざしたままにする手順が、やはり必要です。

まずは文書の見取り図から始めます。タイトル、日付、見えていれば著者や組織、章立て、ページ範囲、表、図、付録、読み取りにくい箇所を挙げてもらいます。最終的な答えはまだ求めません。見取り図は、重要な部分にモデルが気づいたかどうかを教えてくれます。

文書の見取り図のプロンプト：「要約する前に、文書の見取り図を作ってください。タイトル、日付、見えている著者や組織、主な章、可能ならページ範囲、表、図、付録、繰り返し出てくる用語、そして判読できないと思われる箇所を含めます。欠けている情報を推測しないでください。必要な場合は『確認できず』と書いてください。」

PDF抽出のプロンプト：「この文書から情報を構造化して、主張、数値や指標、日付や期間、対象、出典のページや章、確信度、検証メモを列にした表に抽出してください。文書が裏づけている事実だけを含めてください。項目が見当たらない場合は『該当なし』と書いてください。」

長い文脈を使った統合のプロンプト：「この資料の束を使って、次の質問に答えてください：[質問]。まず関係する出典や章を挙げます。次に根拠をまとめます。次に矛盾、留保、未解決の問いを特定します。最後に、箇条書きの判断メモで締めてください。私が求めない限り、外部の知識は使わないでください。」

書類向けの長い文脈を扱えるAIは、関連する材料をまとめて手元に置いておけるときに真価を発揮します。Geminiのドキュメントは長い文脈の使いどころを強調していますし、AnthropicはPDFのテキストと視覚的な内容への対応を、実務上の制限も含めて説明しています。ここからの学びは、どれか1つのモデルが常に勝つということではありません。書類の仕事は、あなたが実際に使う資料で試すべきだ、ということです。

プロンプトの型

よくできたマルチモーダルのプロンプトは、小さな作業手順書のような構造をしています。入力、役割、根拠の扱い方、出力形式、検証の一手を定義します。画像とテキストを組み合わせるときは特に重要です。モデルが、見えているものと自分の思い込みを混ぜてしまうことがあるからです。

汎用のマルチモーダル用テンプレートはこうです。「[タスク]を手伝ってください。添付した画像や書類と、以下の背景情報だけを使ってください。まず観察できる根拠を列挙します。次に指定した項目を抽出します。次に分析を示します。不確かな部分ははっきり印をつけてください。最終的な答えは[表／チェックリスト／メモ／項目形式]で返してください。背景：[背景]。項目または質問：[項目]。」

構造化抽出のテンプレート：「次の項目を抽出してください：[項目リスト]。各項目について、値、根拠となる出典箇所、確信度、検証メモを添えます。出典に答えが含まれていない場合は『該当なし』と書いてください。推測はしないでください。」これは請求書、競合ページ、グラフ、PDF、申込フォーム、サポートのスクリーンショット、調査メモに使えます。

画像と書類を組み合わせるテンプレート：「このスクリーンショットを、添付した書類と比べてください。スクリーンショットが文書化された手順と一致している箇所、食い違っている箇所、そしてユーザーが次に取るべき行動を示してください。観察した項目、書類の該当箇所、一致状況、リスク、推奨アクションを列にした表を使ってください。」

品質確認のテンプレート：「直前の回答を出典と照らして見直してください。裏づけのない主張、抜けている留保、判読できない箇所、誤った数値、思い込みを見つけてください。修正版と、変更点の短いリストを返してください。」このプロンプトは、いい意味で退屈です。恥ずかしい形で表に出る前に誤りを捕まえてくれます。

繰り返す仕事では、プロンプトを一度きりの質問ではなくワークフローとして保存しましょう。使い回せるプロンプト集には、スクリーンショットの一次切り分け、グラフ抽出、PDFの見取り図、根拠の表、判断メモ、検証パスあたりが入ります。目的はプロンプトの名人になることではありません。信頼できる仕事を繰り返しやすくすることです。

マルチモーダルな仕事で、どのモデルを選ぶか

マルチモーダルAIに最適なモデルは、入力と出力によって変わります。長い文脈、大量の書類の束、複数形式の資料のレビューが絡むなら、Geminiが有力です。丁寧な読解、視覚的な分析、PDFの処理、資料に基づく構造的な推論なら、Claudeが有力です。幅広い業務の流れ、画像とテキストが混ざる作業、下書き、コーディング、構造化された出力、そして分析を仕上げた成果物に変える工程なら、OpenAIのモデルが有力です。

仕事	まず試すもの	確認すること
大きなPDFの束	GeminiかClaude	網羅性、ページや章への根拠づけ、見落とした留保
スクリーンショットやUIのレビュー	ClaudeかOpenAI	見えている根拠、アクセシビリティ、実行できる改善案
グラフやダッシュボードの分析	Gemini、Claude、OpenAI	数値の正確さ、ラベル、読めない値の扱い
画像と文章での指示	OpenAI、Claude、Gemini	視覚と文章の両方の制約を守っているか
最終メモや顧客向けの要約	OpenAIかClaude	構成、調子、出典の追える度合い、必要な手直し

GeminiとChatGPTの比較を検討しているなら、同じ画像やPDFのプロンプトを両方で走らせ、出力を採点してみてください。仕事の中心がPDFのレビューなら、より詳しいAIでPDFを要約する手順を使いましょう。勝者は、あなたの資料に対して最も正確で、使いやすく、検証できる出力を出したモデルです。

Whiziならこれが楽になります。アシスタントごとに別々の手順を維持するのではなく、1か所でモデルを試せるからです。今週の本物の仕事を1つ選んでください。スクリーンショット、PDF、顧客からの書類、商品画像、競合ページなど何でもかまいません。同じプロンプトを複数のモデルで走らせ、根拠を見比べ、いちばん成績のよかったモデルとプロンプトの組み合わせを保存します。

繰り返し使える手順を作る準備ができたら、Whiziの登録からアカウントを作ってください。ワークスペースを1つにまとめるのがチームにとって妥当かを判断したいなら、Whiziの料金で選択肢を比べられます。