Multimodální AI: jak pracovat s textem, obrázky a dokumenty

Co znamená multimodální AI?

Multimodální AI znamená, že systém dokáže pracovat s více než jedním typem vstupu nebo výstupu. V každodenní praxi to obvykle znamená text plus obrázky, screenshoty, PDF, grafy, tabulky, dokumenty nebo prezentace. Místo pouhého psaní otázky můžete modelu poskytnout vizuální nebo dokumentový kontext a požádat ho, aby extrahoval, vysvětlil, porovnal, shrnul nebo přetvořil to, co vidí.

Praktickým testem pro každodenní práci je, které části vaší práce potřebují důkazy z textu, obrázků a dokumentů zároveň. Právě tam přestává jít o pouhou ukázku a začíná to ušetřit celé odpoledne.

Produktový manažer nahraje screenshot a ptá se na problémy s UX. Zakladatel firmy chce srovnávací tabulku sestavenou ze tří cenových stránek konkurence. Výzkumníci předají PDF a žádají o tvrzení, výhrady a závěry podložené zdrojem. Dělají to i podpůrné týmy: stížnost zákazníka vložená vedle screenshotu, na oplátku jedna diagnóza.

Silný multimodální pracovní postup má čtyři kroky: pozorování, extrakci, interpretaci a ověření. Pozorování žádá model, aby popsal, co je viditelné nebo přítomné. Extrakce převádí vstup do strukturovaných polí. Interpretace vysvětluje, co by důkazy mohly znamenat. Ověření kontroluje, zda odpověď zůstala ukotvená ve zdroji. Většina slabých multimodálních promptů přeskakuje rovnou k interpretaci, a právě tam se vplíží sebejisté chyby.

Praktické pravidlo zní: nechte model dokázat, že si zdroje všiml, než ho požádáte, aby o zdroji uvažoval. U obrázků žádejte viditelné důkazy. U PDF žádejte mapu dokumentu. U balíků dlouhých dokumentů žádejte sekce, tvrzení, tabulky a nejasnosti ještě před závěrečným shrnutím.

Jak získat přesné odpovědi z obrázků?

AI modely s obrázkovým vstupem se hodí pro screenshoty, grafy, tabule, fotky produktů, faktury, ručně psané poznámky, reklamy na sociálních sítích, dashboardy, diagramy i vizuální kontrolu kvality. Klíčem je přistupovat k analýze obrázku jako ke sběru důkazů dřív, než přijde názor. Zeptejte se modelu, co vidí, co nedokáže přečíst a co si pouze domýšlí.

Když záleží na přesnosti, použijte tento postup: nahrajte obrázek, požádejte o soupis viditelných důkazů, extrahujte strukturované detaily, o interpretaci požádejte zvlášť a nakonec proveďte ověřovací krok. Pokud obrázek obsahuje drobný text, oříznuté okraje, rozmazané oblasti nebo vizuální nejednoznačnost, řekněte modelu, aby tato omezení označil, místo aby mezery domýšlel.

Prompt pro analýzu screenshotu: "Analyzuj tento screenshot ve čtyřech částech. Nejprve vypiš pouze viditelné prvky: nadpisy, tlačítka, chyby, popisky, čísla a problémy s rozvržením. Za druhé extrahuj veškerý čitelný text do tabulky s umístěním a mírou jistoty. Za třetí vysvětli pravděpodobné problémy uživatele pouze na základě viditelných důkazů. Za čtvrté vypiš, co je příliš malé, oříznuté nebo nejasné na to, aby to šlo ověřit."

Prompt pro extrakci z grafu: "Projdi tento graf. Extrahuj název, osy, popisky, legendu, časové období, nejvyšší a nejnižší hodnoty, viditelné trendy a případné výhrady. Odděl přímo viditelná data od interpretace. Pokud nejsou přesné hodnoty čitelné, uveď to jako přibližné a vysvětli proč."

Prompt pro UX revizi: "Podívej se na tuto obrazovku produktu jako recenzent použitelnosti. Začni viditelnými pozorováními. Poté identifikuj místa tření, problémy s přístupností, matoucí popisky, chybějící stavy a pravděpodobné další kroky. Vrať prioritizovanou tabulku s problémem, důkazem, dopadem, navrhovanou opravou a mírou jistoty."

Multimodální prompty fungují lépe, když je formát výstupu jasně zadaný. Vágní prompt typu „Co si o tom myslíš?“ vyvolává stejně vágní odpověď. Lepší prompt žádá o tabulku, kontrolní seznam, výčet rizik nebo přepis „před a po“. Pokud potřebujete konkrétní pracovní výstup, zadejte přesně jaký.

Jak analyzovat PDF, aniž byste ztratili zdroj?

Dokumenty přinášejí jiný druh výzvy. PDF a dlouhé soubory mohou obsahovat text, rozvržení stránky, tabulky, poznámky pod čarou, grafy, přílohy, naskenované stránky a protichůdné informace. Model, který přijme stostránkové PDF, automaticky negeneruje důvěryhodné shrnutí. Pořád potřebujete postup, který udrží ukotvení ve zdroji.

Začněte mapou dokumentu. Požádejte model, aby určil název, datum, autora nebo organizaci, pokud jsou viditelné, sekce, rozsahy stránek, tabulky, obrázky, přílohy a hůře čitelné oblasti. Zatím nežádejte konečnou odpověď. Mapa dokumentu ukáže, zda si model všiml částí, na kterých záleží.

Prompt pro mapu dokumentu: "Než začneš shrnovat, vytvoř mapu dokumentu. Uveď název, datum, viditelného autora nebo organizaci, hlavní sekce, rozsahy stránek (pokud jsou dostupné), tabulky, obrázky, přílohy, opakující se výrazy a oblasti, které vypadají nečitelně. Chybějící detaily si nedomýšlej. Kde je potřeba, použij Není vidět."

Prompt pro extrakci z PDF: "Extrahuj strukturované informace z tohoto dokumentu do tabulky se sloupci pro tvrzení, číslo nebo metriku, datum či období, entitu, zdrojovou stránku nebo sekci, míru jistoty a poznámku k ověření. Uváděj pouze fakta podložená dokumentem. Pokud pole chybí, napiš Nenalezeno."

Prompt pro syntézu s dlouhým kontextem: "Použij tento balík dokumentů k zodpovězení této otázky: [otázka]. Nejprve vypiš relevantní zdroje nebo sekce. Poté shrň důkazy. Následně identifikuj rozpory, výhrady a otevřené otázky. Zakonči rozhodovacím memem v bodech. Nepoužívej vnější znalosti, pokud o ně výslovně nepožádám."

Dlouhý kontext je tady důležitý, protože dokumenty jsou tokenově náročné: čtyřicetistránkové PDF spotřebuje zhruba 20 000 až 30 000 tokenů a balík více dokumentů to rychle znásobí. Dokumentace Gemini k dlouhému kontextu počítá s oknem o velikosti 1 milion tokenů, zatímco Anthropic u Claude dokumentuje podporu PDF pro text i vizuální obsah až do 100 stránek a 32 MB na požadavek. Tyto limity se mění, proto úkoly s dokumenty testujte přímo na materiálech, které skutečně používáte.

Šablony promptů, které vynucují důkazy před názorem

Dobré multimodální prompty jsou strukturované jako malý provozní postup. Definují vstup, roli, pravidla pro důkazy, formát výstupu a ověřovací krok. To je obzvlášť důležité, když prompt kombinuje obrázek a text, protože model může míchat to, co vidí, s tím, co si domýšlí.

Použijte tuto univerzální šablonu multimodálního promptu: "Pomáháš mi s [úkol]. Použij pouze přiložený obrázek/dokument a kontext níže. Nejprve vypiš pozorovatelné důkazy. Poté extrahuj požadovaná pole. Následně poskytni analýzu. Nejistotu jasně označ. Konečnou odpověď vrať jako [tabulka/kontrolní seznam/memo/pole ve stylu JSON]. Kontext: [kontext]. Pole nebo otázky: [pole]."

Šablona pro strukturovanou extrakci: "Extrahuj tato pole: [seznam polí]. U každého pole uveď hodnotu, zdrojový důkaz, míru jistoty a poznámku k ověření. Pokud zdroj odpověď neobsahuje, napiš Nenalezeno. Nehádej." Funguje to na faktury, stránky konkurence, grafy, PDF, onboardingové formuláře, screenshoty z podpory i výzkumné poznámky.

Šablona obrázek plus dokument: "Porovnej tento screenshot s přiloženým dokumentem. Urči, kde se screenshot shoduje s dokumentovaným procesem, kde se liší a co by měl uživatel udělat dál. Použij tabulku se sloupci pro pozorovanou položku, odkaz na dokument, stav shody, riziko a doporučenou akci."

Šablona pro kontrolu kvality: "Porovnej svou předchozí odpověď se zdrojem. Najdi nepodložená tvrzení, chybějící výhrady, nečitelné oblasti, nesprávná čísla a domněnky. Vrať opravenou verzi a krátký seznam změn." Tento prompt je nudný tím nejlepším možným způsobem. Zachytí chyby dřív, než se stanou trapnými.

Pro opakující se práci ukládejte prompty jako pracovní postupy, ne jako jednorázové dotazy. Balíček šesti promptů pokryje většinu týdnů: třídění screenshotů, extrakci z grafů, mapu PDF, tabulku důkazů, rozhodovací memo a ověřovací krok.

Který model je nejlepší pro multimodální úlohy?

Nejlepší model pro multimodální AI závisí na vstupu a výstupu. Začněte s Gemini, pokud je úkolem balík dlouhých dokumentů, protože jeho dokumentace k dlouhému kontextu počítá s oknem o velikosti 1 milion tokenů. Začněte s Claude pro pečlivé čtení PDF, kde nesou význam grafy a obrázky, protože podpora PDF od Anthropic čte v rámci svých limitů na požadavek jak vizuální obsah, tak text. Začněte s modelem od OpenAI, pokud jde hlavně o samotný výstup: psaní textů, programování, strukturované výstupy a proměnu analýzy v memo připravené pro klienta.

Úkol	Začněte s	Na co se zaměřit
Velký balík PDF	Gemini nebo Claude	Pokrytí, ukotvení na stránky/sekce, přehlédnuté výhrady
Screenshot nebo revize UI	Claude nebo OpenAI	Viditelné důkazy, problémy s přístupností, proveditelné opravy
Analýza grafu nebo dashboardu	Gemini, Claude nebo OpenAI	Přesnost čísel, popisky, nejistota kolem nečitelných hodnot
Obrázek plus písemné instrukce	OpenAI, Claude nebo Gemini	Zda model dodržuje vizuální i textová omezení zároveň
Finální memo nebo shrnutí pro klienta	OpenAI nebo Claude	Struktura, tón, dohledatelnost a potřebné dočištění

Pokud porovnáváte Gemini vs ChatGPT, začněte stejným promptem na obrázek nebo PDF u obou a ohodnoťte výstup každého z nich. Pokud je vaším úkolem hlavně kontrola PDF, použijte podrobnější postup shrnutí PDF pomocí AI. Vítězem je model, jehož výstup dokážete ověřit vůči zdroji s nejmenším dočištěním.

Whizi to usnadňuje, protože modely můžete testovat na jednom místě, místo abyste pro každého asistenta udržovali samostatný postup. Upřímná výhrada: pokud je veškerá vaše multimodální práce jeden typ vstupu od jednoho poskytovatele, řekněme screenshoty do ChatGPT, jednodušší volbou je jedno předplatné u toho poskytovatele. Jinak si vyberte jeden reálný úkol z týdne (screenshot, PDF, dokument zákazníka, obrázek produktu nebo stránku konkurence), spusťte stejný prompt napříč modely, porovnejte důkazy a uložte kombinaci modelu a promptu, která funguje nejlépe.

Až budete připraveni vybudovat opakovatelný pracovní postup, vytvořte si účet na registrace Whizi. Pokud zvažujete, zda pro váš tým dává smysl sjednocený pracovní prostor, porovnejte možnosti na ceník Whizi.