Multimodale AI: werken met tekst, beelden en documenten

Wat multimodaal betekent

Multimodale AI betekent dat een AI-systeem met meer dan één soort input of output kan werken. In het dagelijks werk gaat het meestal om tekst plus beelden, screenshots, pdf's, grafieken, tabellen, documenten of presentaties. In plaats van alleen een vraag te typen, kun je het model visuele context of documentcontext geven en vragen om te extraheren, uit te leggen, te vergelijken, samen te vatten of om te zetten wat het ziet.

De nuttige vraag is niet "wat is multimodale AI?" Die is: "welke delen van mijn werk hebben tegelijk bewijs uit tekst, beelden en documenten nodig?" Dat is het punt waarop het geen demo meer is en je een middag bespaart.

Een productmanager uploadt een screenshot en vraagt om UX-problemen. Een oprichter uploadt drie prijspagina's van concurrenten en vraagt om een vergelijkingstabel. Een onderzoeker uploadt een pdf en vraagt om beweringen, kanttekeningen en conclusies met bronnen. Een supportteam plakt een klacht van een klant naast een screenshot en vraagt om een diagnose.

Een sterke multimodale workflow bestaat uit vier stappen: observeren, extraheren, interpreteren en verifiëren. Bij observatie vraag je het model te beschrijven wat zichtbaar of aanwezig is. Extractie zet de input om in gestructureerde velden. Interpretatie legt uit wat het bewijs kan betekenen. Verificatie controleert of het antwoord verankerd bleef in de bron. De meeste zwakke multimodale prompts springen meteen naar interpretatie, en daar sluipen zelfverzekerde fouten binnen.

De praktische regel: laat het model eerst bewijzen dat het de bron heeft opgemerkt voordat je het over die bron laat redeneren. Vraag bij beelden om zichtbaar bewijs. Vraag bij pdf's om een documentkaart. Vraag bij lange documentpakketten om secties, beweringen, tabellen en onbekenden voordat de samenvatting komt. Zo wordt multimodale AI van een nieuwigheid een herhaalbaar werksysteem.

Van beeld naar tekst

AI-modellen met beeld als input zijn nuttig voor screenshots, grafieken, whiteboards, productfoto's, facturen, handgeschreven notities, advertenties, dashboards, diagrammen en visuele controles. De sleutel is beeldanalyse te behandelen als bewijs verzamelen vóór het oordeel. Vraag het model wat het kan zien, wat het niet kan lezen en wat het afleidt.

Gebruik deze workflow voor beelden als nauwkeurigheid telt: upload het beeld, vraag om een inventarisatie van zichtbaar bewijs, extraheer gestructureerde details, vraag apart om interpretatie en doe daarna een verificatieronde. Bevat het beeld piepkleine tekst, afgesneden randen, wazige stukken of visuele dubbelzinnigheid, zeg dan dat het model die grenzen moet markeren in plaats van gaten op te vullen.

Prompt voor screenshotanalyse: "Analyseer deze screenshot in vier delen. Noem eerst alleen zichtbare elementen: koppen, knoppen, foutmeldingen, labels, cijfers en problemen in de indeling. Extraheer daarna alle leesbare tekst naar een tabel met locatie en zekerheid. Leg vervolgens waarschijnlijke gebruikersproblemen uit, alleen op basis van zichtbaar bewijs. Noem tot slot wat te klein, afgesneden of te onduidelijk is om te controleren."

Prompt voor grafiekextractie: "Bekijk deze grafiek. Haal de titel, assen, labels, legenda, periode, hoogste en laagste waarden, zichtbare trends en eventuele kanttekeningen eruit. Scheid direct zichtbare data van interpretatie. Zijn exacte waarden niet leesbaar, zeg dan bij benadering en leg uit waarom."

Prompt voor UX-review: "Bekijk dit productscherm als usability-reviewer. Begin met zichtbare observaties. Benoem daarna wrijvingspunten, toegankelijkheidsproblemen, verwarrende labels, ontbrekende toestanden en waarschijnlijke vervolgacties. Geef een tabel op prioriteit met probleem, bewijs, impact, voorgestelde oplossing en zekerheid."

Multimodaal prompten wordt beter als het uitvoerformaat expliciet is. Een vage prompt als "Wat vind je hiervan?" nodigt uit tot een vaag antwoord. Een betere prompt vraagt om een tabel, een checklist, een set risico's of een herschrijving met voor en na. Heb je een werkstuk nodig, benoem dan het werkstuk.

Workflows voor documenten en pdf's

Documenten brengen een andere uitdaging mee. Pdf's en lange bestanden kunnen tekst, paginaopmaak, tabellen, voetnoten, grafieken, bijlagen, gescande pagina's en tegenstrijdigheden bevatten. Een AI die documenten kan analyseren maakt niet automatisch elke samenvatting betrouwbaar. Je hebt nog steeds een workflow nodig die de verankering in de bron bewaakt.

Begin met een documentkaart. Vraag het model om de titel, datum, auteur of organisatie als die zichtbaar is, secties, paginabereiken, tabellen, figuren, bijlagen en lastig leesbare stukken te benoemen. Vraag nog niet om het eindantwoord. Een documentkaart laat zien of het model de delen heeft opgemerkt die ertoe doen.

Prompt voor een documentkaart: "Maak eerst een documentkaart voordat je samenvat. Neem de titel op, de datum, de zichtbare auteur of organisatie, de belangrijkste secties, paginabereiken indien beschikbaar, tabellen, figuren, bijlagen, terugkerende termen en alle stukken die onleesbaar lijken. Leid ontbrekende details niet af. Gebruik Niet zichtbaar waar nodig."

Prompt voor pdf-extractie: "Haal gestructureerde informatie uit dit document en zet die in een tabel met kolommen voor bewering, getal of maatstaf, datum of periode, entiteit, bronpagina of sectie, zekerheid en verificatienotitie. Neem alleen feiten op die het document ondersteunt. Ontbreekt een veld, schrijf dan Niet gevonden."

Prompt voor synthese met lange context: "Gebruik dit documentpakket om deze vraag te beantwoorden: [vraag]. Noem eerst de relevante bronnen of secties. Vat daarna het bewijs samen. Benoem vervolgens tegenstrijdigheden, kanttekeningen en open vragen. Sluit af met een beslismemo in opsommingsvorm. Gebruik geen kennis van buiten tenzij ik erom vraag."

AI met lange context voor documenten is krachtig wanneer het model een grote hoeveelheid relevant materiaal tegelijk beschikbaar kan houden. De documentatie van Gemini benadrukt toepassingen met lange context, terwijl Anthropic pdf-ondersteuning voor tekst en visuele inhoud documenteert met praktische grenzen. De les is niet dat één model altijd zou moeten winnen. De les is dat je documenttaken test met het bronmateriaal dat je echt gebruikt.

Promptpatronen

Goede multimodale prompts zijn opgebouwd als een kleine werkinstructie. Ze definiëren de input, de rol, de bewijsregels, het uitvoerformaat en de verificatiestap. Dat is extra belangrijk als de prompt beeld en tekst combineert, want het model kan wat het ziet vermengen met wat het aanneemt.

Gebruik dit universele sjabloon voor multimodale prompts: "Je helpt met [taak]. Gebruik alleen het bijgevoegde beeld of document en de context hieronder. Noem eerst het waarneembare bewijs. Extraheer daarna de gevraagde velden. Geef vervolgens de analyse. Markeer onzekerheid duidelijk. Geef het eindantwoord als [tabel/checklist/memo/velden in JSON-stijl]. Context: [context]. Velden of vragen: [velden]."

Sjabloon voor gestructureerde extractie: "Haal deze velden eruit: [lijst met velden]. Geef per veld de waarde, het bronbewijs, de zekerheid en een verificatienotitie. Bevat de bron het antwoord niet, schrijf dan Niet gevonden. Niet gokken." Dit werkt voor facturen, pagina's van concurrenten, grafieken, pdf's, aanmeldformulieren, supportscreenshots en onderzoeksnotities.

Sjabloon voor beeld plus document: "Vergelijk deze screenshot met het bijgevoegde document. Benoem waar de screenshot overeenkomt met het beschreven proces, waar hij afwijkt en wat een gebruiker daarna zou moeten doen. Gebruik een tabel met kolommen voor waargenomen onderdeel, verwijzing in het document, mate van overeenkomst, risico en aanbevolen actie."

Sjabloon voor kwaliteitscontrole: "Beoordeel je vorige antwoord tegen de bron. Zoek beweringen zonder onderbouwing, gemiste kanttekeningen, onleesbare stukken, verkeerde cijfers en aannames. Geef een gecorrigeerde versie en een korte lijst met wijzigingen." Deze prompt is saai op de beste manier. Hij vangt fouten voordat ze gênant worden.

Bewaar prompts voor terugkerend werk als workflows in plaats van als losse vragen. Een herbruikbaar promptpakket kan bestaan uit screenshot-triage, grafiekextractie, documentkaart, bewijstabel, beslismemo en verificatieronde. Het doel is niet promptkunstenaar worden. Het doel is betrouwbaar werk makkelijker herhaalbaar maken.

Welk model je kiest voor multimodale taken

Het beste model voor multimodale AI hangt af van de input en de output. Kies Gemini als sterke kandidaat wanneer de taak lange context, grote documentpakketten of multimodale bronbeoordeling betreft. Kies Claude als sterke kandidaat voor zorgvuldig lezen, visuele analyse, pdf-workflows en gestructureerd redeneren over bronmateriaal. Kies de modellen van OpenAI als sterke kandidaten voor brede productiviteitsworkflows, taken met beeld en tekst, concepten schrijven, programmeren, gestructureerde output en analyse omzetten in verzorgd werk.

Taak	Begin met	Wat je controleert
Groot pdf-pakket	Gemini of Claude	Dekking, verankering in pagina of sectie, gemiste kanttekeningen
Screenshot of UI-review	Claude of OpenAI	Zichtbaar bewijs, toegankelijkheid, bruikbare oplossingen
Grafiek of dashboard	Gemini, Claude of OpenAI	Kloppende cijfers, labels, onzekerheid bij onleesbare waarden
Beeld plus schriftelijke instructies	OpenAI, Claude of Gemini	Of het model zowel de visuele als de tekstuele eisen volgt
Memo of samenvatting voor een klant	OpenAI of Claude	Structuur, toon, herleidbaarheid en benodigde opschoning

Vergelijk je Gemini vs ChatGPT, begin dan met dezelfde beeld- of pdf-prompt in beide en beoordeel elke output. Gaat je taak vooral over pdf's, gebruik dan de diepere workflow uit pdf's samenvatten met AI. De winnaar moet het model zijn dat voor jouw bronmateriaal de meest nauwkeurige, bruikbare en controleerbare output geeft.

Whizi maakt dit makkelijker omdat je modellen op één plek kunt testen in plaats van voor elke assistent een aparte workflow bij te houden. Kies één echte taak uit je week: een screenshot, pdf, klantdocument, productfoto of pagina van een concurrent. Draai dezelfde prompt door meerdere modellen, vergelijk het bewijs en bewaar de combinatie van model en prompt die het best presteert.

Ben je klaar om een herhaalbare workflow te bouwen, maak dan je account aan via aanmelden bij Whizi. Twijfel je of één gebundelde werkruimte logisch is voor je team, vergelijk de opties dan op de prijzenpagina van Whizi.