Definition
Multimodal AI kombinerer og behandler data fra flere modaliteter – såsom tekst, billeder, lyd eller video – for at generere output eller forudsigelser.
Formål
Formålet er at bygge systemer, der forstår information mere ligesom mennesker, der integrerer flere sanser. Det bruges inden for sundhedspleje, robotteknologi og samtalesystemer.
Vigtighed
- Udvider muligheder ud over enkeltmodalitets-AI.
- Muliggør rigere interaktion mellem mennesker og AI.
- Kræver avancerede arkitekturer til fusion af forskellige data.
- Øger kompleksiteten i træning og evaluering.
Hvordan det virker
- Indsaml multimodale datasæt med justerede input (f.eks. tekst + billeder).
- Indkod hver modalitet til vektorrepræsentationer.
- Brug fusionsteknikker til at kombinere modaliteter.
- Træn modeller til at lære tværmodale relationer.
- Generer output på tværs af en eller flere modaliteter.
Eksempler (den virkelige verden)
- CLIP (OpenAI): forbinder billeder og tekst til søgning.
- Google Gemini: multimodal model, der håndterer tekst, billeder og lyd.
- Billedtekstsystemer: generer tekstbeskrivelser fra fotos.
Referencer / Yderligere læsning
- Baltrušaitis et al. “Multimodal maskinlæring: En undersøgelse.” IEEE TPAMI.
- OpenAI CLIP-papir.
- Stanford HAI: Multimodal AI Research.
- Hvordan multimodal AI fungerer
