Modèle multimodal

Un modèle multimodal combine plusieurs modalités, c'est-à-dire plusieurs formes de données, au sein d'un même système. Alors qu'un modèle de langage classique ne lit que du texte, un modèle multimodal peut par exemple recevoir une photo accompagnée d'une question, décrire une image, lire un graphique, transcrire et résumer un enregistrement audio, ou générer une image à partir d'une description. Le glossaire d'apprentissage automatique de Google définit un modèle multimodal comme un modèle dont les entrées, les sorties ou les deux comprennent plusieurs modalités. Ces capacités reposent en général sur des architectures de type Transformer entraînées sur des données associées, par exemple des images et leurs légendes. Pour les entreprises, les usages sont concrets : analyse de factures ou de plans, contrôle visuel, accessibilité, assistance à partir de captures d'écran. Les limites sont proches de celles des modèles de langage : erreurs d'interprétation, hallucinations sur le contenu des images, sensibilité à la qualité des fichiers, et attention accrue à la confidentialité puisque photos, voix et documents peuvent contenir des données personnelles.