Injection de prompt (prompt injection)

L'injection de prompt est une vulnérabilité des applications fondées sur des grands modèles de langage : des entrées utilisateur ou des contenus externes modifient le comportement du modèle d'une manière non prévue par le développeur. L'OWASP, qui la classe en tête de son top 10 des risques pour les applications LLM, distingue l'injection directe, où l'attaquant écrit lui-même la consigne malveillante, et l'injection indirecte, où elle se cache dans un contenu que le modèle lit : page web, e-mail, document ou fichier. Le texte malveillant n'a pas besoin d'être visible par un humain pour être interprété par le modèle. Le jailbreak, qui vise à faire ignorer au modèle ses règles de sécurité, en est une forme proche. Les conséquences vont de la divulgation d'informations internes à des actions non autorisées lorsque le modèle est connecté à des outils, d'où une gravité accrue pour les agents IA. Il n'existe pas de protection absolue : on combine des consignes claires, la séparation des données et des instructions, le filtrage des entrées et des sorties, le principe du moindre privilège, la surveillance et la validation humaine des actions sensibles.