Sécurité et attaques

Poisoning (IA)

Le poisoning (empoisonnement de données) est une attaque consistant à introduire volontairement des données corrompues ou manipulées dans un jeu d'entraînement afin de biaiser un modèle d'IA.

Définition

Le poisoning, ou attaque par empoisonnement de données, est une méthode d'attaque visant les systèmes d'apprentissage automatique. L'attaquant modifie ou insère des exemples malveillants dans le jeu d'entraînement afin de dégrader les performances du modèle ou de provoquer un comportement spécifique. On distingue : les attaques de type availability poisoning (réduire la précision globale), targeted poisoning (forcer une erreur ciblée sur certains inputs), et backdoor poisoning (introduire une porte dérobée qui se déclenche lorsqu'une condition précise est rencontrée). Ces attaques exploitent la dépendance des modèles aux données et représentent une menace sérieuse pour les systèmes en production, notamment ceux qui apprennent en continu. Elles sont particulièrement dangereuses dans des domaines critiques : santé, finance, cybersécurité, transport autonome. Pour une PME qui n'entraîne pas de modèle depuis zéro, le risque d'empoisonnement se présente sous des formes concrètes. La première concerne les modèles récupérés sur des plateformes publiques : un modèle ou un jeu de données téléchargé peut avoir été altéré, et certains formats de fichiers de modèles peuvent aussi exécuter du code à l'ouverture, d'où l'intérêt de privilégier des formats sûrs, des sources fiables et des sommes de contrôle. La deuxième concerne les assistants alimentés par des documents : si un attaquant peut déposer un document dans la base consultée par un assistant RAG, il peut y glisser des consignes ou de fausses informations, ce qui s'apparente à un empoisonnement de la source de connaissances. La troisième vise les systèmes qui se réentraînent sur les retours des utilisateurs : des évaluations truquées ou des signalements en masse peuvent tordre un modèle de recommandation ou de modération. Les mesures de base sont la traçabilité des données (origine, date, auteur), le contrôle des droits d'écriture sur les corpus, la conservation d'un jeu de contrôle fixe et de confiance, et la possibilité de restaurer une version antérieure.

Catégorie

Sécurité et attaques

Synonymes

data poisoning, empoisonnement de données, attaque par corruption de données

Avantages

Pour la recherche, permet de tester la robustesse des modèles aux manipulations malveillantes
Aide à concevoir des systèmes d'IA plus résilients et sécurisés
Connaître l'attaque permet de mettre en place des contrôles simples sur la provenance des données et des modèles.
Les équipes de sécurité peuvent s'en servir comme scénario de test pour évaluer la robustesse de leurs propres modèles.

Limites

Peut gravement compromettre des modèles déployés en production
Difficile à détecter car souvent basé sur de petites modifications invisibles
Représente un risque majeur pour les systèmes sensibles (santé, transport, défense)
Les ressources officielles décrivent surtout la menace ; peu d'outils prêts à l'emploi la détectent pour une petite structure.
Une porte dérobée peut ne se déclencher que sur un motif rare, donc passer les tests habituels.
Le réentraînement automatique sans validation humaine rend le système plus exposé.

Exemples concrets

Découvrez comment ce concept s'applique dans la réalité

Modifier une petite partie d'un dataset médical pour induire de mauvaises prédictions
Introduire des exemples frauduleux dans un système de détection de fraude bancaire
Ajouter une image marquée (backdoor) pour tromper un modèle de reconnaissance faciale
Imaginons un site de petites annonces dont le filtre anti-arnaque se réentraîne sur les signalements : un groupe d'escrocs signale à tort des annonces honnêtes pour que le modèle apprenne à les rejeter.
Une entreprise qui indexe ses documents partagés dans un assistant interne découvre qu'un fichier déposé par un compte compromis contient de fausses consignes de paiement.
Un développeur télécharge un modèle de classification sur une plateforme communautaire sans vérifier sa provenance, et utilise ensuite un modèle dont le comportement a été modifié.

Applications pratiques

Où « poisoning (IA) » sert concrètement

Cybersécurité : simulation d'attaques pour tester la robustesse des modèles de détection
Finance : sécurisation des systèmes de détection de fraude contre des corruptions de données
Santé : validation rigoureuse des datasets médicaux pour éviter des manipulations
Transport : protection des voitures autonomes contre l'introduction de données falsifiées
Plateformes d'annonces et d'avis : protection des signalements contre les campagnes coordonnées.
Entreprises avec assistant interne : contrôle des documents indexés.
Équipes de développement : vérification de la provenance des modèles téléchargés.

Questions fréquentes

Les questions que posent les entreprises sur « poisoning (IA) »

Qu'est-ce qu'une attaque par empoisonnement de données en IA ?

C'est une attaque consistant à manipuler ou insérer des données corrompues dans l'entraînement d'un modèle pour biaiser ses prédictions.

Quels sont les principaux types d'attaques de poisoning ?

Availability poisoning (réduction de précision), targeted poisoning (erreurs ciblées), et backdoor poisoning (porte dérobée).

Pourquoi ces attaques sont-elles difficiles à détecter ?

Parce qu'elles reposent sur de petites modifications discrètes dans le jeu de données, souvent imperceptibles à l'œil humain.

Quels sont les secteurs les plus vulnérables au data poisoning ?

Santé, finance, cybersécurité, reconnaissance faciale et transport autonome.

Comment protéger un modèle contre le poisoning ?

Par validation stricte des données, détection d'anomalies, entraînement robuste et monitoring continu des performances.

En quoi le poisoning diffère-t-il des attaques adversariales ?

Le poisoning agit sur le jeu d'entraînement (phase amont), tandis que les attaques adversariales ciblent les entrées au moment de l'inférence.

Quels enjeux réglementaires soulève le data poisoning ?

Il met en cause la fiabilité, la sécurité et la responsabilité des systèmes d'IA, points centraux du règlement européen sur l'IA (AI Act).

Un assistant RAG est-il exposé à l'empoisonnement ?

Oui, sous une forme proche : si des documents modifiables par des tiers alimentent la base documentaire, un contenu piégé peut influencer les réponses ou injecter des consignes. On limite les risques en contrôlant qui peut ajouter des documents et en faisant citer les sources.

Que faire pour un modèle téléchargé sur Internet ?

Vérifier l'éditeur et la licence, préférer les formats sans exécution de code, contrôler la somme de contrôle quand elle est fournie, l'exécuter d'abord dans un environnement isolé et le tester sur un jeu de cas connus avant tout usage réel.