Transformer (architecture)

Le Transformer est une architecture de réseau de neurones présentée en 2017 dans l'article de recherche « Attention Is All You Need ». Elle abandonne les couches récurrentes qui lisaient le texte mot après mot pour s'appuyer sur un mécanisme d'attention : pour chaque élément d'une séquence, le modèle calcule l'importance de tous les autres éléments afin de saisir le contexte. Cette approche se prête bien au calcul parallèle, ce qui a permis d'entraîner des modèles beaucoup plus grands sur d'immenses corpus. Le Transformer sert de socle aux grands modèles de langage (GPT, Claude, Gemini, Llama), mais aussi à des modèles de traduction, de vision ou d'audio. Le « T » de GPT signifie d'ailleurs Transformer. Pour un dirigeant, il n'est pas nécessaire d'en maîtriser les détails mathématiques : retenir que cette architecture explique à la fois la puissance des IA génératives actuelles et leurs contraintes, comme la taille de leur fenêtre de contexte ou leur coût de calcul.