Token (IA)

Avant d'être traités par un grand modèle de langage, les textes sont découpés en petites unités appelées tokens. Un token peut correspondre à un mot courant, à un fragment de mot, à un signe de ponctuation ou à un espace. Le découpage dépend du modèle : un même texte ne donne donc pas le même nombre de tokens d'un fournisseur à l'autre. À titre d'ordre de grandeur, la documentation d'OpenAI indique qu'un token représente environ quatre caractères, soit environ trois quarts d'un mot en anglais ; le français et les langues riches en accents consomment souvent davantage de tokens pour une même longueur. Les tokens comptent à deux titres. D'une part, la fenêtre de contexte d'un modèle se mesure en tokens : le prompt et la réponse générée doivent tenir ensemble dans cette limite. D'autre part, la plupart des API facturent l'usage au nombre de tokens envoyés et reçus. Surveiller la consommation de tokens permet donc de maîtriser les coûts et la longueur des documents traités.