Fenêtre de contexte (IA)

La fenêtre de contexte correspond à la « mémoire de travail » d'un grand modèle de langage : tout ce qu'il peut lire et utiliser pour produire sa réponse, à savoir les consignes, l'historique de la conversation, les documents fournis et le texte qu'il génère. Elle se mesure en tokens et varie selon les modèles. Lorsque la conversation ou les documents dépassent cette limite, il faut résumer, tronquer ou sélectionner les passages utiles ; le modèle n'a pas accès à ce qui sort de la fenêtre. Ce n'est pas la même chose que les connaissances acquises pendant l'entraînement : ce que le modèle sait ressemble à un savoir général, alors que le contexte contient les informations de la tâche en cours. Une fenêtre plus grande permet de traiter de longs documents, mais coûte plus cher en calcul et ne garantit pas que toutes les informations soient exploitées avec la même précision. C'est pourquoi on combine souvent un contexte raisonnable avec un RAG qui n'injecte que les extraits pertinents.