La mémoire des agents LLM : le guide d'ingénierie complet

Chaque agent LLM mis en production en 2026 affronte la même décision : que se passe-t-il quand la conversation se termine ? Votre réponse, c'est votre architecture mémoire — même si c'est « rien ».

Ce guide couvre tout ce qu'exige l'ingénierie mémoire pour agents LLM en production : les opérations nécessaires, le score qui décide de la récupération, le problème du contrôle d'écriture que la plupart des systèmes ignorent, et la comparaison réelle des benchmarks actuels. C'est la synthèse de ce que j'ai appris en construisant iRemember, un assistant LLM à mémoire persistante structurée.

Pourquoi les fenêtres de contexte n'ont pas tué la mémoire

Les fenêtres sont passées de milliers à des millions de tokens. Le verdict attendu : « problème résolu ». La production dit autrement.

Trois modes de défaillance survivent au contexte illimité :

1. Dégradation de la récupération — l'attention baisse quand les preuves pertinentes s'étalent sur des centaines de tours
2. Coût — relire tout l'historique à chaque tour croît linéairement ; la récupération mémoire, non
3. Structure — une transcription n'est pas de la connaissance. « Ma sœur habite à Rabat » dit en mars et « je rends visite à ma famille » dit en juillet sont des faits liés ; le contexte brut ne les relie jamais

Les benchmarks le confirment : sur les très longues conversations de LoCoMo, les modèles échouent encore aux questions temporelles même quand la réponse est dans la fenêtre.

Les quatre opérations de toute mémoire

Une mémoire, c'est quatre opérations :

• Extraction — séparer les faits durables du contexte éphémère sans ralentir la boucle de réponse
• Consolidation — fusionner mises à jour et contradictions (« elle a déménagé à Casa » remplace « elle habite à Rabat »)
• Récupération — faire remonter le bon souvenir ; le difficile c'est bon, pas top-k similaire
• Oubli — décroître la pertinence pour ne pas se noyer dans sa propre histoire

La plupart des systèmes du marché implémentent 1 et la moitié de 3. Consolidation et oubli sont là où se joue l'ingénierie sur mesure — et où gagnent les points de précision.

Le score de récupération hybride

La similarité seule remonte des souvenirs qui sonnent proches. Il faut proches et récents et importants :

score = α · similarité_sémantique(q, m)
      + β · décroissance_temporelle(m.horodatage)
      + γ · poids_importance(m)

Notes de production :

• La décroissance doit être par type de souvenir : une préférence décroît moins vite qu'un plan.
• Les poids d'importance s'apprennent : intensité émotionnelle, marqueurs explicites (« retiens ça »), fréquence de référence par d'autres souvenirs.
• Normalisez avant de combiner ; les cosinus bruts s'entassent en haut de leur plage et affament β et γ.

Contrôle d'écriture : apprendre quoi retenir

Le basculement majeur de la recherche 2026 : traiter l'extraction comme un problème de contrôle d'écriture. Les politiques uniformes « tout retenir » (défaut Mem0) provoquent une inflation mémoire : le trivia noie les faits utiles et érode la précision.

Deux papiers 2026 quantifient la solution :

• AdaMem apprend une politique mémoire spécifique au rôle via des boucles de retour hebdomadaires — extraction quotidienne sous politique, évaluation hebdomadaire par QA, réflexion par patchs. Résultat : jusqu'à +9 % de précision face à Mem0 uniforme tout en réduisant le volume de 9 %.
• PerMem-Bench formalise le gating de stockage personnalisé — sauter totalement l'écriture pour les sessions transitoires. Avec un gating parfait, les gains sont grands ; le problème ouvert est que la précision réelle du gating reste insuffisante.

À retenir : votre prompt d'extraction est un document de politique. Traitez-le comme du code versionné et évalué, pas comme un prompt écrit une fois.

Architectures comparées

Approche	Force	Faiblesse	Usage
Contexte complet	Zéro infra	Coût + dégradation longue durée	Démos, bots < 20 tours
Extraction uniforme (style Mem0)	Simple, bonne baseline	Inflation, pas de personnalisation	MVP rapides
API mémoire managées (Zep…)	Clé en main	Politiques opaques, coût par appel	Produits sans équipe IA
Pipeline LangGraph personnalisé	Contrôle total des 4 opérations	Coût d'ingénierie	Le choix d'iRemember

La voie personnalisée se justifie dès qu'il faut : mémoire structurée par entités, routage budgétaire, décroissance métier ou périmètres bornés par tenant (non négociable en SaaS multitenant — l'isolation par prompt n'en est pas).

Compression d'historique

Les longues conversations exigent de la compression, mais le résumé naïf détruit exactement les détails demandés. Ce qui marche :

• Compresser les épisodes, garder les faits
• Compresser progressivement, du plus ancien, conditionné à l'existence du fait sous forme structurée
• Préserver les ancres temporelles (« le printemps dernier », « après le voyage à Rabat ») — les dates relatives pourrissent vite

Modélisation des personnes

Le différenciateur d'iRemember : modéliser les personnes comme entités de premier ordre avec profils évolutifs et sentiment dans le temps.

Sans structure d'entités, « comment évolue ma relation avec mon associé ? » est inanswerable — les preuves sont dispersées dans des dizaines de souvenirs. Avec, la question devient un parcours de graphe plus une agrégation de sentiment.

Cela corrige aussi la récupération : les mentions d'une même personne sous différents noms se consolident en un nœud.

Les benchmarks, regard de praticien

• LoCoMo — très longues conversations multi-sessions ; bon pour les lacunes de raisonnement temporel
• LongMemEval — les ablations montrent que le tuning côté récupération dépasse celui de l'ingestion
• AdaMem-Bench — annotations de souvenirs dorés ; meilleur proxy actuel du « a-t-il gardé ce qu'il fallait »
• PerMem-Bench — personas multi-domaines ; mesure la capacité de gating

Testez-en au moins deux. Les résultats mono-benchmark surajustent au style conversationnel d'un benchmark — appris à mes dépens avec les premières évaluations d'iRemember.

Commencer ici

• La mémoire, couche manquante des applications LLM — l'argument central
• Les briques évoquées vivent sur la page projet iRemember

Les prochains articles du cluster couvriront les comparaisons de benchmarks avec nos chiffres publiés et des analyses détaillées du pipeline LangGraph.