Livrer un système de recherche augmentée : la méthode
Mettre un système de recherche augmentée — communément appelé RAG — en production demande une discipline particulière. Ce n'est ni un prototype, ni un produit étagère. Voici la méthode que nous appliquons.
De quoi parle-t-on
Un système de retrieval augmented generation combine deux briques : un moteur de recherche sémantique qui retrouve les passages pertinents dans un corpus, et un modèle de langage qui synthétise une réponse à partir de ces passages.
L'enjeu n'est pas la prouesse technique. C'est la mise en production sur un corpus métier réel, avec des contraintes de qualité, de latence, de coût et de conformité.
Quatre phases
1 — Cadrage
Identifier les cas d'usage prioritaires. Cartographier le corpus documentaire. Constituer un premier jeu d'évaluation avec les équipes métier. Fixer les critères de réussite (précision, latence, couverture).
2 — Conception
Architecture d'indexation. Stratégie de découpage et d'enrichissement des contenus. Choix des modèles d'embeddings et de génération. Définition des règles de sécurité, des garde-fous et des règles d'escalade vers un humain.
3 — Déploiement
Mise en production progressive. Supervision continue. Mesure des indicateurs sur le jeu d'évaluation et sur les requêtes réelles. Ajustements itératifs des paramètres et des prompts système.
4 — Transfert
Documentation technique et fonctionnelle. Formation des équipes internes. Remise du code, des modèles, et des jeux d'évaluation. Définition du protocole de maintenance.
Les conditions de succès
- Un corpus de qualité. Pas de système de recherche performant sur un corpus mal structuré ou daté.
- Un jeu d'évaluation représentatif. Sans mesure, pas de progrès observable.
- Des règles métier explicites. Que faire en cas d'incertitude ? Quelles sources autoriser ? Quelles requêtes refuser ?
- Une supervision continue. La qualité d'un système de recherche augmentée se dégrade silencieusement si on ne la mesure pas.
Les pièges fréquents
- Le syndrome de la démonstration. Une démonstration impressionnante n'est pas un système de production. La qualité ne se mesure pas sur quelques requêtes choisies.
- L'extension de scope continue. Élargir le périmètre en cours de mission compromet la livraison. Mieux vaut une première version maîtrisée, étendue ensuite.
- L'absence de contrôle humain. Sur les sujets sensibles, une validation humaine doit rester possible.
- L'oubli de la conformité. Données personnelles, propriété intellectuelle, traçabilité : ces sujets doivent être traités dès le cadrage.
Pour aller plus loin
Si vous envisagez la mise en production d'un système de recherche augmentée dans votre organisation, nous vous proposons un échange de cadrage sous accord de confidentialité : sales@littlab.com.