RAG-Gradio : rechercher et interroger ses documents

RAG-Gradio est une application personnelle qui permet de constituer plusieurs bases documentaires, d’y indexer des livres et des documents, puis de les interroger en langage naturel. Son intérêt n’est pas de demander à une intelligence artificielle ce qu’elle « sait » déjà, mais de lui faire travailler un ensemble de sources que l’on a soi-même choisi.

L’application répond à deux besoins différents :

• obtenir une synthèse construite à partir de plusieurs documents, avec des renvois vers les passages utilisés ;
• retrouver directement un passage précis, sans demander au modèle de rédiger une réponse.

1. Le principe du RAG

Le sigle RAG signifie Retrieval-Augmented Generation, que l’on peut traduire par « génération augmentée par la recherche documentaire ».

Le fonctionnement peut se résumer ainsi :

1. les documents sont découpés en passages ;
2. ces passages sont transformés en représentations numériques appelées embeddings ;
3. les embeddings sont enregistrés dans une base vectorielle ChromaDB ;
4. lorsqu’une question est posée, l’application recherche les passages les plus proches de son sens ;
5. les huit meilleurs passages sont transmis au modèle de langage ;
6. le modèle rédige sa réponse à partir de ce contexte et indique ses sources sous la forme [S1], [S2], etc.

Une recherche classique repère surtout des mots. La recherche vectorielle essaie plutôt de retrouver des passages ayant un sens proche de la question, même lorsque les mêmes termes ne sont pas employés.

2. Ce qui est local et ce qui ne l’est pas

Les livres, les PDF, les bases ChromaDB et les opérations de recherche sont conservés sur le PC. Dans la configuration actuelle, le modèle utilisé pour rédiger les réponses est minimax-m3:cloud, appelé par l’intermédiaire d’Ollama.

Le corpus complet n’est donc pas envoyé au modèle distant : seuls les passages sélectionnés pour répondre à la question lui sont transmis. Cette solution convient à une documentation non confidentielle. Pour des documents sensibles, il faut utiliser un modèle entièrement local ou ne pas indexer ces documents dans une base destinée au modèle cloud.

3. Lancer RAG-Gradio

1. Ouvrir le dossier D:\RAG_Gradio.
2. Double-cliquer sur lancer_RAG.bat.
3. Conserver ouverte la fenêtre noire qui apparaît.
4. Dans le navigateur, ouvrir http://127.0.0.1:7860.

Sur le réseau local, l’application peut également être ouverte depuis un autre ordinateur en utilisant l’adresse IP du PC qui l’exécute, suivie de :7860.

Si le message indique que le port 7860 est déjà utilisé, une autre instance de Gradio est probablement encore ouverte. Il suffit de retrouver sa fenêtre ou de fermer l’ancienne instance avant de relancer le programme.

4. Choisir la bonne base documentaire

RAG-Gradio sépare les documents en plusieurs bases thématiques :

• Géopolitique ;
• Informatique ;
• Sciences ;
• Voyages ;
• Littérature ;
• Général.

Avant d’indexer un document ou de poser une question, il faut toujours vérifier la base active. Un livre placé dans la mauvaise base ne sera pas retrouvé lorsque l’on interrogera la bonne catégorie.

5. Indexer des fichiers EPUB

L’onglet Indexer EPUB propose deux méthodes.

Ajouter un ou plusieurs livres

1. Choisir la base documentaire.
2. Glisser les fichiers EPUB dans la zone prévue, ou cliquer pour les sélectionner.
3. Cliquer sur Indexer les EPUB sélectionnés.
4. Attendre le compte rendu dans le journal EPUB.

Indexer tout un dossier

On peut également saisir le chemin d’un dossier contenant plusieurs EPUB. L’option Inclure les sous-dossiers permet de parcourir toute son arborescence. Cette méthode est pratique pour constituer rapidement une base importante.

6. Indexer des PDF

L’onglet Indexer PDF fonctionne de la même manière : sélection de fichiers, ou indexation récursive d’un dossier complet.

Les PDF contenant du vrai texte conservent des repères de pages. Les références affichées dans une réponse sont donc généralement plus faciles à vérifier que celles provenant d’un EPUB, dont la pagination peut varier selon le lecteur et la taille d’affichage.

7. Vérifier l’inventaire

L’onglet Inventaire affiche la liste des documents enregistrés dans la base active. Il permet notamment de :

• vérifier qu’un ouvrage a bien été pris en compte ;
• contrôler le nombre de documents de la base ;
• repérer un fichier placé dans une mauvaise catégorie ;
• distinguer les EPUB des PDF.

Le bouton qui efface le registre d’une base doit être utilisé avec prudence. Il ne remplace pas une procédure normale de maintenance et ne doit jamais être actionné simplement pour « essayer ».

8. Poser une question aux documents

1. Ouvrir l’onglet Poser une question.
2. Sélectionner la base documentaire à interroger.
3. Saisir une question suffisamment précise.
4. Cliquer sur Demander.
5. Lire la réponse, puis vérifier les sources citées.

La question peut être formulée naturellement en français, même lorsque certains documents sont en anglais. Le modèle rédige la réponse en français à partir des passages sélectionnés.

Dans cet exemple, la question « Qu’est-ce que la géopolitique ? » produit une synthèse, une comparaison de plusieurs approches et des références [S1] à [S8]. Ces repères renvoient aux extraits affichés avec la réponse.

Comment obtenir une meilleure réponse

• choisir une base cohérente avec le sujet ;
• poser une question précise plutôt qu’un thème réduit à un seul mot ;
• demander explicitement une comparaison, une chronologie ou une liste d’arguments si c’est le résultat recherché ;
• fractionner une question très vaste en plusieurs questions successives ;
• vérifier les citations importantes dans les ouvrages originaux.

9. Résumer un document entier

RAG-Gradio peut également produire le résumé d’un ouvrage précis présent dans le corpus.

Il suffit d’indiquer par exemple : « Résume le livre :  In Retrospect de R. McNamara ». Le programme identifie alors le document concerné, en analyse les principales parties et en extrait les idées essentielles. Par défaut, le résumé est limité à environ 80 lignes, mais une autre longueur peut être demandée. Cette fonction est particulièrement pratique pour prendre rapidement connaissance d’un livre avant de décider de l’étudier plus en détail.

10. Retrouver directement un passage

L’onglet Retrouver un passage n’a pas le même rôle que la conversation RAG. Il interroge directement la base ChromaDB et restitue le passage trouvé, avec les passages voisins et les informations de source disponibles.

Cette fonction est particulièrement utile lorsque l’on se souvient d’une idée ou de quelques mots sans retrouver le livre ou l’emplacement exact.

11. Sauvegarder une réponse

Le bouton Sauvegarder la conversation crée un fichier HTML dans le dossier D:\RAG_Gradio\exports. Son nom contient la base, la date, l’heure et une partie de la question.

Le fichier HTML peut ensuite être :

• rouvert dans un navigateur ;
• archivé avec le dossier de recherche ;
• transmis à une autre personne ;
• imprimé ou enregistré en PDF depuis le navigateur.

12. Limites à connaître

• Une citation n’est pas une preuve absolue : les renvois [S1], [S2], etc. doivent être vérifiés dans les sources originales pour un travail important.
• La sélection est limitée : le modèle reçoit les huit passages jugés les plus pertinents. Une comparaison portant sur de nombreux livres peut donc omettre un ouvrage qui n’apparaît pas dans ces huit résultats.
• Les PDF scannés demandent un OCR : sans texte reconnu, l’indexation ne peut pas produire de résultat utile.
• Les EPUB n’ont pas toujours de pagination stable : le titre et le contenu du passage sont alors les meilleurs repères.
• La vidéo reste expérimentale : l’onglet YouTube dépend de la présence de sous-titres ou d’une transcription réalisée avec Whisper. Il n’est pas nécessaire pour l’usage documentaire principal et peut rester hors service.
• Le modèle actuel est distant : les passages retenus pour répondre sont envoyés au service du modèle cloud.

13. Sauvegarde et entretien

Les bases sont rangées dans D:\RAG_Gradio\bases et les conversations sauvegardées dans D:\RAG_Gradio\exports. Avant toute modification importante du programme ou de ses modules, il est prudent de copier l’ensemble du dossier D:\RAG_Gradio.

Les documents d’origine doivent également être conservés séparément. La base ChromaDB est un index de travail : elle ne remplace pas la bibliothèque originale.

14. Mode d’emploi express

1. Lancer lancer_RAG.bat.
2. Ouvrir http://127.0.0.1:7860.
3. Choisir la bonne base.
4. Indexer les EPUB ou PDF nécessaires.
5. Contrôler l’inventaire.
6. Poser une question ou rechercher directement un passage.
7. Vérifier les sources.
8. Sauvegarder la conversation si elle doit être conservée.
9. Arrêter Gradio avec le bouton prévu ou fermer sa fenêtre.

RAG-Gradio ne remplace ni la lecture ni la vérification des documents. Il sert surtout à explorer une bibliothèque importante, à rapprocher rapidement plusieurs sources et à retrouver un passage qui serait autrement difficile à localiser.

15. RAG-Gradio : quand une bibliothèque devient un corpus vivant

RAG-Gradio ne se contente pas d’indexer des livres et des vidéos. Il retrouve les informations pertinentes dans un vaste corpus, les rapproche et mobilise une intelligence artificielle pour produire une véritable analyse critique. Cette démonstration de trois minutes montre l’intégration d’une vidéo YouTube, son interrogation ciblée et la génération d’une synthèse structurée.

↑ Retour en haut de page