• RAG signifie donc Retrieval Augmented Generation ; en français, on parle de « génération augmentée de récupération ».
• Un RAG permet à une intelligence artificielle générative conversationnelle (comme ChatGPT) d’interagir avec un corpus délimité.
• Bonus non négligeable, grâce au RAG, l’outil est en principe capable de citer ses sources c’est à dire de lister précisément les documents du corpus sur lesquels il s’est basé pour répondre, voire de fournir des extraits et des citations.
• Les grands modèles de langue
• présentent la particularité de mélanger une fonction linguistique (construire des phrases correctes dans plusieurs langues) et des connaissances, qui s’appuient sur les données d’apprentissage qui leur sont fournies à savoir, globalement, de grands corpus de texte issus du web ou de bibliothèques numériques.
• le phénomène qu’on a appelé hallucination, c’est-à-dire que lorsque le modèle n’a pas la connaissance nécessaire, il produit quand même du langage et donc raconte n’importe quoi.
• ChatGPT est un modèle de langue, son rôle est de générer du langage et pas de rechercher des informations.
• Le principe du RAG est donc d’augmenter (A) la fonction générative (G) avec une fonction de recherche (R) dans un corpus externe.
• trois méthodes pour améliorer les résultats d’un LLM en maîtrisant davantage la source des connaissances qu’il utilise pour répondre :
• le prompt-engineering
• agir au niveau du prompt
• e fine-tuning,
• réentraîner le modèle sur un corpus choisi pour lui apprendre à répondre de manière plus spécifique
• le RAG
• repose sur la séparation de la fonction langagière du LLM et de la base de connaissances qui la sous-tend.

13 more annotations...