Une nouvelle approche pour créer des algorithmes de génération de langage

« Actuellement, la plupart des algorithmes de génération de langage sont basés sur des réseaux de neurones déterministes, résultant en des mécanismes de décodage de séquences de mots qui produisent du langage soit dégénéré, soit simplifié et trop générique. » C’est le problème qui guide les travaux d’Alice Martin, jeune chercheuse au sein de la Chaire « Next-Gen RetAIl », portée par Éric Moulines, chercheur au Centre de mathématiques appliquées (CMAP*).

En effet, les algorithmes de génération de texte classiques (tels que les chatbots, les algorithmes de génération de légendes visuelles ou de synthèse de texte) sont entraînés par apprentissage supervisé. Cette méthode consiste à fournir un jeu de données à l’algorithme où la valeur d’entrée et la valeur de sortie sont toutes deux indiquées. Cependant, les jeux de données supervisées doivent être construits à la main, processus coûteux et long. De plus, l’utilisation de l’apprentissage supervisé conduit souvent à des algorithmes restituant un langage qui reproduit les biais présent dans les données.

De l'incertitude naît la flexibilité
Afin de résoudre ces problèmes, la jeune chercheuse a tout d’abord créé un réseau de neurones stochastique (c’est-à-dire intégrant une part d’aléatoire) pour des données séquentielles, baptisé « Monte Carlo Transformer ». Celui-ci intègre de l’aléa dans son fonctionnement, permettant ainsi de modéliser une part d’incertitude dans ses prédictions. L’objectif derrière cet ajout est que les données de sortie ne soient pas des valeurs uniques mais une distribution de valeurs possibles, à partir desquelles est calculée une marge d’erreur. Pour entraîner le réseau de neurones et estimer cette distribution de prédictions, Alice Martin a fait appel aux méthodes de Monte-Carlo séquentielles qui sont intégrées dans l’algorithme d’entrainement du réseau de neurones.

Ainsi construit, le transformeur est capable de restituer une séquence de données accompagnées d’une distribution des valeurs qu’elles peuvent prendre. L’intégration de l’incertitude permet par exemple, dans le cadre du traitement du langage naturel, à un algorithme de traduction d’attribuer une valeur de confiance aux mots qu’il traduit, et de proposer un éventail de traductions plutôt qu’un mot unique. Il s’applique de manière similaire pour les problèmes de prévision de séries temporelles pour lesquels il permet de modéliser l’aléa dans les données d’entrée (erreurs de mesure, etc).

Un algorithme pour en guider un autre
Une fois la flexibilité linguistique prise en compte, Alice Martin a cherché à entraîner les algorithmes de génération de texte par apprentissage par renforcement afin de se passer de jeux de données supervisés, et de résoudre certains des problèmes de dégénération du langage. Cette méthode laisse libre cours à l’algorithme d’explorer un espace d’actions (en l’occurrence les mots d’un vocabulaire) dans un environnement où les règles lui sont imposées. Chaque action de l’algorithme, appelé agent dans ce processus, est associée à une valeur de « récompense » qui lui indique si son action l’a rapproché de son but ou non. Une méthode très proche a été utilisée notamment pour entraîner les algorithmes aux jeux d’échecs.

Cependant, un modèle de langage présente au moins 10000 mots de vocabulaire que l’agent peut mettre bout à bout aléatoirement lors de son apprentissage. Une exploration efficace dans un tel espace d’actions devient très difficile, et les chances pour qu’une phrase intelligible soit créée ainsi sont très faibles. C’est pourquoi la jeune chercheuse a construit un algorithme d’apprentissage par renforcement pour « guider » l’apprentissage de l’agent. Celui-ci se base sur la séquence de mots passée déjà énoncée et utilise la structure du langage pour réduire le nombre de mots possibles qui peuvent suivre dans l’espace d’actions. Les possibilités étant drastiquement réduites, l’apprentissage par renforcement peut avoir lieu.

A présent, Alice Martin travaille sur l’intégration du transformeur créé précédemment sur les modèles de langage pré-entrainés sur des multiples bases de données massives de texte, tels que les fameux « GPT-2 » et « GPT-3 » d’OpenAI. Ce dernier travail vise à proposer une méthode universelle de génération de texte (pouvant s’utiliser en apprentissage supervisé et en apprentissage par renforcement) s’appuyant sur les forces des systèmes de langage déjà existant, qui améliore la diversité et la richesse du langage produit.

*CMAP : une unité mixte de recherche CNRS, École polytechnique - Institut Polytechnique de Paris

>> à propos de la Chaire :
Portée depuis 2019 par Eric Moulines, la Chaire « Next-Gen RetAIl » a pour but d’encourager l’enseignement et la recherche en Intelligence Artificielle et en Science des Données, et de développer des algorithmes pouvant s’appliquer à la grande distribution. Soutenue par Carrefour et en interaction avec son HUB Digital, la Chaire s’inscrit dans ces thématiques de par ses recherches et enseignements portant notamment sur les IA conversationnelles ainsi que des systèmes de recommandation de produits.