Le grands modèles de langages : Interview du Dr Fleuret

Cet article vise à explorer diverses questions liées à l’essor des grands modèles de langage (LLM). Nous traiterons notamment de l’impact futur de ces modèles sur le marché du travail et sur notre société, ainsi que des défis actuels de l’IA, des questions éthiques qu’elle soulève, ainsi que de l’état du développement de l’intelligence artificielle (IA) en Suisse. Pour éclairer ces aspects, nous avons eu l’opportunité de consulter le Dr. François Fleuret de l’Université de Genève, un expert renommé, avec une vaste expérience dans le domaine des réseaux neuronaux, qui vient d’écrire un livre sur le sujet du DeepLearning.

Intelligence artificielle et mathématiques

Le Dr. Fleuret nous explique son parcours : « L’informatique a toujours été un domaine qui m'intéressait, en particulier parce que c'est très logique et formel, et que cela permet facilement de construire des choses et de tester des idées sans que les erreurs ne coûtent trop cher. L'intelligence artificielle est l'extension logique de ma passion pour l'informatique, qui touche en plus à des sujets comme les sciences cognitives, les neurosciences ou même la philosophie. »

Il a également un diplôme en mathématiques. « C’est une histoire complexe » nous confie-t-il. « En réalité, j’ai consacré une grande partie de ma vie à l’informatique, même à la maison. Au moment de décider dans quelle branche poursuivre mes études en Master, j'ai discuté avec plusieurs professeurs, dont un mathématicien qui m'avait répondu qu'on peut pratiquer l’informatique à la maison, mais que par contre les mathématiques s'étudie à l’école. C’est ainsi que j’ai opté pour un Master puis une thèse en mathématiques. Mais cette dernière était dans le domaine de l'apprentissage statistique pour la détection d'objets, donc très colorée informatique. »

The Little Book of Deep Learning

Le Dr. Fleuret vient de publier un livre The Little Book of Deep Learning, destiné à un public qui a des connaissances en mathématiques et en informatique. En effet, ce livre est né de discussions avec un ami qui a une formation en informatique et en mathématiques, mais qui ne connaissait rien au deep learning. Cependant, il est en train de réfléchir à l’écriture d’une version plus vulgarisée.

Les domaines impactés par l’IA

« L’IA a déjà impacté de nombreux domaines », nous explique le Dr Fleuret. En réalité, tous les secteurs sont touchés, y compris ceux qui traitent des données de manière moins créative. Même le texte et les données de bureau ne sont pas épargnés. Par exemple, des outils comme ChatGPT sont incroyablement efficaces pour la relecture, la détection des fautes de frappe, et les corrections grammaticales. La traduction est également remarquable. Ces systèmes peuvent même écrire et programmer du code de manière très performante. Ainsi, un ingénieur qui utilise de tels outils devient quatre fois plus productif. La création d’illustrations est également à sa portée. On commence même à parler de la possibilité de générer des preuves mathématiques.

Nous avons même mis sur pied une entreprise, Neural Concept, qui entraîne d’énormes réseaux de neurones à simuler la mécanique des fluides. Par exemple, on leur fournit la forme d’une aile d’avion, et ils sont capables de calculer instantanément la pression sur cette aile, sans avoir besoin de faire une simulation complète.

Défis actuels de l’IA

Parmi les défis actuels dans le domaine de l’intelligence artificielle, le Dr. Fleuret commence par évoquer le défi de “l’ancrage” des modèles de langage, soulignant qu’ils sont principalement conçus pour imiter la langue plutôt que pour mémoriser des faits spécifiques.

L’un des défis à venir, selon lui, est de développer des modèles de langage capables de vérifier par eux-mêmes les informations qu’ils avancent. Par exemple, lorsqu’on leur demande la date de naissance de Winston Churchill, ces modèles devraient être en mesure de consulter une source fiable, comme Wikipédia, pour fournir une réponse précise plutôt que de simplement générer une réponse approximative.

Le deuxième défi abordé concerne l’interprétabilité et la confiance dans les modèles de langage. Le Dr. Fleuret soulève l’absence d’une certification formelle garantissant que ces modèles ne généreront pas de contenu sexiste ou raciste. Bien qu’il soit possible de les entraîner pour minimiser de tels comportements, il reste toujours une incertitude quant à leur réaction dans certaines situations. En résumé, les défis actuels dans le domaine de l’IA incluent la nécessité de développer des modèles de langage capables de vérifier leurs propres informations et d’améliorer l’interprétabilité et la certification pour garantir des comportements éthiques et fiables de ces modèles.

Une question de puissance de calcul

La conversation s’est ensuite focalisée sur l’écart entre les laboratoires académiques suisses et les grandes entreprises technologiques en termes de puissance de calcul. Le Dr. Fleuret indique que, même s’il s’agit de laboratoires de premier plan, ils ne disposent que d’une fraction de la puissance de calcul nécessaire pour former des modèles de langage à grande échelle. Il est essentiel d’avoir de grandes entreprises avec des ressources financières substantielles pour réussir de tels projets complexes.

Concernant l’évolution future de la situation, le Dr. Fleuret explique que les modèles actuels, parfois appelés à tort les “Fundation Models”, exigent d’importantes ressources, notamment des milliers de GPU et des semaines de calcul intensif. Il a affirmé que la Suisse regorge de talents techniques capables de relever ces défis.

Le Dr. Fleuret confirme que la puissance de calcul est le principal obstacle au développement des modèles de langage. Les grandes entreprises technologiques, telles que Google, Meta, Microsoft, Amazon et Baidu disposent déjà d’une infrastructure informatique solide pour leurs activités de base. Lorsque l’IA est devenue cruciale pour leurs activités, elles ont rapidement augmenté leurs capacités de calcul pour répondre à la demande croissante. Par exemple, il a mentionné que Google développe ses unités de traitement tensoriel (TPU) depuis plus de dix ans, bien que celles-ci n’aient pas été initialement conçues pour former des modèles de langage. Il a également noté que les modèles actuels atteignent des échelles considérables, avec certains comptant jusqu’à 200 milliards de paramètres.

Un algorithme relativement simple qui rend des objets très complexes

Stephen Wolfram a écrit récemment un article, dans lequel il exprimait sa surprise, quant à l’efficacité du modèle ChatGPT malgré sa complexité. Il a également souligné que bien que le modèle soit composé de modules relativement simples, il est étonnant de voir comment il parvient à imiter le langage humain.

Le Dr. Fleuret explique que l’algorithme principal utilisé pour les modèles de langage n’est pas techniquement complexe et peut être programmé par un étudiant en master. Il a lui-même réécrit un tel algorithme à partir de zéro pour mener des expériences, notant que cela n’exige que quelques centaines de lignes de code. Cependant, il souligne que ce qui rend ces modèles complexes, c’est la phase d’entraînement qui transforme cet algorithme en un objet extrêmement complexe.

Surprise parmi les experts

Le Dr. Fleuret note également que la performance impressionnante des modèles d’IA, tels que ChatGPT, a surpris même les experts du domaine et a suscité des préoccupations chez certains chercheurs de renom.

« … Douglas Hofstadter a récemment fait une vidéo où il explique qu'il est extrêmement surpris et un peu inquiet par les performances du système des modèles de langage, de même que Jeoffrey Hinton, un des trois plus grands pionniers du deep learning avec Joshua Bengioet Yann LeCun. Hinton et Bengio ont commencé par dire qu’il faut faire attention, qu’il faut moins développer l’IA, qu’il faut se méfier. Je pense que tout le monde est surpris ... ».

Cela soulève des questions éthiques : Jusqu’où peut-on aller avec l’IA ? Devrait-on fixer des limites ?

En fin de compte, les questions éthiques liées à l’IA sont complexes et suscitent des débats dans la communauté. Il n’y a pas de réponses claires, .

Conclusion

En somme, notre discussion avec un expert en grands modèles de langage a mis en évidence une série de questions complexes. Certaines, comme leur impact sur la société et le marché du travail continuent de susciter des interrogations sans réponses claires.

Actuellement, le développement de ces grands modèles de langage est principalement entre les mains des grandes entreprises technologiques (GAFAM). Toutefois, il est envisageable que cette situation évolue à mesure que la puissance de calcul nécessaire devient plus accessible à un plus large éventail d’acteurs.

En parallèle, la compétence consistant à formuler des requêtes efficaces pour interagir avec ces modèles, ce que l’on appelle le « prompting », prend de plus en plus d’importance. Cette aptitude se révèle de plus en plus précieuse dans diverses professions, ouvrant ainsi de nouvelles opportunités stimulantes.

Lectures complémentaires :

Le métier de traducteur et l’intelligence artificielle

Faut-il avoir peur de l’intelligence artificielle ?

Quelle corrélation entre le métier de banquier et l’intelligence artificielle ?

Photo credit :  ndanko via motionarray.com

Formation chatGPT & Prompt Engineering