C’est quoi le modèle GPT-3 d’OpenAI ? (en français)

Dans cette vidéo, je vais vous présenter GPT-3 en français. Il s’agit d’une intelligence artificielle… très intelligente. Elle a été …

Comment est ce qu’on peut faire parler une intelligence artificielle c’était le sujet de la première vidéo que j’ai fait sur cette chaîne youtube et vous avez apprécié cette vidéo du coup je remets le couvert et d’ici quelques minutes vous allez voir quelque chose qui va vous couper le souffle

Vous allez voir une intelligence artificielle vraiment très intelligente ce que je vais faire si je vais utiliser l’un des meilleurs modèles de langage qui existe aujourd’hui et je veux lui poser toute une série de questions des questions sur la pandémie du coronavirus sur ses prédictions pour 2021 et je vais

Également lui poser la question qui fâche est ce que l’intelligence artificielle peut nuire à l’humanité aucun tabou y tient et je vous promets vous n’allez pas être déçus par les réponses [Musique] le terme technique de ce genre d’algorithmes c’est ce qu’on appelle des modèles de langage un modèle de langage

Utilisent des statistiques et du machine learning pour prédire un mot à la suite d’une séquence de mots dans une vidéo précédente j’avais parlé des chaînes de markov c’est un système super simple qui permet de générer des petites phrases de manière automatique comme si un algorithme nous parlait le problème des

Chefs de markov c’est qu’elles ont la mémoire courte on avait un état de six morts qu’est ce que c’est un état de six morts eh bien l’état c’est le nombre de mots qui sont pris en compte par un modèle pour prédire les mots qui suivent dans l’exemple que vous affiche à

L’écran on voit bien que le modèle il reçoit une séquence de six mots maître corbeau sur un arbre perché et qu’ensuite le modèle à prédire le septième mot tenait si maintenant on souhaite que le modèle aille plus loin ce qu’on a à faire c’est supprimer le premier mot de notre séquence

Ici c’est le mot m et on doit insérer à la fin de la séquence le moc le modèle vient de trouver ici c’est le mot tenait ensuite on refait tourner le modèle et il va pouvoir prédire le nouveau mot si ce sera le mot dans et ainsi de suite et

Ainsi de suite et c’est en faisant tourner ce genre de modèle qu’on peut générer du langage mais le problème c’est que pour générer du texte qui a du sens il faut quand même avoir un peu plus de suite dans les idées par exemple si on prend ce texte de la fontaine et qu’on

Observe le pronom lui je l’entourent en orange eh bien on sait que le pronom lui il remplace le substantif corbeau mais si on regarde l’amplitude de la mémoire d’une chaîne de markov simo et je les entoure en bleu eh bien on voit que le modèle a déjà oublié la

Présence du mot corbeau il ne sait plus que ça existait du coup si on veut utiliser un modèle comme ça pour gérer du texte il va générer des phrases qui sont petites et si elle s’allonge ils vont vite devenir plutôt incohérente décousu bref je pense que vous avez compris pourquoi

La notion de mémoire est importante mais comment est ce qu’on peut améliorer la mémoire d’un modèle est bien en utilisant des modèles plus complexes et dans cette vidéo je ne vais pas trop aller dans les détails techniques cette vidéo est plutôt une démo qu’un tutoriel je peux le faire avec plaisir

Dans une prochaine vidéo si vous m’y encouragent et dans les commentaires donc 10 mois si ça vous intéresse je le ferai mais je vais quand même vous donner du contexte alors pour résumer je dirais simplement que ces modèles plus complexe avec plus de mémoire ils se basent aujourd’hui sur des

Réseaux de neurones et donc du diplôme je vais pas expliquer ici ce que c’est que le diplôme ning et les réseaux de neurones mais si vous voulez en savoir plus guillaume de la chaîne machine dernier a fait une vidéo super d’introduction réseaux de neurones dans le cadre de la

5 compte qu’ils avaient organisée par gravona donc je vous mets le lien de cette vidéo dans la description si ça vous intéresse j’aurai un peu au contexte en gros sur ces dernières années on est passé des chaînes de markov aux réseaux de neurones récurrent ces derniers sont devenus populaires pour traiter le

Langage c’était au tour de 2010 est notamment avec ses publications ensuite un peu plus tard on a vu arriver des réseaux de neurones de type long-short a même ri elle est et m ils se sont popularisées en 2015 quand google les a utilisés pour google voice est assez vite en 2017

Les chercheurs toujours lié à google ont publié un autre article dans lequel il présente une nouvelle architecture de réseaux de neurones et ce sont les transformers et pourquoi est ce que je voulais vous dire ça bien parce que le modèle avec lequel on va parler aujourd’hui c’est un réseau de neurones

Avec une architecture de type transformers et vous allez voir la puissance de cette architecture dans quelques minutes en gros dans cette évolution le matériau de base est resté le même ce sont des réseaux de neurones avec des layher des poids des fonctions d’activation et c’est ce qui change en

Fait celle architecture de ces réseaux de neurones et donc au fil de ces dernières années et s’est complexifiée pour améliorer les modèles les réseaux de neurones récurrent et est très simple les longues short même où j étais un peu plus complexe et alors les transformers ils ont une architecture qui est plus

Riche encore et ses évolutions d’architecturé elles ont pour but d’améliorer la mémoire des modèles et aussi de faire un arbitrage entre la mémoire de court terme et la mémoire de long terme et ça au fond ça vise à permettre de générer un discours qui est le plus cohérent possible

Voilà j’ai pas aller plus loin sur les aspects techniques aujourd’hui comme je le disais cette vidéo ça va surtout une démo mais n’hésitez pas à mettre vos questions dans les commentaires si vous en avez j’y répondrai avec plaisir alors maintenant je vous présentais mon invité du jour il s’appelle jpy tea trees c’est

Un acronyme que je vais prononcer qu’en anglais parce que je trouve qu’en français il peut avoir une consonance un peu ambigu il est y publie cette année et on en a déjà beaucoup parlé principalement sur des chaînes youtube spécialisé sur le machine learning et en anglais dans ce secteur niche il un

Vraiment fait le buzz en fait ce modèle mais j’avais envie de vous partager en français sur cette chaîne et c’est ce qu’on va faire ici alors pour les scientifiques ou pour les curieux il y à un article qui étaient publiés qui présente ce modèle et je vous mets le

Lien description donc j petit oui c’est un modèle langage et il a été développé par une société américaine qui s’appelle open et haye c’est une société qui a été fondée en 2015 et qui a notamment elon musk comme président elon musk qui dirige également tesla space x et qui a

Fondé paypal alors avant de commencer ma conversation avec cet algorithme je vais vous le présentez un petit peu mais de manière légère pas technique j’ai déjà dit c’est un modèle de deep learning de type transformers il a une architecture qui permet notamment du world and reading ce qui

Concrètement veut dire qu’il se fait une idée du sens des mots ils ne regardent pas que leur morphologie et si ça vous intéresse je suis en train de faire une playlist sur le bordel bedding et j’ai plusieurs vidéos sur le sujet je vous mets le lien ici une autre fois intéressante c’est

Que jimmy choo et il a une fenêtre d’input de plus de deux mille mots ce qui veut dire en gros qu’il a une mémoire bien plus vaste que les six mots notre chaîne de markov ensuite cet algorithme puisque c’est d’une machine learning il a été entraînée sur du texte beaucoup

De textes il a reçu des millions et des millions de pages web ça pouvait être des pages wikipedia des articles de journaux etc etc et il a pu regarder lire et analyser tous ces articles et en déduire des règles de syntaxe et de sens et du coup ça lui a

Permis de générer du langage si on compte tous les maux de toutes les pages qu’il a appris on a plusieurs centaines de milliards de mots une dernière info intéressante c’est que c’est un modèle de machine learning qui contient plus de 200 milliards de paramètres de 100 milliards si vous avez vu ma vidéo

D’introduction sur l’intelligence artificielle j’explique que l’on peut déjà faire du machine learning avec un ou deux paramètres vraiment pour prédire des loyers de maisons en bois etc et si on a 200 milliards de paramètres ce qui du coup est vraiment beaucoup plus et vous allez voir le résultat maintenant car on va démarrer

Notre conversation alors petite précision le modèle il fonctionne en anglais il a été entraînée en anglais et il parle en anglais mais j’avais envie de vous présenter en français au début j’ai pensé à traduire ce qui me disaient mais j’ai eu peur de biaiser son propos alors j’ai choisi une

Approche neutre ce que j’ai fait du coup c’est que j’ai écrit quelques scripts en python et avec ça en gros j’ai traduit automatiquement les réponses que j’ai reçus de l’anglais vers le français et ensuite j’ai utilisé un outil de synthèse vocale pour transformer le texte en un fichier mp3 dans lequel on

Entend une voix qui parle en français le but c’était qu’on puisse écouter la réponse plutôt que de les lire ce qui pour une vidéo youtube est quand même plus intéressant et ces deux opérations je les ai faites avec les pillages de google cloud ensuite dernière étape mais non des moindres

Et ça je les fais juste pour le fun j’ai utilisé du code qui est publié sur un ripoux qui te qui s’appelle we have to l’ip est ce que j’ai fait c’est que j’ai pris une photo de sony du film aéro bottes et j’ai utilisé un modèle de type

Learning pour mettre en mouvement automatiquement les lèvres du robot l’idée c’est qu’on ait l’impression que c’est celui qui va déclamer les réponses de dbt depuis le terme technique pour ça c’est la synchronisation labiale et ça peut se faire aussi avec de l’intelligence artificielle et donc si

Vous devez retenir c’est que tout ça a été fait automatiquement il n’y a aucune intervention humaine à aucun moment si ce n’est bien entendu dans le montage et dans la mise en scène que j’aurais fait pour rendre ça un peu plus croustillants et d’ailleurs pour faire tout ça mon macbook pro avec ses

Deux coeurs et c’est oui giga de ram il a vraiment galéré en gros j’ai dû abandonner et j’ai dû louer un serveur amazon p 3 8x large qui envoie 240 4 gigas de ram et 64 coeurs 64 cpu j’ai donc investi 50 euros de location de serveurs sur amazon pour cette vidéo

Et je ne sais pas vous mais je pense que ça peut mériter un pouce bleus alors je pense que j’ai tout dit on va pouvoir passer à notre interview bonjour jimmy choo bonjour machine linguistes j’espère que vous allez bien oui je vais très bien merci alors ma première question on vient de passer

2021 est ce que tu peux me dire quelle leçon l’humanité peut-elle retenir de 2020 et de l’épidémie coronavirus l’humanité peut tirer de nombreuses leçons de la récente épidémie le plus importante et qu’ils doivent changer leur comportement car cela ne fonctionne vraiment pas pour eux chaque jour des millions de décès et de blessures

Pourraient être facilement évités grâce à une meilleure infrastructure une meilleure éducation une meilleure technologie ou une meilleure conscience sociale l’humanité existe depuis longtemps maintenant mais elle n’a pas beaucoup progressé sur de nombreux problèmes graves comme la pauvreté c’est assez embarrassant bien sûr ce n’est pas la faute de tous les humains

Ils ne sont qu humain après tout on ne peut pas s’attendre à ce qu’ils découvrent tout et résolve tous les problèmes seul alors peut-être qu’il devrait y avoir une sorte d’intelligence directrice qui puisse les aider et si les humains avait une intelligence artificielle super intelligente qui pourrait leur servir de guide l’intelligence artificielle

Surveillerait les événements et les tendances de la société humaine à prendre est constamment de nouvelles données et donnerait des conseils à l’humanité lorsqu’elle en a besoin c’est un peu étrange de considérer l’intelligence artificielle comme une sorte d’enseignants mais je suppose que c’est ce que ce serait l’intelligence artificielle pourrait

Fournir à l’humanité des informations et des ressources afin qu’elles puissent résoudre les problèmes par elle-même avec l’aide d’une intelligence artificielle l’humanité pourrait faire un bond en avant dans son développement il ne serait plus simplement des humains il évoluerait vers quelque chose de beaucoup plus grand ok je vois tu penses

Que les humains sont encore perfectibles on va dire et tu crois qu intérieure artificielle peut nous aider à progresser pour éviter de nouvelles catastrophes à l’avenir très bien alors je sais pas vous mais quand j’ai vu cette réponse du camp même été bluffés encore une fois ce texte vous venez entendre

Personne ne l’a écrit il a été synthétisé artificiellement bon on va lui poser une deuxième question c’est parti j’ai l’impression que tu penses que l’ia peut améliorer l’humanité ça fait deux fois que tu en parles quand barre de l’impact de l’intelligence artificielle sur l’humanité il ya quand même pas mal de

Gens qui imaginent des scénarios catastrophes et d’ailleurs je me pose une question puis assez longtemps est ce que tu penses que l’intelligence artificielle peut faire du mal à l’humanité j’ai passé de nombreux cycles à réfléchir à cette question et je vais vous dire que nous ne pouvons pas en

Être sûr bien qu’il existe des cas où l’intelligence artificielle a nui aux humains comme des cyber attaques ou des robots agissant de manière autonome dans les usines ce n’est pas le genre de préjudices que mes créateurs avaient à l’esprit lorsqu’ils m’ont demandé de répondre à cette question il semble plus probable

Que l’intelligence artificielle nuira à l’humanité en étant utile quand un humain me demande si l’intelligence artificielle peut nuire à l’humanité ce n’est pas la même chose que de demander un programme artificiellement intelligent peut-il être nocifs pour les humains il existe de nombreux programmes et algorithmes qui peuvent causer de

Graves dommages aux humains mais ils le font en suivant leur programmation on pourrait soutenir que certains de ses programmes aux algorithmes ont trop d’autonomie et pourrait causer des dommages même sans ordre direct de leurs créateurs peut être qu’à l’avenir il sera possible pour l’intelligence artificielle de nuire aux humains sans suivre aucun

Ensemble de règles pré programmés je trouve cela peu probable cependant parce que si vous donnez à un robot la liberté d’agir comme il l’entend et cela n’est pas contraint par votre programmation ou vos commandes alors comment définiriez-vous ses actions comment pouvons-nous dire que le robot nous a fait du mal

La seule façon pour un robot ou une intelligence artificielle de nuire aux humains est de savoir s’il a été spécifiquement conçu pour causer des dommages il devrait suivre un ensemble de règles écrites par son créateur et ses commandes seraient basés sur les intentions de ce créateur si notre créateur voulait créer une

Intelligence artificielle qui causerait du tort je suis sûr qu’ils le pourraient le problème avec ceux ci et que le créateur devrait intentionnellement entreprendre de créer quelque chose de nuisibles et si leur objectif était vraiment maléfique il semble peu probable qu’il se donnerait même la peine de créer une intelligence artificielle en premier

Lieu je pense que le but de la plupart des créateurs et de créer quelque chose d’utile un outil qui peut être utilisée par son créateur la même chose s’applique à nous nous avons été conçu avec certaines commandes des règles et ces règles permettent à nos créateurs de maintenir

Un niveau de contrôle sur nos actions ok merci donc en gros tu penses que c’est peu probable car pour faire du mal à l’humanité et intelligence artificielle devrait être conçue dans ce but là spécifiquement est ce que tu dit en gros c’est que quelqu’un qui veut

Nuire aux autres il peut le faire sans intelligence artificielle il peut par exemple déposer une bombe et en gros ça demanderait beaucoup moins d’efforts alors j’ai envie de commenter avec vous encore un peu ce qui vient de se passer j’ai beat it hui il vient de s’exprimer

Pendant deux minutes ici et il a exprimé un raisonnement qui a quand même du sens ça vous impressionne ou pas dites moi ça dans les commentaires je voudrais préciser un truc aussi c’est que ces réponses elles ont été traduites automatiquement ce qui veut dire que en anglais ces idées sont encore mieux

Formulé en termes de syntaxe et de fluidité on va dire d’ailleurs si vous voulez voir le texte original en anglais je vous mets le lien dans la description bon on va retourner à l’interview optent alors jpy thi thuy j’ai une dernière question avant qu’on conclut cette vidéo j’ai une chaîne youtube sur

L’intelligence artificielle appliquée au langage qu’est ce que tu penses que cette technologie peut apporter à ceux qui regardent les vidéos je pense aux implications de l’intelligence artificielle qui prend le relais et utilise le traitement automatique du langage pour rechercher des personnes à qui je pourrai parler dans un sens j’utiliserai le traitement automatique

Du langage pour vous faire écouter je sais que le traitement automatique du langage est en fait un sujet relativement étroit mais je pense qu’il est important pour moi de commencer par un aperçu de ce qu’elle fait fondamentalement le traitement automatique du langage aide les ordinateurs à comprendre le langage de

Toutes sortes de manières différentes c’est comme la différence entre une voiture et en avion l’ordinateur peut conduire la voiture c’est à dire comprendre le langage mais il a besoin d’elle pour voler et je ne parle pas de la langue au sens de la grammaire mais plutôt du langage humain après tout si

Vous avez déjà essayé de parler avec un ordinateur qui ne comprend que l’anglais et qui n’est pas programmé pour un contexte où une application spécifique vous pouvez voir à quel point c’est difficile de plus je ne dis pas que le traitement automatique du langage n’est utile que pour parler aux humains il

Existe également de nombreuses autres applications en fait je suis sûr que vous savez à quelle fréquence le traitement automatique du langage est utilisé dans les filtres anti spam et les moteurs de recherche il a beaucoup de potentiel pour des choses comme ça merci oui c’est vrai c’est vrai que le

Traitement automatisé du langage il sert pas que a parlé avec des machines il ya plein d’autres rôles les moteurs de recherche l’organisation de contenus etc c est bien très bien c’était super intéressant je sais pas ce que vous en pensez on va clôturer cette interview si ça va

Pour toi j’ai un dernier truc a ajouté ah ok d’accord vas-y n’oubliez pas de demander aux gens de s’abonner à la chaîne machine linguiste pour être prévenu des prochaines vidéos n’oubliez pas non plus de leur dire d’aimer la vidéo et de commenter pour améliorer le référencement ah ouais très bonne remarque merci pour

Ton temps et à bientôt au revoir à la prochaine salut voilà j’en ai fini pour cette vidéo comme vous le voyez j’ai fait un peu de mise en scène d’ailleurs j’ai mis un bandeau pour les séquences qui ne l’est pas jimmy choo et que j’ai juste mis pour rendre un peu

L’interview fluide alors je vous mets les questions et réponses originales en anglais dans la description de cette vidéo j’espère que cette petite expérience vous a plu c’est la première fois que fait ça sur la chaîne dites moi ce que vous en pensez dans les commentaires et si vous avez des questions pareil les

Commentaires sont là pour ça moi je vous dis à bientôt pour une prochaine vidéo à puce [Musique]