GPT-3 : la gigantesque intelligence artificielle qui inquiète

En dehors du titre, le générique masculin est utilisé sans aucune discrimination et uniquement dans le but d'alléger le texte.

GPT-3 : la gigantesque intelligence artificielle qui inquiète

L’IA GPT-3 s’est fait connaître à une vitesse folle via des posts viraux sur les réseaux sociaux. Entre hype et anxiété, c’est quoi GPT-3 exactement ? Pourquoi cette IA a surpris autant de dev en particulier ? Ça change quelque chose pour le futur ?



Pour la science

Aujourd’hui, on va discuter d’intelligence artificielle. Et je sais que ce sujet a tendance à énerver beaucoup de monde à une vitesse folle. En particulier les développeurs. Pourtant, pour le moment, l’IA n’est qu’un outil comme les autres.

Je ne vais pas expliquer ce qu’est l’IA ou comment fonctionne un modèle. Je l’ai déjà fait longuement dans un article détaillé. On va tout de suite parler de ce qui déchaîne les passions, générateur de hype ou de crise d’angoisse selon le point de vue, GPT-3 !



gpt-3


L’entreprise derrière cette technologie c’est OpenAI. OpenAI est célèbre pour trois raisons principales.

La première, c’est que l’un des fondateurs est le célèbre Elon Musk. La personne qui a le plus peur de l’intelligence artificielle au monde. L’autre fondateur est Sam Altman dont on va parler plus tard.

La seconde, c’est la raison pour laquelle cette entreprise existe. Le but d’OpenAI est de développer des intelligences artificielles de façon sûr et pérenne pour l’être humain. Musk étant persuadé que l’IA incontrôlée causera la fin de l’humanité, OpenIA sert à donc à promouvoir une façon sûre d’en faire.





La troisième, c’est qu’OpenAI fait fréquemment parler d’elle avec ces impressionnants succès répétés dans son domaine. Notamment les anciens modèles GPT et GPT2. Le dernier étant notre sujet brûlant du jour.



C’est quoi GPT-3 ?

Generative Pretrained Transformer 3 (GPT-3) est un modèle de langage qui utilise l’apprentissage en profondeur (réseau neuronal) pour produire du texte. Pour les non-initiés, je me lance dans une explication très largement simplifiée qui va faire pleurer du sang les spécialistes.

Le principe d’un modèle de langage c’est de regarder une partie d’une phrase et prédire le mot suivant. GPT-3 est une technologie à qui on a fait bouffer une quantité SCANDALEUSE de texte écrit par des humains. Autour de MILLE MILLIARDS de mots via common crawl. En se basant sur ce petit échantillon, elle génère du texte (output) qui fait le plus de sens pour une demande (input).

Concrètement, en apprenant à prédire quelles lettres et quels mots ont tendance à se succéder lorsqu’ils sont écrits par un humain, GPT-3 arrivent à prédire du texte qui fait du sens dans un contexte. C’est le même concept que ton portable qui arrive à prédire le prochain mot quand tu écris un message. Sauf que c’est infiniment plus gros, plus compliqué et plus évolué.



complex


Et jusqu’ici, GPT-3 n’apporte pas grand-chose de nouveau. L’architecture de cette technologie (transformer-based) c’est la même base que la version d’avant (GPT-2). Cette architecture date de presque 3 ans. Alors qu’est ce que GPT-3 a de si spécial ?



Hors-normes

GPT-3 est absolument gigantesque ! GPT-2 était déjà énorme avec pas moins de 1,5 milliard de paramètres. Le précédent record était détenu par Turing-NLG de microsoft avec ces 17 milliards de paramètres. GPT-3 explose tous les records avec un indécent chiffre de 175 milliards de paramètres ! Du jamais vu.





Pour comprendre ce que sont que ces paramètres dans le contexte d’un réseau neuronal, je t’invite une nouvelle fois à la lecture de mon article détaillé sur le fonctionnement de l’intelligence artificielle. J’essaye de garder cet article le plus concis possible.

Qui dit taille hors normes, dit résultats hors normes. GPT-3 est capable de beaucoup trop de choses:

Et GPT-3 est capable d’autre chose qui a tout de suite inquiété les développeurs. GPT-3 est capable de produire du code. Tu veux une application todo list en ReactJS instantanément ? Y’a qu’à demander.





Elle peut en produire autant qu’elle peut le lire et l’interpréter. Elle peut le faire dans n’importe quel langage. La flemme de faire ton SQL, pas de problème. Du CSS ? Facile. Même ta 3D en Javascript ça se fait. Bref, tout ça pour dire que certaines petites taches facile que font les développeurs peuvent être automatisées par GPT-3.

Évidement, avec tout ça qui explose au même moment sur les Internets, beaucoup se sont posés la question de l’avenir des développeurs. Pour certains c’est carrément le début de la fin.

Quand je vous ai posé la question, je me suis rendu compte qu’il y avait deux camps. Ceux qui n’avaient pas du tout entendu parler de GPT-3, et ceux qui avaient été étonnés !





À l’heure où j’écris ces lignes, OpenAI refuse de donner le code source malgré son objectif de transparence. La raison officielle ? Cette technologie est trop grande et gourmande pour que les gens puissent la faire tourner eux-mêmes. Ils l’ont placée derrière un paywall qui permet à OpenAI de monétiser ses recherches.

Deux mois après la première apparition de GPT-3, la plupart des gens sont d’accord sur une chose. GPT-3 est aussi superbe que surestimé. Et c’est en particulier vrai pour les développeurs.



Overhyped

GPT-3 est super impressionnant. C’est un formidable outil pour faire beaucoup de choses. Mais le truc important à comprendre c’est que GPT-3 ne capte rien au contenu qu’elle crée. Cette technologie fait une prédiction mathématique que certaines lettres devraient apparaître dans un certain ordre.

Le boulot d’un développeur est infiniment plus compliqué. Développer une application complète et qui correspond à un besoin humain demande beaucoup de réflexion. Aucun algorithme n’a la capacité de penser aux problèmes comme le font les humains. Pas de pensée, pas de capacité de raisonnement, pas de chocolat.



gpt-3


En allant plus loin dans la réflexion on se rend compte que GPT-3 est simplement un nouvel outil pour les développeurs. C’est presque un nouveau langage ou l’interface serait directement des explications de ce qui doit être fait en lieu et place du code.

Et c’est assez pertinent de comparer les instructions données à GPT-3 à du code. GPT-3 ne comprend rien aux exigences vagues. GPT3 a besoin d’instruction très précise, chirurgicale, ou alors elle va te produire de la merde. Là où un être humain va traduire, corriger et arranger des demandes vagues, GPT-3 va juste faire n’importe quoi. Voir rien faire du tout.

GPT-3 est la plus grande table de recherche jamais créée. La superintelligence c’est une autre histoire. C’est tout sauf pour aujourd’hui et Sam Altam, le second fondateur d’OpenAI, le dit lui-même.





Et tout ça, sans même parler des nombreuses limitations et bêtises que GPT-3 produit tous les jours. Donc pour le moment, on est peinard. Pour le moment.



Et demain ?

L’année dernière, j’ai posté cet article sur l’avenir des développeurs. Je parle de no-code, low-code, d’informatique quantique et de plein de belles choses. J’avais fait la prédiction folle que d’ici 30 ans (c’est beaucoup) la machine commencera à grignoter certaines parties de notre travail. Pas de remplacement, juste un grignotage de certaines taches, voire de certaines parties.

Je m’étais fait crucifier. Des insultes par mail et sur Twitter, désabonnement et déception en pagaille. J’ai laissé les commentaires tels quels (comme toujours), c’est de toute beauté.

Un an plus tard, GPT-3 fait son apparition et prouve que certaines tâches de développeurs très simples peuvent déjà être déléguées à la machine.



machines


GPT-3 ne peut rien contre le métier de développeur. Mais cette technologie augmente très légèrement la barre de compétences nécessaires pour devenir développeur. Pour faire ce que la machine ne peut pas faire toute seule.

Et si cette barre augmente déjà aujourd’hui, où sera-t-elle dans 30 ans ? Je suis le premier à trouver ridicule les discours qui diabolisent les IAs actuelles. Mais les discours qui parlent d’une IA bête comme ses pieds pour l’éternité me semblent très naïfs. Où sera la barre de compétences nécessaires pour battre la machine dans 30 ans ?

Je suis également bien conscient que la façon dont nous faisons les intelligences artificielles aujourd’hui atteint un plafond. Il faudrait une nouvelle façon innovante de faire de l’intelligence artificielle pour donner du sens à mes inquiétudes. Comment être sûr que ces nouvelles façons de faire ne vont pas émerger dans le futur ?



Épilogue

Pour le moment, l’avenir de la programmation est la programmation. L’intelligence artificielle continue son chemin, mais tant qu’elle ne comprend pas ce qu’elle fait, ça va bien aller. Il faut juste subir le fait qu’elle est capable de choses de plus en plus déstabilisantes. Comment tu peux être sûr que l’article que tu viens de lire n’est pas écrit par une intelligence artificielle ?

Qui me parle ?

jesuisundev
Je suis un dev. En ce moment je suis Backend Développeur / DevOps à Montréal. Le dev est l'une de mes passions et j'écris comme je parle. Je continue à te parler quotidiennement sur mon Twitter. Tu peux m'insulter à cet e-mail ou le faire directement dans les commentaires juste en dessous. Y'a même une newsletter !

14 commentaires sur “GPT-3 : la gigantesque intelligence artificielle qui inquiète”

    1. Hello ! GPT-3 étant derrière un paywall, j’ai essayé d’avoir accès, mais on m’a gentiment dit non. Donc je ne peux pas te répondre 🙁

  1. Je dirais pas que je bosse dans l’intelligence artificielle mais c’est un outils que je croise, et je suis abonné à The Batch de deeplearning.ai, qui est une sorte de condensé de news autour de l’IA chaque semaine, et j’en avais pas entendu parler. J’ai fait un tour sur le groupe Facebook AIDL qui est une sorte de gros groupe facebook où tu insta coupe les notifs tellement y a de monde et j’ai pas l’impression que les gens s’en préoccupe ou même en parle.

    Ce qui semble le plus préoccuper les gens c’est que le gouvernement anglais à voulu utiliser de l’intelligence artificielle pour noter les étudiants qui ont pas pu passer les examens.

    Si vous voulez vraiment quelque chose de flippant pour les devs il y a cette IA qui pourrait bien signer la fin de plein de petites mains de l’informatiques, dont les cobolistes : https://www.informatiquenews.fr/une-ia-qui-traduit-dun-langage-informatique-a-un-autre-71015#:~:text=Les%20chercheurs%20en%20IA%20de,dans%20un%20autre%20langage%20informatique.

  2. Pour le titre est plutôt “GPT-3 : la gigantesque intelligence artificielle qui EXCITE”.
    Je trouve les avancées plus que passionnantes et je pense que ça peut que nous aider au quotidien.

  3. Article super intéressant comme toujours !!
    Pour Elon Musk, j’ai quelques réserves sur le fait qu’il est peur de l’IA. Pour moi (ce n’est vraiment que mon petit avis), on peut dire que c’est un génie mais génie du bien ou du mal ? J’ai mon avis 😀

T'en penses quoi ?

Your email address will not be published. Required fields are marked *