ChatGPT-5 : vraiment au 'niveau d’un PhD' ?

Le 7 août 2025, Open AI a lancé Chat GPT 5 en le présentant comme une révolution au point que son PDG affirme que c'est comme échanger avec un expert de niveau doctorat. Donc forcément ça m'a intéressé parce qu'il est question d'avoir un professeur des universités dans sa poche.

Ce qu'on va faire, c'est qu'on va tester Chat GPT 5 sur toute une série de tâches typiques d'un doctorat comme la revue de littérature, la présentation des résultats et beaucoup d'autres pour voir s'il est vraiment meilleur que Chat GPT 4 et surtout s'il tient réellement ses promesses d'un niveau chercheur.

On va aussi et surtout voir un mode qui est particulièrement intéressant, qui est le mode agent, qui a été généralisé il y a pas longtemps et qui permet en fait à Chat GPT de planifier et d'exécuter des suites d'actions complexes, le tout de manière autonome, réellement comme un humain. Là, on s'approche de choses assez incroyables quand même, il faut le dire, et je suis même pas certain que ce soit ce que j'ai préféré découvrir. On verra notamment la génération d'animation. En bref, c'est hyper prometteur. Mais passons tout de suite au test concret.

On va commencer avec un test simple sur la revue de littérature parce que c'est un besoin, un des besoins les plus importants pour les doctorants, les doctrinantes, une des difficultés les plus grandes. Et Chat GPT 4 pouvait déjà structurer une revue mais tendait à inventer des sources. Donc là, on va faire un processus en trois étapes. On va prendre toute la bibliographie. Donc par exemple, là, si vous avez pas Zottero, il faudrait le faire manuellement, mais ça devrait pas prendre plus de 20 minutes de toute façon. Donc là, de cette manière, je vais prendre ma propre bibliographie, je vais l'exporter et ensuite on va faire les trois instructions l'une à la suite de l'autre.

Donc là, je lui donne toute ma bibliographie et je lui pose la question suivante : "Je fais un état de l'art. Je ne sais pas si c'est mieux de structurer par champ, par courant théorique, par temporalité ou autre chose. Donc propose-moi trois structures différentes en trois temps, donc en trois sections que je puisse choisir et cetera." Donc là, l'idée, c'est tout simplement de choisir. Il me donne différents résultats. Ensuite, on choisit. Là, c'est tout simplement parce qu'on a besoin de partir d'une base. Donc je dis "Ma structure préférée, c'est celle-ci. Redonne-la en listant toutes les références correspondantes partie par partie, sous-partie par sous-partie." On a ce résultat.

Puis une fois que c'est fait, ça peut être intéressant d'activer le mode deep research qui va lui permettre d'aller chercher toutes les informations hyper essentielles, importantes en ligne, de passer beaucoup plus de temps à réfléchir à ce sujet et de lui demander : "Je veux m'assurer d'avoir toute la littérature pertinente de la plus ancienne et fondatrice à la plus récente et novatrice. Suggère trois références par sous-partie que je pourrais inclure." Et là, l'idée en fait, c'est tout simplement de voir si à la fois il va aller mieux chercher les informations et s'il arrête en fait d'inclure systématiquement des fausses sources, ce que l'ancienne version avait tendance à faire.

Donc là, on a ce résultat et c'est assez intéressant comme erreur parce que en fait, il est totalement à côté. C'est-à-dire que j'ai parlé de constitution des équipes, c'est-à-dire de l'entourage des présidents et ensuite il s'est focalisé sur le foot, l'histoire du foot et cetera. Alors, on pourrait se dire "OK, c'est ma faute, j'aurais dû être plus précis." Sauf que Chat GPT 5 était justement présenté comme étant plus capable de comprendre ce qu'on lui disait. Et en plus de ça, tout au long de la conversation, lui comme moi, on a clairement fait référence aux entourages des présidents, la littérature n'a jamais porté sur le foot. Tout était clair en fait.

Une autre promesse, c'était de réduire ce qu'on appelle les hallucinations, donc en fait l'invention de sources. Alors là, pour le coup, il a rien inventé mais il est allé voir pour l'essentiel dans des sources de presse alors qu'il était question de littérature. Il aurait dû comprendre. Donc globalement, la revue de littérature avec Chat GPT, c'est pas encore pour maintenant que ça soit la version 4 ou la version 5.

Pour ce qui est du mode deep research, souvent on le présente comme un mode qui permettrait de faire ça littérature, mais j'aime quand même moins parce que il y a pas accès à beaucoup d'éléments qui sont payants en fait. C'est-à-dire que dès que certains éléments sont derrière, par exemple sur Kern, qu'il y a besoin d'un abonnement ou quelque chose comme ça, même le mode deep research peut pas y accéder en fait. Et donc ça me paraît un peu lacunaire et je pense que pour la revue de littérature, ça paraît beaucoup mieux d'utiliser Notebook Almem où on peut lui donner les PDF directement.

En revanche, pour les éléments concrets, par exemple le contexte historique ou le contexte récent par exemple, souvent on a besoin de commencer une thèse comme ça. Ça me paraît hyper utile parce que là les informations sont en ligne en fait. C'est-à-dire la plupart des éléments, que ce soit de la presse et cetera, sont en ligne. Et au passage, si vous avez l'option "activer web search" pour avoir les éléments les plus récents et vous assurer que ça cherche sur le web, y compris les éléments qui sont publiés très récemment.

Et donc là, je lui dis : "Recherche dans des publications académiques en accès libre pour justement éviter les contenus non accessibles, des rapports institutionnels, de la presse généraliste et cetera et cetera. Produis un texte d'environ 800 à 1000 mots." 800 à 1000 mots, c'est parce que c'est à peu près l'équivalent de trois pages. Souvent, quand on commence une thèse, il y a deux à trois pages de contextualisation. C'est pour ça que je lui donne, je lui donne ces éléments. Et je veux qu'il commence, évidemment, c'est mon sujet, il faudrait l'adapter. Je veux qu'il commence avec des éléments très généraux qui resserrent progressivement vers des éléments plus précis, puis éventuellement qu'il insère quelques références avec le bon format.

J'entre et il y a ce résultat. Là, on voit que c'est quand même vraiment pas mal. C'est-à-dire que évidemment qu'il y a des choses à revoir, évidemment qu'il y a des formulations à travailler, mais clairement, il y a certains éléments auxquels j'aurais pas pensé spontanément. Il y a deux ou trois choses que j'apprends. Il y a les sources qui permettent d'aller vérifier directement et en tout cas, ça fait un état des lieux. C'est-à-dire que quand bien même ça me suffit pas, je pourrais le relancer en lui demandant "Voilà, parle un peu plus de tel élément, parle un peu moins de tel élément, pourquoi pas lui demander de faire l'équivalent de 6 pages et ensuite on coupe dedans pour garder le meilleur et avoir trois pages." Mais là, on voit quand même qu'il y a une vraie efficacité sur les éléments de contexte qu'il peut trouver directement sur internet.

Est-ce que c'est meilleur que Chat GPT 4 ? De nouveau, j'en suis pas certain. Peut-être qu'il faudrait davantage creuser, mais clairement, il y a un travail intéressant qui a été fait.

Le mode agent, il est particulièrement intéressant et c'est celui que personnellement j'attendais le plus, mais il est assez mal compris. C'est-à-dire l'idée, c'est quoi ? Chat GPT fonctionne sur des instructions. On lui dit quoi faire, il le fait. Généralement, ça fonctionne pas sur des objectifs. C'est-à-dire que des objectifs, c'est quand on veut qu'il accomplisse un résultat et qu'il y a besoin d'une suite d'étapes qu'il faut compléter les unes à la suite des autres. Donc par exemple, si on veut organiser une conférence en ligne, il faut identifier des intervenants pertinents et leurs coordonnées, rédiger un mail, créer un rappel dans l'agenda, générer un visuel d'annonce. Bref, il faut faire toute une série d'éléments. Souvent Chat GPT va dire qu'il faut le faire, mais il va pas le faire lui-même. Il va pas aller chercher les identifiants, il va pas créer le rappel dans le calendrier, sauf en mode agent. Et c'est là que ça devient très intéressant.

Et là, je vais le montrer à travers une consigne qui est la suivante : "Donc recherche 15 articles académiques et cetera." Je vais pas tout lire, mais l'idée, c'est quoi ? C'est de tester en fait énormément d'actions pour montrer tout ce qu'il peut faire parce que là, dans un seul scénario, le mode agent cherche et sélectionne des sources, crée un tableau Excel de métadonnées, programme un rappel calendrier, met en forme une bibliographie, produit un diaporama synthétique et rédige une synthèse critique courte. Donc on le lance.

Un petit détail aussi, l'interface est assez satisfaisante, c'est-à-dire qu'on le voit vraiment travailler et c'est très intéressant de voir comment il va chercher étape par étape et cetera. C'est assez assez fascinant. Aussi, c'est intéressant de voir que Chat GPT peut en fait cliquer sur le bouton "Je confirme que je suis humain". Et donc à la fin du processus, on a ça. Donc évidemment, il y a pas tout qui est parfait, il y a des choses à reprendre et cetera et le modèle va s'améliorer. Mais là, on voit clairement que dans les sources qui ont été sélectionnées, il y a des vrais résultats, il y a des propositions. Dans le tableau Excel, de nouveau, il y a peut-être des choses à reprendre, mais finalement, c'est assez intéressant de voir ce qui a été fait et ça fournit une vraie avance et ça s'améliorera.

Là, si on essaie de voir comment ce programme le rappel, on clique, on l'ouvre et concrètement dans le calendrier, on a un vrai rappel, un fichier qui a été créé qui suffit d'ouvrir et je serai rappelé tel jour quand j'en aurais besoin par rapport à ça. La bibliographie en style en Word, de nouveau, c'est fait et c'est relativement satisfaisant. On a une première présentation PowerPoint qui peut servir de bonne base, même s'il y a évidemment beaucoup de travail à faire dessus. Et voilà, et on a quelques synthèses critiques. Donc ce mode agent, il y a une manière de s'en servir évidemment. Mais vous voyez que c'est vraiment un boulot qui est incroyable et qui tourne en autonomie pendant qu'on peut faire autre chose éventuellement et lui laisser faire les tâches d'aller collecter de l'information, les organiser et cetera.

Quand on parle Chat GPT et intelligence artificielle, on a vu pas mal de choses sur la multimodalité. Donc c'est l'idée que ça peut générer du texte mais aussi de l'image et cetera. Donc imaginons que les résultats soient faits pour l'essentiel, on a besoin de les présenter. Et c'est là que la génération d'images et d'animation justement, on verra, me paraît bien. Donc on a trois possibilités qu'on va voir.

Là, on va commencer avec le graphique simple. Donc imaginons, voilà, on a une présentation où euh on a un colloque, peu importe, et il nous faut un schéma conceptuel d'un cadre théorique. Donc je lui donne cette consigne : "Génère un schéma conceptuel." Je lui donne quelques éléments de détail. Évidemment, ça s'affine au fil du temps. On peut aussi lui demander de nous suggérer des choses. Donc c'est tout à fait possible. Je lui donne quand même un certain niveau de détail parce que je veux m'assurer que certaines idées soient représentées et je lui demande évidemment de me fournir la sortie en PNG pour que ensuite je puisse télécharger et cetera.

Là, on voit qu'il a produit ce schéma qui est pas le plus beau, mais on peut lui demander de l'améliorer éventuellement par la suite. Et il y a un vrai schéma qui explique assez clairement ce que je voulais illustrer. Et de nouveau, dans le cadre d'une conférence, si je sais quoi demander, je lui demande de me faire le schéma conceptuel. Je l'ai, je le mets dans la slide et ça me fait économiser quelques minutes précieuses.

Le deuxième exemple, ça serait par rapport à un schéma scientifique. Donc là, c'est un exemple tout à fait fictif, mais je vais lui demander de créer un graphique en barre verticale comparant le taux de participation et cetera. On pourrait le faire avec un graphique avec un nuage de points, on pourrait le faire avec un diagramme, on pourrait le faire en fait avec tout. Moi, j'ai choisi un graphique en barre verticale. Je lui donne les données qui de nouveau sont fictives. Je lui donne quelques spécifications et ce que je veux qu'il me fasse. Et donc là, on a ce résultat qui finalement est assez satisfaisant. Et de nouveau, si ça allait pas, je pourrais lui demander par exemple de changer les couleurs ou par exemple de changer l'épaisseur des barres ou la hauteur des barres. Peut-être d'être plus précis sur l'axe Y, peut-être de changer le titre. Je peux lui demander mais en attendant, j'ai un résultat satisfaisant que je pourrais utiliser pour illustrer mes résultats scientifiques. Et pareil pour le format Excel téléchargé où Chat GPT m'a mis les données dans un tableau que j'utilise pour faire le graphique.

Alors, rien de révolutionnaire par rapport à la version 4, mais c'est plutôt dans les tâches plus complexes qu'on voit les différences comme dans les animations interactives.

Et ensuite, imaginons qu'on veuille montrer ces résultats mais de manière interactive. Donc par exemple, je suis allé sur un terrain et je veux montrer comment je suis allé d'une ville à l'autre et cetera. Donc je lui pose cette euh cette question, plutôt je lui donne cette instruction : "Je veux une carte interactive de mon terrain. Je lui donne voilà les villes où je suis allé. Euh les marqueurs, c'est-à-dire voilà quand je suis allé là mais en vert et cetera. Euh différentes instructions et je lui précise que lorsqu'il survole, vous verrez à quoi ça ressemble. Lorsqu'il survole une ville, je veux une petite bulle info avec trois résultats clés euh pour avoir plus d'éléments et pour que ce soit justement plus interactif." De nouveau, vous verrez le résultat. Et un petit curseur des semaines. Donc par exemple, j'étais sur le terrain sur différentes semaines et je veux montrer l'évolution. Donc je lui donne cette instruction et j'attends de voir ce qui me génère en lui demandant de me le sortir en format HTML qui est le format en fait d'une page internet.

Et là, quand j'ouvre, ça donne ça. Et je trouve ça assez fou parce que non seulement il y a une carte complète qu'on peut mettre en lecture, c'est-à-dire qu'il y a une réelle animation, il y a différents curseurs sur lesquels on peut jouer pour faire avancer dans le temps plus ou moins et cetera. Il y a une vraie capacité là en l'occurrence, c'est une carte qui est très précise. C'est-à-dire que quand on zoome, on a vraiment dans un niveau de détail le nom des rues et cetera. Il y a tous les éléments qu'il faut et la consigne que j'ai demandé sur le survol, c'est-à-dire de mettre les principaux résultats lorsqu'on survole chaque ville. Et là, c'est-à-dire que je survole et là, il y a tous les éléments qui peuvent être intéressants à présenter lors d'une conférence. Par exemple, si on veut pas d'animation, on peut toujours avoir une capture d'écran et ensuite le mettre dans une slide. Il y a différentes manières de le faire, mais en quelques secondes, j'ai une représentation exacte de mon terrain. Si j'ai fait d'autres villes, je mets d'autres villes et cetera. Enfin, c'est quand même quelque chose qui est qui est assez incroyable.

Sachant que je voulais aussi montrer ça par rapport aux animations. Je lui avais demandé de montrer comment potentiellement faire euh voilà montrer une logique de réseau. C'est-à-dire souvent on fait une analyse par réseau. Là en l'occurrence, c'est la diffusion d'idées dans un réseau de citation et montre clairement comment on peut illustrer ça en montrant différentes disciplines qui interagissent entre elles avec un certain niveau d'interdisciplinarité. C'est-à-dire les connexions entre les disciplines, la taille de chaque champ qui est plus ou moins large, la probabilité de percer donc c'est quand il y a quelque chose qui est découvert. Là de nouveau, on peut insérer différents éléments. Il m'a proposé choc exogène. Mais assez rapidement en fait, on a une vraie animation de quelque chose qu'on peut montrer et si j'avais plus d'éléments à mettre, si je connaissais mieux la manière, voilà, si j'avais travaillé dessus depuis 2 semaines sur ce schéma, j'aurais une meilleure intuition de comment le faire. Mais déjà là avec une forme d'improvisation, on a des résultats qui sont assez surprenants quoi.

Bon voilà, on pourrait continuer pendant des heures parce qu'il y a tellement de choses à voir, mais pour faire un bilan, c'est très difficile en fait de dire à quel point Chat GPT 5 s'en sort mieux que le 4 parce que pour l'instant, j'ai pas l'impression non plus d'un saut énorme, mais la qualité reste au rendez-vous et le mode agent est assez bluffant, il faut dire.

Si cette vidéo vous a aidé à avancer dans votre test, vous serez sans doute intéressé pour rejoindre la newsletter. Vous pouvez vous abonner en cliquant sur ce lien juste en dessous. C'est gratuit, plusieurs milliers de docteurs la reçoivent déjà. J'y donne des astuces utiles que je ne mets pas sur YouTube comme des méthodes pour savoir comment utiliser l'intelligence artificielle dans vos recherches ou comment organiser vos données quand vous avez une montagne à gérer. Et merci pour votre attention. Yeah.