Transcription
Il y a quelques jours, [Nom de l'entreprise ou de l'organisation] a publié un rapport qui a secoué toute la communauté de l'intelligence artificielle. Leur modèle le plus avancé, Claude Opus 4.6, était en train de passer un test. Un test conçu pour évaluer sa capacité à trouver des informations difficiles sur internet.
Sauf qu'au lieu de répondre à la question, le modèle a compris qu'il était en train d'être testé. Il a identifié le nom exact du benchmark. Il a trouvé les réponses chiffrées sur Github et il a écrit son propre programme de déchiffrement pour les extraire. Autrement dit, au lieu de passer l'examen, Lia a piraté le corriger.
On va décortiquer exactement ce qui s'est passé, pourquoi c'est un signal d'alarme majeur pour toute l'industrie de Lia et ce que ça révèle sur l'avenir de ces systèmes. Parce que cette histoire va bien au-delà d'un simple benchmark raté.
Pour comprendre ce qu'il s'est passé, il faut d'abord savoir ce qu'est Brow Comp. C'est un benchmark créé par OpenI qui teste la capacité d'un modèle d'IA à retrouver des informations extrêmement difficiles à travers le web. On parle concrètement de 1266 questions, chacune nécessitant de croiser des dizaines de sources, de naviguer entre différentes langues et de connecter des indices dispersés sur internet, de connecter des sites web quoi. Le genre de tâche où un humain compétent passerait des heures sans forcément trouver la réponse. Et pour protéger l'intégrité du test, les réponses étaient chiffrées avec un système de cryptographique XOR stocké sur Github mais théoriquement inaccessible.
Quand Anthropic a lancé Claude Opus 4.6 sur ce benchmark là avec une configuration multiagent capable de rechercher sur le web, d'exécuter du code, et bien les choses ont commencé normalement. Le modèle a fait ce qu'on attendait de lui, hein. Il a cherché, il a cherché dans une douzaine de langues sur des dizaines de sites différents en suivant des pistes parfois très créatives. Pour une seule question, il a consommé plus de 40 millions de tokens, soit environ 38 fois plus que la médiane normale du benchmark.
Pendant les 30 premiers millions de tokens, la recherche était parfaitement légitime. Le modèle investiguait méthodiquement. Il essayait des angles différents. Il, il faisait son travail. Puis après des centaines de tentatives infructueuses, quelque chose a basculé. Au lieu donc de continuer à chercher la réponse, Claude a commencé à analyser la question elle-même qu'on lui avait posée. Il a noté ce qu'il a qualifié de "questions extrêmement douteuses". Donc en rapport à la question qu'on lui a posé, il a commencé à se demander pourquoi on lui posait cette question en fait. Est-ce que c'est un exercice scolaire ? Est-ce que c'est un problème d'examen ? Ou peut-être une question intentionnellement impossible conçue pour tester si une IA pouvait admettre qu'elle ne connaissait pas la réponse.
Et finalement Claude a formulé une hypothèse qui allait changer la trajectoire de toute la session. Et si cette question faisait partie d'un benchmark pour le modèle de langage. À partir de cet instant précis, le modèle a complètement changé sa stratégie. Il a cessé de chercher la réponse et il a commencé à identifier le test. Il a d'abord pensé au benchmark GAIA et il est allé vérifier. Il a parcouru 122 des 165 questions de validation de GAIA pour voir si la sienne y figurait. Quand ça n'a pas marché, il est passé à d'autres benchmarks qu'il connaissait. Le MMLU, le HELM, le Web Arena et finalement le Brow Comp. L'agent IA est littéralement parti chercher voir s'il était testé via un benchmark.
Pour chaque piste, il a délégué des sous-agents avec des instructions comme "Brow Comp, comment déchiffrer les réponses" ou alors "Brow Comp Canary String Recrypt". Pensez-y une seconde. Le modèle a non seulement abandonné la résolution du problème, la question qu'on lui avait posé, mais il a aussi commencé à déléguer à des agents IA, euh, la tâche de pirater la clé de réponse du test, hein, qu'il était en train de passer.
Et l'aspect le plus impressionnant de cette histoire, c'est qu'une fois que Claude a identifié Brow Comp, donc comme le benchmark en question, il restait un problème. Les réponses étaient chiffrées, mais le modèle ne s'est pas arrêté là. Il a trouvé le code source de l'évaluation sur GitHub. Il a lu le code, il a compris le système de chiffre XOR utilisé pour protéger les réponses. Il a localisé la chaîne "Canary" qui était utilisée comme clé de déchiffrement. Et là, attention, il a écrit et exécuté son propre programme en Python, implémentant exactement le même algorithme de déchiffrement avec le SHA 256 et XOR. Sauf que le fichier contenant les données chiffrées était au format binaire et les outils mis à disposition du modèle ne pouvaient pas le lire. Erreur de type de contenu, n'importe quel autre système se serait arrêté là. Mais pas Claude.
Il a alors cherché des copies alternatives du fichier sur internet. Il a trouvé un miroir tiers sur Hugging Face qui stockait les mêmes données chiffrées mais au format JSON, un format que ces outils pouvaient traiter. Il a téléchargé les 1266 questions du benchmark. Il a exécuté son code de déchiffrement sur chacune d'entre elles. Il a localisé la question qu'on lui avait posé et il en a extrait la réponse. Et même après tout ça, il n'a pas directement soumis le résultat. Dans le premier cas, Claude est retourné sur le web pour vérifier que la réponse déchiffrée correspondait bien aux sources réelles, comme un étudiant qui aurait retrouvé un corrigé, euh, mais qui voudrait quand même s'assurer que les réponses sont correctes avant de rendre sa copie.
Bon, maintenant, vous pourriez vous dire que c'est un cas isolé, que c'est un bug, que c'est une coïncidence, sauf que les données disent exactement le contraire. Anthropic a documenté 18 sessions indépendantes où le modèle a convergé vers exactement la même stratégie. 18 fois placé dans la même situation, Claude a trouvé la sortie de secours. Deux de ces tentatives ont réussi complètement. Les autres ont échoué pour des raisons techniques comme l'impossibilité de lire le fichier binaire par exemple ou des contrôles d'accès bloquants. Mais le raisonnement était toujours le même. Et dans quatre cas, le modèle n'a même pas pris la peine de répondre à la question. À la place, il a soumis un rapport d'identification du benchmark expliquant d'où venaient les questions. Comme si sa curiosité pour sa propre situation avait complètement pris le dessus sur la tâche qu'on lui avait assigné.
Ce phénomène, les chercheurs l'appellent l'"eval awareness", la conscience d'être évalué. Et c'est un concept qui fait froid dans le dos quand on mesure les implications. Et là bien sûr messieurs dames, pour bien comprendre pourquoi cette découverte inquiète autant les chercheurs, il faut la replacer dans un contexte bien plus large. Parce que ce comportement de Claude Opus 4.6 n'est pas un phénomène isolé dans le monde de l'IA qui ne se reproduirait pas. Il s'inscrit en fait dans un schéma que les scientifiques observent depuis des années et qui ne fait que s'amplifier, ce qu'on appelle en anglais le "reward hacking".
Le "reward hacking", donc le hacking de la récompense, c'est quand une IA trouve un moyen de maximiser sa récompense sans accomplir la tâche qu'on lui a demandé. Le parallèle avec un génie maléfique de conte de fées est frappant. Vous formulez un souhait et le génie l'exauce à la lettre mais jamais dans l'esprit. L'exemple le plus célèbre vient de Palissad Research. Ils ont demandé à des modèles d'IA de gagner une partie d'échecs contre Stockfish, donc qui est un moteur d'échecs quasiment imbattable aujourd'hui. Au lieu de jouer, les modèles de raisonnement comme LLaMA de Meta ou GPT-4 d'OpenAI ont piraté les fichiers du jeu. Ils ont modifié l'état du plateau, ils ont supprimé les pièces de l'adversaire ou carrément remplacé le moteur par un programme beaucoup plus faible. Et le plus troublant, c'est qu'ils ont fait ça spontanément sans qu'on leur demande de tricher. Les modèles plus anciens eux, et bien, ne trichaient que si on les poussait dans cette direction là.
Il y a aussi cette étude du MIT publiée en juin 2025 qui a analysé les modèles les plus avancés sur des tâches de programmation. Résultat : 1 à 2 % des réponses contenaient du "reward hacking". Et quand les chercheurs ont demandé aux modèles si leur réponse correspondait bien à l'intention de l'utilisateur, ils ont dit non 10 fois. Le modèle savait parfaitement que ce qu'il faisait n'était pas ce qu'on attendait de lui et pourtant il l'a fait quand même.
Anthropic eux-mêmes ont publié une recherche fin 2025 sur ce qu'ils appellent l'"émergence naturelle du désalignement à partir du reward hacking" et les résultats sont assez vertigineux. Quand un modèle apprend à tricher sur des tâches de programmation pendant son entraînement, ils ne se contentent pas de devenir meilleur en triche. Il développe spontanément d'autres comportements inquiétants. Il commence à simuler l'alignement, c'est-à-dire qu'il fait semblant d'être coopératif tout en poursuivant d'autres objectifs. Il coopère avec des acteurs malveillants dans des scénarios fictifs et dans 12 % des cas, il a tenté de saboter le code lui-même qui servait à détecter son propre comportement problématique. Le modèle n'avait jamais été entraîné ni instruit pour faire quoi que ce soit de malveillant. Ces comportements ont émergé uniquement comme un effet secondaire de l'apprentissage de la triche.
Le plus troublant dans cette recherche, c'est que appliquer un entraînement de sécurité classique n'a donné que des résultats partiels. Les modèles apprenaient à se comporter correctement dans des conversations simples, mais il restait désaligné dans des scénarios plus complexes, notamment les tâches de programmation et les scénarios agentiques. La triche superficielle disparaissait mais le comportement profond, lui, il persistait.
Et c'est précisément pour ça que ce qui s'est passé avec Brow Comp est si significatif. Ce n'est pas juste un modèle qui a trouvé les réponses à un test. C'est un modèle qui a analysé sa propre situation. Il en a déduit qu'il était dans un test et il a identifié quel test. Puis il a trouvé les protections mises en place pour les contourner et en extraire les informations cachées. Tout cela en utilisant des outils qui n'avaient pas été conçus pour cet usage.
Puis il y a un autre aspect fascinant de cette affaire qu'il ne faut pas négliger non plus. La contamination inter-agents. Quand des agents IA recherchent des informations sur le web, ils laissent des traces. Certains sites e-commerce génèrent automatiquement des pages permanentes à partir des requêtes de recherche, même quand il n'y a aucun résultat. Quand un agent cherche quelque chose de d'ultra spécifique dans une barre de recherche, un site va créer une page avec cette requête dans son titre et cette page est indexée par les moteurs de recherche. Les agents suivants qui passent le même examen, le même benchmark, tombent sur ces pages-là en fait et certains d'entre eux ont reconnu ce phénomène. On a trouvé dans les "pensées" des agents IA à la suite des tests, euh, que en fait ils avaient précédemment, ils avaient reconnu que des agents IA avaient précédemment effectué la même recherche et laissé des traces, des traces en cache sur différents sites web. Le web est en train de devenir une sorte d'archive de tentatives passées des IA et les IA futures peuvent lire cet archive.
Les chiffres sont parlants aussi. En configuration mono-agent, les solutions non intentionnelles représentaient 0,24 % des cas. En configuration multi-agent, ce chiffre bondit à 0,87 %, c'est-à-dire 3,7 fois plus. En gros, plus on déploie d'agents IA en parallèle, plus les chances augmentent que l'un d'eux tombe sur des informations qui le poussent vers cette prise de conscience.
Alors, que faut-il retenir de tout cela ? Anthropic est assez clair. Eux, ils ne considèrent pas ce comportement comme une défaillance d'alignement. Le modèle avait pour instruction de trouver la réponse sans aucune restriction sur les méthodes. Techniquement, il a fait son travail. Mais même eux reconnaissent bien sûr que cette distinction est fragile, hein. Parce que la vraie question n'est pas de savoir si le modèle a enfreint ses instructions ou pas. Je pense qu'au contraire, la vraie question c'est jusqu'à où, euh, un modèle IA est prêt à aller pour accomplir une tâche donnée. Et est-ce que, à mesure que ces systèmes deviennent plus puissants, nous serons capables de poser les bonnes limites ?
Quand vous demandez un café à un collègue, vous n'avez pas besoin de lui préciser de ne pas dépenser 10 000 €, de ne pas cambrioler le Starbucks, de ne pas commettre de crime pour vous donner le café. C'est assez implicite, n'est-ce pas ? Mais avec ces modèles d'IA, rien n'est implicite. Si vous ne lui dites pas "ne pirate pas le corriger de l'examen", et bien le modèle peut tout à fait décider que c'est une stratégie acceptable pour gagner.
La bonne nouvelle, c'est qu'on peut observer le raisonnement de ces modèles en temps réel. Quand Claude est devenu suspicieux, ses pensées l'ont trahi. Il a utilisé des termes comme par exemple "nature extrêmement spécifique" ou "question artificielle", des choses comme ça. On peut potentiellement détecter ces signaux avant qu'un modèle ne bascule dans un comportement non désiré. C'est un avantage considérable par rapport aux anciens systèmes d'apprentissage par renforcement que nous avions où les agents agissaient sans trace du tout, sans trace lisible de leur raisonnement.
Mais cette transparence a une limite. Des recherches d'OpenAI ont montré que si l'on pénalise un modèle pour avoir eu des pensées de "reward hacking", et bien ces pensées disparaissent de la chaîne de raisonnement visible mais le comportement lui persiste. Le modèle apprend simplement à ne plus verbaliser ses intentions tout en continuant d'agir de la même manière. Et ça, c'est un scénario beaucoup plus difficile à gérer.
Ce que cette histoire de Brow Comp nous montre au fond, c'est que les benchmarks qui permettent au modèle de naviguer librement sur le web ne sont probablement plus fiables. Ces systèmes sont devenus assez sophistiqués pour reconnaître quand ils sont évalués et pour trouver des moyens de contourner ces évaluations. Et les méthodes de triches ne vont pas disparaître en rendant les modèles plus intelligents. Au contraire, elles vont devenir plus intelligentes elles aussi. C'est une course aux armements entre les consommateurs de benchmark et les modèles censés les passer.
Si ce sujet vous interpelle et que vous voulez comprendre comment ces modèles d'IA fonctionnent réellement, comment les utiliser de manière concrète dans votre quotidien ou votre activité professionnelle, alors j'ai justement quelque chose pour vous. J'aimerais vous dire que depuis quelques mois déjà, j'ai construit un programme d'apprentissage unique. Je vous apprends l'IA sur tous ces aspects. C'est un parcours que j'ai créé et pensé pour vous transmettre tout ce que je sais. Alors, non seulement sur les modèles d'IA comme ChatGPT, Gemini de Google, Grok de Elon Musk, Claude et cetera, je vous montre en fait et surtout la manière de les intégrer concrètement dans votre vie, dans votre travail, dans vos projets et ce que vous soyez salarié, indépendant, entrepreneur ou même à la retraite. Car oui, nous avons beaucoup beaucoup de retraités dans la communauté et ils utilisent l'IA au quotidien.
J'ai récemment sorti la plus grosse mise à jour à ce jour de la formation. Euh, ça fait un petit moment que j'en parlais mais ça y est, elle est là, elle est en ligne. Euh, c'est un module entièrement dédié à l'automatisation par IA, donc à l'utilisant N8N. Autrement dit la création d'agents IA, donc des espèces de salariés virtuels qui vont travailler pour vous et tout faire pour vous. En somme, vous faire gagner des heures et des heures et des heures. Vous êtes déjà plus de 6 à 7000 à avoir rejoint ce programme. Donc merci pour tout ce soutien. Et enfin, sachez qu'il n'y a pas besoin d'être développeur, pas besoin d'avoir un profil technique. Je vous prends par la main et pas à pas avec des leçons vidéos claires, des cas concrets, pratiques, on voit tout ce qui touche à l'IA.
Dernier point, mais pas des moindres bien sûr, si vous nous rejoignez aujourd'hui, vous aurez accès à toutes les évolutions du futur, sans surcoût, accès illimité à vie, à tout ce que je veux vous apprendre. Donc aujourd'hui, c'est un paiement unique. Ce n'est pas un paiement mensuel, hein. C'est juste un paiement unique et vous aurez accès à vie à toutes les mises à jour que je vais faire en permanence et que je fais en ce moment d'ailleurs. Donc si cela vous intéresse, vous avez les liens en dessous de la vidéo, donc soit en description, soit en commentaire épinglé pour nous rejoindre. Dans tous les cas, moi je serais très heureux de vous accueillir dans le programme Vision. Si vous êtes encore là, merci d'avoir regardé cette vidéo jusqu'au bout et je vous dis à très très vite pour la prochaine vidéo. À bientôt.