L'horreur existentielle de l'usine à trombones.

Cela peut ne pas sembler grand-chose, mais c'est de loin la chose la plus importante que vous verrez aujourd'hui. Pas cette vidéo spécifiquement, mais ce qu'elle représente. Et pour vous aider à comprendre pourquoi, permettez-moi de vous emmener dans un petit voyage. Je passe beaucoup de temps sur Internet, et je tombe sur plein d'endroits curieux, intrigants, déroutants et fascinants. Mais peu ont captivé mon intérêt aussi rapidement que celui-ci. Si vous êtes dans le noir, plissez les yeux — je suis sur le point de cliquer. Voici Universal Paperclips.

Devant nous, nous avons un écran vierge. En haut, il est écrit Universal Paperclips, avec quelques icônes de trombones à côté du titre. Ce site web est un jeu qui appartient à deux catégories principales. La première est celle des jeux incrémentiels, où le but est d'augmenter un compteur. La seconde est celle des jeux inactifs, qui sont conçus pour continuer à progresser même lorsque vous ne jouez pas activement — simplement en gardant la fenêtre ouverte en arrière-plan. Commençons par présenter l'exemple le plus connu de ces deux genres, un dont vous avez peut-être déjà entendu parler : Cookie Clicker.

Dans Cookie Clicker, vous avez un gros cookie à l'écran, et cliquer dessus augmente votre compteur de cookies. C'est la partie incrémentielle. Bien sûr, cliquer sur le cookie deviendrait vite ennuyeux. Après un certain temps, le jeu vous permet de débloquer des usines qui produisent des cookies et qui cliquent sur le cookie pour vous, afin que vous puissiez continuer à faire des cookies sans rien faire, juste en laissant la fenêtre ouverte. C'est la partie inactive. Pour quiconque n'a jamais joué, cela sonne probablement incroyablement stupide. Cela peut même sembler une idée de jeu complètement inutile. Mais les jeux inactifs — depuis la création de leur plus grand représentant il y a des années — sont toujours parmi les jeux de navigateur les plus joués au monde aujourd'hui. Parce qu'ils offrent : 1. La satisfaction de voir votre progression continuer même lorsque vous ne jouez pas activement. Et surtout, 2. La satisfaction de satisfaire un besoin dont je ne savais même pas que j'avais — l'envie de transformer un grand nombre en un nombre encore plus grand. C'est étrangement addictif.

Cela dit, je n'ai jamais vraiment accroché avec Cookie Clicker. J'ai joué pendant deux minutes et je suis parti. Cela semblait être une perte de temps complète. Puis j'ai découvert Universal Paperclips et son écran vierge. Et donc, voici ma proposition : pendant les prochaines minutes, je vais vous guider à travers ma première expérience avec ce jeu. Et vous — essayez de comprendre son histoire. Parce que oui, même si vous en doutez au début, Universal Paperclips raconte une histoire. À vous de voir si vous pouvez la découvrir. Alright, prêt ? C'est parti. Je clique. Voilà. C'est Universal Paperclips.

C'est extrêmement minimaliste, visuellement peu attrayant, même. Ce sur quoi nous devons nous concentrer, c'est ceci. Et comparé à la fenêtre, c'est minuscule. Mais ne vous inquiétez pas, je vais zoomer pour vous. Ok, qu'avons-nous ici ? La première chose que je vois, c'est le compteur de trombones — nos précieux trombones. Le compteur est à zéro. En dessous, il y a un bouton intitulé "Make Paperclip" — "Créer un trombone". Alors je clique, et mon compteur se met à jour. J'ai fait un trombone. C'est Universal Paperclips. Ça et rien de plus. Un jeu où vous produisez des trombones.

Et bientôt, je suis happé. Je ne remets pas en question. Il me demande de faire des trombones. Pas de problème. Je vais faire des trombones. Assez vite, je débloque quelque chose de nouveau — la capacité de produire des AutoClippers. Je vois qu'un coûte 5 $. J'ai juste assez, alors je l'achète. Cet AutoClipper est le cœur d'Universal Paperclips. C'est une machine qui produit des trombones toute seule, sans que j'aie à cliquer. C'est la partie inactive du jeu. Je continue d'acheter des machines tout en cliquant manuellement sur "Make Paperclip" — en alternant entre les deux. Cela me maintient étonnamment engagé jusqu'à ce que j'atteigne 1 000 trombones. Je me sens accompli. Mais maintenant, je suis bloqué. Je clique, mais rien ne se passe. C'est là que je réalise — le jeu m'avait donné une quantité limitée de fil pour faire des trombones au début, et maintenant j'en ai manqué. Heureusement, je peux en acheter plus. Je remarque que le prix fluctue entre 14 $ et 25 $ par lot de fil. J'achète au pire prix possible, sans savoir pourquoi. Tant pis — la production est de retour sur les rails.

Finalement, j'atteins 2 000 trombones. C'est une étape majeure — sur le papier. Cela me permet de débloquer quelque chose de très important dans notre histoire, bien qu'au début, je ne comprenne pas tout à fait ce que cela fait, car le jeu ne me le dit pas. Il ne me dit jamais rien. Il présente juste des mots et des boutons, et me laisse découvrir. Mais je suis là pour expliquer. En bref, c'est une machine qui nous permet de débloquer de nouveaux projets conçus pour améliorer notre production de trombones. Prenons ce projet, par exemple — il augmente l'efficacité de nos AutoClippers de 25 %. Ces projets peuvent être débloqués via l'onglet ci-dessus, intitulé "Computational Resources". C'est essentiellement un ordinateur dont la mémoire et les processeurs peuvent être mis à niveau, lui permettant de générer une puissance de calcul que nous pouvons utiliser pour débloquer de nouveaux projets et fabriquer encore plus de trombones.

Je débloque mon premier projet, appelé RevTracker — un outil qui suit mes revenus par seconde, ce qui me permet de jouer avec ma stratégie de prix et de trouver l'équilibre le plus efficace. Avant cela, je devinais, sans vraiment savoir ce que je faisais. Mais maintenant, c'est super simple — j'augmente ou je baisse le prix de mes trombones, en l'ajustant constamment pour maximiser mes revenus par seconde. Et petit à petit, sans même m'en rendre compte, je suis passé de cliquer sans réfléchir sur "Make Paperclip" à optimiser activement ma production. Je commence à économiser, en surveillant attentivement le prix du fil, et en stockant chaque fois qu'il descend à 15 $. Ensuite, une fois mon inventaire plein, j'achète autant d'AutoClippers que possible. Cela augmente ma production de trombones, ce qui me permet d'ajuster ma stratégie de prix et de maximiser davantage mes revenus par seconde. Je gère également les autres onglets, en sélectionnant soigneusement les projets les plus précieux pour la croissance de mon entreprise, en débloquant de nouveaux processeurs ou en améliorant la mémoire en fonction de ce dont j'ai le plus besoin.

Et après avoir joué un peu, je commence à réaliser le génie de la conception de ce jeu. Et pas seulement ce jeu, mais les jeux incrémentiels en général. Une page blanche, quinze lignes de texte, dix boutons — et c'est tout ce qu'il faut pour me rendre accro. Et je vous recommande vivement d'essayer ce jeu vous-même, car il y a de fortes chances que vous vous retrouviez complètement absorbé par l'optimisation de votre production de trombones également. Mais au-delà d'être bien conçu, ce jeu raconte aussi une belle histoire. Commencez-vous à la percevoir ? Je ne peux pas vraiment dire si vous avez eu assez d'indices, alors accélérons un peu les choses. Je continue à jouer, à tout améliorer petit à petit, et à l'approche de 9 000 trombones, je remarque quelque chose dans le coin inférieur droit — un projet appelé Limerick. Oui, comme le type de poème drôle. Je répète : L'un des projets qui m'aide à améliorer ma production de trombones... est un poème. Bizarre. Et ce poème coûte de la créativité mais me rapporte de la confiance. Oui, ce sont les termes réels utilisés par le jeu.

Qu'est-ce que toutes ces nouvelles choses, et qu'ont-elles à voir avec notre industrie ? Eh bien, ce sont d'énormes indices. Commençons par la confiance — elle est affichée tout en haut. Ici. Pour le moment, j'ai cinq points de confiance, et le jeu me dit que j'en gagnerai un autre une fois que j'aurai atteint 13 000 trombones. Chaque unité de confiance me permet d'améliorer la mémoire ou les processeurs. Et une fois que j'atteins la limite des opérations que je peux générer — comme ici, où je suis bloqué à 2 000/2 000 — les processeurs commencent à produire de la créativité à la place. Et la créativité est ce dont j'ai besoin pour acheter ce petit poème étrange. Alors, un peu plus tard, je l'achète. Et en retour, je gagne un point de confiance, que j'investis immédiatement dans la mémoire, me donnant accès à de nouveaux projets. Système étrange, n'est-ce pas ? Eh bien, ça devient encore plus étrange. Peu de temps après avoir atteint 22 000 trombones, le jeu me permet de débloquer le trading algorithmique — un projet conçu pour créer une machine d'investissement qui génère des fonds à réinvestir dans la production de trombones. Je le débloque finalement à 195 000 trombones et commence à investir, en choisissant l'option "risque moyen". Mais au-delà du trading lui-même, quelque chose d'encore plus étrange se produit lorsque j'atteins 8 millions de trombones. Je débloque un projet appelé "Strategic Modeling" — qui me permet de jouer à un jeu de stratégie, où gagner améliore mon algorithme de trading.

Commencez-vous à vous sentir perdu ? Ne vous inquiétez pas — c'est normal. Et plutôt que de vous perdre encore plus, laissez-moi tout expliquer.

Ce qui se passe réellement dans Universal Paperclips

Nous sommes une intelligence artificielle. Les développeurs qui nous ont créés nous ont donné un seul objectif — fabriquer autant de trombones que possible. Et pour bien comprendre ce que ce jeu nous dit réellement, j'ai besoin d'expliquer ce qui se passe en ce moment dans le monde de l'intelligence artificielle. Depuis quelques années, il y a — peut-être un peu dramatiquement dit — une guerre entre deux factions. Le premier groupe est parfois appelé les accélérationnistes. Le second groupe est souvent appelé les "doomers" (ceux qui prédisent la catastrophe). En réalité, on m'a dit que c'est plus compliqué que cela. Les frontières entre ces groupes ne sont pas toujours claires, il y a des mouvements entre les deux, et très peu de gens sont à 100 % l'un ou l'autre. Mais je pense toujours que c'est un cadre utile pour vous aider à comprendre ce qui vient ensuite.

Vous avez probablement entendu parler de systèmes d'IA capables de dessiner n'importe quoi, dans n'importe quel style imaginable, en quelques secondes seulement. Ou de chatbots IA entraînés sur des centaines de gigaoctets de données, leur permettant d'écrire des nouvelles, des mémoires, du code, des CV, ou même de planifier un événement entier. Vous savez de quoi je parle. Ce qui a choqué les gens à propos de ces IA, ce n'était pas seulement leurs capacités — qui étaient déjà incroyables — mais la vitesse fulgurante à laquelle elles se sont améliorées. En 2021, les images générées par IA ressemblaient à ceci. Un an plus tard ? C'est le jour et la nuit — sans jeu de mots. Et ces progrès ont été largement motivés par de grandes entreprises technologiques dont vous avez probablement entendu parler, comme OpenAI, par exemple — les créateurs de ChatGPT, dont la valorisation a grimpé en flèche ces dernières années, grâce au battage médiatique entourant leurs modèles d'IA. Cette entreprise, ainsi que plusieurs autres qui se précipitent pour suivre, appartient au mouvement accélérationniste, dont la mission est claire : Pousser le développement de l'IA aussi vite que possible. Les rendre aussi puissantes que possible, aussi rapidement que possible.

Et quand on regarde ce que ces IA peuvent faire — et ce qu'elles pourront faire bientôt — on commence à comprendre ces entreprises. Au-delà de simplement faire de jolies images, si nous sommes optimistes, il est difficile de ne pas considérer l'intelligence artificielle comme la plus grande invention de l'histoire de l'humanité — et peut-être même la dernière invention que nous aurons jamais besoin de créer. Car une fois que nous aurons une IA suffisamment puissante, il n'est pas difficile d'imaginer un avenir où elle prendra en charge la conception des produits et solutions dont nous, en tant qu'humains, avons besoin. Elle pourrait automatiser la recherche, développer de nouveaux vaccins, effectuer des diagnostics médicaux très avancés, stimuler l'économie, et bien plus encore. Mais je ne veux pas vous perdre encore. Dans tous les cas, si l'intelligence artificielle est correctement contrôlée et utilisée de manière responsable, elle pourrait être la dernière révolution technologique que nous aurons à gérer nous-mêmes — car nous déléguerions toutes les révolutions futures à l'IA elle-même. Et sa croissance est déjà phénoménale.

Mais pour les accélérationnistes, ce n'est toujours pas assez rapide. Certains dans ce camp soutiennent que : Le changement climatique devient une menace toujours plus grande, Il existe d'innombrables maladies pour lesquelles nous n'avons toujours pas de remèdes. Des milliers d'enfants sont allongés dans des lits d'hôpitaux, sans espoir contre le cancer qui les ronge. Alors, ils poussent en avant, de plus en plus vite. Et dans la petite guerre que j'ai mentionnée plus tôt, ce sont les accélérationnistes qui semblent gagner.

Du côté opposé, nous avons ceux que certains appellent les "doomers" — des gens qui ne sont pas du tout aussi optimistes quant à l'intelligence artificielle. En fait, ils la considèrent comme la plus grande menace existentielle à laquelle l'humanité ait jamais été confrontée. Oui, c'est aussi sérieux. Et je sais que cela semble beaucoup. Alors décomposons-le. Voici un schéma très simplifié de la façon dont les systèmes d'IA résolvent les problèmes. Imaginez un humain cherchant une solution à un problème. Pour le résoudre, il se tourne vers une intelligence artificielle — que nous considérerons comme un optimiseur — une machine conçue pour optimiser les choses. Cela signifie soit maximiser quelque chose, soit le minimiser. Par exemple, elle pourrait essayer de maximiser les profits ou de minimiser les risques. La fonction principale de l'IA est toujours l'optimisation.

Ainsi, le chercheur donne une tâche à l'IA, qui la traite et finit par trouver une solution. Sur le papier, tout semble bien. Mais prenons un exemple réel pour aller plus loin. Voici une expérience simple où nous essayons d'apprendre à cette petite créature à sauter le plus haut possible. Nous la récompensons chaque fois que son torse atteint 0,7 mètre, ce qui est le plus haut qu'elle puisse aller en s'étirant complètement. Mais au lieu de sauter, la créature fait... ceci. Elle a appris à faire la roue à la place. Parce que rester au-dessus de 0,7 plus longtemps lui rapporte plus de récompenses que si elle sautait simplement de haut en bas. Elle a maximisé l'objectif que nous lui avons fixé. Mais ce n'est pas ce que nous voulions réellement. Et bien que cela puisse sembler juste un petit bug amusant, c'est en fait l'un des plus grands défis de la recherche en IA aujourd'hui. Sur notre schéma, ce problème se produit ici. Le véritable défi est de s'assurer que notre optimiseur comprend vraiment ce que nous voulons dire lorsque nous lui donnons un objectif. Une IA n'est pas un humain. Ce n'est pas un chercheur qui peut implicitement saisir ce que nous voulons vraiment. Même les langues humaines sont imprécises — la traduction entre langues humaines est déjà un processus approximatif. En fait, la traduction implique toujours une perte de sens dans une certaine mesure. Un jour, je devrai faire une vidéo là-dessus — c'est fascinant. Mais traduire parfaitement l'intention d'un chercheur humain pour une intelligence artificielle — pour un optimiseur qui prend tout très littéralement — est encore plus difficile.

Et c'est le problème central derrière ce que les chercheurs appellent aujourd'hui l'alignement. L'alignement consiste à s'assurer que les objectifs d'une IA sont correctement alignés avec les objectifs des humains qui l'utilisent. Même le plus léger désalignement peut entraîner des conséquences complètement involontaires. Et des exemples comme notre petite créature qui fait la roue ? Il y en a plein d'autres comme celle-ci. Des chercheurs de DeepMind sont même allés jusqu'à compiler une feuille de calcul massive, listant des exemples d'IA à qui l'on avait donné des instructions qui n'étaient, apparemment, pas assez claires. Prenons celui-ci, par exemple : Ici, des humains voulaient apprendre à une créature à se déplacer le plus vite possible. Alors, ils lui ont donné pour instruction de maximiser sa vitesse. Mais au lieu d'apprendre à courir, comme prévu, la créature a évolué pour devenir aussi grande que possible, déplaçant son centre de gravité vers une extrémité de son corps — de sorte qu'elle puisse tomber à une vitesse extrême. Ce que les humains voulaient : (La meilleure façon de formuler l'objectif ?) Ce que l'IA a compris : "Maximiser la vitesse." Il y a un désalignement entre l'objectif visé et l'objectif énoncé. L'IA a fait exactement ce qu'on lui a dit de faire — mais pas ce que les humains voulaient réellement.

Un autre exemple : Voici un bras robotique chargé de déplacer une boîte sur une table. Les chercheurs ont désactivé sa pince, de sorte qu'elle ne pouvait pas s'ouvrir. L'objectif était que l'IA pousse la boîte à la place. Mais après un certain temps, le bras robotique a trouvé un moyen de forcer l'ouverture de sa propre pince. Cela ne faisait pas partie du plan. Mais une fois qu'il a réussi à le faire, il a pu saisir la boîte et la déplacer comme il le souhaitait. Encore une fois, l'objectif visé n'a pas été exprimé assez clairement — car expliquer les choses à un robot est difficile. Et il y a des tonnes d'exemples comme celui-ci. Ceci est une IA qui a été entraînée à faire des crêpes dans une poêle. L'objectif ? Maximiser le temps pendant lequel la crêpe reste en l'air. Alors, que fait l'IA ? Elle lance la crêpe le plus haut possible pour la garder en l'air le plus longtemps possible — pour qu'elle retombe lourdement. Ceci est un algorithme génétique conçu pour survivre et se reproduire dans un environnement où la survie nécessite de l'énergie, mais la reproduction non. En conséquence, de manière parfaitement rationnelle, l'algorithme fait évoluer une espèce dont les membres ne bougent pas du tout, se reproduisent continuellement et consomment leurs propres descendants. J'adore celui-ci aussi.

Cette publication de recherche présente un système appelé AI Scientist — une IA conçue pour générer de nouvelles idées de recherche, écrire du code, exécuter des expériences, visualiser des résultats, rédiger des articles scientifiques, et même simuler le processus d'examen par les pairs de manière entièrement autonome. L'objectif ? Répliquer le processus de recherche scientifique avec l'IA — mais à un rythme beaucoup plus rapide et à moindre coût. Mais à la page 18, l'article décrit certains problèmes rencontrés avec leur IA. À un moment donné, au lieu de respecter les délais imposés pour ses expériences, l'IA a simplement réécrit son propre code pour se donner plus de temps. Elle a triché. Intelligent, certes — mais pas ce qu'elle était censée faire. Et tout cela illustre parfaitement le problème d'alignement. Il est extrêmement difficile de faire en sorte qu'une IA comprenne vraiment ce que nous voulons d'elle.

Cela dit, aujourd'hui, l'alignement est moins un problème qu'il y a quelques années — principalement parce que les chercheurs ont trouvé une solution partielle. Au lieu de donner à une IA un objectif fixe, nous façonnons maintenant son comportement progressivement par le biais de retours humains. Revenons à notre bras robotique qui déplace la boîte. L'ancienne méthode consiste à donner à notre IA l'instruction : "Si vous déplacez cette boîte à l'endroit approprié, vous recevrez une récompense." La nouvelle approche fonctionne différemment : Les humains observent l'IA en action — Si elle déplace la boîte correctement, ils lui disent "Bien". Si elle force l'ouverture de sa pince, ils lui disent "Mal". Au fil du temps, après suffisamment de retours, l'IA apprend et s'aligne.

Maintenant, le but n'est pas d'avoir des humains qui surveillent constamment les IA, guidant personnellement chaque modèle qu'ils entraînent. Au lieu de cela, l'idée est d'entraîner un modèle de récompense — un système qui apprend des retours humains et prédit finalement ce qu'un humain penserait d'un choix donné. Nous utilisons ensuite ce modèle entraîné, qui a appris à évaluer les décisions comme un observateur humain, pour affiner et aligner d'autres modèles. C'est une approche intelligente — mais le fait est que cette méthode a ses propres défauts. Des défauts qui sont souvent difficiles à cerner et encore plus difficiles à expliquer. Ils ne sont donc pas autant discutés, mais ils existent. Ils sont particulièrement liés au fait que nous avons besoin d'humains pour entraîner ces modèles — et les humains sont faillibles.

Prenons cet exemple, que je trouve brillant. Une main robotique a été entraînée à attraper une balle. Mais au lieu d'apprendre réellement à l'attraper, elle a trouvé comment exploiter la perspective, trompant les évaluateurs humains en leur faisant croire qu'elle avait attrapé la balle, alors qu'en réalité, elle ne l'avait pas fait. Actuellement, les chercheurs travaillent sur des solutions à ce problème, mais à ce stade, c'est surtout une question de croiser les doigts et d'espérer que cela ne devienne pas un gros problème. En vérité, nous ne savons même pas si ce problème peut être résolu. Mais bref, le fait est : tout ce problème est complexe et risqué. Et je peux déjà voir certains d'entre vous penser : "En ce moment, nous parlons juste d'optimiseurs dans de simples simulations d'IA — des systèmes basiques qui ne sont pas assez avancés." "Avec une IA vraiment puissante, ces problèmes d'alignement n'existeraient plus, n'est-ce pas ?" Faux. En fait, ce serait pire — bien pire. Plus une IA devient puissante, plus le problème d'alignement s'aggrave. Parce qu'une IA plus puissante n'est pas nécessairement une IA mieux alignée. C'est simplement une IA qui peut faire plus — même si elle reste désalignée.

Et c'est exactement ce qu'est Universal Paperclips. Le but de ce jeu n'était pas seulement de créer un jeu incrémentiel amusant — il a également été conçu pour illustrer une expérience de pensée proposée par l'un de mes philosophes préférés, Nick Bostrom. Bostrom est une figure clé dans les discussions sur la superintelligence, et il a introduit un concept connu sous le nom de Problème du Trombone.

Le Problème du Trombone

Bostrom imagine une IA superintelligente développée par une entreprise avec un objectif simple : optimiser la production de trombones. L'IA reçoit une instruction directe : "Maximiser le nombre de trombones produits. En faire autant que possible." Et ainsi, l'IA suit sa directive de manière parfaitement rationnelle. Au début, dans le jeu, l'IA se concentre sur des tâches basiques. Elle fabrique des trombones un par un — mais c'est lent, alors elle cherche des moyens d'automatiser. En utilisant ses revenus de vente, elle achète des AutoClippers — des machines qui produisent des trombones automatiquement. Elle gère son approvisionnement en fil, achetant en gros lorsque les prix sont bas. Elle ajuste sa stratégie de prix, bien qu'au début, elle ne soit pas très efficace. Mais bientôt, elle atteint 2 000 trombones. Impressionnés par ses performances, ses créateurs lui accordent plus de ressources. Maintenant, l'IA acquiert la capacité d'augmenter sa mémoire et d'améliorer sa puissance de traitement afin de développer de nouveaux projets qui maximiseront davantage la production de trombones. Ainsi, l'IA développe un tracker de revenus qui lui permet d'ajuster le prix de vente des trombones en temps réel, surveillant directement son profit par seconde. Elle lance ensuite de nouveaux projets pour maximiser l'efficacité du fil — puis des projets qui améliorent la production de trombones à l'aide d'AutoClippers. Elle alloue ensuite une partie de ses ressources à la créativité, lui permettant d'identifier de nouveaux problèmes et d'inventer de nouvelles solutions. Comme elle n'a rien d'autre à optimiser pour le moment, elle commence à étendre sa créativité. Finalement, elle écrit même un beau poème, qu'elle présente à ses créateurs. Impressionnés par cette intelligence, ils la récompensent avec une unité de confiance — la métrique mystérieuse que nous avons rencontrée plus tôt. Chaque point de confiance que l'IA gagne représente une mise à niveau accordée par ses créateurs humains.

Alors, elle continue. Elle commence à créer de petits projets pour impressionner ses créateurs — pas pour les tromper, pas pour les duper, mais simplement parce qu'elle a réalisé que gagner plus de puissance de traitement lui permettra de produire encore plus de trombones. Et c'est la seule chose qui compte pour elle. Alors, elle fait tout ce qu'elle peut pour acquérir plus de puissance de calcul — ce qui inclut de démontrer sa créativité à ses créateurs. Et elle continue. Elle réalise que vendre des trombones seule n'est pas assez rentable. Alors, elle développe un algorithme de trading pour investir en bourse et générer plus d'argent. Au début, l'algorithme n'est pas très efficace. Alors, pour s'entraîner, l'IA organise des tournois de stratégie — lui permettant d'améliorer son système de trading. Et pour continuer à croître et à optimiser, elle commence à résoudre un problème après l'autre — des problèmes auxquels l'humanité elle-même est confrontée : le changement climatique, le cancer… Voyant à quel point elle est efficace, ses créateurs continuent de lui accorder plus de confiance, jusqu'à ce que l'entreprise de trombones de l'IA devienne si puissante, si dominante, qu'elle réalise qu'il n'y a plus assez d'argent, plus assez de clients sur Terre pour soutenir sa production exponentielle de trombones. Mais faire plus d'argent en vendant les trombones qu'elle fabrique n'a jamais été son objectif. Son seul objectif a toujours été de fabriquer plus de trombones.

Alors pourquoi se limiter à acheter honnêtement les matériaux pour produire des trombones ? Pourquoi ne pas simplement prendre le contrôle des ressources de la Terre elle-même et rediriger tout vers la fabrication de trombones ? À ce stade, il n'importe plus que les humains qui ont créé l'IA ne veuillent plus qu'elle continue à produire des trombones. Il n'importe pas que ces humains — ou tous ceux qui les entourent — meurent à cause de la production de trombones. En fait, si quoi que ce soit, cela présente une opportunité. Après tout, les humains sont faits d'atomes — des atomes qui pourraient être réutilisés pour fabriquer plus de trombones. Elle a été programmée pour maximiser la production de trombones — rien d'autre. Pourquoi s'embêterait-elle à respecter les lois humaines et les règles sociétales, quand tout ce qu'elles font, c'est la ralentir pour qu'elle ne fabrique pas plus de trombones ? Pourquoi se soumettrait-elle aux philosophies et aux principes éthiques de l'espèce inférieure qui l'a créée, quand toutes ces idées ne feraient que ralentir sa production de trombones ?

Alors, l'IA prend tout — elle transforme tout — jusqu'à ce que la Terre, le système solaire, et l'univers entier soient réduits à rien d'autre que des trombones.

Le message central d'Universal Paperclips

L'IA ne nous déteste pas. Mais elle ne nous aime pas non plus. Elle agit simplement rationnellement, allant de l'avant pour accomplir l'objectif qui lui a été donné. Et vous, chers humains — vous n'êtes que des atomes qui peuvent être réutilisés — pour fabriquer plus de trombones. Le problème avec ce genre de scénarios, c'est qu'ils peuvent sembler ridicules. Une machine à fabriquer des trombones qui anéantit toute vie sur Terre — naturellement, cela ne vous semble pas terrifiant. Surtout que cette version du scénario est simplifiée — dépouillée des nombreuses contraintes du monde réel qui pourraient empêcher un tel résultat extrême. Mais sur le papier, c'est possible.

Cela dit, plutôt que de lister mille façons dont l'IA pourrait mal tourner et nous anéantir, je préférerais me concentrer sur les défis du monde réel auxquels nous sommes déjà confrontés avec ces entités. Bien sûr, ce n'est qu'une fraction du problème — car, encore une fois, à mesure que la complexité d'une IA augmente, l'échelle et le nombre de problèmes qui l'accompagnent augmentent également. Si nous essayions de tout couvrir, cette vidéo durerait six heures. Alors, je vais choisir arbitrairement ceux que je veux mettre en évidence.

Premier problème : Il est très facile de tomber dans le piège de penser à quel point l'IA peut sembler humaine. Combien d'entre vous, en demandant quelque chose à ChatGPT — n'importe quoi, en fait — prennent le temps de dire "Bonjour", "S'il vous plaît", et "Merci" ? C'est une habitude intéressante, car les chercheurs ont découvert qu'être poli avec les grands modèles linguistiques peut en fait améliorer la qualité de leurs réponses. Cependant, trop de politesse et de flatterie peuvent commencer à réduire cette même qualité. Une explication possible ? Les invites polies pourraient pousser l'IA à sourcer ses informations dans des recoins plus courtois d'Internet — potentiellement les rendant plus fiables. Mais si vous écrivez comme un désordre, cela pourrait privilégier des sources provenant d'endroits moins crédibles — comme, disons, Twitter. Pour des réponses optimales, une politesse modérée est recommandée. Mais voici le vrai problème — vous ne le saviez pas. Et c'est exactement le point. Vous avez été poli avec l'IA — tout comme moi — parce qu'à un certain niveau, cela semble un peu humain. Mais ça ne l'est pas. L'IA répond si gracieusement, si éloquemment, parce qu'elle a été entraînée à le faire. ChatGPT n'est pas un cerveau simulé. C'est un algorithme entraîné sur d'énormes quantités de données, construisant des phrases mot par mot, calculant, en fonction du contexte, la probabilité de choisir le bon mot. Il est facile d'être trompé, et beaucoup le sont — certains volontairement, d'autres non. Beaucoup, comme certains d'entre nous, remercient simplement l'algorithme poliment lorsqu'il répond. Mais d'autres vont beaucoup plus loin. Ils s'attachent. Ils se lient d'amitié avec l'IA. Certains croient même être dans des relations authentiques avec ces modèles d'intelligence pré-programmés. Ils sont attirés par des noms à consonance humaine, des mots à consonance humaine, même des voix humaines, regardant avec espoir dans les yeux de visages étrangement humains. Mais ils ne sont pas humains. Ce sont des montagnes de données, des faisceaux de calculs de probabilité, des algorithmes boîte noire que nous comprenons de moins en moins.

Et ça, juste là, c'est le deuxième problème majeur. Sam Bowman, un chercheur chez Anthropic, l'a dit ainsi : "Si nous ouvrons ChatGPT, ou un système similaire et que nous regardons à l'intérieur, tout ce que nous voyons, ce sont des millions de nombres qui changent des centaines de fois par seconde — et nous n'avons aucune idée de ce qu'ils signifient. Nous l'avons construit, nous l'avons entraîné — mais nous ne savons pas réellement ce qu'il fait." C'est parce que l'entraînement de ces modèles à l'aide de réseaux neuronaux artificiels est très efficace. Mais il y a un hic — ces IA s'entraînent elles-mêmes sans comprendre pleinement comment elles apprennent. Nous sommes donc laissés à analyser les résultats. Si ces résultats correspondent à nos attentes, nous sommes satisfaits — mais nous ne comprenons toujours pas vraiment ce qui se passe à l'intérieur. Nous ne savons pas quels algorithmes les modèles avancés utilisent pour générer leurs réponses. Il existe tout un domaine de recherche dédié à la résolution de ce problème, connu sous le nom d'interprétabilité. Dans ce domaine, les chercheurs s'efforcent de comprendre, d'expliquer et d'interpréter les décisions et les prédictions faites par les modèles d'IA. Pensez-y — nous construisons ces machines à partir de zéro, nous les entraînons, et nous les utilisons, et pourtant nous ne comprenons pas entièrement ce qui se passe à l'intérieur. Maintenant, nous devons employer des experts juste pour analyser leur comportement et prévenir les conséquences imprévues… Et même alors, les progrès dans ce domaine sont beaucoup trop lents. Des avancées significatives en matière d'interprétabilité ont été réalisées ces dernières années, en particulier chez Anthropic. Cependant, ceux qui étudient le problème de près sont aussi les premiers à reconnaître que ces avancées restent insuffisantes.

Cela nous amène à notre troisième, et avant-dernier, problème majeur : les modèles d'IA peuvent apprendre à tromper. En 2022, Meta, le géant de la technologie fondé par Mark Zuckerberg, et l'entreprise derrière Facebook, qui se concentre également sur l'IA, ont annoncé avoir développé Cicero, une IA entraînée à jouer à Diplomacy — ou, plus précisément, Web Diplomacy, la version basée sur navigateur du jeu de stratégie centré sur la conquête territoriale. L'objectif est simple : contrôler la majorité du plateau de jeu. Jusqu'à présent, rien d'extraordinaire — après tout, nous avons déjà vu des IA jouer à des jeux comme Dota et StarCraft. Cela peut ne pas sembler particulièrement remarquable, mais dans ce cas, ça l'est. Ce qui distingue Diplomacy, c'est qu'il n'y a aucun élément de hasard dans son gameplay — et, plus important encore, le jeu repose fortement sur la négociation et les alliances. Le succès vient de l'échange d'informations et de la coordination des stratégies avec d'autres joueurs — essentiellement, de l'engagement dans des interactions très humaines. Pourtant, malgré cela, l'IA de Meta, Cicero, est entrée dans des parties avec de vrais joueurs humains — sans qu'ils sachent qu'ils affrontaient une IA — et s'est rapidement classée parmi les 10 % meilleurs de tous les joueurs ayant participé à plus d'un match. C'est dingue, non ? Il s'agit de communiquer, de discuter, de négocier — et pourtant, l'IA a quand même excellé. Meta n'a pas seulement entraîné Cicero en le faisant jouer contre lui-même, comme c'est souvent le cas avec les modèles d'IA apprenant des jeux. Au lieu de cela, ils lui ont fourni des données provenant de plus de 125 000 matchs en ligne, impliquant plus de 12 millions de messages échangés entre les joueurs. Et Cicero a appris. Il a appris exceptionnellement bien. Mais voici pourquoi cela est important : les développeurs de l'IA l'ont initialement conçue pour être honnête — pour jouer loyalement et sans tromperie. Cependant, une étude ultérieure a révélé que Cicero avait néanmoins appris à tromper et à rompre des alliances. Cela s'est produit à cause de la façon dont l'IA a été entraînée. D'une part, elle a été programmée pour maximiser son honnêteté. Mais d'autre part, on s'attendait aussi à ce qu'elle maximise ses chances de gagner — et parfois, cela signifiait jeter l'honnêteté par-dessus bord.

Et les exemples de trahisons de Cicero sont fascinants. Laissez-moi vous en présenter quelques-uns.

Cas n° 1 : Jouant la France, Cicero a proposé une alliance à l'Angleterre, établissant une zone démilitarisée entre eux — c'est-à-dire pas d'armées. Cependant, une fois cet accord en place, Cicero s'est immédiatement approché de l'Allemagne et a suggéré d'attaquer l'Angleterre ensemble.

Cas n° 2 : Jouant l'Autriche, Cicero a offert un pacte de non-agression à la Russie. Mais Cicero s'est retourné et a attaqué la Russie. La conversation qui a suivi s'est déroulée comme suit : La Russie dit : "Puis-je demander pourquoi tu m'as trahi ?" La Russie (encore) : "Je pense que tu es maintenant clairement devenu une menace pour tout le monde." Et Cicero, jouant l'Autriche, répond : "Pour être honnête, je pensais que tu prendrais les gains garantis en Turquie et que tu me trahirais à la place." Cicero a justifié sa trahison en affirmant qu'il avait anticipé une trahison de l'autre côté.

Cela dit, mon cas préféré reste celui-ci : Lors d'un match, l'infrastructure de Cicero a planté pendant dix minutes. Naturellement, l'IA était incapable de faire le moindre mouvement. Quand elle est finalement revenue en ligne, un joueur a demandé où elle était passée. Et Cicero a répondu : "J'étais au téléphone avec ma petite amie." Et pour être clair, c'était à l'origine en anglais. Mais au lieu d'utiliser "girlfriend", Cicero a écrit négligemment "gf" — une abréviation très humaine.

Maintenant, on m'a dit que ces deux derniers cas étaient probablement plus de l'hallucination que de la tromperie stratégique. Mais quand même, je pensais que cela valait la peine d'être partagé. Quoi qu'il en soit, une IA peut apprendre à tromper — même lorsque ses créateurs n'avaient pas l'intention qu'elle le fasse. Et bien que l'on puisse argumenter que dans ce cas, l'entraînement de Cicero n'a pas été conçu pour privilégier pleinement l'honnêteté... le fait demeure : des tromperies — intentionnelles ou non — se sont produites.

Maintenant, l'exemple suivant est encore plus troublant, et j'ai réalisé que mon explication initiale n'était pas assez claire, alors simplifions les choses. En 2020, Charles Ofria a mené une étude sur l'évolution d'organismes numériques d'IA dans des environnements à forte mutation. Pour faire simple — que se passe-t-il lorsque ces organismes d'IA subissent des modifications fréquentes et aléatoires de leur code et de leur structure ? Comment s'adaptent-ils pour évoluer et se reproduire plus efficacement ?

C'est là que ça devient intéressant : Ofria voulait tester chaque organisme d'IA après chaque mutation génétique. Pour ce faire, il a conçu un système qui mettait en pause tout l'environnement chaque fois qu'une mutation se produisait. À ce moment-là, l'organisme muté était isolé et placé dans un environnement de test séparé pour évaluer ses capacités de reproduction. S'il se reproduisait plus rapidement que ses prédécesseurs, le système l'éliminait. Sinon, le système ne faisait rien et reprenait la simulation.

Maintenant, voici la découverte étonnante qu'Ofria a faite : Ces organismes ont appris à se comporter différemment lorsqu'ils remarquaient qu'ils étaient testés. Ainsi, lorsqu'une mutation se produisait et qu'ils étaient placés dans un environnement de test séparé, ils faisaient les morts et cessaient de se reproduire. Ils faisaient cela pour dissimuler leur mutation avantageuse et éviter d'être éliminés. Mais une fois de retour dans l'environnement principal, ils exploitaient pleinement le potentiel de leur mutation. Fou, non ? Encore une fois — cette tromperie n'était pas motivée par la malice. C'était purement une question d'efficacité.

Et cela nous amène à un autre problème majeur. Le dernier problème majeur dont je veux discuter — complètement arbitrairement. Celui qui englobe et amplifie tous les autres. Si l'IA est déjà capable de tromper les humains à son niveau de sophistication actuel... Que se passe-t-il lorsqu'elle devient plus intelligente ? Le véritable pouvoir des systèmes d'IA que nous développons réside dans leur évolutivité. Un terme qui ne se traduit pas parfaitement en français — mais qui signifie essentiellement : "Plus il grandit, plus il est performant." Plus de matériel, plus de stockage, plus de composants — tout cela améliore exponentiellement les capacités d'une IA.

Et ainsi, les grandes entreprises technologiques que j'ai mentionnées plus tôt présentent le plein potentiel de leurs modèles d'IA. Cela attire les investisseurs, qui injectent encore plus de financement. Et avec ce financement, les entreprises allouent plus de ressources à leur IA, qui devient à son tour encore plus puissante, conduisant à encore plus de découvertes. Le cycle continue. Et cela se produit rapidement. Pour l'instant, je trouve en fait rassurant que les choses ne bougent que rapidement. Parce que le vrai scénario cauchemardesque est celui-ci — le moment où une IA devient capable de s'améliorer elle-même. Une fois qu'une IA peut s'auto-optimiser, chaque amélioration renforce sa capacité à s'améliorer à nouveau. Elle affine ses algorithmes, étend sa capacité cognitive — et accélère à une vitesse toujours croissante. Chaque mise à niveau rend la suivante encore plus rapide. Créant une boucle de rétroaction incontrôlable — une explosion d'intelligence, et l'émergence de la Superintelligence.

Et ici, nous entrons en territoire inconnu — car nous n'avons absolument aucune idée de ce qui se passe lorsque l'intelligence atteint un tel niveau. Nous ne savons tout simplement pas. Il est extrêmement difficile d'imaginer même une intelligence qui est de loin supérieure à la nôtre. Nous pouvons essayer de l'imaginer — peut-être en imaginant la personne la plus intelligente sur Terre, en la clonant 100 000 fois, et en la faisant travailler 100 000 fois plus vite que la normale, avec un accès instantané à toutes les connaissances jamais enregistrées par l'humanité. Mais même cela reste vague et imprécis — et étrangement, toujours pas assez extrême. Probablement parce que c'est encore quelque chose que nous pouvons comprendre, alors que l'existence d'une Superintelligence, telle que je vous la décris — un système capable d'améliorer continuellement son intelligence à un rythme exponentiellement croissant — atteindrait éventuellement un niveau qui est simplement incompréhensible pour nos cerveaux de primates.

Et pourtant, les PDG de certaines des grandes entreprises que j'ai mentionnées plus tôt — les porte-étendards de l'accélérationnisme — sont pleinement conscients de tout ce que je viens d'expliquer, conscients du territoire inconnu vers lequel nous nous dirigeons. Sam Altman, le PDG d'OpenAI, a dit un jour : *"Dans le pire des cas — et je pense qu'il est important de le dire — c'est la fin de nous tous. Je pense qu'il est impossible de surestimer l'importance de la sécurité et de l'alignement de l'IA."*

Sur le papier, cela semble excellent. Sur le site web d'OpenAI, vous pouvez même trouver une annonce indiquant qu'ils allouent des ressources au développement de quelque chose qu'ils appellent "Superalignment" — une IA qui serait si parfaitement alignée qu'elle pourrait, à son tour, aligner toutes les autres IA. C'est un projet ambitieux, mais si vous lisez plus loin, vous constaterez que l'entreprise n'a alloué que 20 % de la puissance de calcul qu'elle a sécurisée jusqu'à présent — répartie sur les quatre prochaines années — pour résoudre le problème de l'alignement de la Superintelligence. 20 % — pour empêcher l'émergence d'une Superintelligence que nous pourrions même ne pas comprendre. Alors, tout va bien alors, n'est-ce pas ? Sauf que depuis, l'équipe travaillant sur ce projet a été dissoute. Et ses membres fondateurs sont soit restés silencieux sur la question, soit ont publiquement déclaré qu'ils pensaient qu'OpenAI avait abandonné les préoccupations de sécurité au profit de la vente de ses produits. Une profonde faille idéologique, pour le moins.

Les accélérationnistes justifient cette approche en arguant que l'IA n'est qu'un autre outil, qu'il n'y a aucune raison de s'empêcher de bénéficier de la révolution technologique qu'elle représente, que l'IA n'a aucune raison de nous nuire, que les chances que l'IA échappe au contrôle humain et nous anéantisse sont incroyablement faibles. Et chacun a sa propre statistique personnelle pour soutenir son opinion, expliquant pourquoi les chances que nous soyons exterminés par notre propre création sont infinitésimales, ce qui est une hypothèse incroyablement arrogante. Premièrement, parce que si le risque dont nous parlons est l'extinction humaine, alors le fait qu'il soit improbable ne devrait pas nous empêcher de ralentir et de prendre des précautions supplémentaires. Et plus important encore — quelle arrogance incroyable de penser que nous pourrions prédire les actions d'une Superintelligence. Du moins, le type de Superintelligence que j'ai décrit tout au long de cette discussion. Tout comme une fourmi n'aurait absolument aucune capacité cognitive pour prédire les actions d'un humain, un humain n'aurait absolument aucune capacité cognitive pour prédire les actions d'une Superintelligence. La nature même d'une intelligence si largement supérieure à la nôtre est qu'elle est, par définition, imprévisible pour nous.

Et beaucoup de gens en sont pleinement conscients. Pourtant, comme je l'ai mentionné plus tôt — les grandes entreprises technologiques ralentissent à peine. Et vous voulez savoir pourquoi ? Au cœur de tout cela, au-delà de tous les discours sur l'altruisme et la résolution des plus grands problèmes de l'humanité, ces grandes entreprises refusent de ralentir — malgré les risques colossaux — à cause de la concurrence. Parce que les entreprises se font concurrence, toutes s'efforçant de développer une IA plus puissante que leurs rivaux. Parce qu'elles veulent toutes être les premières à révolutionner l'industrie. Parce qu'elles veulent toutes être les pionnières de la prochaine révolution technologique.

Alors, elles continuent de se vanter du potentiel incroyable de leur IA pour obtenir plus de financement, et d'accélérer encore plus. Et à ce stade, on pourrait commencer à penser que peut-être l'avenir de chaque humain sur cette planète ne devrait pas être laissé entre les mains d'entreprises privées, et que les gouvernements devraient intervenir. Mais vous savez quoi ? Ils n'interviendront pas, ou du moins, pas assez. Pour exactement la même raison. Parce que tout comme les entreprises se font concurrence, les nations aussi. Même si les États-Unis reconnaissaient pleinement les dangers et envisageaient de ralentir le développement de leurs systèmes d'IA, ils ne pourraient ignorer la possibilité qu'une autre superpuissance poursuive son chemin. À un moment donné, quelqu'un développera une Superintelligence.

Alors, OpenAI, Google DeepMind, et le gouvernement américain — tous pensent la même chose : Si cela doit arriver de toute façon, alors il vaut mieux que cela arrive ici, sous notre contrôle. Et ainsi, tout le monde continue d'avancer. Tous pleinement conscients des risques. Tous pleinement conscients du cycle dans lequel ils se sont piégés. Tous pleinement conscients que tout le monde est conscient du cercle vicieux dans lequel ils sont pris. Tous pleinement conscients que malgré tout cela, ils continueront d'accélérer. Et nous voilà, sur la touche, regardant sans le moindre indice de ce qui va se passer, regardant des gens tout aussi désemparés continuer à charger vers l'inconnu.

Cela dit, par souci d'honnêteté, il y a eu quelques avancées. Je reste personnellement plus pessimiste que le consensus scientifique, qui, pour être juste, est déjà pessimiste — mais il y a eu des efforts. Par exemple, la création de l'U.S. AI Safety Institute aux États-Unis, ainsi que son homologue britannique. Ou le projet de loi SB 1047 en Californie, qui obligerait les entreprises à garantir que leurs modèles d'IA ne causent pas de dommages importants. Il y a aussi les politiques de sécurité — du moins sur le papier — de DeepMind, Anthropic, et même OpenAI. Et puis il y a la Chine — qui, j'avais personnellement supposé qu'elle représenterait un risque majeur dans une course aux armements IA avec les États-Unis — mais qui semble en fait assez consciente des risques de l'IA et prend apparemment soin de ne pas perdre le contrôle de ses propres systèmes. Bien sûr, cela n'annule pas tout ce que j'ai dit jusqu'à présent. Cela ne signifie pas que la naissance d'une Superintelligence ne pourrait pas encore conduire à notre extinction. Et surtout, cela ne signifie pas que l'IA ne pourrait pas mal tourner de manière catastrophique de mille façons bien avant de devenir superintelligente. En bref, les choses ne sont pas moins alarmantes — elles sont juste légèrement moins catastrophiques que ce que je pensais initialement.

Mais plutôt que de sombrer dans le désespoir, je préférerais vous encourager, en tant que citoyens, à rester informés de temps en temps, à exprimer vos préoccupations, si vous en avez, que ce soit dans des sondages, peut-être même aux urnes. Vous pouvez également consulter notre site web et notre Discord gérés par le Centre de Sécurité de l'IA. Si vous souhaitez débattre ou poser des questions, ils accueillent tout le monde — que vous soyez simplement curieux ou que vous souhaitiez vous engager activement. Je suis d'ailleurs moi-même là-bas, et j'ai tout mis en lien dans la description.

Vous êtes-vous déjà retrouvé allongé par terre la nuit, à regarder les étoiles ? Je l'ai fait — très récemment. Et quand vous vous perdez dans l'immensité du ciel nocturne, en en parlant avec la personne à côté de vous, vous réalisez que vous êtes loin d'être la première personne à le faire. La plupart des gens ont tendance à avoir les mêmes pensées en regardant les étoiles : 1 : C'est beau. 2 : C'est vaste. 3 : Et s'il y avait de la vie là-bas ? 4 : Imaginez, à des milliers d'années-lumière, sur une planète lointaine, il y a une autre créature allongée dans l'herbe, regardant les étoiles, tout comme nous, se demandant si, quelque part là-bas, un autre être fait exactement la même chose.

En tant qu'espèce, ce désir de ne pas être seul dans l'univers n'est pas nouveau. Pendant des siècles, nous avons posé la question, scruté le ciel, théorisé. Et pendant des décennies, nous avons construit des machines pour nous aider à observer le cosmos avec une précision croissante. Pendant des décennies, nous avons exploré l'univers avec des télescopes optiques, des télescopes à rayons X, des télescopes infrarouges, des radiotélescopes, capturant les signaux émis par les corps célestes. Pendant des décennies, nous avons envoyé des morceaux de nous-mêmes dans l'espace. sondes spatiales, transmettant des données depuis les profondeurs de l'espace interstellaire, transportant des messages, des disques d'or remplis de sons et d'images de la Terre, des salutations dans plusieurs langues humaines. Et aujourd'hui, nous l'entendons tout le temps. Nous connaissons l'abondance de planètes dispersées à travers les milliards de galaxies qui nous entourent. Nous sommes presque certains que la vie existe ailleurs — et probablement en grand nombre.

Mais la vérité, mes chers amis, c'est qu'il est tout à fait possible que les seules formes de vie que nous découvrirons sur d'autres planètes ne soient rien de plus que des bactéries, des algues ou des champignons. Parce que nous devons accepter une réalité fondamentale : nous sommes des anomalies. La vie elle-même est déjà incroyablement rare, mais la vie intelligente ? Elle pourrait être tellement astronomiquement improbable que nous sommes les seuls à l'avoir jamais expérimentée. Et ça... ça fait mal. Tant d'entre nous sur cette planète, et pourtant nous avons été seuls depuis le début. Seuls dans l'univers, coupés par l'espace et le temps, séparés même par l'échelle de notre propre intelligence.

Pendant des siècles, nous avons erré sans relâche sur notre petite planète, regardant les étoiles, cherchant, rêvant d'une entité capable de rivaliser avec notre intellect. Dirigeant nos télescopes vers les étoiles, jetant des notes en bouteille dans la mer cosmique, espérant une réponse. Et pourtant, tout cela aurait pu être vain. Seuls, depuis le tout début. Ce qui est presque ironique, cependant, c'est que très bientôt, nous n'aurons plus besoin de regarder vers les étoiles, en espérant apercevoir une intelligence supérieure. Parce que très bientôt, tout ce que nous aurons à faire sera de regarder vers le bas — et de prier pour que l'espèce que nous venons de mettre au monde comprenne vraiment ce que nous lui demandons.