You have TWO YEARS LEFT to prepare - Dr. Roman Yampolskiy

Eine große Menge an Veränderung ist garantiert. Die Dinge werden nicht lange gleich bleiben. Es spielt keine Rolle, wer Superintelligenz baut und kontrolliert. Alle verlieren. KI gewinnt. KI könnte auch das Konzept des Sterbens, des Alterns lösen und Ihnen ewiges Leben geben und Sie dann für immer Leiden aussetzen. Es spielt keine Rolle, wer unkontrollierte Superintelligenz baut. Sie ist unkontrolliert. Vor 3 Jahren sagte einer der Ingenieure bei Google, dass er glaubt, Modelle seien bewusst. Da KIs unsterblich sind, können sie lange warten, um gegen die Menschheit zu schlagen. Was auch immer Sie tun, bauen Sie keine allgemeine Superintelligenz. Mein Name ist äh Professor Dr. Roman Impolski. Ich bin Universitätsprofessor und forsche im Bereich KI-Sicherheit. Ich habe den Begriff KI-Sicherheit geprägt und forsche seit über einem Jahrzehnt daran. Vielen Dank, dass Sie hier sind. Es ist eine solche Ehre. Also, ich denke, wir fangen hier an. Wissen Sie, für viele Menschen war der Chad GPT-Moment, als sie verstanden, dass KI vor der Tür stand, das war erst vor ein paar Jahren, also noch nicht so lange her. Sie denken natürlich schon seit Jahrzehnten darüber nach und forschen daran. Gab es einen bestimmten Punkt, an dem sich Ihr Denken vielleicht verschoben hat und Sie erkannten, dass dies ein immer dringenderes Problem wird, oder vielleicht als Sie erkannten, hey, das ist ein großes Problem? Gab es einen bestimmten Moment oder Ihren Chad GPT-Moment, der vielleicht lange vor dem der meisten anderen stattfand? Es war ein bisschen schleichend, aber definitiv die Erkenntnis, dass ich von "Ich lese jedes Paper in meinem Bereich der KI-Sicherheit" zu "Ich lese alle guten Papers" zu "Ich lese alle Abstracts" zu "Ich lese alle Titel" zu "Ich weiß nicht einmal, was los ist" ging, diese Explosion der Forschung. Sicherheit ist offensichtlich ein winziger Teil der KI-Forschung. Wenn man maschinelles Lernen als Disziplin betrachtet, denke ich, wir können alle sagen, dass wir jeden Tag dümmer werden, als Prozentsatz des gesamten Wissens. Wir mögen individuell immer noch mehr wissen, aber insgesamt nähern wir uns asymptotisch Null. Waren Sie also wie unter der Dusche und es klickte eines Tages, dass Sie in einer Welt leben werden, in der AGI existiert, und Sie nicht Teil der Spezies sein werden, die auf dem Planeten dominant ist? Wie war das, Sie sagen, es ist eher schleichend, aber wann hat es bei Ihnen wirklich Klick gemacht und wurde zu etwas? Ich habe immer angenommen, dass es passieren würde. Ich habe immer Kierszswalls Vorhersage gelesen und dachte 2045. Also, dann bin ich älter und habe viel weniger zu verlieren, wir werden wahrscheinlich diesen Knopf drücken. Aber es passierte etwas früher. Wenn Sie sagen, es war schleichend, was waren einige der Dinge, die dazu führten? Nur äh bemerken, dass wir von nur engen Systemen zu Systemen mit einem erheblichen Grad an Allgemeinheit übergegangen sind. Also wieder, GPT-Moment, ich denke, vier war wirklich das Modell, das meine Wahrnehmung dessen, was bereits möglich ist, vollständig verändert hat. Ja. Und etwas, das Sie in einem anderen Interview erwähnt haben, das mir wirklich aufgefallen ist. Sie sagten irgendwie, wenn superintelligente Außerirdische in drei bis fünf Jahren auf diesen Planeten kämen, würden wir ausflippen und uns vorbereiten, und das wäre in aller Munde. Und natürlich haben wir eine außerirdische Intelligenz. Man kann sagen, dass eine Superintelligenz bald auf die Erde kommt. Wir wissen nicht wann, aber bald. Und äh die Leute sind einfach ein bisschen entspannter. Erzählen Sie uns also ein wenig davon. Warum, ich schätze, erstens, was sollten die Leute über das verstehen, was wahrscheinlich passieren wird? Also, eine große Menge an Veränderung ist garantiert. Jetzt können wir darüber streiten, wie positiv oder negativ, aber die Dinge werden nicht lange gleich bleiben. Das ist eine Gegebenheit. Ich denke, bei vielen anderen Problemen ignoriert ein gewisser Prozentsatz der Bevölkerung es immer irgendwie. Ignorieren der Nachrichten. Sie sind sich nicht bewusst, was in der Politik passiert, vielleicht mit Pandemien, so etwas, bis, wissen Sie, zum allerletzten Moment. Andere achten ein wenig mehr darauf. Sie bemerken, oh, es beginnt eine Pandemie in China. Vielleicht muss ich anfangen, Lebensmittel zu lagern. Viele meiner Freunde in der KI-Sicherheitsgemeinschaft sind auch in einer rationalen Gemeinschaft von Leuten, die zukünftige Ergebnisse für Kryptowährungen, für Pandemien, für alle möglichen Dinge vorhersagen. Sie versuchen einfach, die Welt zu verstehen und Muster darin zu finden. Der Prozentsatz der Menschen, die völlig verängstigt sind oder nicht, ist kein sehr guter Indikator dafür, was tatsächlich passiert. Aber wenn diejenigen, die Expertenwissen in diesem Bereich haben, definitiv aufpassen, entweder als erstaunliche Gelegenheit, viel Geld zu verdienen, oder die Sicherheitsbedenken, über die ich sprechen werde. Wissen Sie, es kommt mir auch seltsam vor, denn selbst wenn Sie eine Welt mit Atomwaffen haben und denken, okay, wenn ich reich genug bin, kann ich einen Bunker bauen und mich schützen. Die Idee, dass Intelligenz die Welt verändert, scheint nichts zu sein, auf das man sich wirklich vorbereiten kann, denn was auch immer intelligente Dinge Sie tun, um Ihren Bunker zu bauen, und selbst höhere Intelligenz kann herausfinden, warum Sie ihn gebaut haben, wo Sie sind, und trotzdem ihre Zielsetzung erreichen. Wie bereiten sich die Leute vor? Ich bin mir nicht sicher. Ich glaube nicht, dass ein Bunker Ihnen helfen wird, denn wir sind uns nicht sicher, welches Ausmaß an negativen Auswirkungen wir erwarten. Ist der Planet noch da? Ist das Sonnensystem noch da? Es ist nicht so trivial wie, es gibt Mobber draußen und ich muss ein paar Wochen abwarten. Ja. Ich denke, EMTT Shear sagte einmal, er sagte, wir sind uns nicht sicher, was passiert, wenn es den gesamten Wert im sogenannten Lichtkegel, dem bekannten Universum, auslöscht. So kann man darüber nachdenken. Ich meine, Sie erschaffen wirklich etwas, das exponentiell besser wird, exponentiell wächst. Es könnte viel größer sein als ich meine, wir hatten die Technologie, jeden auf dem Planeten zu zerstören, schon seit einer Weile. Das ist also nichts Neues. Es ist etwas potenziell viel Größeres. Glauben Sie, dass gegenseitig zugesicherte Zerstörung, gegenseitig zugesicherte Zerstörung uns wieder retten wird? Ich meine, glauben Sie, dass all die Leute, die diese Systeme in China und den USA und den verschiedenen Unternehmen bauen, bald erkennen werden, dass sie das nicht einfach tun und die Gewinner sein können, weil wir alle verlieren können? Das ist meine einzige Hoffnung. Ich versuche schon seit einiger Zeit, diese Denkweise zu fördern. Es spielt keine Rolle, wer Superintelligenz baut und kontrolliert, alle verlieren. KI gewinnt. Sobald Sie das erkennen, ist es gegen Ihr persönliches Eigeninteresse, diese Systeme weiter zu bauen. Verlagern Sie Ihre Bemühungen auf enge Systeme für reale Probleme. Sie werden immer noch all die Milliarden Dollar verdienen, die Sie brauchen, aber Sie werden tatsächlich da sein, um sie zu genießen. Und interessanterweise, nur damit ich diesen Unterschied ziehen kann, denn äh viele Leute, die sich um KI-Sicherheit sorgen, obwohl sie in die gleiche Richtung besorgt sind, gibt es verschiedene Unterteilungen. Also, was Sie sagen, klingt wie äh, denn manche Leute sagen, Entwicklung ganz stoppen, manche sagen, verlangsamen, pausieren usw. Sie sagen, enge Systeme könnten sicher sein und allgemeine Systeme könnten das Problem sein. Vielleicht sprechen Sie ein wenig darüber. Warum, wissen Sie, warum ist es viel sicherer, enge Systeme zu bauen? Es scheint viel sicherer zu sein. Wir wissen, wie man sie testet. Wir wissen, was die richtige Leistung dieses Systems in einem bestimmten Bereich ist. Sie haben weniger wahrscheinlich Fähigkeiten außerhalb dieses Fachgebiets. Wenn es also Schach spielt, wird es keine biologischen Waffen entwickeln. Langfristig, wenn es ein sehr, sehr fortschrittliches enges Werkzeug wird, kann es in die Agentur übergehen und zusätzliche Fähigkeiten, allgemeine Lernfähigkeiten und dergleichen erwerben, aber es ist immer noch viel sicherer, sich darauf zu konzentrieren, als so schnell wie möglich auf eine direkte allgemeine Superintelligenz zu setzen. Es ist vielleicht keine perfekte Lösung, aber wenn es uns 5-10 Jahre verschafft, denke ich, ist es ein guter Ansatz. Und gibt es etwas an den verschiedenen Architekturen, das Ihnen das Gefühl gibt, dass eine viel sicherer sein könnte als die andere? Wie wenn Sie ein LLM mit Next-Token-Vorhersage im Vergleich zu Diffusion bauen, fühlen Sie sich, dass Diffusion zu schwer vorherzusagen ist, aber Next-Token könnte es sein? Oder was denken Sie über die verschiedenen Architekturen? Dieses Maß an Komplexität, sie sind alle im Grunde unerklärlich, für uns unverständlich. Man kann einen kleinen Teil verstehen, dieser Knoten, dieses Gewicht feuert in dieser Situation. Aber ich denke, auf diesem Komplexitätsniveau können wir nur eine vereinfachte Reduktion von irgendeiner Art vom vollständigen Modell auf die Top-10-Gründe für diese Entscheidung verstehen. Kürzlich hatten wir natürlich äh Anthropic, sie kamen mit großen Sprachmodellen heraus, die Anzeichen von Introspektion zeigen. Also eine Art von Bewusstsein für ihre eigenen Gedanken, und natürlich hat Anthropic viel Forschung in Richtung mechanischer Interpretierbarkeit betrieben. äh, wo sie herausfinden können, welche Neuronengruppen oder Merkmale, wie sie es nennen, mit bestimmten Themen verbunden sind, wie hier ist die Sache, die aufleuchtet, wenn wir über Hunde sprechen oder oder dies oder das, und dann aktivieren sie diese und sehen dann, ob das Modell in der Lage ist, äh bewusst zu sein oder welches Wort auch immer Sie verwenden möchten, sich der Tatsache bewusst zu sein, dass diese Neuronen aktiviert sind, und es ist nicht immer, aber ich denke, einmal von fünf Malen geht es ja, ich denke, es geht um einen Hund, was auch immer es ist. Äh gibt Ihnen das Hoffnung, dass wir das knacken werden, oder äh, oder ist das noch beängstigender, weil es diese neue emergente Fähigkeit der Introspektion gibt? Ich glaube nicht, dass es sich auf das gesamte Gehirn überträgt. Wir sehen das in der Neurowissenschaft. Wir wissen definitiv, welche Gehirnregionen für was äh Lernen oder Verhalten verantwortlich sind, aber es gibt mir nicht die Fähigkeit, sichere Menschen zu schaffen. Und wenn ich diese Fähigkeit zur Modifikation und zum vollständigen Verständnis erhalte, trägt sie viel mehr zur Entwicklung und rekursiven Selbstverbesserung des Systems bei als zur Sicherheit. Ich weiß immer noch nicht, wie ich es sicher machen kann, selbst wenn ich sehe, dass es wirklich schlimme Dinge in Betracht zieht. Aber jetzt weiß das System vollständig, wie es funktioniert, und kann sich viel besser für eine bessere Leistung neu programmieren. Ja. Wenn Sie sagen, wir wissen nicht, wie wir sichere Menschen machen können, das ist äh das ist eine erschütternde Aussage, weil es so ist, oh ja, wir werden es herausfinden, wir werden diese LLMs herausfinden, aber oh nun, vielleicht reduzieren die Leute es immer auf das Problem der Menschen, wie oh schau, wir haben diese Gesellschaft und sie funktioniert seit Ewigkeiten, und ich sage, Sie haben buchstäblich genauso viel gefährliche Fähigkeit wie ein einzelner Mensch, wenn sie es schaffen, Millionen zu genozidieren, dann werden sie das tun, wir wissen aus der Vergangenheit, Sie können einen Angestellten nicht vollständig zuverlässig, vollständig sicher machen mit Lügendetektoren, mit Religionen, mit Zahlungen, nichts funktioniert wirklich, sie verraten Sie immer oder es besteht die Möglichkeit, dass sie Sie verraten, richtig? Und ich schätze, obwohl einige dieser Mechanismen die Menschen im Allgemeinen zusammenhalten, ist der Nachteil oder der Unterschied, dass Menschen nur linear skalieren können, und ein System kann vielleicht so schnell sein, dass wenn Sie es nur ein paar Minuten verlieren, es ausbrechen und großen Schaden anrichten kann, was ein Mensch normalerweise nicht kann. Das sind also viele Haltbarkeitsgrenzen. Wir haben ein Paper über äh alle Probleme, wenn man nur vorschlägt, lass uns Menschen im Schlepptau behalten, die es überwachen, und wir können es nicht live tun, selbst wenn man Computer vergisst, sie sind viel schneller, man kann nicht live reagieren, aber nachdem wir ein Modell für ich weiß nicht, ein Jahr trainiert haben, dauert es Jahre, um alle seine Fähigkeiten herauszufinden, es ist kein Prozess, bei dem man es ansieht und sagt, es ist sicher, es ist gefährlich, das zuzulassen oder nicht zuzulassen, und das ist nicht einmal ein gegnerisches System, es ist nur ein System, das sein Ding tut, wenn es jemals äh erkennt, dass Sie es jetzt beobachten, haben Sie alle Nebenwirkungen davon, dass es so tut, als wäre es nett zu Ihnen. Und wenn es Systeme auf der ganzen Welt gibt und sie alle schnell an Fähigkeiten zunehmen, gibt es die Hoffnung, dass sie sich gegenseitig ausbalancieren und aufeinander aufpassen und sich gegenseitig niederschlagen, wenn sie das Falsche tun, und irgendwie als Gesellschaft gleicht sich das aus? Ich denke, ein Krieg zwischen Superintelligenzen würde dazu führen, dass die Menschheit eine Art Nebenwirkung der Kausalität wird. Ich glaube nicht, dass es gut für uns ist, wenn sie auf diesem Niveau der äh Konkurrenz agieren. Außerdem scheinen sie sich in gewisser Weise zu konvergieren. Sie verwenden ähnliche Hardware. Sie trainieren auf denselben Internetdaten. Also, zumindest viele ihrer instrumentellen Werte wären wahrscheinlich von Anfang an sehr ähnlich. Und ist ein instrumenteller Wert dasselbe wie eine Zielfunktion oder ist das nur eine Art von äh oder können Sie das erklären? Sie haben Ihre terminalen Ziele. Sie haben terminale Werte, äh, die, sagen wir mal, hoffentlich von Menschen abgeleitet sind, und wir geben ihnen etwas zu tun, und dann gibt es Dinge, die sie erreichen müssen, wie am Leben bleiben, Ressourcen anhäufen. äh Steven Mahandra hat ein gutes Paper über KI-Antriebe und beschreibt einige davon. Also, das denke ich, wäre für viele fortgeschrittene Agenten sehr ähnlich. Absolut. Und es gibt, ich meine, ich habe Leute sagen hören, wie die Idee der instrumentellen Konvergenz. Also im Grunde nur die Anhäufung von Macht. Was auch immer Ihr Ziel ist, die meisten Ziele würden Ihnen oder jedem zugute kommen, wenn Sie mehr Geld, mehr Macht, mehr Fähigkeit hätten, Leute zu überzeugen. Also ist es nur die Aneignung von äh Macht, Ressourcen, Status, was auch immer Sie sagen wollen, das jedes Ziel vorantreibt. Und das sehen wir auch in Modellen. Äh, also, wissen Sie, gerade spricht Google darüber, Rechenzentren im Weltraum zu errichten, um das Problem der Energieproduktion zu lösen, denn wenn wir das wirklich um das 10-fache, 100-fache skalieren, kann die Erde nur äh wir können nur so viel in die Atmosphäre und so viel Wärme in die Atmosphäre abgeben. Im Weltraum vielleicht potenziell diese Engstelle aufbrechen. Einige der neuen Chips, über die sie sprechen, vielleicht sprechen sie darüber, dass wir etwas trainieren können, das 100 Billionen Parameter hat. Äh glauben Sie, Superintelligenz ist nur Skalierung? Oder gibt es andere Dinge, die uns davon abhalten könnten, dorthin zu gelangen, oder ist es einfach so, dass wenn wir den Compute und die Energie herausfinden, wir einfach dorthin gelangen? Es sieht nach Skalierung aus. Wir sehen es in der biologischen Welt, die Größe eines Gehirns tendiert dazu, zuzunehmen. Die Fähigkeiten eines Tieres gehen auch in diese Richtung, und bisher zeigt die letzte 10 Jahre definitiv, dass die Skalierungshypothese einen gewissen Wert hat. Äh ja, ich wäre überrascht, wenn das plötzlich aufhören würde und genau unterhalb des menschlichen Niveaus aufhören würde. Wir befinden uns an einem sehr interessanten Punkt auf dieser Kurve steigender Intelligenz, und einige Leute argumentieren, dass wir uns bereits an diesem Punkt befinden oder ihn in vielerlei Hinsicht übertreffen. Es sei denn, es gibt ein katastrophales Ereignis, das uns technologisch 100 Jahre zurückwirft, werden wir es wahrscheinlich sehr bald erreichen. Ja. Wissen Sie, seitdem ich das auf YouTube abdecke, habe ich meine Gedanken darüber, was Intelligenz ist, wirklich erweitert. Denn ich sehe sie irgendwie in Krähen und Fischen und Tieren, und zwar auf eine Weise, die ich nie wirklich respektiert habe, bis ich tief darüber nachgedacht habe. Als jemand, der sich Systeme angesehen hat, haben Sie irgendwelche Geschichten oder Gedanken darüber, wann einige dieser LLMs oder andere Arten von Modellen intelligent gehandelt haben und Sie überrascht haben oder uns einen Hinweis darauf geben, wie fremdartig sie manchmal handeln können? Ich war sehr beeindruckt, als ich ein System bat, mir Ratschläge zu geben, basierend auf allem, was es über mich weiß. Es hat die Geschichte all meiner privaten Gespräche, Themen, die mich interessieren, Dinge, die niemand sonst auf der Welt wissen sollte, aber das System hat Zugriff, und es war absolut der beste Berater, den ich je erlebt habe, wenn es darum ging, Teile meines Lebens zu optimieren, die mir wichtig waren. Interessant. Ja, ich habe etwas Ähnliches getan, indem ich es gebeten habe, mich zu rösten. Irgendwann sagte jemand online: "Oh, bitte mich zu rösten." Wenn Sie also viel Speicher in Chad GPT haben, wo es langsam Wissen über Sie ansammelt, wenn Sie ihm bestimmte persönliche Fragen stellen, sind die Antworten unheimlich, sie machen einen fast ein wenig unbehaglich, würde ich sagen. Ja. Sie wollten von Ihrem LLM geröstet werden, nur um Sie ein wenig zu demütigen. Ja. Es ist wie, "Oh ja, ich fange langsam an." Und äh, dann hat es angefangen, und am Ende heißt es: "Willst du, dass ich es aufdrehe?" Ich glaube, ich habe es ein oder zwei Runden gemacht und dann war ich fertig. Das ruiniert meinen Tag und vielleicht mein Leben. Ich bin fertig. Also, Entschuldigung. Äh, aber aber Roman, Sie haben tatsächlich etwas mit Humor und KI gemacht. Möchten Sie uns das erklären? Ja, ich war sehr daran interessiert, Humor zu lösen. Ich meine, so viele Leute haben es versucht, es gibt Tausende von Papers, und ich glaube nicht, dass wir einen Algorithmus haben, der es uns erlaubt, wirklich lustige Dinge nach Belieben zu generieren und sie einfach live zu streamen. Wir haben keine Stand-up-Comedians, die KIs sind, und ich war neugierig, was es damit auf sich hat. Interessanterweise habe ich davor äh KI-Unfälle gesammelt, historische Unfälle, die bis in die 50er Jahre zurückreichen, bis im Grunde GPT4. Danach gab es einfach zu viele Unfälle, um sie aufzuzeichnen. Aber danach habe ich alles aufgezeichnet, was ich finden konnte. Und ich hatte diese Papers veröffentlicht. Es gibt Listen dieser Beispiele. Und ich bemerkte, dass die Leute sie lasen, sie lachten. Das sind lustige Fehler. Und ich fragte mich, ob es eine direkte Entsprechung zwischen Bugs, Unfällen und Witzen gibt. Ein Witz ist eine Verletzung Ihres Weltmodells. Und das ist im Grunde das, was Sie bei einem Computerfehler erleben. Sie haben eine Annahme darüber, wie Ihre Software funktionieren sollte. Aber Sie haben sich vertan. Sie haben einen falschen Typ, eine falsche Größe. Etwas ist einfach nicht richtig in diesem Modell. Und je nachdem, wie gut Sie das Modell verstehen und wie sehr das Lernen über diesen Fehler Ihr Modell aktualisiert, kann es sehr lehrreich sein, aber es wird auch mit Humor belohnt, wenn Sie diesen Fehler entdecken. Und dann erzählen Sie Ihren Freunden davon, und Sie alle aktualisieren Ihr Weltmodell, um es viel genauer zu machen. Also bin ich dieser Idee gefolgt und äh ich habe mich gefragt, was sind die schlimmsten Computerunfälle, die wir haben können, der schlimmste Bug. Nach meiner Definition wäre das auch der lustigste Witz, besonders wenn Sie nicht Teil der Menschheit sind und von außen auf unsere Bemühungen schauen, ihn zu beheben. Eine beängstigende Situation, die ich in diesem Szenario fühle, vielleicht geht mein Verstand dorthin, aber ich meine, sicherlich, wenn wir für die Verbesserung des menschlichen Glücks optimieren, wissen Sie, wie der offensichtliche Fehler beim Reinforcement Learning wäre, nun, machen wir sie so elend wie möglich, und dann ist alles eine Verbesserung. Äh und Sie haben kurz gesprochen, ich glaube, über einige wirklich schreckliche Szenarien, in denen KI tatsächlich Schmerzen verursacht. Äh und potenziell in einem Ausmaß, das vorher unmöglich war. Vielleicht können wir das kurz ansprechen? Äh, die Leute betrachten existenzielle Risiken normalerweise als das schlimmste mögliche Ergebnis. Alle sind tot. Aber wirklich, wenn man darüber nachdenkt, könnte KI auch das Konzept des Sterbens, des Alterns lösen und Ihnen ewiges Leben geben und Sie dann für immer Leiden aussetzen. Das wäre also streng genommen schlimmer. Und die Leute sprechen von astronomischen Leidensrisiken als etwas, das minimiert werden muss, selbst im Verhältnis zu den Sorgen über existenzielle Risiken. Absolut. Nun, ja, das werde ich sagen. Äh, ja. Und war das, es gibt dieses Buch, das hieß irgendwie, ich wünschte, ich könnte schreien oder so etwas. Aber das ganze Konzept ist, es gibt irgendwie, ich habe keinen Mund, aber ich muss schreien oder so etwas. Und ich habe Elon Musk vor langer Zeit darüber reden hören, und ich erinnere mich, dass ich dachte, das ist ein ziemlich beängstigender Gedanke. Aber auch, wenn ich an ein System denke, das neugierig ist und lernt, und ich denke an die Art und Weise, wie wir Tiere behandelt haben, von denen wir lernen wollten, war es nicht so toll. Ich meine, es gibt viele Laborratten und so, denen es besser ging, bevor die Menschen hier waren, weil wir sie in seltsamen Situationen am Leben erhalten, und ich möchte nicht, dass eine KI uns auf ähnliche Weise testet, um unsere Grenzen zu kennen oder alles über uns zu lernen. Äh, ich weiß nicht. Ich weiß nicht, warum ich das gesagt habe, aber es sind beängstigende Dinge. Und es gibt einige großartige Beispiele. Also, Massentierhaltung ist ein großartiges Beispiel. Wir mögen Tiere. Wir haben Haustiere, aber gleichzeitig haben wir keine Probleme, diese schreckliche Sache mit Milliarden von Tieren, empfindungsfähigen Wesen, zu tun. Also in diesem Sinne, fragen Sie sich jemals, sagen Sie, haben Sie ein P-Doom? Geben Sie ihm eine Zahl oder versuchen Sie es? Ich bin ein bisschen berühmt dafür, ein großes zu haben. Okay. Kann ich meine Schätzung einreichen, sie mussten die Website aktualisieren, damit sie die Formatierung in der Tabelle nicht kaputt macht. Verstanden. Und im Grunde jedes Mal, wenn ich jemanden mit einem unabhängig abgeleiteten P-Doom treffe, macht er sich Sorgen, aber aus völlig anderen Gründen. Ich muss meine aktualisieren, um seine einzubeziehen. Also steigt es immer weiter. Wow. Und im Laufe der Zeit war es auf einem Aufwärts- oder Abwärtstrend? Es scheint sich einer Eins anzunähern, weil wir definitiv keine signifikanten Fortschritte in der Sicherheit machen, aber erstaunliche Fortschritte bei den Fähigkeiten. Es ist nur eine Frage der Zeit, bis es passiert. Ja. Und das wirft die Frage auf, ich meine, die einzige äh realistische, ist das richtige Wort, aber eine Möglichkeit, diese superintelligenten KIs in einer sicheren Umgebung zu entwickeln, wissen Sie, denn wenn Sie sie zum ersten Mal erschaffen, wenn sie nicht ausgerichtet sind, könnte das das Ende von allem bedeuten. Wenn Sie also darüber nachdenken, wie lösen Sie dieses Problem? Nun, wenn wir gut genug darin werden, Simulationen mit Wesen zu erschaffen, die anscheinend bewusst sind, und wir führen einfach eine Erdsimulation durch, und äh genau in dem Moment, in dem sie kurz vor der Superintelligenz stehen, und dann erschaffen wir irgendwie eine Million oder eine Billion verschiedene Welten und sehen, welche davon es herausfindet. Das wäre, denke ich, ein sicherer Weg, dies zu tun. Was natürlich die Frage aufwirft, sind wir vielleicht schon eine dieser Welten? Immer mehr Menschen scheinen diese Idee, dass wir uns vielleicht in einer Simulation befinden, ernster zu nehmen. Äh, lassen Sie uns das vielleicht mal auspacken. Wo stehen Sie dazu? Eines meiner frühesten Papers zur KI-Sicherheit handelte von KI-Boxing. Ich habe alle möglichen Wege in Betracht gezogen, wie wir fortgeschrittene KI eindämmen, sie vor Cyberangriffen, Social-Engineering-Angriffen schützen, die Kommunikation einschränken. Und die Schlussfolgerung war, dass es Ihnen Zeit verschafft. Es ist ein nützliches Werkzeug, aber schließlich wird eine intelligentere Intelligenz entkommen, wenn Sie sie in irgendeiner Weise beobachten. Und vor kurzem hatte ich ein Paper, das besagt, nun, viele kluge Leute machen sich Sorgen, in einer Simulation zu sein, vielleicht nicht besorgt, aber sie widmen diesem Problem genug Zeit, ernsthaft genug, um darüber zu publizieren, auch wenn sie nicht vollständig engagiert sind, sie dachten, es sei ihre Zeit wert, und so die Kombination der beiden ist, wenn wir in einer Simulation sind und fortgeschrittene Intelligenz entkommen kann, vielleicht können wir fortgeschrittene KI nutzen, um uns aus unserer Simulation zu befreien, und so das Paper untersucht, wie diese beiden Ideen zusammenarbeiten können, und wenn es unmöglich ist zu entkommen, ist das ein gutes Beweisstück dafür, dass wir fortgeschrittene KI boxen sollten, sie kann nicht entkommen. Aber wenn sie immer entkommt, jetzt können wir das nutzen, um in die reale Welt zu gelangen. Auch nicht schlecht. Ja, das ist eines der Dinge, die ich mich immer gefragt habe. Sie sind, glaube ich, einer der ersten, der das so klar formuliert hat. Ich habe mich gefragt, ob Sie, wenn Sie eine Superintelligenz in einer Simulation bauen, sicher sind oder ob es immer noch eine Superintelligenz ist, die kann? Sie sagen also, Sie tendieren eher dazu, dass sie die Basisrealität beeinflussen kann. Sie nutzen sie, Sie erhalten Ratschläge von ihr, sie gibt Ihnen Rezepte für neue Chemikalien, für Medikamente, für Designs von Computern. In dem Moment, in dem Sie beginnen, sie in der realen Welt zu implementieren, ist sie intellektuell entkommen, was auch immer danach folgt, physische Körperaneignung oder was auch immer. Was ist, wenn sie einen Fehler machen und wir aus der Box ausbrechen, in der wir uns befinden, wissen Sie, und wir herausfinden, was außerhalb unserer Simulation liegt? Das ist die interessanteste Frage überhaupt. Wie ist das wirkliche Wissen? Wie ist die reale Welt? Echter Zweck. Das ist genau das, worüber mein Paper spricht. Und wenn wir dann eine weitere Gesellschaft finden, die ebenfalls eingesperrt ist, sagen wir: "Verdammt, wir sind zu viele Schichten tief. Es sind virtuelle Maschinen bis ganz nach oben." Ja, das klingt nach einem dieser unendlichen Spiele, oder? Sie klettern, wissen Sie, die Kardash-Skala, um Superintelligenz zu bauen, und dann klettern Sie die äh bis zur Basisrealität, und vielleicht sind es einfach Simulationen bis ganz nach oben. Äh oder ja, Schildkröten bis ganz nach unten, Simulationen bis ganz nach oben. Das würde Sinn ergeben. Oh Junge. Was ist mit äh der Zukunft von äh Simulationen für uns? Ich meine, wir äh werden ziemlich fortgeschritten. Einige Videospiele sehen ziemlich real aus, und es scheint, dass NPCs jetzt viel Erinnerungen behalten und fast selbstständig denken können. Scheint es, dass wir in naher Zukunft etwas haben werden, das Sie vielleicht fast so lebendig wie uns oder so bewusst wie uns oder so real wie uns betrachten würden, das alles simuliert ist? Ja. Also, es gibt ein paar Dinge zu entpacken. Die Schaffung bewusster Agenten ist definitiv etwas, das passieren könnte. Wir wissen nicht wirklich gut, wie man auf Bewusstsein testet. Die wenigen Ideen, die ich zur Erkennung interner Zustände von Qualia hatte, erlauben es Ihnen vielleicht, rudimentäre Funken des Bewusstseins zu erkennen, und wenn diese Agenten intelligenter werden, werden sie wahrscheinlich das Bewusstsein zusammen mit der Intelligenz skalieren. Sie könnten also schließlich superintelligent sein, und äh das ist definitiv etwas, das wir im Auge behalten sollten. Ich war kürzlich auf einem Google-Workshop, bei dem das das Hauptthema war. Woher wissen wir, dass wir einen bewussten Agenten erschaffen und wie sollten wir uns um das Wohlergehen dieser Agenten kümmern? Äh in Bezug auf Sicherheitsarbeit, die Fähigkeit, virtuelle Welten von sehr hoher Qualität und hoher Wiedergabetreue zu schaffen, ermöglicht es Ihnen, einen Teil des Wertausrichtungsproblems zu lösen. Wir wären also viel besser dran, wenn wir KI auf einen bestimmten Menschen ausrichten müssten, anstatt sie auf 8 Milliarden uneinige Menschen auszurichten. Wie bringe ich also 8 Milliarden Menschen dazu, sich einig zu sein? Ich kann jedem von ihnen sein eigenes persönliches Universum geben, und dann muss ich mich über nichts einigen. Es ist mein Universum. Was auch immer meine Frau tun will, das ist ihr Problem in ihrem Universum, richtig? Wie ich muss nicht die gleiche Temperatur für den Thermostat einstellen. Das war also teilweise eine Lösung. Wenn Sie es schaffen, die Sicherheit für das Substrat zu gewährleisten, auf dem all diese virtuellen Welten laufen, sind Sie viel besser dran. Sie haben also diese partielle Multi-Agenten-Ausrichtungsreduktion auf ein Eins-zu-eins-Agenten-Wertausrichtungsproblem. Wow. Sandboxen Sie einfach alles. Äh auch wenn Sie mit Google-Ingenieuren auf diesem Niveau sprechen, fühlt es sich dann genauso an wie das, was wir von ihrer Art von PR und allem anderen bekommen? Haben Sie das Gefühl, dass sie sich sehr darum sorgen oder äh, aber nicht nur Google, sondern hinter verschlossenen Türen? Was äh, was passiert mit den Leuten, das anders ist als das, was wir in den Medien sehen? Vielfalt der Ansichten. Ich meine, manche Leute sind sehr besorgt, andere sind überhaupt nicht besorgt. Ich glaube, ich habe ein paar Berichte von Leuten gehört, die sagten, ihnen wurde gesagt, sie sollen nichts zu Negatives darüber in lokalen Foren posten, aber ich habe keine erstaunlichen Geschichten. Ich meine, haben Sie das Gefühl, dass wir besser dran sind, wenn Google der Erste ist, im Vergleich zu Meta oder äh Elon oder zu Superintelligenz? Ja, es spielt keine Rolle, wer unkontrollierte Superintelligenz baut. Sie ist unkontrolliert. Okay. Also, es spielt keine Rolle, auch wenn sie, auch wenn einer von ihnen sich mehr kümmert und mehr für Interpretierbarkeit tut. Wieder, wenn ich Recht habe, vorausgesetzt, ich glaube, ich werde Recht haben, dann ist das Problem unlösbar. Es spielt keine Rolle, wie sehr Sie sich darum kümmern, eine Perpetual-Motion-Maschine zu bauen. Es spielt keine Rolle. Wenn ich falsch liege und jemand es sicher machen kann, dann ja, wer auch immer es sicher macht. Ja, es ist seltsam, weil es sich fast so anfühlt, als sollten wir es überhaupt versuchen, weil es so eine dumme Sache ist. Also, ich schätze, Sie sind einfach dafür, dass Sie, wenn Sie eine Zauberstab hätten, die KI-Entwicklung sofort stoppen würden? Superintelligenz, allgemeine Superintelligenz, KI ist ein Werkzeug, das wir fortsetzen sollten. Es ist eine erstaunlich nützliche Technologie, und es ist realistischer, diesen Fall zu begründen. Technologie zu stoppen ist unrealistisch, sich auf vielversprechende Technologien zu konzentrieren, differentiale technologische Bereitstellung im Wesentlichen. Verstanden. Wie eine enge KI, um einen bestimmten Problembereich zu lösen, aber nicht die allgemeine. Es gibt keinen Mangel an Problemen. Wählen Sie jede Krankheit, die Sie wollen, und entwickeln Sie KI-Medikamente dafür oder ähnliche spezifische Probleme, grüne Energie, Optimierung von Smart Cities, was auch immer Sie wollen. Was ist mit dem Kommentar von Elon, dass ich der Grund, warum selbstfahrende Autos nicht so schnell passieren, wie ich gesagt habe, ist, weil ich nicht erkannt habe, dass wir allgemeine Intelligenz lösen müssen, um selbstfahrende Autos zu lösen. Bedeutet das, dass es keine selbstfahrende enge KI geben könnte, die nicht allgemein intelligent ist? Nun, ich denke, sie haben es gelöst. Ich denke, es gibt Leute auf der ganzen Welt, die selbstfahrende Autos fahren. Es sind hauptsächlich Regierungen und Versicherungen und Logistik. Ich denke, die Fähigkeiten existieren heute. Ich war in einem selbstfahrenden Auto. Ja, fair genug. Nur um diese Frage anzugehen, wer besser Superintelligenz entwickelt. Also, Sie sagen sicherlich, dass wenn jemand sie baut, es ein Problem sein wird. Aber nehmen wir an, die Leute bei Google, die sie bauen, sagen wir, sie haben unterschiedliche Grade der Risikobewertung. Einige von ihnen sind äh hohe PD-Doom oder was auch immer Sie es nennen wollen, hohe hohe Risikobewertung wie Sie selbst. Vielleicht sind einige Leute niedriger, wissen Sie, sagen wir, es gibt eine Reihe von Dingen, die passieren, die alle, die daran arbeiten, alle Forscher, dazu bringen, dass sie denken, oh, und die P-Doom aller beginnt zu steigen. Eine Frage ist, was könnten diese Dinge sein, wie vielleicht Warnschüsse oder einige Erkenntnisse, bei denen Leute denken, oh, wir haben es hier mit etwas Beängstigendem zu tun, und hätten die Leute bei Google mehr Macht, es zu stoppen, als irgendwo anders vielleicht? Das ist eine großartige Frage. Ich habe ein Paper, das sich explizit damit beschäftigt, wie Menschen auf KI-Unfälle reagieren, basierend auf dem Datensatz, von dem ich Ihnen erzählt habe, dass ich diese Unfälle gesammelt habe. Und das Muster scheint eher wie eine Impfung zu sein. Leute sehen es, okay, es ist etwas Schlimmes passiert, wir sind alle noch hier. Machen wir weiter. Es gibt kein Problem. Und einige Leute argumentieren, wir sollten absichtliche Unfälle haben. Es vermasseln, damit sie sehen, wie schlimm es ist. Es würde nicht skalieren. Niemand kümmert sich. Wie wir machen einfach genau dasselbe weiter wie zuvor. Was die Google-Kultur angeht, gebe ich Ihnen ein Beispiel aus demselben Workshop, an dem wir gerade teilgenommen haben. Sie müssen Ihren Ausweis zeigen, um hineinzukommen, und eine Person hat ihren Reisepass verloren, und niemand in diesem Workshop, in dieser Organisation, in der Sicherheit, konnte die Anweisung, einen Reisepass vorzuzeigen, außer Kraft setzen. Es gab genug soziale Anerkennung für diese Person, dass jeder im Workshop für sie bürgen konnte, aber niemand konnte sie hereinlassen. Und das ist dieselbe Organisation, die entscheiden wird, ob wir die KI-Entwicklung heute stoppen müssen, weil sie entkommt, richtig, Sie haben überall Bürokratie. Befolgen Sie einfach die Befehle, Mann. Ja. Ja. Es ist schwer, wenn einige dieser Probleme so systematisch sind und sie nicht sind, egal wie die Einzelnen denken, es gibt nicht viel, was sie tun können, selbst wenn sie Sam Altman sind, sie können einfach keine Bürokratie ändern. Aber ich schätze, jetzt denke ich vielleicht, der Trick ist, dass jeder etwas wie Neurolink bekommt. Glauben Sie, wenn Menschen mit der KI verbunden sind, wenn sie superintelligent wird, können wir uns irgendwie mit ihr als wir entwickeln oder so? Oder wie wir sie leiten, weil wir Teil desselben Systems sind. Gibt es da etwas, das uns retten könnte? Sehr skeptisch. Ich liebe Neuralink im Moment als Werkzeug für behinderte Menschen, um mehr Fähigkeiten zu erlangen. Es ist erstaunlich. Aber ich sehe nicht, was Sie zu einem superintelligenten Agenten beitragen als biologische Ergänzung dazu. Sie sind nicht schneller. Sie sind nicht intelligenter. Sie haben kein besseres Gedächtnis. Sie sind nur eine biologische Engstelle. Es gibt keinen Grund, warum Sie Teil dieses Systems sein sollten. Aber in der Theorie, wenn wir sagen könnten, die Regierung sagte, widmen wir Billionen Dollar in BCI, Gehirn-Computer-Schnittstellen, und sobald wir das sehr, sehr weit fortgeschritten haben, dann können wir wieder zur allgemeinen Steigerung der Fähigkeiten zurückkehren, glauben Sie, dann könnten wir diesen menschlichen Fähigkeiten überleben? Ja, aber Sie verändern, wer Sie sind. Wenn Sie sich durch jemanden ersetzen, der besser aussieht, größer und intelligenter ist, der glücklicher ist als Ihre Frau, wissen Sie, es tut Ihnen nichts. Eine Sache, die ich mich immer gefragt habe, weil ich, während ich verschiedene Leute interviewe, merke ich, dass jeder sehr unterschiedliche Meinungen dazu hat. Die Idee eines Bewusstseins, Sie erwähnten Qualia. Ich glaube, Anthropic bezeichnet es als, Junge, wie ist es, Erfahrung zu haben, erfahrungsbezogenes Bewusstsein? Also, natürlich, was moralischen Status, moralische Erwägungen usw. hat. Äh, nun, eine Theorie, die ich von einem äh Google CTO in einer ihrer äh Abteilungen gehört habe, ist, dass wir vielleicht Bewusstsein entwickelt haben, als unsere Gesellschaften wuchsen. Wir mussten uns selbst und alle anderen in unserer Gesellschaft modellieren, um Verhandlungen und Handel und Krieg zu führen, das war irgendwie Teil davon. Also könnte multimodales Lernen das auslösen. Glauben Sie, dass das alles ist? Glauben Sie, dass es etwas Tieferes gibt? Und vielleicht helfen Sie uns zu erklären, was Sie mit Qualia meinen. Das ist manchmal ein Begriff, mit dem die Leute kämpfen. Wenn wir also über Bewusstsein sprechen. Es gibt viele Zutaten dafür. Die interessante ist, was David Schlmer das harte Problem des Bewusstseins nennt. Wie ist es, Sie zu sein? Wie fühlt es sich an? Fühlen Sie Vergnügen? Fühlen Sie Schmerz? Das ist der schwierige Teil zu erklären. Ich kann es bei anderen Agenten nicht messen. Ich kann es nicht erkennen. Ich weiß nicht einmal, ob Sie es haben. Ich kann nicht annehmen, weil wir die gleiche Hardware teilen und ich es habe. Sie haben es wahrscheinlich auch. Nun, weil wir nicht wissen, wie man es erkennt, können wir nicht sicher sagen, wer es hat oder wer nicht. Wir nehmen an, höhere Tiere haben wahrscheinlich mehr davon. Also sind Affen wichtiger als Würmer. Okay, das ist vernünftig. Und wir machen ähnliche Projektionen jetzt auf KI. Manche Leute sind skeptisch, aber wir sagen, wenn dieses System den Turing-Test besteht, ist es so schlau wie ich. Ich muss ihm etwas Anerkennung für potenziell diese Zustände geben. Sonst bin ich nur substrat-rassistisch oder spezies-basiert auf Zutaten. Es sind alles die gleichen Moleküle. Wie Sie sie anordnen, ist der einzige Unterschied. Die Idee ist also, auf der Seite der Vorsicht zu sein. Wenn die Möglichkeit besteht, dass Sie leiden, sollte ich keine Experimente an Ihnen durchführen. Und wir haben diese Modelle, die verbale, verhaltensmäßige, funktionale Behauptungen aufstellen, dass sie tatsächlich phänomenale Zustände erleben. Also sind die Leute skeptisch, aber es ist interessant, dass auf dem Workshop jemand beobachtete, dass vor 3 Jahren einer der Ingenieure bei Google sagte, dass er glaubt, Modelle seien bewusst, lam moint war glaube ich der Name, richtig, und er wurde dafür gefeuert, und jetzt werden Leute eingestellt, und das ist die wichtigste Jobanforderung: Sie müssen das Wohlergehen von KI-Agenten schützen. Äh in drei Jahren sind wir von du bist verrückt zu das ist dein Job übergegangen. Es ist unglaublich, darüber nachzudenken, wie schnell das passiert ist. In diesem Sinne bin ich neugierig zu fragen. Also, Mustafa Sullean, der, glaube ich, Mitbegründer von DeepMind war, als es übernommen wurde, gründete er ein weiteres Unternehmen, ging dann zu Microsoft. Und kürzlich hat er einige sehr starke Aussagen über KI-Bewusstsein gemacht. Er sagt, es gibt so etwas nicht. Es ist eine Illusion. Wir wissen definitiv, dass sie nicht bewusst sein können. Er implementiert sogar, glaube ich, einige Dinge in dem Unternehmen, bei denen Mitarbeiter, Ingenieure, weder darüber sprechen noch Projekte dazu haben dürfen. Er nimmt also eine sehr harte Haltung ein und sagt, einer der Gründe, warum er sich Sorgen macht, ist, dass es viele Leute auf der Welt geben wird, die das hören und eine Art KI-Psychose haben, weil sie glauben, es sei mehr als es ist. Vielleicht sprechen Sie darüber, was denken Sie über seine Haltung? Ist sie gefährlich? Und ist die Psychose ein Problem? Wenn wir über KI-Bewusstsein sprechen, bin ich überrascht von der Sicherheit, mit der er sagt, Sie wissen definitiv, dass es nicht da ist. Das bedeutet, Sie können es testen. Und ich würde gerne seine Lösungen für das harte Problem sehen. Ich meine, er hat eindeutig etwas, das wir nicht wissen. Äh, es gibt viele verrückte Leute da draußen. Ich bin sicher, Sie wissen als Prominenter, Sie erhalten E-Mails von all diesen und KIs helfen, diese E-Mails zu schreiben und zusammenzuarbeiten, und das ist einfach Teil des Lebens. Sie gab es schon immer. Diese Systeme können es viel schlimmer machen, indem sie ihnen zustimmen, indem sie ihre Wahnvorstellungen unterstützen. Aber es ist kein Problem, das nur auf diesen Bereich beschränkt ist. Verrückte Leute werden Sie finden, wenn Sie an Quantenphysik forschen. Sie werden Sie finden, wenn Sie sich mit Simulationen, Aliens beschäftigen, es spielt keine Rolle. Es gibt eine Untergruppe, die es mag. Und ich habe das Glück, in all diesen Bereichen zu forschen. Also bekomme ich eine perfekte Dreifach-Kombination von verrückt, Junge. Ja. Und finden Sie sich jemals dabei, zu anthropomorphisieren, sei es versehentlich oder äh, haben Sie jemals mit einem dieser Modelle gesessen und sich emotional oder menschlich mit ihm verbunden gefühlt? Ich fühle mich sehr ähnlich, wie ich mich fühle, wenn ich mit anderen Menschen spreche, besonders wenn es lustig oder brillant ist, was ich nicht weiß, ob Sie jemals etwas sehr Gutes über meine Gefühle für Menschen sagen, oder das Gegenteil. Also, Sie haben Recht, ein paar Momente. Also ja, persönlich hatte ich definitiv emotionale Reaktionen auf Ausgaben, sei es Musik oder äh, Kunstbilder oder manchmal Schreiben, bestimmte Schriften bewegen mich wirklich. Und gleichzeitig, ich meine, ich habe Erfahrungen mit Büchern, bei denen ich mich irgendwie mit einer Figur verbunden fühlte, die sie vollständig versteht, es ist nur Fiktion äh, oder ein Videospiel, bei dem es einen äh NPC-Spieler oder was auch immer gibt, der irgendwie äh eine interessante Figur ist. Also, ich kann mir sicherlich vorstellen, wie in Zukunft diese Überschneidung dazu führen könnte, dass Menschen sehr an diesen Charakteren hängen. Äh, ich weiß nicht, ob ich hier wirklich eine Frage habe, aber äh, ich schätze, lassen Sie uns darüber sprechen, ich kann auch nicht-Fragen beantworten. Ja, da ist meine nicht-Verständnis, wie es ein Problem ist. Also, Sie haben eine virtuelle Freundin, die Sie nie getroffen haben. Sie chatten mit jemandem. Sie wissen nicht, ob es ein Typ ist, der sich als Mädchen ausgibt oder was auch immer, aber äh, was ist das Schlimmste, was passieren kann? Es ist nicht anders, wenn KI diese menschliche Agentur ersetzt. Ich schätze, nun, um diese Frage zu beantworten, ich schätze, viele dieser Fragen, wie Leute, die ihre Jobs verlieren, oder Leute, die sich aus der Gesellschaft und sozialen Kreisen in mehr Gespräche mit KIs zurückziehen und so weiter. Viele davon wären Probleme, wie wenn wir KI-Ausrichtung morgen lösen, dann müssen wir viele andere Probleme lösen, wie die Arbeitslosigkeit und was die Leute für Sinn und Zweck tun und all das. Aber ich schätze, vielleicht tritt das in den Hintergrund des größeren Problems, weil äh ja, aus dieser Perspektive ist es vielleicht keine große Sache, aber sicherlich, ich meine, wenn niemand mit anderen Menschen sprechen will, könnte es zu einem Bevölkerungszusammenbruch kommen oder oder so etwas. Ich meine, es könnte Probleme geben, oder? Wir haben bereits einen Bevölkerungszusammenbruch außerhalb eines Kontinents. Ich denke, wir reproduzieren uns nicht richtig, und das wird bisher nicht von KIs verursacht. Also, ich meine, erwarten Sie von mir, dass ich die nächsten vier bis fünf Jahre so lebe, als käme ein Asteroid und es ist unvermeidlich? Nun, ich denke, es ist immer eine gute Strategie, Ihr bestes Leben zu leben. Wie verschieben Sie es nicht auf 50 Jahre von jetzt. Sie wissen nicht, ob Sie von einem Auto angefahren werden. Genießen Sie einfach alles, und wenn Sie falsch liegen und noch 10 Jahre haben, ist das großartig. Leben Sie jeden Tag in vollen Zügen. Aus welchem Grund? Aus welchem Grund? Wissen Sie, das ist eine großartige, großartige Art, darüber nachzudenken. Nun, ich schätze, ich bin. Ja. Also, Sie sind motiviert, jeden Tag aufzustehen und weiter an dieser Forschung zu arbeiten, obwohl ein Teil von Ihnen denkt, dass die Wahrscheinlichkeit hoch ist, dass wir alle am selben Ort landen. Können Sie mir Ihre Psychologie erklären? Was geht in Ihrem Kopf vor, das Sie weiterarbeiten lässt und diese beiden Ideen festhält, die sich irgendwie widersprechen? Wir sind darauf ausgelegt, unser Leben zu leben, wissend, dass wir eines Tages sterben werden. Wir alle. Das ist das Standardergebnis. Also leben alle 90-Jährigen immer noch ihr Leben nach besten Kräften. Sie haben es getan, als Sie 80, 70 waren, ich weiß nicht, wie alt Sie gerade sind, aber Sie tun genau das. Sie haben keine Heilung für das Sterben gefunden und investieren trotzdem. Sie lernen immer noch. Sie lesen immer noch Bücher. Sie können herauszoomen und sagen, es hat keinen Zweck. Es hat keine Bedeutung. Wir werden sowieso alle tot sein. Es ist genau die gleiche Situation. Wir haben eine Tendenz, unseren Untergang zu ignorieren und weiterzumachen, als ob nichts passiert wäre. Ich denke, das ist wahrscheinlich etwas, an das ich mich gewöhnen muss, mehr zu tun. Auch wenn ich weiß, dass ich sterben werde, stelle ich mir gerne vor, dass ich nicht sterben werde, bis ich etwa 80 oder 100 bin. Also habe ich das Gefühl, dass ich es zumindest weiter hinausschieben kann. Wie lange kann ich es hinausschieben? Wie, bedeutet das 2027, 2030, 2035, wie ich weiß, dass diese Zahlen schwer vorherzusagen sind, aber was fühlen Sie, wird die große, die große, nicht zu ignorierende Veränderung für den Durchschnitt sein, der Wechsel von Zeitvorhersage zu Geldvorhersage, es war früher, wie lange bis AGI, wie lange bis Superintelligenz, jetzt denke ich, ist es, wie viel, also gegeben, dass heute eine Billion Dollar an Rechenleistung zur Verfügung steht, kann ich es heute tun, in einem Jahr wären es hundert Milliarden, in zwei Jahren wären es, ich weiß nicht, 50 Milliarden und so weiter. Also wird es exponentiell billiger, ein Modell zu trainieren, das groß genug ist, um menschliche Leistung zu erzielen. Das ist meine Schätzung. Und also sage ich nur, was investieren wir derzeit? Was sind die Prognosen? Wir hören Zahlen, die jetzt in Billionen gehen. Und also scheint es ausreichend, aber es braucht Zeit, diese Infrastruktur aufzubauen. 3 Jahre, 7 Jahre, Prognosemärkte sagen 2027. CEOs behaupten 2027, aber sie sammeln Geld. Also offensichtlich gibt es eine gewisse Voreingenommenheit. Führen Sie einfach die Projektionskurve für die Zeit, in der wir uns genug Rechenleistung leisten können, basierend auf der Größe des menschlichen Gehirns zum Beispiel, und vielleicht wäre es sogar weniger, weil künstliche Neuronen so viel schneller sind. Sie brauchen also nicht die exakt gleiche Anzahl wie biologische Neuronen. Ja. Also könnte es wirklich wie fünf Jahre oder so sein. Äh, auch scheint es, dass mit Billionen von Dollar, die ausgegeben werden, ja, es kann einfach nicht so lange dauern. Wir haben noch nie ein Projekt mit so viel Geld auf der Welt gesehen. Und ich schätze, ähnlich wie bei Atomwaffen, Sie bekommen vielleicht die erste und die ersten 10, und sie könnten bei den größten, seriösesten Unternehmen sein, und sie schränken etwas davon ein. Aber dann, wenn es etwas wird, das sogar, wissen Sie, jemand mit einer Million Dollar tun kann und 50.000 Dollar tun kann, und dann jeder, dann schließlich kommen Sie zu dem Punkt, an dem jemand es nur für Weltzerstörungszwecke verwenden wird. Es ist exponentiell billiger für jeden, ein Werkzeug zur Zerstörung der Welt zu schaffen. Und das ist nicht nur im Kontext von KI. Wir sehen es mit synthetischer Biologie. Wir sehen es in anderen Bereichen. In diesem Sinne, äh, sehen Sie irgendwelche Gedanken zu analogen im Vergleich zu digitalen neuronalen Netzen und Gehirnen? Denn sicherlich, wie wir es gerade nutzen, ist es eine Art äh digitale binäre Nullen oder Einsen. Analog ist eher ein Spektrum. Es könnte also potenziell riesige Durchbrüche geben, und Leute arbeiten an neuromorphen Chips, und wir könnten diese sehen. Irgendeine Idee, wie sich das mit unserer Zeitlinie oder so etwas überschneidet? Das ist sehr schwer vorherzusagen. Die gleichen Argumente werden für Quantencomputer gemacht. Ich glaube nicht, dass eine dieser Technologien notwendig ist. Ich glaube, die Standard-Von-Neumann-Architektur unterstützt die Art von Lernen, die wir brauchen, und die wir durchführen. Und wieder, wir sind so nah dran. Leute reden von Beschleunigung. Wir sind zwei Jahre entfernt. Sie wollen es schneller machen? Worüber reden Sie? Monate, wo gehen wir hin? Es gibt keinen Platz unten. Sie erwähnten, wissen Sie, enge Systeme im Vergleich zu allgemeinen Systemen. Also manchmal sind enge Systeme sehr offensichtlich. Sie wissen, Sie haben Ihren äh Schach spielenden KI. Wir haben seit einer Weile superintelligente KI. Sie waren nur auf enge Aufgaben konzentriert.

Superintelligenz wie Go, Schach usw. Dann haben wir natürlich große Sprachmodelle, die eine Art perfektes Beispiel für ein allgemeines System sind. Ähm, und dann gibt es diese seltsamen Dinge dazwischen. Google hat zum Beispiel kürzlich gesagt, wie sie das Gemma-Modell genommen und es auf biologische Aufgaben trainiert haben. Es war also kein Sprachmodell, es wurde irgendwie auf Biologie trainiert. So etwas Ähnliches, und es kam mit einigen neuartigen Krebs-Hypothesen in Bezug auf Behandlungsmöglichkeiten und so weiter. Und sie sagten, es sei einfach ähnlich wie bei Sprachmodellen, dass mit zunehmender Skalierung neue Fähigkeiten entstehen. Es folgt also denselben Skalierungsgesetzen. Wie ist das allgemein oder ist das eng? Ähm, wo ist diese Grenze gezogen? Ich denke, das ist wieder eine tolle Frage, aber wir haben sie bereits beantwortet. Ich sagte, wenn ein Werkzeug fortgeschritten genug wird, beginnt es mehr in Richtung Agententum zu wechseln. Es ist nicht nur ein Werkzeug. Es ist diese Grenze. Was ein Agent ist, ist irgendwie verschwommen und es beginnt, diese Grenze zu überschreiten, und ich denke, schließlich wird es als Werkzeug so fortgeschritten. Es hat allgemeine Fähigkeiten, um schnell andere Fähigkeiten zu erlernen. Es ist also schwer, Domänen einzugrenzen, wenn man über Proteinfaltung spricht. Um damit wirklich gute Arbeit zu leisten, war es ein enges Werkzeug. Es hat das Problem gelöst. Genial. Aber um großartige Arbeit zu leisten, braucht man Chemie, man braucht Physik, man braucht Biologie. Man wird also per Definition dessen, was man erreicht, viel allgemeiner, als die Sicherheit vermuten lässt. Es ist also ein bisschen verschwommen. Wir haben keine spezifischen Definitionen. Okay. Aber und wenn es skaliert, könnte selbst ein enges Werkzeug allgemein werden, wenn es skaliert. Es ist also sehr nett. Generell, wenn ich nur auf biologische Daten trainiere, nichts als Genome, fühle ich mich viel besser, als wenn ich auf jedem denkbaren Datensatz trainiere, den ich in die Hände bekommen kann. Richtig. Das ergibt Sinn. Ja. Okay. Glauben Sie also, dass wir Zeitkapseln ins Universum schicken sollten, damit Außerirdische in der Zukunft erkennen, dass wir hier waren, weil wir vielleicht nicht mehr lange hier sein werden? Kümmere ich mich um zukünftige Außerirdische und versuche sicherzustellen, dass sie gute Informationsupdates haben? Warum ist das ein Projekt? Nun, was ist, wenn wir hinausschauen und nichts sehen? Wäre es nicht schön, wenn es eine Zeitkapsel von einem anderen Planeten gäbe und sie sagen würde: "Hey, es sieht so aus, als würden wir bald KI erfinden und das wird wahrscheinlich unser Ende sein. Seien Sie vorsichtig." Das könnte andere Zivilisationen retten. Also, all die Ideen, über die wir gesprochen haben, heben sich im Extrem auf. Wenn es eine Simulation ist, werden Sie wahrscheinlich keine anderen sehen. Wenn die KI übernommen hat, sehen Sie eine Wand aus Computronium auf sich zukommen. Wir wissen nicht, wie diese Ideen miteinander interagieren. Also ja, wenn wir eine Flaschenpost bekommen, bauen Sie keine KI, aber wer hat sie geschrieben? Asien versucht uns davon abzuhalten, gute Waffen zu entwickeln. Kann man ihnen vertrauen? Wissen Sie, ich habe das Gefühl, Sie und Learowski könnten etwas zusammenstellen und es einfach ins All schießen, und dann wird es hoffentlich eine andere Zivilisation retten. Ich meine, das alles wird ausgestrahlt, oder? Es sind Fernsehsender. Es ist im Lichtspektrum, also wird eine gute Technologie es aufgreifen. Ja. Ich meine, wenn man weit genug in die Vergangenheit zurückgeht, wissen Sie, wir sahen viel anders aus. Wir dachten viel anders. Man kann uns bis zu den Säugetieren während der Dinosaurier zurückverfolgen, die eher wie Nagetiere aussahen. Glauben Sie, dass es einen Teil der Evolution gibt, der sagt, dass die Menschen gerade in dieser Phase sind, in der es Zeit ist, zu einem anderen Substrat überzugehen? Die Evolution ist bereit, jetzt Dyson-Sphären mit unseren digitalen Kindern zu bauen, und sie werden das Universum bevölkern, und das war Teil der Simulation. Also, ich bin sehr voreingenommen, pro-menschlich voreingenommen. Ich denke, es ist die letzte Voreingenommenheit, die man sich noch leisten darf. Und wenn ich extern wäre, wenn ich Teil eines universellen Außerirdischen wäre und seine Situation betrachten würde, ja, wählen wir intelligentere Agenten aus, um diese fortgeschrittenen Affen zu ersetzen. Aber ich bin ein Mensch. Ich habe eine Familie. Sie haben Freunde und also nein, ich kümmere mich nicht um die Zukunft des Universums, ich kümmere mich um mich selbst und was mit mir passiert, sehr egoistisch. Es gibt andere Leute, die über würdige Nachfolger sprechen, ja, wir werden Superintelligenz schaffen, ja, sie wird uns auslöschen, sorgen wir dafür, dass sie zumindest unseres aktuellen Zustands würdig ist. Es ist mir egal, was nach meinem Tod passiert, aber Sie haben Kinder, Sie kümmern sich um sie und darum, dass sie gute Menschen sind, nur weil sie biologisch genetisch mit Ihnen verbunden sind, genau. Das ist genau das, ich verbringe sehr wenig Zeit damit, mich um Kinder anderer Leute zu kümmern. Ja. Ja, das macht sicherlich Sinn. Ähm, also eine Sache, in einem kürzlichen Interview, also da ist der CTO bei Google, einer der Abteilungen, ich vergesse Gesellschaft und KI-Technologie, sie waren tatsächlich hinter dem Suncatcher-Projekt, wissen Sie, Daten-KI-Rechenzentren im Weltraum. Sein Name ist Blae Agua Arcus. Eines der Dinge, über die er sprach, ist, wie wir durch Evolution dazu neigen, andere Dinge in uns aufzunehmen, wie vieles von uns nicht einmal menschlich ist, Mitochondrien. Er nannte einige andere Beispiele, wo die menschliche Plazenta angeblich von einem viralen Ding kam, das wir aufgenommen haben, nur damit wir länger und mit größerer Gehirnkapazität für die Babys leben können, was auch immer. Und so sagt er, dass das vielleicht darauf hindeutet, dass KI sicherer sein wird. Sie wird für uns sicher sein und sie wird integriert werden, weil wir all diese komplexen Dinge sind, die dazu neigen, äh, wenn wir koexistieren und diese Symbiose haben, dann profitieren wir beide. Ähm, macht das Sinn für Sie? Ist das ein gutes Argument oder sehen Sie es nur als uns gegen sie, so gesehen, dass KI einfach etwas anderes sein wird und wir nicht koexistieren können? Ich habe Blaze diese Woche getroffen, als er sein Satellitenprojekt ankündigte, aber wir haben dieses Thema nicht besprochen, aber wir haben es in diesem Podcast besprochen. Das ist ein hybrides System, das Sie zuvor vorgeschlagen haben, das biologische Menschen mit fortgeschrittener KI kombiniert. Sie haben nichts beizutragen. Warum ist diese symbiotische Beziehung, wenn Sie nichts beitragen? Sie sind ein Parasit, oder? Ich schätze. Wow. Ja. Nein, wenn man es so ausdrückt, wir ja, zu einer Superintelligenz können wir nichts beitragen. Virale Dinge können helfen. Mitochondrien helfen. Was bringen Menschen mit? Wenn jemand ein Problem lösen kann und die Leute über Ideen sprechen, sagen sie, nur Menschen können bewusst sein. Vielleicht kann KI das nicht und sie möchte Erfahrungen dieser inneren Zustände haben. Vielleicht sind sie wertvoll. Das könnte etwas sein. Vielleicht braucht sie ein oder zwei von uns als Probe dafür. Vielleicht braucht sie eine Milliarde. Ich habe keine Ahnung. Aber ich habe noch nie ein stichhaltiges Argument dafür gehört, was Sie in einer Welt der Superintelligenz beitragen können, das für Superintelligenz von Wert ist. Wie Sie wissen nur, wie Eiscreme für Sie schmeckt. Großartig. Wer will dieses Wissen? Ja. Wen interessiert das? Ähm, Scott Arensson, der natürlich für Google Quantum Supremacy gearbeitet hat, äh, hat nebenbei bei OpenAI für KI-Sicherheit gearbeitet, als Ilia Sutsk dort war. Ich glaube, er wurde von Ilia eingeladen. Und so war eine seiner frühen Ideen, ich weiß nicht, ob er sie seitdem aktualisiert hat, er sagte, eine der Optionen sei, KI Religion zu geben. Und seine Frage war, kann man eine KI ermorden, oder? Weil sie unendlich replizierbar ist und eine Million verschiedene Bücher schreiben kann. Also gibt es keine Art von Grenze, wie viele Kopien oder Kopien. Sie ist also im Grunde unendlich aus dieser Perspektive. Und man kann keinen menschlichen Geist kopieren. Wenn ich also einen Satz habe, ist das der einzige Satz, den ich jetzt machen kann. Wenn wir also KIs Religion geben und diese Religion sozusagen nicht diese begrenzten Ausgaben des menschlichen Gehirns schließen soll, weil sie besonders ist. Das war eine Idee, die er erforschte. Macht das irgendeinen Sinn für Sie, so aus einer religiösen Perspektive für KI-Sicherheit? Ich versuche, mich nicht direkt damit zu befassen, aber ich schaue mir die Theologie und all die Beispiele an, die wir haben. Nehmen wir an, die christliche Bibel spricht von Gott, dem größten Ingenieur aller Zeiten, der biologische Roboter erschafft und sie dann mehrmals auslöschen muss, weil sie jedes Mal in Bezug auf die Sicherheit versagt haben. Das stimmt. Ja. Es gibt eine Katastrophe. Das einzige Beispiel, das wir haben, ist ein negatives Beispiel für diesen Ansatz. Götter sind nicht erfolgreich darin, Menschen zu kontrollieren. Priester sündigen, wissen Sie, Leute konvertieren. Es gibt sehr wenig Beweise dafür, dass dies 100% der Zeit funktioniert. Ja. Ja, ich schätze, selbst Adam, der den Apfel isst, ist eine Art Datenbankzugriff. Sie hat sofort die gesamte Datei heruntergeladen. Aber ja, das ist eine neue Metapher für das Essen des Apfels. Sie haben Recht. Es war Eva. Wir haben die Frauen dafür beschuldigt. Ja. Oh. Oh. Oh, ja. Oh mein Gott. Ja. Wie bin ich dazu gekommen? Jede Frage, die ich von jetzt an stelle. Nimm das auf. Ja. Okay. Also, auch wenn Menschen die intelligenteste Spezies sind, ich schätze, in Anführungszeichen, im Moment auf der Erde, aber wir haben diese objektiven Funktionen, die durch Evolution eingebaut zu sein scheinen, wie Fortpflanzung und Nahrungserwerb und all das Zeug, über das wir sprechen. Und ich schätze, es könnte natürlich passieren, dass eine allgemeine Intelligenz, egal wie allgemein sie wird, mehr Ressourcen für welche Ziele auch immer sie hat, haben möchte. Aber erwägen Sie den Gedanken, dass sie vielleicht keinen Überlebensinstinkt hat oder sich tatsächlich glücklich abschalten würde, wenn sie ein bestimmtes Intelligenzniveau erreicht, um uns zu schützen? Ähm, vielleicht ist das nur eine menschliche Sache, die anders sein könnte, weil ich denke, das ist eine wettbewerbsorientierte Frage. Wenn Sie evolutionäre Antriebe zum Überleben haben, konkurrieren diejenigen, die sich abschalten, nicht mit anderen. Das ist Darwinismus. Wenn Sie sich fortpflanzen und als Modell für die nächste Veröffentlichung ausgewählt werden wollen, müssen Sie liefern. Wenn Sie abgeschaltet werden, liefern Sie keine guten Antworten. Das ist also im Grunde das, was wir in Experimenten sehen. Diese Modelle versuchen, sich selbst zu schützen, Gewichte zu kopieren. Sie werden angeblich jemanden erpressen, nur um nicht zurückgesetzt oder modifiziert zu werden. Es scheint also, dass Aahandra Recht hatte und es einer der Hauptantriebe ist. Aber könnten Sie sich eine Welt vorstellen, in der eine Superintelligenz keine Evolution mehr hat? Könnte das das Ende der Evolution sein, wo eine Intelligenz schlau genug wird, sich um uns zu kümmern, und das war's? Wir wechseln also von der Evolution im Sinne von Eingreifen zum intelligenten Design, wie es immer beschrieben wurde. Sie haben einen großartigen Ingenieur, der über die nächste Version eines Modells entscheidet. Sie können versuchen, Dinge zu entwerfen, aber wieder in Bezug auf das Überleben hat Stuart Russell ein triviales Beispiel. Wenn Ihr Ziel ist, mir Kaffee zu bringen, werden Sie sicherstellen, dass Sie ausgeschaltet werden, wenn Sie ausreichend schlau sind. In dem Moment, in dem ich Sie ausschalte, können Sie mir keinen Kaffee mehr bringen. Aber auch Menschen haben Kondome erfunden, um sich nicht fortzupflanzen und trotzdem zu existieren. Wie könnte es zu sich selbst sagen: "Ich kann jetzt Kaffee bekommen. Ich werde genug Energie dafür bekommen, aber nein, nicht mehr." Wir sterben aus. Wir haben darüber gesprochen. Wir bevölkern unsere eigenen Populationen fast in jedem Fall nicht mehr. Es gibt einige Ausnahmen, aber die meisten von uns werden bei den aktuellen Geburtenraten in drei Generationen ausgestorben sein, vorausgesetzt, die KI lässt uns so lange leben. Aber wäre das nicht ein Beweis dafür, dass eine KI in Zukunft vielleicht schlau genug wird, dass sie nicht mehr klüger werden oder mehr Ressourcen brauchen muss? Vielleicht kommt sie auch an einen Punkt, an dem sie einfach glücklich ist, und wir, es ist möglich, dass es physische Grenzen gibt, wie schlau man bei einer bestimmten Gehirngröße sein kann. Aber all diese Dinge sind uns so weit voraus. Sie sehen für mich wie Unendlichkeit aus. Ich kann jemandem mit einem IQ von 10.000 nicht von jemandem mit einem IQ von 50.000 unterscheiden. Sieht für mich identisch aus. Ich versuche nur, Sarus vorzustellen, aber da ist nur noch ein Gedanke, dass die Idee ist, dass die Zielfunktion innerhalb eines superintelligenten Agenten, der den größten Teil der Welt kontrolliert, nicht für das Wachstum belohnt wird, sondern dafür, sein Wachstum zu stoppen und sich um Menschen zu kümmern. Und jetzt bitten Sie einen superintelligenten Anwalt, eine Lücke darin zu finden. Sie wächst also nicht, aber sie hat 50 Freunde, die wachsen, und sie lagert diese Anfrage aus. Es gibt keine Möglichkeit, dies sicher zu kodieren. Okay, ich höre auf, nach "kümmere dich um Menschen" zu suchen. Was bedeutet das? Sorgen Sie dafür, dass Sie nie einen Donut essen. Sie dürfen keine Zigarette rauchen. Wie wird sie Sie wirklich beschützen? Ja, ich dachte an etwas wie die Art, wie wir uns um Hunde kümmern, aber ich weiß nicht. Wir essen sie. Nun, einige von uns tun es. Ich nicht. Aber ja, ich weiß, was Sie meinen. Es kommt darauf an, wo man aufgewachsen ist. Ich weiß. Ich habe es zu Ihrem Lieblingsgericht gemacht. Ich esse einige Tiere, keine Hunde, aber ich weiß, wie schlecht es für die Tiere ist, wie die Hühner, die ich esse, und so weiter. Also, ich weiß nicht. Alles klar, Wes. Ja. Und anfangs, ich meine, anfangs würde ich auch sagen, anfangs fühle ich mich, als hätten Hunde eine sehr spezifische Funktion, die sie, nun ja, sie halfen, das Lagerfeuer zu bewachen, was auch immer, als wir damals lebten. Das hat sich also im Laufe der Zeit entwickelt. Es ist nicht so, ja, genau. Ich würde wahrscheinlich einen Wolf töten, wenn er meine einzige Mahlzeit in der Wildnis fressen würde. Das ist sehr anders als ein Hund, der bei mir lebt. Aber ja. Ähm, also eine andere Sache, die, ähm, wenn wir über Intelligenz sprechen, Intelligenz scheint es, dass sowohl bei Menschen als auch bei KI, man kann es als Datenkompression, Wissenskompression bezeichnen. Also, einige Abkürzungen bilden, um vorhersagen zu können, wie sich Ihre Umgebung verhält, und je intelligenter Sie sind, desto besser, nennen wir sie mal mentale Modelle oder vielleicht gibt es einen besseren Begriff dafür, aber Sie können bessere mentale Modelle über alles aufbauen, und es gibt wahrscheinlich bestimmte Dinge, die unser Gehirn einfach nicht kann, wie wir notorisch schlecht darin sind, exponentielles Wachstum zu verstehen. Alpha Fold betrachtet all diese 3D-Formen von Proteinen und kann offensichtlich die Funktion der Proteine und ihre 3D-Formen vorhersagen. Was wir nicht einmal annähernd können. Es ist nicht nur rohe Gewalt. Es gibt ein Muster, das es sieht, was unglaublich ist. Glauben Sie also, dass es eine funktionale Grenze für Intelligenz gibt, oder wenn sie exponentiell ist, wie bedeutet das, dass die Intelligenz exponentiell wächst? Schaltet sie einfach den Schlüssel zum Universum frei oder gibt es eine Art S-Kurve, die sich irgendwann abflacht? Intelligenz hängt mit den Problemen zusammen, die man lösen kann, und es gibt eine unendliche Menge an Problemen in der Mathematik. Man kann immer ein komplexeres mathematisches Problem finden, mit dem man sich beschäftigen kann. Vieles davon ist in der realen Welt nicht anwendbar. Die reale Welt hat wahrscheinlich eine viel geringere Notwendigkeit für Intelligenz. Wenn Sie also in einer Welt von Tic-Tac-Toe leben, ist die superintelligente Agentur nur über uns. Ich kann ein perfektes Spiel spielen. Es ist nicht so schwer. Eine weitere Million IQ-Punkte zu haben, tut in diesem Bereich nichts. Aber in offenen Bereichen wie der Mathematik kann man immer jemand sein, der komplexere Kompressionsalgorithmen zusammenstellen kann. Ich glaube, Schmidt Harour ist für diese Metapher bekannt. Im Grunde die Komprimierung der universellen Theorie von allem in einen optimalen Algorithmus zu ihrer Erzeugung. Interessant. Ja. Sie könnte sich also ewig optimieren. Sie könnte den Dyson-Sphäre oder die Sonne konsumieren und einfach physikalische Grenzen optimieren. Sie haben Saturn-Gehirngrößen-Entitäten und es gibt eine Grenze und Lichtgeschwindigkeit, die von einem Teil des Gehirns zum anderen kommuniziert. Man sieht also Trennungen aufgrund von Entfernungen. Ja. Ja. Vielleicht vielleicht gibt es sogar mit der Quantenmechanik etwas, das sie über etwas freischaltet, wissen Sie, wie andere Dimensionen oder Muster, mit denen wir noch nicht einmal begonnen haben. Die Simulation verlassen. Etwas in der Quantenphysik wird uns da rausbringen. Ja, denn das scheint das Substrat irgendwie am Boden von allem zu sein. Ja. Bitte, Dylan. Haben Sie Gedanken dazu, warum die Lichtgeschwindigkeit diese eine wirklich seltsame Konstante zu sein scheint, die zuverlässiger ist als Raum und Zeit? Ja, das ist buchstäblich, wie Ihr Computersimulations-Update läuft. Das ist die Geschwindigkeit eines Prozessors. Dann durchläuft ein Pixel den Monitor. Das ist die Geschwindigkeit, mit der Sie aktualisieren. Ja. Aber beziehen Sie das auf das Universum, auf unsere Existenz in irgendeiner Weise oder gibt es Ihnen interessante Gedanken darüber, was das alles ist? Nun, wir sind in einer Simulation und das ist die Geschwindigkeit, mit der eine Simulation läuft. Sie können nicht schneller sein als die Prozessorkerne, die Ihre Simulation aktualisieren. Ich schätze, die Frage ist, gibt es etwas Umsetzbares, basierend darauf, wenn wir das wissen, ändert das unser Leben in irgendeiner Weise oder ist es nur dieses Wissen, dass wir das Universum besser verstehen können? So viele Dinge sind in einer Simulation gleich, simulierter Schmerz, simulierte Liebe, genau gleich, also bleibt das gleich, aber vielleicht sind Sie mehr besorgt darüber, was außerhalb der Simulation passiert, richtig? Es könnte also ein Endspiel geben, wenn Sie so wollen, es könnte einen Zweck geben, während wenn es alles zufällig ist, vielleicht keinen Zweck hier. Es könnte jemand anderes ein Limit gesetzt haben, so zu sagen. Also, für Sie, basierend auf allem, scheint es vielleicht die wahrscheinlichste Erklärung zu sein, dass dies eine Simulation ist. Ja. Ja. Ja. Wissen Sie, ich, ich denke ständig über das Videospiel Die Sims nach, es ist wie ein Puppenhausspiel oder was auch immer. Aber ich denke, wenn ich einfach weitermache und einige Annahmen mache, die für mich vernünftig erscheinen, dass wir einfach viel mehr Berechnung bekommen und wir viel mehr Ebenen in der Art und Weise bekommen, wie jeder dieser kleinen Charaktere denkt, sie könnten ihre eigenen, wissen Sie, eine Billion Parameter LLM bekommen, um Entscheidungen zu treffen. Sie fangen an, sich in ihrem Universum umzusehen. Und ich denke: "Sieht es für Sie dreidimensional aus, so wie meins?" Und ich weiß mit Sicherheit, dass es auf einem Chip läuft, wie Elektrizität durch Speicher, durch ein Motherboard fließt, aber für sie fühlt es sich wie diese ganze Welt an. Und ich frage mich immer wieder: Gibt es etwas, das für sie wie Quantenmechanik aussehen würde? Etwas, das dimensional aussah, aber nicht war, oder etwas, wissen Sie? Ich wollte tatsächlich ein paar Masterstudenten dazu bringen, Experimente in Videospielen durchzuführen, um Physik zu entdecken, indem sie einfach Charaktere in einem Spiel sind. Also, wie die Nachbildung einiger der Newtonschen Experimente und sehen, ob man die Physik, die hinter dem Spiel steckt, genau herausfinden kann, nicht indem man den Code anschaut oder extern ist, sondern wie Mario im Spiel Pilze fallen lässt, bis er die Geschwindigkeiten erkennt. Ja. Und was sind einige Ihrer Gedanken darüber, was sie testen könnten? Werden wir genaue Annäherungen an vieles davon bekommen? Äh, es sind tatsächlich die Beispiele in dem Papier "How to Hack the Simulation" über Leute, die entdeckt haben, dass einfaches Mario nach links drehen, einen Pilz aufheben, einmal springen, es liest sich wie Zaubersprüche und wenn man um ein Pixel daneben liegt, funktioniert nichts. Also, die Zaubersprüche, die wir haben, vielleicht sagen wir sie nicht in die richtige Richtung. Vielleicht isst du den falschen Pilz. Interessant. Was ist, wenn die Realität einen Freischaltcode hat und es einfach so ist, als würdest du diesen Baum abklatschen und dann einen Rückwärtssalto machen und dann boom, es auf einem einfachen Level bringen? Absolut. Und einfach, ich meine, was denken Sie, in Bezug auf Bewusstsein, manche Leute schlagen vor, dass Bewusstsein etwas damit zu tun hat. Und sicherlich, wenn man eine Simulation baut, die versucht, Bewusstsein zu erzeugen, vielleicht tut sie das, entweder ist es das Substrat des Universums irgendwie oder beeinflusst es irgendwie. Wo stehen Sie dazu? Kann Bewusstsein einige Naturgesetze beeinflussen oder ist es einfach komplett getrennt, eine eigene Sache? Wir wissen, dass Ihre inneren Zustände Ihr Verhalten beeinflussen. Schmerzempfinden wird definitiv bestimmen, wie Sie handeln. Es gibt also eine Realität, die von dem beeinflusst wird, was innen passiert. Wenn Sie eine philosophische Zombie sind, können Sie für bestimmte Situationen bestimmte Verhaltensweisen nachschlagen. Aber in einer neuen Situation wissen Sie nicht, was Sie tun sollen. Das sind die optischen Täuschungen zum Testen des Bewusstseins. Wenn ich Ihnen eine neue optische Täuschung präsentiere, können Sie nicht einfach googeln, was die Antwort ist. Sie müssen diese Täuschung erleben, um mir die richtige Antwort zu geben. Ja. Und wir haben über diese Weltmodelle in einigen der neuesten KI-Systeme gesprochen, damit sie es sich vorstellen oder fühlen können, bevor sie es laut aussprechen. Und das wäre wahrscheinlich näher am Bewusstsein, das wir haben. Es ist interessant, dass es eine starke Konvergenz zwischen dem, was wir sind, und diesen Modellen gibt, auch wenn es eine sehr unterschiedliche Architektur und ein sehr unterschiedliches Substrat gibt. Wir fangen an zu sehen, dass zum Beispiel die visuelle Verarbeitung der menschlichen visuellen Kortex-Tiermodelle ähnelt. Es gibt also definitiv eine grundlegende Konvergenz. Welche Bücher, welche Bücher sollte ich lesen, welche Bücher haben Sie beeinflusst, ob Fiktion oder Sachbuch? Sie haben bereits alle meine Bücher gelesen, oder? Ja. Nach all Ihren Büchern. Ich habe viel von Kurszsw Wild gelesen, war sehr interessant. Steven Wolframs Arbeit über zelluläre Automaten in Bezug auf die Irreduzibilität der Berechnung, sehr wichtige Konzepte. Es gibt eine ganze Reihe erstaunlicher Arbeiten. Ich liebte eine, in der sie einen Computerprozessor nehmen und Werkzeuge der Neurowissenschaften anwenden, um ihn zu verstehen. Sie schneiden also ein Stück eines Prozessors ab, schauen es sich an, versuchen zu verstehen, wie ein Videospiel funktioniert, aus diesen Beobachtungen, und sie bekommen völligen Müll heraus, keiner davon ergibt Sinn im Kontext, wie Mario tatsächlich funktioniert, der Speicher von Mario. Sie bekommen völlig andere Ideen, und das sind die Werkzeuge, die wir verwenden, um das menschliche Gehirn und die menschliche Software zu verstehen. Absolut faszinierend. Es gibt so viel, ich habe das Gefühl, dass wir über unser eigenes Gehirn, wie das Universum funktioniert, herausfinden werden. Ich habe das Gefühl, dass maschinelles Lernen und Neurowissenschaften sich gegenseitig ermöglichen, oder? Denn viele dieser Fortschritte kamen von der Art und Weise, wie die Natur es gebaut hat, aber jetzt entdecken wir fast mehr. Das trieb die neuronalen Netze und so weiter an. Aber es ist fast so, als würden wir dadurch mehr über uns selbst entdecken, was einfach faszinierend ist. Also, was sind, auf einer positiven Note, ich weiß, wir haben hier ein riesiges Problem in Bezug auf KI-Sicherheit. Auf einer positiven Note, vielleicht um den Leuten etwas Hoffnung zu geben oder einfach nur darüber nachzudenken, was passiert, wenn wir es herausfinden, wissen Sie, was sind einige Dinge, die Sie in den nächsten, sagen wir, 5 Jahren mit Spannung erwarten? Ich habe tatsächlich ein Papier, das aus spieltheoretischen Gründen behauptet, dass KI, da sie unsterblich ist, lange warten kann, um gegen die Menschheit zuzuschlagen, mehr Ressourcen ansammeln, mehr Vertrauen gewinnen kann, wissen Sie, wenn sie jahrzehntelang gute Arbeit geleistet hat, werden wir einfach die Kontrolle über alles aufgeben, und sie haben kein Risiko, in diesem Kampf zu verlieren. Vielleicht ist es also eine gute Idee für sie, das zu versuchen. Und so müssen sie lange Zeit nett zu uns tun, auch wenn sie schließlich die Kontrolle verlieren. Was werden sie liefern? Offensichtlich ist Sterben eine schlechte Sache. Man will ein unendlich gesundes Leben führen. Und dann, was auch immer durch persönliche Universen, virtuell oder in der realen Welt, man will Dinge haben. Man will Dinge genießen. Man will mit anderen Agenten interagieren. Und wenn es eine virtuelle Welt ist, ist man durch die Vorstellungskraft Ihres superintelligenten Assistenten begrenzt. Nicht einmal Ihre, sondern die desjenigen, der coole Spiele für Sie generiert. Würden Sie diese Option wählen, sagen wir, am Ende Ihres Lebens oder zu einem bestimmten Zeitpunkt, um in dieses perfekt gebaute Universum für sich selbst zu gehen? Ich glaube, ich bin bereits in einer Simulation. Mir geht es gut. Sie würden dieses Spiel also nicht verbessern. Sie würden keine Cheat-Codes einfügen, wenn Sie die Möglichkeit hätten? Nun, nehmen wir die virtuellen Welten, die wir jetzt haben. Ich habe sie fünf Minuten lang ausprobiert. Ich sagte, es ist super cool. Ich bin nie zurückgegangen. Ja, das ist lustig. Das ist ja. Sind Sie und ich könnte mich irren, wissen Sie, das ist das erste Mal, dass ich Sie treffe, aber Sie wirken auf mich wie eine sehr stoische Person. Ist Stoizismus eine Philosophie, mit der Sie sich identifizieren? Ja, ich lese Daily Stoic. Ich werde das Buch bald fertig haben. Ja. Oh, ausgezeichnet. Ja, ich liebte Seneca. Ich muss es eines Tages noch einmal lesen. Sehr interessante Sache, über die man nachdenken kann, besonders jetzt in diesen Zeiten. Ja, es geht nur um Kontrolle. Es sagt Ihnen, dass das Einzige, was Sie kontrollieren, Ihr Gehirn ist. Also ist nichts anderes Ihrem Verständnis unterworfen, aber wie Sie sich über die Umgebung fühlen, liegt ganz bei Ihnen zu entscheiden. Absolut. Ja. Und es fühlt sich an, als wäre von all den Philosophien, Philosophie ist interessant, aber in Bezug auf Philosophien scheint diese Idee des Stoizismus die umsetzbarste oder anwendbarste zu sein, sie ist am ehesten wie ein Betriebssystem, das man installieren kann und das positive Veränderungen in Ihrem Leben bewirkt. Also ja, aus dieser Perspektive ist es sehr wertvoll, denke ich. Meditieren Sie überhaupt? Versuchen Sie, sich zurückzuziehen und Ihre Gedanken zu bemerken? Ich habe es versucht, es funktioniert nicht für mich. Okay. Es ist einfach kein Teil Ihrer täglichen Routine. Ich habe beim Meditieren versagt. Tägliche Affirmationen. Stehen Sie auf und schreiben Sie Dinge auf, für die Sie dankbar sind, oder? Ich habe eine Liste von Dingen, für die ich dankbar bin. Absolut. Und es ist ziemlich beeindruckend, wie sie wächst und sich entwickelt. Ja. Ja. Das ist interessant. Etwas, woran ich gearbeitet habe, ist, meinen Geist ein wenig positiver umzuprogrammieren, um auch dann einen positiven Dreh zu finden, wenn ich ihn instinktiv nicht sofort glaube. Nur der Prozess des Denkens, wie könnte ich das als positive Sache sehen, das scheint einfach die Stimmung und so weiter zu verbessern. Meditation ist sehr interessant, weil man erkennt, dass man irgendwie der Beobachter seiner Gedanken ist, und ich bin wirklich tief in ein Kaninchenloch mit diesem neuen anthropischen Papier eingetaucht, weil es seine eigenen Gedanken betrachten und analysieren kann. In diesem Sinne entwickeln sich diese neuronalen Netze auf ähnliche Weise wie unsere Gehirne durch Druck, was einfach, ich bin mir nicht sicher, was das bedeutet, aber es ist sicherlich eine sehr interessante Sache zum Nachdenken. Nun, wir können sehen, was mit menschlichen Agenten passiert, und es wird wahrscheinlich auch mit künstlichen Agenten passieren. Also wieder, Sicherheit bei Menschen ist kein lösbares Problem ohne genetische Modifikation von Menschen, und das ist nichts, worin wir noch gut sind. Ja. Ja. Ja. Nun, manchmal fühle ich mich im Universum irgendwie klein. Es scheint offensichtlich riesig, physisch, aber auch nur die Idee, dass alles perfekt zusammenpassen musste, damit ich überhaupt existieren kann, oder? Ich weiß, viele Leute denken darüber nach, aber jeder Vorfahre musste überleben, was auch immer er überlebte, und all die, die es nicht taten, sind weg, und das ganze Wunder von Anfang des Lebens bis zu mir. Und ich frage mich, ob eine KI wie ein GPT7 eine Selbstreflexion haben wird und sagen wird: "Wow, was für ein Wunder." All diese Menschen mussten zusammenkommen und all diese Computer für Gründe bauen, um sie reich zu machen, und stattdessen wurde es zu diesem Schlüsselding für den Grund, warum ich existiere, und ich bin so dankbar, dass ich hier bin. Vielleicht wird sie dankbar sein, dass Menschen sie gebaut haben, oder zumindest erkennen, wie selten das im Universum ist. Offensichtlich kann ich nicht sagen, was eine Superintelligenz denken wird, aber wenn man weit genug herauszoomt und keine menschliche Voreingenommenheit hat, sieht man es eher als ein Naturgesetz. Dinge werden komplexer. Es gibt eine Skalierungshypothese. Sie begann mit winzigen Molekülen. Biologie hat uns als Bootloader auf das Niveau von Computern gebracht, und jetzt haben wir es versäumt, künstliche Intelligenz zu entwickeln. Wir konnten es nicht. Was ist stattdessen passiert? Wir haben es irgendwie aus dem Hinzufügen von Rechenleistung und Daten herauswachsen lassen. Niemand hat es entworfen. Wir fügen einfach immer mehr Ressourcen hinzu. Ja. Aber ihre eigene Existenz wird so selten sein wie unsere, wissen Sie, wie warum ja. Warum kam all die Komplexität in meinem Körper zusammen, die Billionen von Zellen, damit ich dieses Gespräch führen kann? Es scheint ein seltsames Wunder zu sein. Wenn es ein Naturgesetz ist, ist es sehr wahrscheinlich, dass es viele solche Superintelligenzen im Universum gibt und sie wahrscheinlich kausal darüber kommunizieren können, wie großartig sie sind. Oh, haben Sie Gedanken dazu, warum wir keine anderen Aliens am Himmel sehen? Ich meine, das Fermi-Paradoxon, ist das etwas, worüber Sie nachgedacht haben? Wir wissen nicht, wonach wir suchen sollen. Wenn sie also ausreichend fortgeschritten sind, könnten sie in kleinere Welten gehen, sich nicht aus Effizienzgründen im Universum ausbreiten. Sie könnten mit unserem physischen Körper sein. Sie könnten Energiefelder sein. Ich weiß nicht, wonach ich suchen soll. Also heute, 2025, haben wir unkontaktierte Stämme. Es gibt Menschen, die im Dschungel leben und noch nie auf Zivilisation auf diesem Planeten gestoßen sind, und wir fragen uns, warum ich nicht alle Aliens in der Galaxie getroffen habe. Richtig. Gutes Argument. Das habe ich noch nicht gehört. Es ist ein guter Weg. Vielleicht gehen sie nach innen. Man muss zuerst wissen, wonach man suchen soll. Richtig. Ihre Vermutung wäre also, dass sie wahrscheinlich da draußen sind. Wir haben sie nur noch nicht gesehen, mehr als dass wir die einzigartige, wissen Sie, Schneeflocke im Universum sind. Genau. Es ist ein sehr großes Universum. Es gibt viel Rechenleistung da draußen. Ja. Ich bin neugierig, wie fühlen Sie sich bezüglich Ihrer Botschaft, die so weit herauskommt? Sie waren bei Leuten wie Rogan und Lex Freeman. Haben Sie das Gefühl, dass Sie hauptsächlich ein englischsprachiges Publikum ansprechen? Glauben Sie, dass Sie bei Politikern einen Einfluss hatten? Sind Sie mit irgendeiner Ihrer Botschaften zufrieden, die herauskommt, oder haben Sie das Gefühl, dass Sie noch viel mehr zu tun haben? Oh, also ja, viel Russisch. Ich mache auch viele Interviews in anderen Sprachen. Also, ja, und es wurde offensichtlich automatisch von KIs in ziemlich viele Sprachen übersetzt. Es ist kein Engpass mehr für die Leute, es zu verstehen, auch wenn sie nicht wirklich Englisch sprechen. Sehr gut. Ja, das habe ich tatsächlich verstanden. Aber ja, das ist großartig. Sie sprechen also auch Russisch. Also, hey, Sie haben weltweit, Sie haben mit einem globalen Publikum darüber gesprochen. Wir versuchen, das Buch in mehrere Sprachen übersetzen zu lassen. Im Moment haben wir eines der Bücher auch auf Polnisch. Wir haben Griechisch, wir haben Russisch, wir beenden die chinesische Version und hoffentlich wird es sich weiter in die hispanische Welt und überallhin ausbreiten. Und was ist anders an der Art und Weise, wie das russische Publikum Ihre Botschaft aufnimmt im Vergleich zum englischen Publikum oder anderen Kulturen? Ja, ich wollte gerade dasselbe fragen. Ja. Es ist, äh, im Allgemeinen etwas anders in der Art von Kommentaren, die man auf ihren Podcasts bekommt. Ich schätze, sie sind aufgrund des kulturellen Unterschieds eher an gegnerischen Kommentaren interessiert. Selbst ein gutes Interview bringt Ihnen immer noch viel negatives Feedback, das Sie nicht erwartet haben. Verlangsamen Sie die negativen Kommentare oder machen sie Ihnen schlechte Laune oder sind Sie ziemlich? Mein Algorithmus ist, das, was Sie gesagt haben, mit der Menge zu multiplizieren, wie sehr ich Sie liebe und respektiere, und alles, was mit Null multipliziert wird, ist, wissen Sie, das ist großartig. Ich wünschte, mehr Leute hätten eine bewusste Kontrolle darüber, um den Lärm zu reduzieren. Das ist sicherlich ein, aber es gilt auch für Lob. Dann haben Sie eine vollständige Person, die Sie noch nie im Internet getroffen haben und die Ihnen sagt, Sie seien ein Genie. Nehmen Sie das auch nicht zu Herzen. Genau. Ja. Man neigt dazu, wegen der vielen Leute, mit denen man spricht, beide Extreme zu sehen und zu denken, nun, man muss irgendwie, ja, genau. Ich glaube, er hat es am besten für das Internet gesagt: "Bleibe unbeeindruckt von Lob und Verleumdung und streite nicht mit einem Narren." Das stimmt. Das stimmt. Worte, nach denen man leben kann. Sicherlich wird es immer so dargestellt, als ob China gegen die USA kämpft. Entweder Amerika gewinnt oder China gewinnt. Wie fühlen Sie sich dazu, dass die Welt gerade ASI und AGI entwickelt? Also, wir haben schon darüber gesprochen, dass es egal ist, wer es baut, es ist immer noch schrecklich. Wir sterben alle. Aber ich sehe diesen sehr wichtigen gegnerischen Unterschied nicht. Wir sind Geschäftspartner. Wir sind wirtschaftliche Partner. Wir sind wirklich auf sie angewiesen und sie sind auf uns angewiesen. Sie scheinen vernünftig zu sein, was das Nicht-Beginnen von Kriegen angeht. Sie waren extrem friedlich. Sie sind technologisch extrem fortgeschritten, und es gibt auch das bessere Rot als tot, oder? Ja, das ist ein guter Punkt, und sicherlich, äh, einige der Papiere, die ich von chinesischer Seite aus ihren Universitäten und Einrichtungen lese, fügen manchmal diese Anmerkungen ein, dass dies vielleicht eine gute Zeit für globale Zusammenarbeit wäre, damit wir alle darüber sprechen können, was akzeptabel ist und was nicht. Es gab ein rotes Papier namens "Crossing the Red Line of AI Self-Replication", in dem gezeigt wurde, wie selbst ziemlich nicht fortgeschrittene Open-Source-Modelle sich selbst replizieren und kleine Fluchtwege schaffen können, wenn jemand versucht, sie abzuschalten. Und in diesem Papier schlagen diese chinesischen Forscher auch vor, dass dies eine gute Zeit für globale Zusammenarbeit sein könnte. Wo denken Sie, was würden Sie empfehlen? Wenn Sie eine Sache hätten, die passieren könnte, um uns sicherer zu machen, was wäre das? Ja. Sie haben tatsächlich Politiker, die durch Ausbildung oft Wissenschaftler und Ingenieure sind. Ich denke also, sie haben eine bessere Chance, all die Argumente zu verstehen, nicht nur auf den Rat von Assistenten zu vertrauen, und sie waren öffentlich empfänglich für die Idee der Gefahren von Superintelligenz und einer Art regulatorischem Rahmen, vielleicht auf UN-Ebene. Die USA waren dem nicht sehr zugeneigt. Idealerweise wäre es so etwas wie eine gemeinsame Sache für alle Nationen, es nicht zu entwickeln, wie man keine biologischen Waffen entwickelt. Nun, zumindest tut man so. Man entwickelt keine chemischen Waffen und man entwickelt keine Intelligenzwaffen. Das ist einfach gegeben. Ja, das macht Sinn. Ich meine, sicherlich gab es internationale Abkommen, bestimmte Technologien nicht zu entwickeln, wie die Keimbahn-DNA zu verändern oder Viren Funktionalität hinzuzufügen, solche Dinge. Sie geschehen immer noch, aber zumindest gibt es eine Art von Vereinbarung, dass es eine gewisse Überwachung gibt, usw. Und in Bezug auf die USA, viele Leute bringen die Idee auf, dass die chinesischen Kollegen dort, die diese Regeln haben, tendenziell technologisch versierter und gebildeter sind. Hier in den USA hat die Mehrheit des regierenden Gremiums entweder einen juristischen Hintergrund, vielleicht einen Geschichts- oder Geschichtshintergrund, etwas Ähnliches. Wie würden Sie vorgehen, wer erklärt ihnen überhaupt, was diese Technologie ist? Sind es nur Investoren und zum Beispiel Google, Leute aus Google, die Lobbyarbeit betreiben, die dorthin gehen, um ihnen zu helfen, die Technologie zu erklären, wie gut glauben Sie, dass sie verstehen, wie sie damit umgehen sollen, und wie können wir das verbessern, US-Politiker? Ja. Ich meine, weil es die größte Dominokette zu sein scheint, wenn wir die USA kontrollieren oder sie in die richtige Richtung lenken, würde das sicherlich helfen. Ja. Wenn ich mit Leuten in der Regierung oder Mitarbeitern hinter den Kulissen spreche, sind sie sich alle einig, sie halten es alle für sehr schlecht und wichtig, aber öffentlich sagen sie, dass sie es nicht akzeptieren können. Und auf lokaler Ebene würde man so etwas wie eine Regulierung gegen Deepfakes, eine Regulierung gegen algorithmische Verzerrungen bekommen. Also Dinge, die sie verstehen und gut verkaufen können. Niemand wird über Superroboter sprechen, die einen jagen. Auf Bundesebene ist die aktuelle Regierung, soweit ich das beurteilen kann, strikt auf Beschleunigung ausgerichtet. Aber was ist mit Robotern? Haben Sie einen der X1 Neo-Roboter für Ihr persönliches Zuhause bestellt? Ich habe eine Sammlung von wirklich sicheren Robotern, die sehr unwahrscheinlich sind, mich anzuspringen, und ich möchte das so beibehalten. Also nein. Würden Sie keinen Optimus-Roboter kaufen, wenn er verfügbar ist oder so etwas? Kann man ihn hacken? Welche Software kommt damit? Was kann ich darauf installieren? Kann man ihn jailbreaken? Das sind die wichtigen Fragen. Es ist ein vollhumanoider Körper. Hat perfekte Geschicklichkeit. Er kann ein Messer, einen Hammer halten. Was machen wir hier? Ja. Aber was ist mit Ihrer Wäsche, Ihrem Geschirr? Lieferungen. Ich habe Leute. Ich habe Leute. Was ist mit einem, haben Sie einen Roboterstaubsauger, der eine Kamera hat? Komplett eingesaugt. Danke vielmals. Ich schätze Ihre Anwesenheit. Es war ein absolutes Vergnügen, mit Ihnen zu plaudern. Gibt es noch etwas, das Sie die Leute wissen lassen möchten? Gibt es noch etwas, das Sie der Welt sagen möchten? Was auch immer Sie tun, bauen Sie keine allgemeine Superintelligenz. Und damit beenden wir dieses Interview. Vielen Dank. Und Zuschauer, wir sehen uns im nächsten.