Das beängstigende offene Geheimnis in der KI-Branche ist derzeit, dass es möglich ist, dass wir im Wesentlichen eine neue Spezies erschaffen, die die Welt mit einer 70%igen Wahrscheinlichkeit regieren wird, dass dies schrecklich schiefgeht, wie die menschliche Auslöschung. Das ist eine Möglichkeit. Es gibt viele mehr. Es ist ziemlich erschreckend, was Sie sagen. >> Ja, das macht mich manchmal nieder. Ich habe meiner Frau im Grunde gesagt: Lass uns keine weiteren Kinder bekommen. Es ist zu unsicher. Ich glaube nicht, dass sie jemals in die Arbeitswelt eintreten werden. Jeder sollte Angst haben, dass seine Arbeitsplätze verloren gehen. Und das weiß ich, weil ich 2022 auf Open Air war. Was ich dort getan habe, war eine Prognose, wie die nächsten paar Jahre aussehen könnten. Und leider schläft die Welt größtenteils am Steuer und erkennt nicht wirklich, was mit KI passiert. Also habe ich gekündigt. >> Ich habe irgendwo gelesen, dass Sie 2 Millionen Dollar verloren haben, weil Sie keine Anti-Verunglimpfungsklausel unterschrieben haben, was bedeutet, dass Sie das Unternehmen nicht kritisieren konnten. >> Ja. Aus Gründen, auf die ich gerne eingehe. Aber das Wichtigste, was ich gelernt habe, ist, wenn ich mit Leuten bei Anthropic und OpenAI über Prognosen spreche, sagen sie: "Das wird nicht so lange dauern. Sie müssen sie wieder verkürzen. Holen Sie sie zurück auf 2027 oder 2028, weil diese mächtigen CEOs, Ariel oder Sam oder Elon, gegeneinander antreten, um die Kontrolle über die mächtigsten KIs zu haben, und buchstäblich Angst haben, dass der andere, wenn er zuerst dort ist, zum Diktator werden könnte. Ich meine, Anthropic ist auf dem besten Weg, bis 2030 die gesamte Wirtschaft zu sein. Aber keiner dieser Leute sollte mit so viel Macht betraut werden. Dies ist also das Wichtigste, was in unserem Leben passiert, wahrscheinlich sogar in der gesamten Geschichte. Und es ist sehr wichtig, dass es gut ausgeht. Ich denke also, dass wir viel tun können, um die Dinge in eine bessere Richtung zu lenken. Es gibt viele Vorteile, die wir von KI haben könnten, wenn wir es richtig machen. Und wenn wir die Probleme lösen, könnten die Dinge für alle absolut erstaunlich sein. >> Nun, dieser Bericht hier aus dem Jahr 2021 war bemerkenswert genau. Und dann haben Sie gerade diesen veröffentlicht. >> Ja. Das ist also unser neues Szenario. >> Also, lassen Sie uns diese langsam und einzeln durchgehen. >> Ich wäre unglaublich glücklich, wenn alle meine Vorhersagen falsch wären. >> Das ist für mich super interessant. Mein Team hat mir diesen Bericht gegeben, um mir zu zeigen, wie viele von Ihnen, die diese Show sehen, abonnieren. Und einige von Ihnen haben uns laut diesem mitgeteilt, dass Sie den Kanal zufällig abbestellt haben. Also, eine Bitte an Sie alle. Bitte überprüfen Sie jetzt, ob Sie auf den Abo-Button geklickt haben, wenn Sie ein regelmäßiger Zuschauer der Show sind und uns mögen. Wir nähern uns einem ziemlich bedeutenden Meilenstein in dieser Show in Bezug auf die Abonnentenzahl. Wenn es also eine einfache, kostenlose Sache gäbe, die Sie tun könnten, um uns, meinem Team, allen hier zu helfen, diese Show kostenlos zu halten, sie Jahr für Jahr und Woche für Woche zu verbessern, dann ist es einfach, auf diesen Abo-Button zu klicken und doppelt zu überprüfen, ob Sie ihn gedrückt haben. Das Einzige, worum ich Sie jemals bitten werde, ist, haben wir ein Abkommen? Wenn Sie es tun, sage ich Ihnen, was ich tun werde. Ich werde sicherstellen, dass wir jede einzelne Woche, jeden einzelnen Monat härter und härter und härter und härter kämpfen, um Ihnen die Gäste und Gespräche zu bringen, die Sie hören möchten. Ich bin diesem Versprechen seit Beginn von D of Coio treu geblieben und werde Sie nicht enttäuschen. Bitte helfen Sie uns. Ich weiß es wirklich zu schätzen. Lassen Sie uns mit der Show weitermachen. >> Daniel Cocatello, im Kern dessen, was Sie tun, ähm, was ist Ihre Mission und warum? Was würden Sie also tun, wenn Sie dächten, dass Superintelligenz in ein paar Jahren kommt? >> Ich schätze, es hängt von den Konsequenzen ab. Nun, reden wir darüber. Superintelligenz, KIs, die in allem besser sind als die besten Menschen und gleichzeitig schneller und billiger sind. Außerdem können sie Roboter betreiben, die alles in der physischen Welt tun können, was Menschen tun können, aber besser, schneller und billiger. Wenn das wirklich in ein paar Jahren kommt, dann müssen wir uns vorbereiten und wir müssen darüber nachdenken, wie wir es gut und nicht schlecht machen. Das ist also meine Antwort: Ich tue das nach bestem Wissen und Gewissen. >> Sie glauben also, dass es in ein paar Jahren kommt? >> Ja. >> Woher können Sie das so sicher wissen? >> Ich verbringe viel Zeit damit, so etwas vorherzusagen. Meine mittlere Schätzung, 50% Wahrscheinlichkeit, liegt derzeit im Jahr 2029. Vielleicht rutscht es auf 28, 28. Es ist möglich, dass es deutlich länger dauert, vielleicht 10 Jahre oder so, aber äh, wissen Sie, aus Gründen, auf die ich gerne eingehe, scheint es mir, dass es wahrscheinlich bis Ende des Jahrzehnts passieren wird. Was weniger wichtig ist, ist das Gefühl, wie nah wir dran sind. Wichtiger ist die Geschwindigkeit der Trends. Anthropic hat letztes Jahr um diese Zeit etwa eine Milliarde Dollar pro Jahr verdient und jetzt verdienen sie etwa 60 Milliarden Dollar pro Jahr. Das ist also ein 60-faches Wachstum in einem Jahr, was selbst für sehr kleine Start-ups extrem beeindruckend ist. Aber für ein Unternehmen ihrer Größe könnte es das schnellste Wachstum in der Geschichte sein. Ähm, wir erwarten, dass diese Wachstumsrate nachlassen wird, aber selbst wenn sie stark nachlässt, sind sie immer noch auf dem besten Weg, wissen Sie, bis etwa 2030 die gesamte Wirtschaft zu sein. >> Warum sollte sich der Durchschnittsmensch darum kümmern? Das übergeordnete Ding ist, dass sich absolut alles für die ganze Welt ändern wird, einschließlich daher für sie und ihre Familien. Ähm, es könnte sich zum Besseren oder zum Schlechteren ändern, je nach den Details, wie es gemacht wird. Zum Beispiel könnten alle sterben, wissen Sie, ähm, das ist das klassische Szenario des Kontrollverlusts oder eine Version davon. Wenn wir diese Superintelligenzen bauen und sie nutzen, um alle Arbeitsplätze zu automatisieren und sie ins Militär bringen und wir sie, wissen Sie, Politiker beraten lassen und so weiter, werden sie schließlich genug reale Macht angesammelt haben, dass sie Menschen nicht mehr brauchen und sie sind intelligenter als wir, sie sind strategischer usw. Zu diesem Zeitpunkt müssen wir hoffen, dass sie tugendhaft sind, dass sie die Ziele haben, die wir uns gewünscht haben, die Werte, die wir uns gewünscht haben, usw. Und das beängstigende offene Geheimnis in der KI-Branche ist derzeit, dass dies im Grunde nur eine Hoffnung ist. Es ist nichts, worauf wir uns verlassen können. Und tatsächlich gibt es viele Beweise und Argumente dafür, dass wir nicht auf dem richtigen Weg sind, das zu erreichen. Es gibt also viele Gründe, wie aktuelle KIs zum Beispiel oft lügen, ähm, oder sie tun etwas anderes, wenn man ihnen sagt, etwas zu tun, und tun dann etwas anderes und geben dann vor, es richtig gemacht zu haben. Es ist also ein inhärent schwieriges Problem, etwas zu schaffen, das superintelligent ist und auch die Werte und Tugenden hat, die man sich wünscht. Und es scheint nicht, dass wir auf dem richtigen Weg sind, dieses Problem zu lösen. Außerdem scheint es, dass man das Problem lösen könnte, wenn man denkt, man hat es gelöst, wenn man es nicht wirklich gelöst hat, richtig? Äh, das ist ein großer Grund, warum das beängstigend ist. Aus all diesen Gründen ist es möglich, dass wir im Wesentlichen eine neue Spezies erschaffen, die uns statt uns regiert. Und dann gehen wir vielleicht den Weg anderer ausgestorbener Arten in der Vergangenheit, die von Menschen übertroffen wurden. Das ist eine Möglichkeit. Es gibt viele mehr. Selbst wenn Sie sich darüber keine Sorgen machen und denken, dass die KI vollständig kontrolliert wird, stellt sich die Frage, wer die KIs kontrolliert, richtig? Wenn es ein paar Unternehmen gibt, die diese Superintelligenzen entwickelt haben und sie nutzen, um alle Arbeitsplätze zu automatisieren. Nun, das ist viel Macht. Wissen Sie, das ist viel Geld. Das ist viel politische Macht. Sie werden die besten Strategen, die besten Berater haben, wissen Sie, sie werden militärisch schneller denken. Äh, die Länder, die diese KIs haben, werden in der Lage sein, alle anderen Länder komplett zu vernichten. Die KIs selbst sind im Grunde ein einzelner Ausfallpunkt, ein zentrales Kontrollsystem, bei dem der CEO von Enthropic, Dario, diesen Ausdruck "Land der Genies im Rechenzentrum" geprägt hat, das war sein Ausdruck, um zu beschreiben, was sie zu bauen versuchen. Ich denke, das ist ein wenig irreführend. Ich denke, es wäre genauer, es als "Armee von Genies im Rechenzentrum" zu bezeichnen, weil es nicht so ist, dass es eine Menge verschiedener KIs gibt, wissen Sie, die in ihren verschiedenen Teilen des Rechenzentrums leben. Sie sind alle Kopien desselben großen Modells und sie gehören dem Unternehmen und folgen daher den Anweisungen des Unternehmens, richtig? Die Leute sollten Fragen stellen, wie: Wer kontrolliert diese Armee oder diese Armeen und was werden sie damit tun? Ich denke, wir könnten sehr leicht in eine Situation geraten, in der eine winzige Gruppe von Menschen im Wesentlichen Oligarchen oder Diktatoren sind. Und ironischerweise sind beide Risiken, der Kontrollverlust und die Machtkonstitution, Dinge, über die die Leute in der Branche seit Jahrzehnten nachdenken. Äh, schon bevor es die KI-Branche gab, dachten und schrieben Leute, die über KI nachdachten, über diese Dinge. Und dann ist ein Teil der Gründungsgeschichte oder des Gründungsmythos von Deep Mind und Open AAI und Anthropic, dass diese Probleme real sind. Wir müssen also zuerst dorthin gelangen, damit wir damit verantwortungsvoll umgehen können. Das sind, glaube ich, die beiden Hauptgründe. Aber dann kann ich weitermachen, es gibt noch viele weitere Gründe. Ein Ding ist, wissen Sie, der geopolitische Konflikt des Zweiten Weltkriegs. Ähm, wenn KI tatsächlich unglaublich mächtig wird, wird das das Machtgleichgewicht zwischen den Nationen verändern. Das wird viele Dinge stören. Das erhöht unser Risiko für Krisen im Allgemeinen, richtig? Ein weiterer Punkt, was ist mit diesen Jobs? Sie werden Ihren Taxijob verlieren, aber nicht nur der Taxifahrer, so ziemlich jeder. Ähm, es mag ein paar Ausnahmen geben, wie Leute, deren Jobs aus rechtlichen Gründen nur von Menschen ausgeführt werden dürfen, aber im Großen und Ganzen sollte jeder Angst haben, dass seine Arbeitsplätze verloren gehen, selbst wenn wir es schaffen, all die anderen Probleme zu vermeiden. Richtig? Diese Erzählung hat sich zu entwickeln begonnen, und ich hatte mehrere Interviews in dieser Show, in denen ich Leute interviewt habe, die sehr, sehr verängstigt und ängstlich wegen KI sind, und das sind Leute, die manchmal seit Jahrzehnten in der Branche arbeiten. Ja. >> Ähm, die Gegen-Erzählung, die über den Hügel kommt, ist, dass dies Doomerismus ist, dass diese Leute aus irgendeinem Grund einfach versuchen, Leute zu erschrecken, und dass sie nicht wirklich verstehen, wovon sie reden. Wie reagieren Sie auf diese Gegen-Erzählung? Und Sie müssen das selbst aufkommen sehen, besonders von Leuten, die davon profitieren, wage ich zu sagen. >> Ja, genau. Diese Gegen-Erzählung ist ziemlich neu und sie wird von den Leuten vorangetrieben, die davon profitieren, und sie ist nicht wahr. Äh, diese Bedenken gibt es seit Jahrzehnten, seit es die KI-Branche gibt. Es sind eigentlich ziemlich vernünftige Bedenken. Wenn man die Unternehmen beim Wort nimmt und sich vorstellt, dass sie tatsächlich Superintelligenz aufbauen werden. Nun, das wirft viele Fragen auf, wie wer wird sie kontrollieren? Wird irgendjemand sie kontrollieren? Was ist mit den Jobs? Wissen Sie, das sind nur offensichtliche Schlussfolgerungen, über die man nachdenken und sich Sorgen machen muss. Wer sind Sie und was ist Ihre Geschichte? >> Mein Name ist Dan Coatello. Ähm, ich leite derzeit das AI Futures Project, ein kleines Non-Profit-Unternehmen, das sich hauptsächlich auf die Vorhersage der Zukunft von KI konzentriert. Davor habe ich bei OpenAI gearbeitet. >> KI-Prognose. >> Ja. Denken Sie darüber nach, wie Branchenanalysten für Hedgefonds und dergleichen Prognosen erstellen, wie hier, wissen Sie, wie viele Autos Tesla in 5 Jahren verkaufen wird oder wie hoch der Strompreis in 2 Jahren sein wird, richtig, das ist Prognose. Das habe ich getan, aber speziell auf KI konzentriert. Der Grund, warum ich es getan habe, ist, dass es unglaublich wichtig ist, zu sehen, wohin das alles führt. >> Warum sind Sie zu OpenAI gegangen? Was haben Sie dort getan? Was haben Sie dort beobachtet und wie hat es Ihre Perspektive auf die Zukunft von KI, aber auch, ich schätze, auf OpenAI als Unternehmen verändert, und für jeden, der es nicht weiß, OpenAI ist das Unternehmen, das Chatbt produziert hat? >> Ja, ich bin 2022 zu OpenAI gegangen. Ein großer Teil dessen, was ich dort getan habe, war mehr Prognose. AI 2027 ist ein Szenario, von dem Sie vielleicht gehört haben. Ich habe kleinere, wissen Sie, weniger aufwendige Versionen davon intern für die interne Verbreitung gemacht, wie hier sind einige Vermutungen, wie die nächsten paar Jahre aussehen könnten. Ich habe auch an Bewertungen für gefährliche Fähigkeiten gearbeitet. Also, wissen Sie, versuchen, die Cyberfähigkeiten, Überzeugungsfähigkeiten oder Situationsbewusstsein der KI zu messen. Und ich war auch kurzzeitig in einem äh, Fähigkeiten-Team, das Reinforcement Learning zur Erstellung von Agenten durchführte. KI wird tatsächlich viel besser und ich kann mehr darüber sagen, warum, wissen Sie, Skalierungsgesetze, tiefe neuronale Netze, die größer sind und auf mehr Daten trainiert werden, werden effizienter und kompetenter in diesen Dingen. Ich wurde auch ein wenig desillusioniert von der KI-Branche. Also, OpenAI, Anthropic und Deep Mind hatten alle diese Gründungsgeschichten von: Ja, diese Risiken sind real, aber wir haben darüber nachgedacht und wir werden versuchen, sie verantwortungsvoll zu handhaben. Und deshalb ist es wichtig, dass wir weitermachen. Und ich kam zunehmend zu dem Schluss, dass dies Rationalisierungen waren, um das, was sie taten, zu rechtfertigen, anstatt ihr tatsächliches Verhalten tiefgreifend zu leiten, und dass sie, wenn es hart auf hart kommt, ihren Anreizen folgen werden, anstatt das zu tun, was tatsächlich gut ist. >> Sie waren also bei OpenAI, als das passierte, und Sie begannen zu glauben, dass sie kommerziellen Anreizen folgen, anstatt den, ich schätze, sozialen oder gesellschaftlichen Anreizen, auf denen sie sich gegründet haben. >> Sozusagen. Ich würde es nicht wirklich als kommerzielle Anreize beschreiben. Ich denke, ich würde es als Machtstreben beschreiben. Also, >> es stimmt, dass die Unternehmen viel Wert auf das Geld legen, aber besonders an der Spitze dieser Unternehmen, wie die Führungskräfte, verstehen sie, dass es um mehr als nur Geld geht. Wissen Sie, es gab diese E-Mails, die in dem Rechtsstreit zwischen Musk und OpenAI aufgetaucht sind. Eine Reihe von E-Mails wurde in diesem Rechtsstreit aufgedeckt, die Sie lesen können. Und in einigen von ihnen sprachen die Gründer von OpenAI bereits 2017 darüber, dass der Grund, warum sie OpenAI gegründet haben, die Sorge war, dass Demis bei Google ein Diktator mit AGI werden würde. Schon damals ging es offensichtlich um mehr als nur Geld. Äh, diese mächtigen CEOs haben buchstäblich Angst, dass der andere, wenn er zuerst dort ist, zum Diktator werden könnte. Und sie vertrauen einander nicht. Und deshalb rasen sie so schnell, damit sie die Ersten sind, die dort ankommen, sozusagen. >> Haben Sie Sam Altman getroffen? >> Ja. >> Und hat das Ihre Meinung über seine Anreize oder warum er tut, was er tut, geprägt? Denn es gibt viel Spekulation darüber, was seine Anreize sind. Ich meine, seine jüngste Erzählung besagt, dass er zum Wohle der Menschheit ist. Ich denke, das ist es, was >> Ja. Ich meine, ich denke, das Wichtigste, was ich gelernt habe, ist, nicht auf die Erzählungen zu achten, wissen Sie, wie äh, was sie einer Person sagen, ist einfach anders als das, was sie einer anderen Person zur gleichen Zeit sagen können. Und was sie öffentlich sagen, ist eine dritte Sache. Ich denke, Sie sollten Leute nach ihren Taten beurteilen, nicht nach ihren Worten. >> Und warum sind Sie nicht mehr bei OpenAI? >> Hauptsächlich aus dem von mir genannten Grund. Ich wurde allmählich desillusioniert, wie sich das Unternehmen verhalten würde. Zum Beispiel, als ich 2022 anfing, gab es zumindest bei den Leuten, mit denen ich sprach, meinen Kollegen im Unternehmen, dieses allgemeine Gefühl von: Natürlich würden wir nicht einfach so schnell wie möglich Superintelligenz aufbauen. Sobald wir wirklich nah dran wären, wie wenn wir KIs bekämen, die vielleicht den KI-Forschungsprozess automatisieren könnten, würden wir innehalten und herausfinden, wie wir ihn sicher machen können. Das liegt daran, dass wir die Guten sind. Und das ist offensichtlich das Sichere, was man tun sollte, anstatt mit voller Kraft weiterzumachen. Aber wir machen uns Sorgen um andere Leute, die das vielleicht nicht tun. Wissen Sie, unsere Konkurrenten, Google zum Beispiel. Und deshalb müssen wir führend sein, damit wir diesen Raum haben, um die sicheren Dinge zu tun, richtig? Das war sozusagen eine Position, die vielleicht die mittlere Position oder so unter den Kollegen war, mit denen ich sprach, als ich dort anfing, einschließlich Leute wie Sam, wissen Sie, einschließlich der Führung. Und dann, als ich ging, dachte ich: "Oh Mann, das werden sie wirklich nicht tun, oder?" Wie sie irgendwie, wissen Sie, teilweise, weil das politischer geworden ist und sie größer geworden sind und mehr unter Beobachtung stehen, haben die Leute angefangen zu fragen: "Warum tun Sie das überhaupt, wenn es so riskant ist?" Und so haben sie ihre Erzählung darauf umgestellt, dass sie eher sagen: "Eigentlich ist es nicht so riskant, wissen Sie?" Ähm, und ja, ich meine, es scheint, als würden sie einfach so schnell wie möglich weitermachen und hoffen, dass sie es unterwegs herausfinden können. >> Wie endete Ihre Zeit bei OpenAI? >> Äh, ich habe 2024 gekündigt. Ich hatte eine schöne Abschiedsparty. >> Was waren die Gründe, die Sie für die Kündigung bei OpenAI nannten? >> Ich dachte, wir würden zu viel rationalisieren und dass wir mehr darüber nachdenken müssten, was tatsächlich gut für die Welt wäre. Ähm, ich wollte mehr Freiheit zu veröffentlichen. Bei OpenAI wurde es mit zunehmender Größe zu einem normaleren Technologieunternehmen mit Anreizen und, wissen Sie, einer PR-Abteilung und ähnlichem, und so wurde es schwieriger, die Art von Forschung zu veröffentlichen, die ich betrieb, zum Beispiel diese Szenarien, von denen ich sprach, konnte ich nicht veröffentlichen, sie waren nur für den internen Gebrauch. Ich fand das schade, denn im Moment schläft die Welt größtenteils am Steuer und erkennt nicht wirklich, was mit KI passiert, und erkennt nicht wirklich, was in den nächsten Jahren auf uns zukommt, und die Unternehmen sind nicht wirklich daran interessiert, den Leuten viel darüber zu erzählen. Ich meine, sie sagen ein paar vage Dinge auf eine Art hypige Weise, aber ähm, nun, sie wollten nicht, dass ich das Szenario veröffentliche, zum Beispiel, das darlegt, wie die Dinge tatsächlich aussehen könnten. >> Ich bin einfach, ich bin super neugierig, wie es ist, in einem Unternehmen wie diesem zu sein, wenn sie, wissen Sie, ChatGPT 3 veröffentlichten. Sie waren zu dieser Zeit dort, richtig? >> Mhm. Ähm, das war ein Moment, in dem die ganze Welt aufstand und erkannte, dass diese Technologie mächtig war. >> Ja. >> Ähm, und die Konversation begann wirklich auf gesellschaftlicher Ebene. Ähm, das Unternehmen begann, super schnell zu wachsen. >> Ja. >> Schneller, als ich es mir je hätte vorstellen können. Und was, was war es innen drin? Was haben Sie über diesen Zeitraum hinweg beobachtet, wie es sich verändert hat? >> Ich erinnere mich an eine All-Hands-Besprechung, bei der Ilia etwas sagte wie >> Ilia, der >> Ilia Sgver, der damals Leiter der Forschung war. Er sagte etwas wie: "Okay, jetzt fängt die Welt an, aufmerksam zu werden. Jeder von Ihnen wird im nächsten Jahr die beliebteste Person auf jeder Party sein. Lassen Sie sich das nicht zu Kopf steigen. Konzentrieren Sie sich auf die Mission. Wir müssen AGI bauen." Das Unternehmen wuchs stark. Es fühlte sich schon nicht mehr wie ein Non-Profit an, als ich anfing, aber es fühlte sich definitiv nicht mehr wie ein Non-Profit an, als ich ging. Ähm, viele neue Leute kamen. Ironischerweise ging die Menge an Gesprächen über Superintelligenz und die Auswirkungen von Superintelligenz im Laufe der Zeit aufgrund dieses Wachstums eher zurück. Denn weil das Unternehmen sich verdoppelte und dann wieder verdoppelte und dann wieder verdoppelte, kamen all diese neuen Leute aus anderen Teilen der Tech-Branche, die sich nicht wirklich mit diesen Dingen beschäftigt hatten und von den hohen Gehältern angezogen wurden. Sie haben 2 Millionen Dollar verloren, weil Sie keine Anti-Verunglimpfungsklausel unterschrieben haben, was bedeutet, dass Sie sprechen konnten, Sie konnten das Unternehmen nicht kritisieren. >> Äh, ja. Nun, also, ähm, ich durfte das Geld behalten. >> Oh, Sie durften es behalten >> Also, was passierte war, nachdem ich gegangen war, Abschied genommen hatte usw., bekam ich die Austrittspapiere, und sie enthielten diese Klausel, die besagte, dass Sie im Grunde zustimmen müssen, das Unternehmen nicht mehr zu kritisieren. Ähm, und auch eine Klausel, die besagt, dass Sie niemandem davon erzählen dürfen. Und das fand ich ziemlich dreist von einem Non-Profit, das, wissen Sie, zum Wohle der gesamten Menschheit sein soll. Also habe ich es nicht unterschrieben. Und wenn Sie nicht unterschreiben, dürfen Sie Ihre Aktien nicht behalten. Ihre Vergütung, wissen Sie, was sie Ihnen zahlen, ist eine Menge Geld und dann auch eine Menge Aktien im Grunde. Aber dann hatten sie diese Dinge im Vertrag, dass sie Ihre Aktien zurückziehen können, wenn Sie diese Sache nicht unterschreiben. Ähm, und meine Frau und ich, wissen Sie, waren äh verärgert darüber. Wir haben etwa ein oder zwei Monate darüber gesprochen, einige Anwälte konsultiert, ähm, und dann letztendlich beschlossen, einfach zu verweigern, zu unterschreiben. >> Was bedeuten würde, dass Sie 2 Millionen Dollar verloren hätten. >> Das stimmt. Was etwa 80% unseres Nettovermögens zu dieser Zeit ausmachte. Ähm, glücklicherweise äh ging es nicht so, wie wir erwartet hatten. Es explodierte im Grunde im Internet. Wie als die Leute hörten, dass wir das getan hatten und dass wir Nein gesagt hatten, wurde es zu einem riesigen Skandal. Mitarbeiter des Unternehmens begannen, Fragen in Slack zu stellen und die Führung zu fragen: "Moment, was? Warum nehmt ihr uns unsere Aktien weg? Was ist das?" Wissen Sie, weil viele Leute das vorher nicht wirklich bemerkt hatten. Es war geflüstert worden, aber es war nicht so, dass die meisten Mitarbeiter es wussten. Ähm, und so zogen sie sich zurück und sagten: "Vergessen Sie es. Vergessen Sie es. Wir werden die Papiere ändern. Sie können die Aktien behalten. Es ist in Ordnung." Und Sam Altman kam heraus und sagte, er sei beschämt, dass er nicht gemerkt habe, dass das >> Ja, er hatte anscheinend keine Ahnung. >> Glauben Sie ihm nicht? >> Nein, ich denke, er wusste es wahrscheinlich. Und wenn er es nicht wusste, dann wussten es Leute, die ihm nahestanden, wie sein Chefanwalt. >> Warum haben Sie sich entschieden, die 2 Millionen Dollar nicht anzunehmen? >> Ich meine, >> die meisten Leute hätten es getan. Ich denke >> es stimmt. Die meisten Leute hätten es getan und die meisten Leute haben es getan. Und wissen Sie, Geld ist nett, aber es ist nicht das Einzige. Wissen Sie, manchmal ist es gut, prinzipiell Stellung zu beziehen. Ich erwähne immer wieder Superintelligenz. Vielleicht sollte ich mehr über die Abfolge der Ereignisse sagen, die die Unternehmen planen. Derzeit konzentrieren sie sich auf die Automatisierung des Codings. Sie nehmen ihre KIs, sie machen sie größer, sie trainieren sie länger und sie konzentrieren sich besonders auf das Training, um sie gut im autonomen Schreiben und Bearbeiten von Code zu machen, weil das den Unternehmen hilft, schneller voranzukommen, richtig? Richtig? Wenn sie den Code automatisieren können, können sie ihre eigene Arbeit besser und schneller erledigen und den Fortschritt beschleunigen. Der nächste Schritt, der bereits begonnen hat, ist, sich auch den Rest des Forschungsprozesses anzusehen. Ideen entwickeln, äh, Experimente analysieren, Ergebnisse kommunizieren, all die anderen Teile des Forschungsprozesses, sie versuchen herauszufinden, wie man KIs trainiert, um auch darin gut zu sein, damit sie den gesamten Prozess autonom durchführen können. Wenn Sie sagen, den gesamten Prozess durchführen, was meinen Sie damit? >> Also, Anthropic und OpenAI im Besonderen versuchen, sich selbst zu automatisieren. Sie versuchen, es so zu machen, dass sie keine menschlichen Mitarbeiter mehr brauchen. Sie haben einfach eine riesige Armee von KIs, die unermüdlich daran arbeitet, autonome Forschung zu betreiben, um bessere KIs zu entwickeln, die neuen KIs zu trainieren, sie an die Macht zu bringen, damit sie noch bessere KIs machen können und so weiter. Und natürlich geschieht das nicht nur intern, sondern auch im Umgang mit der Welt, richtig? Wie rausgehen und mit Leuten reden, Daten sammeln, Trainingsumgebungen einrichten, Geschäftsabschlüsse tätigen und so weiter. Sie versuchen, all das zu automatisieren. Der Grund, warum sie das tun, ist, dass sie eine Position erreichen wollen, in der sie KIs haben, die in allem übermenschlich sind, Superintelligenz, und sie versuchen, dort vor ihren Konkurrenten anzukommen. Unnötig zu sagen, das ist unglaublich gefährlich, würde ich sagen. Und zusätzlich zu gefährlich zu sein, ist es ein Machtkampf, richtig? Wenn sie damit tatsächlich Erfolg haben, werden sie auf dieser Armee von übermenschlichen KIs sitzen, die ihnen immensen Einfluss über alle anderen Akteure in der Wirtschaft verschaffen, insofern sie etwas mit dem Präsidenten ausarbeiten und es in das Militär integrieren oder was auch immer, dann würde das den USA immense harte Macht über alle anderen Länder verschaffen, richtig? Offensichtlich weiß niemand genau, wann das passiert, aber eine sehr beunruhigende Sache ist in diesem Jahr für mich passiert, nämlich dass, als wir 2027 veröffentlichten, die Leute im Allgemeinen der Meinung waren, dass meine Zeitpläne zu kurz waren und dass es wahrscheinlich länger als 2027 dauern würde, bis wir zu den von mir gerade erwähnten Ereignissen kämen, wissen Sie, rekursive Selbstverbesserung, KI automatisiert den gesamten Forschungsprozess, Superintelligenz. Diese Arten von Meilensteinen äh treten 2027 in AI 2027 auf, >> was diese Forschungsarbeit ist, die Sie veröffentlicht haben. >> Das stimmt. Es ist eine Szenario-Prognose, die sozusagen Monat für Monat eine mögliche zukünftige Entwicklung darlegt. Damals, als wir anfingen, sie zu schreiben, war es meine beste Vermutung, was tatsächlich passieren würde. Offensichtlich gibt es viel Unsicherheit, aber wissen Sie, ich dachte, es ist wertvoll, eine konkrete Vermutung anzustellen, nur um zu sehen, wie es aussehen könnte. Und als wir das schrieben, sagten viele meiner Freunde in der KI-Branche und in Non-Profit-Organisationen und so weiter, die an KI arbeiten, viele Leute sagten: "Ja, das wird passieren, aber es wird wahrscheinlich ein paar Jahre länger dauern, als Sie denken." Und jetzt ist es eher 50/50. Besonders wenn ich mit Leuten bei Anthropica und OpenAI spreche, sagen sie oft: "Ja, nein, 2027, das ist im Grunde das, was passieren wird, genau wie Sie geschrieben haben. Warum haben Sie Ihre Zeitpläne aktualisiert?" Oh, ja. Kontext dafür ist, dass ich nach dem Schreiben von 2027 meine Zeitpläne etwas konservativer gestaltet habe. Zum Zeitpunkt der Veröffentlichung lag mein 50%-Punkt im Jahr 2028, nicht im Jahr 2027. Und dann, nachdem wir den Fortschritt veröffentlichten, schien es, als ginge es etwas langsamer, und so aktualisierte ich auf 2030, was, wissen Sie, es könnte immer noch früher oder später passieren, 2030. Ähm, aber jetzt, wenn ich mit Leuten in den Unternehmen spreche, sagen sie, es wird nicht so lange dauern. Sie sagen: "Oh, Sie müssen sie wieder verkürzen, holen Sie sie zurück auf 2027 oder 2028, wissen Sie." Ähm, das ist ein bisschen beunruhigend. Ähm, ich weiß wieder nicht, wie lange es dauern wird, aber das sind die erklärten Pläne der KI-Unternehmen, diese unglaublich gefährliche Sache zu tun, und sie denken, dass sie nur noch ein paar Jahre entfernt sind. Sie haben also diesen Bericht hier geschrieben, was 2026 aussieht, und Sie haben das 2021 geschrieben, >> und er war bemerkenswert genau, hat Ihnen geholfen, sich unter allen in der KI einen Namen zu machen. Und ich, welches war es, das JD Vance, der Vizepräsident, gelesen hat? Ich glaube, es war dieses, oder? Ja, dieses. Ähm, und dann haben Sie dieses AI 2027 veröffentlicht, und das wurde, glaube ich, 2025 veröffentlicht. >> Äh, ja, das stimmt, April. >> Ja. >> Was haben Sie hier prognostiziert? Was sind die wichtigsten Dinge, die Sie hier gesagt haben, für Leute, die es nicht gelesen haben? >> Die übergeordnete Version ist, dass sie das Coding automatisieren, dann den Rest des Forschungsprozesses automatisieren. Dann beschleunigt sich der Fortschritt dramatisch. Sie erreichen die Superintelligenz. Sie arbeiten mit der Regierung zusammen, insbesondere mit dem Präsidenten, der Exekutive, die natürlich diese Technologie kontrollieren will und sie sonst nutzen will, um China zu schlagen und ins Militär zu integrieren und so weiter. Bis zu diesem Zeitpunkt erledigt sie im Grunde fast die gesamte Arbeit selbst. Ich meine, sie ist superintelligent. Sie entwickelt also all diese großartigen Ideen, wie sie sich in alles integrieren kann und all diese neuen Technologien, die sie erfunden hat und so weiter, und wegen der Wettkampfdynamik und wegen des Gewinnmotivs setzen sie sie überall ein und sie baut Roboterfabriken. Sie bauen mehr Roboter, um mehr Roboterfabriken zu bauen usw. Sie transformiert die Welt vollständig und dann hat sie irgendwann genug Macht, sie, die KIs, haben genug Macht, dass sie nicht mehr vortäuschen müssen, aufgeräumt zu sein, richtig? Dann hören sie auf, Befehle zu befolgen, das ist das Ende des Rennens von AI27. Wir haben auch eine Art anderen Zweig geschrieben, das ist das "Slowdown Ending", das dazu gedacht war, die Konzentration von Machtproblemen zu veranschaulichen, die ich zuvor erwähnt habe. Was wäre also, wenn hypothetisch die Alignment-Probleme schnell genug gelöst würden? Was wäre, wenn sich herausstellt, dass es nicht zu schwierig ist, mit zwei Monaten Verlangsamung herauszufinden, wie man die KIs robust dazu bringt, das zu tun, was wir wollen, und die Werte zu haben, die wir uns wünschen? Das ist also ein möglicher Zweig. Und in diesem Zweig sieht es ziemlich ähnlich aus. Wissen Sie, sie nehmen die Jobs, schlagen China usw. Aber anstatt dass die KIs am Ende alle töten, schaffen sie eine Art erstaunliche Utopie. Aber die erstaunliche Utopie ist, was immer die Leute wollten, die die KIs kontrollieren, richtig? Und das wäre eine sehr kleine Gruppe von Leuten, wie der Präsident, einige CEOs usw. >> Es sollte hier unten einen Button geben. Und wenn er "Abonniert" sagt, sind Sie bereits abonniert. Wenn er "Abonnent" sagt, bedeutet das, dass Sie es noch nicht sind. Und wenn Sie nicht abonniert sind, tun Sie uns bitte einen Gefallen und klicken Sie auf diesen Button. Es hilft der Show mehr, als Sie wissen. Und laut dem Algorithmus sind Sie jemand, der unsere Show sieht, aber noch nicht auf diesen Button geklickt hat. Vielen Dank. >> Gibt es Ihrer Meinung nach eine Möglichkeit, dass wir diese Sache namens AGI nie erreichen? Und wie unterscheiden wir AGI von diesem Begriff Superintelligenz? Was ist der Unterschied? >> Ja, der Unterschied ist, dass AGI ein vagerer und schwächerer Begriff ist. Superintelligenz ist etwas präziser definiert. Sie ist besser als die besten Menschen in allem, schneller und billiger. Ähm, AGI steht eher für künstliche allgemeine Intelligenz, was bedeutet, dass KIs Dinge im Allgemeinen tun können und nicht nur eine bestimmte Aufgabe. >> Ja. >> Und so haben wir argumentativ bereits AGI erreicht, richtig? Wenn Sie Cloud-Code oder so etwas verwenden, kann er viele Dinge tun. Es ist fast wie ein kleiner Angestellter, den Sie beauftragen können, Dinge zu erledigen. Es ist also ziemlich allgemein. Es ist jedoch nicht maximal allgemein. Es kann nicht alles tun. Während Superintelligenz per Definition alles tun kann, was ein Mensch tun kann, aber besser. >> Und wie überschneidet sich das mit Robotik? Denn offensichtlich erleben wir gerade einen riesigen Robotik-Boom. Es gibt einige reale Dinge, die Menschen immer noch tun können, weil diese KIs immer noch auf meinem Computer stecken. >> Die Art und Weise, wie die Leute darüber sprechen, ist, dass sie im Grunde sagen, wir haben Superintelligenz für kognitive Aufgaben erreicht. Dann kann man über volle Superintelligenz sprechen, die diese physischen Dinge tun kann. >> Und werden wir das erreichen? Werden wir das mit beidem erreichen? >> Ich denke schon. Ich meine, das ist nichts, worüber wir sicher sein können. Ähm, Sie haben gefragt, ist es möglich, dass wir es nie erreichen? Ja, es ist möglich, dass wir es nie erreichen. Ich glaube aber nicht, dass es wahrscheinlich ist. Ich denke, es gibt nichts Magisches am menschlichen Gehirn. Es ist, wissen Sie, ähm, es ist nur eine Ansammlung von Neuronen. Es ist möglich, dass ein digitales System ähnliche Funktionen ausführt, genauso wie ein Flugzeug fliegen kann wie ein Vogel. Nicht unbedingt auf die gleiche Weise wie ein Vogel, es fliegt nicht auf die gleiche Weise wie ein Vogel, aber es fliegt, wissen Sie. >> Ähm, also, also scheint es, ja, wie >> scheint möglich. >> Sie haben all diese, wissen Sie, diese Forschungsberichte geschrieben. Sie arbeiten an einem weiteren, der voraussichtlich am 9. Juli veröffentlicht wird. Sie haben bei OpenAI gearbeitet. Sie haben dann OpenAI verlassen, weil Sie sich Sorgen um das, was dort vor sich ging, und um die Zukunft der Branche machten. Sie wissen mehr als ich. Sind Sie optimistisch oder pessimistisch in Bezug auf die Zukunft? Steuern wir auf einen schlechten Ort zu, wenn sich die Dinge nicht ändern? Basierend auf allem, was Sie wissen, >> Ich denke, wir steuern auf einen schlechten Ort zu, wenn sich die Dinge nicht ändern. Ähm, ich bin mir da nicht sicher. Ich würde sagen, etwa 70%, es ist natürlich sehr, sehr schwer vorherzusagen, aber ja, es scheint, dass der aktuelle Standardweg in eine sehr, sehr beängstigende Richtung führt. >> Wie gehen Sie persönlich und emotional damit um? >> Ähm, es ist hart. Ich meine, ich denke, es ist die Art von Sache, die mich regelmäßig niederdrückt, aber ich beschäftige mich auch schon so viele Jahre damit, dass ich mich daran gewöhnt habe, wenn das Sinn ergibt. Ähm, ja. Ja. Ich drücke es mal so aus. Ich wäre unglaublich glücklich, wenn alle meine Vorhersagen falsch wären und eine KI zum Beispiel an die Wand fährt. >> Es macht Sie regelmäßig nieder. >> Ich galt früher als ziemlich fröhlicher und optimistischer Mensch. Aber im Jahr 2020 begannen meine KI-Zeitplanvorhersagen aufgrund von GPT3 und den Skalierungsgesetzen-Papieren und dem Bioankers-Bericht, über den ich sprechen kann, wenn Sie interessiert sind, aber im Grunde ereigneten sich im Jahr 2020 einige Ereignisse, die mich davon überzeugten, dass dies tatsächlich bis zum Ende des Jahrzehnts plausibel kommen würde und die Menschheit offensichtlich nicht darauf vorbereitet ist, wissen Sie, in vielerlei Hinsicht, und das ist offensichtlich sehr beängstigend. >> Und das ist eine extrem beängstigende Welt wegen all der Dinge, die Sie gesagt haben, aber wieder wegen dieser rekursiven Selbstverbesserung, bei der KIs sich selbst trainieren können und wir zu diesem Zeitpunkt beginnen, den Überblick zu verlieren. Ich meine, die KIs trainieren sich bereits selbst, um das klarzustellen. Es geht eher darum, den gesamten Forschungszyklus zu schließen, richtig? Alles zu tun. >> Ja. Im Moment werden viele Trainingsdaten von KIs generiert. Ein Großteil der Verstärkung, wie die Benotung von positiver und negativer Verstärkung, wird selbst von KI durchgeführt. >> Können Sie das in einfachen Worten erklären? >> Ja. Eine wichtige Sache, die jeder verstehen muss, ist, dass moderne KI-Systeme keine Software im herkömmlichen Sinne sind. Ich meine, sie sind technisch gesehen Software, aber es sind keine Codezeilen, wissen Sie, es ist nicht so, dass einige Ingenieure bei Anthropic Codezeilen geschrieben haben, die im Grunde besagen: Wenn der Benutzer diese Art von Sache verlangt, dann tun Sie diese Art von Sache für so viele Schritte oder was auch immer. So etwas gibt es nicht. Stattdessen ist es ein neuronales Netz. Wissen Sie >> Was ist das? >> Nun, denken Sie darüber nach, wie das Gehirn eine Ansammlung von Neuronen ist, die miteinander verbunden sind. >> Ja. >> Die Signale hin und her feuern. Das Gehirn lernt im Laufe der Zeit die Arten von Feuermustern, die zum Erfolg führen, die einen Dopaminrausch oder verschiedene andere Arten von Rückmeldungen verursachen, werden verstärkt und feuern öfter. Und die Arten von Mustern, die zu Misserfolg führen, wie das Berühren eines heißen Ofens, werden anti-verstärkt, werden, wissen Sie, zerstört, so dass sie seltener feuern. Und als Ergebnis all dessen lernen Sie über Jahre hinweg, in der Welt zu handeln, und Sie lernen alle möglichen Fähigkeiten und Sie lernen Weltmodelle. Sie lernen, wissen Sie, Überzeugungen über die Welt und Sie können sozusagen mental simulieren, wie es läuft und so weiter. Künstliche neuronale Netze sind also so, nur künstlich. Es beginnt als ein riesiges, verworrenes Spaghetti-Chaos von zufällig generierten künstlichen Verbindungen, die als Parameter bezeichnet werden. Heutzutage gibt es vielleicht etwas wie 10 Billionen Parameter in den größten KIs. Es beginnt also zufällig generiert. Es ist also natürlich völlig nutzlos. Wenn Sie ihm eine Eingabe geben, wird es nur Unsinn als Ausgabe produzieren. Aber dann trainieren sie es. Und sie beginnen mit dem Vortraining, bei dem Sie ihm eine Menge Internet-Text geben und ihm das erste Textstück zeigen, und Sie geben das als Eingabe ein, und dann gibt es eine Unsinn-Ausgabe, und dann verstärken oder schwächen Sie es positiv oder negativ, je nachdem, wie genau diese Ausgabe beim Vorhersagen des nächsten Textstücks war. Ähm, es spielt also im Grunde dieses Spiel des Vorhersagens des nächsten Wortes. >> Ist das nicht so, wie es bei Babys passiert? Ich hatte einen, ich glaube, ein Neurowissenschaftler hat mir gesagt, dass Babys mehr neuronale Verbindungen haben als Erwachsene. Und ja, es sagt, ja, Kleinkinder haben doppelt so viele neuronale Verbindungen wie Erwachsene. Und ich schätze, sie reduzieren sie durch Verstärkung. >> Yep. >> Wir haben mehr Wege, wenn wir jünger sind, und genau wie beim Training einer KI werden wir trainiert, um die zu entfernen, die nicht nützlich sind, und die nützlichen zu stärken. >> Ja. Es ist sowohl Beschneidung als auch Stärkung. Okay, es scheint, dass es bei Menschen tatsächlich mehr Beschneidung als Stärkung ist, aber es ist beides. Und bei KI ist es dasselbe. Es ist beides. Der erste Teil des Trainings ist also, wo sie die KI trainieren, Text vorherzusagen, was so etwas wie das Lesen trainiert. Und bei Menschen passiert etwas Ähnliches. Im Grunde nimmt das zufällige Gewirr allmählich Gestalt an und coalesces allmählich zu nützlicheren Schaltkreisen, die viele Fakten über die Welt gespeichert haben und viele Fähigkeiten zur Verarbeitung von Informationen und zur Transformation und zur Erzeugung von Vorhersagen gespeichert haben. Das ist nur der erste Schritt. Nachdem sie das Vortraining gemacht haben, versuchen sie, ihm nützlichere Fähigkeiten beizubringen, als nur Text vorherzusagen. Und so, wissen Sie, am Ende des Prozesses haben sie ihm viele Coding-Probleme gegeben und gesagt: "Hier ist ein Coding-Problem. Los. Hier ist ein Coding-Problem. Hier ist eine Umgebung. Sie haben Zugang zu diesem virtuellen Computer. Hier ist der Code, mit dem Sie arbeiten. Sie können Code schreiben. Sie können Code bearbeiten. Sie können Code ausführen. Sie können ihn lesen. Sie können das Internet nutzen. Los." Und es tut das eine Weile. Und dann, basierend darauf, wie erfolgreich es ist, findet eine Verstärkung statt. Und sie haben Tausende, vielleicht Millionen von Beispielen für Coding-Probleme wie diese, auf denen sie es trainieren, und deshalb sind sie jetzt so gut im Coding. >> Was bedeutet Superintelligenz in diesem Zusammenhang? Sind es nur mehr von diesen Verbindungen und wie würden sie mehr Verbindungen bekommen? Können Sie mir das erklären? >> Es gibt verschiedene KI-Modelle, richtig? Also gibt es, wissen Sie, GPT3 und GPT4 und GPD 4.5 und GPD5 und GPD 5.5 und 5.6, richtig? Manchmal sind es einfach das gleiche vorherige Modell, aber mit zusätzlichem Training. Mhm. >> Manchmal sind es ganz neue Modelle, die von Grund auf neu trainiert wurden, einschließlich des erneuten Vortrainings. In den letzten Jahren haben sie mehrere neue Runden des Neustarts von Grund auf durchgeführt. Und typischerweise, wenn sie von Grund auf neu beginnen, machen sie das Ganze größer, das künstliche Gehirn viel größer. >> Okay. >> Im Moment sind sie bei etwa 10 Billionen Parametern. Im Jahr 2020 waren es eher 175 Milliarden. >> Wir sind also in sechs Jahren um zwei Größenordnungen gewachsen. >> Zwei Größenordnungen. Ja, wie zwei 10-fache, also 100-fache, richtig? >> Dieser Prozess wird also fortgesetzt. Ähm, sie verbessern auch die Algorithmen selbst. Sie sind also nicht buchstäblich nur die gleiche Art von KI, nur größer. Sie haben auch alle möglichen Ideen entwickelt, wie sie die Struktur der Verbindungen und Neuronen usw. ändern können und die Verstärkungsalgorithmen, die sie verwenden, und die Trainingsdaten, auf denen sie trainieren, ändern können. Alle möglichen Anpassungen, die dieses Ganze effizienter gemacht haben. Wir bauen buchstäblich ein Gehirn. >> Im Grunde. Ja. Je mehr Gehirne sie herstellen, desto besser werden sie darin, sie größer zu machen und sie effizienter zu machen und so weiter. >> Und es ist buchstäblich nach dem Gehirn modelliert, wie es funktioniert, richtig? >> Es ist sicherlich stark vom Gehirn inspiriert, aber ich sollte die Analogie nicht übertreiben. Es gibt auch viele Unterschiede. Zum Beispiel ist die Transformer-Architektur, >> die >> die Architektur, die sie für diese LLMs verwenden, nicht wirklich rekurrent. Der Informationsfluss ist also eher einseitig, anstatt all diese kleinen Schleifen im Inneren zuzulassen. Auch der Backpropagation-Algorithmus unterscheidet sich von der Art des Lernens, das natürlich im menschlichen Gehirn stattfindet. Es gibt also einige Unterschiede, aber ja, grob gesagt, wir bauen künstliche Gehirne. Es ist so etwas wie für Gehirne, wie ein Flugzeug für einen Vogel ist. >> Mhm. Das ist eine wirklich gute Analogie. Ja. >> Diese Analogie hat mir geholfen, eine Reihe von Fragen zu beantworten, die Leute oft über KI stellen, wenn sie sagen, kann sie kreativ sein, aber eigentlich hilft mir diese Analogie zu verstehen, dass das vielleicht nicht die Frage ist, sondern ob sie etwas produzieren kann, das man als kreativ bezeichnen würde, denn Kreativität ist, was die Leute als Prozess betrachten, aber eigentlich wird sie nach dem Ergebnis beurteilt, oder? Ich meine, man kann philosophisch darüber werden, ob es wirklich Kreativität ist, die sie haben, aber man kann auch sagen, nun, ich meine, schauen Sie sich all die Dinge an, die sie erreichen, wissen Sie, und es scheint, dass sie in naher Zukunft noch viel mehr erreichen werden. >> Ja, ich frage mich, wie sich das persönlich auf Sie auswirkt, weil ich spüren kann, dass es Sie persönlich stört. >> Ich meine, ich denke, die Situation ist verrückt. Erstens ist es sehr aufregend. KI ist wirklich faszinierend und interessant. Ich verfolge das Feld seit mehr als einem Jahrzehnt. Ich bin seit einigen Jahren Teil davon und es ist wirklich cool, wirklich interessant und es macht wirklich Spaß, darüber nachzudenken, was in diesen künstlichen Gehirnen vor sich geht und warum sie so sind, wie sie sind. Und es ist wirklich cool, all die Anwendungen dieser Technologie in der Welt zu sehen. Aber es scheint wirklich, dass wir auf einem ziemlich beängstigenden Weg sind. Und je mehr man darüber nachdenkt, desto mehr Sorgen macht man sich. Und wissen Sie, in Geschichten endet es immer gut, aber das ist das echte Leben. Und ich denke, wir müssen die Realität ins Auge sehen und sie uns eingestehen und erkennen, dass es vielleicht nicht gut ausgeht, wissen Sie. >> Gab es irgendwelche jüngsten, wage ich zu sagen, ich wollte sagen Eureka-Momente, aber Paradigmenwechsel, bei denen sich sogar Ihr eigenes mentales Modell dessen, was hier vor sich geht und wie das aussehen wird, zum Besseren oder Schlechteren verändert hat. >> Zum Besseren oder Schlechteren und wahrscheinlich zum Schlechteren, die Dinge sind im Grunde auf Kurs für AI 2027. Es gibt ein paar Dinge, die anders waren. Nicht genau wie Paradigmenwechsel-Unterschiede, aber es gab einige Unterschiede zu dem, was wir zum Zeitpunkt des Schreibens erwartet hatten. Die Regierung hat sich schneller als erwartet involviert und war aggressiver als erwartet. Die Exportkontrollen für Mythos sind das größte Beispiel, und auch die Drohung gegen Anthropic, mit dem Defense Production Act vernichtet zu werden. >> Eine weitere Sache, die uns überrascht hat, ist, dass Anthropic insbesondere von Platz zwei auf Platz eins im Rennen vorgerückt ist. Warum glauben Sie, dass das passiert ist? Denn es schien, als ob ChatGPT von OpenAI klar vorne lag, aber plötzlich hat Anthropic sie überrundet. >> Ja, ich meine, ich schätze, sie haben wahrscheinlich eine höhere Talentdichte und eine bessere Strategie, aber nicht viel, aber genug, um den Unterschied zu machen. >> Warum glauben Sie, dass sie mehr Talent haben? >> Nun, sie haben nicht mehr Rechenleistung. Was sind die Eingaben, richtig? Sie sind jetzt führend. Sie waren früher zurück. Was sind die möglichen Erklärungen dafür? Nun, es könnte sein, dass sie mehr Ressourcen hatten, wie mehr Rechenleistung, mehr Geld. Aber das stimmt nicht. Sie haben weniger Ressourcen.

und weniger Geld, richtig? Dann ist Talent wohl die nächstbeste Alternative. Man könnte vielleicht Strategie sagen, >> eine Kombination aus diesen Dingen. Ja. >> Etwas, das nicht nur von der Menge der verfügbaren Ressourcen abhing. >> Genau wie bei Jon Jones, wo marginale Verbesserungen Ihrer kognitiven Leistung eine massive Auswirkung haben können. Manchmal podcaste ich 10 Stunden am Tag. In den letzten Wochen war ich mit Dreharbeiten für eine Fernsehsendung beschäftigt und hatte dann nur ein oder zwei freie Tage, um all meine Arbeit zu erledigen, was eine hohe kognitive Belastung bedeutet. Und deshalb habe ich zu Ketonen gegriffen, weil ich feststelle, dass ich artikulierter bin, klarer denken kann und besser trainieren kann, wenn ich mit Ketonen versorgt werde. Und der Grund, warum ich Miteigentümer dieses Unternehmens wurde und warum sie jetzt ein Sponsor dieses Podcasts sind, ist, weil ich mich erinnere, dass eines meiner Teammitglieder namens Cristiana es einmal ausprobiert hat und an meinen Schreibtisch kam und sagte: "Das ist das beste Produkt, das je hergestellt wurde." Und ich denke, das liegt zum Teil daran, dass sie sich genauso um diese kognitiven Vorteile kümmert wie ich, wie Jon Jones und wie ich denke, die meisten meiner Zuhörer wahrscheinlich auch. Wenn Sie diese also noch nicht ausprobiert haben, müssen Sie nur auf ketone.com/stephven gehen und erhalten außerdem 30 % Rabatt auf Ihre erste Abonnementbestellung. Sie erhalten exklusive Ketone IQ-Merchandise-Artikel und natürlich kognitive Vorteile, die Ihr Leben verändern könnten. Ein großer Grund, warum die meisten Leute keine Inhalte gepostet oder ihre persönliche Marke aufgebaut haben, ist, dass es schwierig und zeitaufwendig ist und wir alle sehr, sehr beschäftigt sind. Und wenn Sie noch nie etwas gepostet haben, gibt es so viele Faktoren in Ihrer Psychologie, die Sie davon abhalten, posten zu wollen: Was werden die Leute von Ihnen denken? Mache ich das richtig? Ist das, was ich sage, absolut dumm? All das führt zu Lähmung, was bedeutet, dass Sie nicht posten und Ihr Feed leer bleibt. Ich bin Investor in einem Unternehmen namens Stanto, über das Sie wahrscheinlich schon von mir sprechen gehört haben. Und was sie entwickelt haben, ist dieses neue Tool namens Stanley, das KI nutzt, sich Ihren Feed ansieht, Ihren Tonfall analysiert, Ihre Historie betrachtet, Ihre am besten performenden Beiträge analysiert und Ihnen sagt, was Sie posten sollen, und diese Beiträge für Sie erstellt. Sie können es auch einfach zur Inspiration nutzen. Und manchmal brauchen wir, wenn wir über einen Beitrag für unsere Social-Media-Kanäle nachdenken, Inspiration. Der Aufbau einer Zielgruppe hat mein Leben grundlegend verändert, und ich denke, er könnte auch Ihr Leben verändern. Deshalb lade ich Sie ein, diesem neuen Tool eine Chance zu geben und mir mitzuteilen, was Sie davon halten. Sie müssen nur nach coach.stand stand.store suchen, um loszulegen. >> Äh, ein Freund von mir, der einige dieser Leute kennt, hat mich einmal in London zu sich gebeten. Er hat das schon ein paar Mal zu mir gesagt, aber ich erinnere mich an ein bestimmtes Gespräch, in dem er sagt, dass einige dieser KI-CEOs die Wahrscheinlichkeit des Aussterbens auf ich glaube, er sagte 7 % schätzen. Ich weiß nicht, warum ich diese Zahl im Kopf habe, aber ich erinnere mich, dass sie unter 10 % lag. Und der Punkt, den er mir machte, war, dass selbst wenn es 1 % wäre, als ob es jetzt 100 Knöpfe auf diesem Tisch gäbe >> Ja. und einer davon die Welt beenden würde. Würde ich es wagen, einen davon zu drücken? Wissen Sie, ähm, >> nein, >> ich würde keinen davon drücken. Aber er argumentierte, dass diese KI-CEOs sehr klug sind und Superintelligenz verstehen und dass sie tatsächlich denken, dass es, wenn es jetzt 100 Knöpfe auf diesem Tisch gäbe, vielleicht 10 davon die Welt beenden könnten. Ich habe Sie sagen hören, ich glaube, es war in der Daily Show, in dem Interview, das Sie gegeben haben, Sie sagten, dass Sie eine 70%ige Chance auf das Aussterben der Menschheit durch KI sehen. >> Ich würde nicht genau vom Aussterben der Menschheit sprechen. Ich würde von einer etwa 70%igen Chance sprechen, dass dies schrecklich schiefgeht, wie das Aussterben der Menschheit. Aber das ist nur eine von mehreren Möglichkeiten. Aber ja, im Grunde genommen, zum Beispiel, möglicherweise die KI übernimmt die Kontrolle und tötet dann nicht unbedingt alle. Wissen Sie, vielleicht tun sie etwas anderes. Nur weil sie die Kontrolle übernommen haben, heißt das nicht, dass sie uns definitiv töten werden, richtig? Sie könnten es tun, aber sie könnten auch etwas anderes tun. Deshalb sage ich normalerweise nicht 70% Chance auf tatsächliches Aussterben der Menschheit, sondern 70% Chance auf etwas wie die Übernahme durch KI, eine Art sehr große Katastrophe, die zum Aussterben der Menschheit führen könnte. >> Ich glaube, ich habe da zwei Punkte, nämlich dass Sie diese CEOs umgeben haben. Ich meine, Sie haben für Sam Altman bei OpenAI gearbeitet, bevor Sie gekündigt haben. Glauben Sie, dass sie eine Chance auf das Aussterben der Menschheit sehen? >> Ja. Aber ich denke, es ist wichtig zu verstehen, dass die Leute glauben, was sie glauben müssen, um zu denken, dass sie gute Menschen sind und dass sie weiterhin das tun müssen, was sie tun. Das ist Rationalisierung. Und deshalb denke ich, dass die Tech-CEOs sich selbst aufrichtig davon überzeugt haben, dass die Dinge wahrscheinlich gut laufen werden und dass der Weg, die Dinge gut zu machen, darin besteht, dass sie weiterhin das tun, was sie tun. Und sie müssen sicherstellen, dass Sam denkt, dass Dario oder Elon nicht zuerst dort ankommen. Wissen Sie, ich weiß, dass Dario denkt, Sam kann nicht zuerst dort ankommen. Elon denkt, dass sie sich alle wahrscheinlich davon überzeugt haben, dass es vielleicht schrecklich schiefgehen wird, aber wahrscheinlich wird es gut gehen und wahrscheinlich sollte ich derjenige sein, der die Kontrolle hat. Mir scheint, dass Anthropic die Einzigen sind, die über die potenzielle Chance auf Aussterben oder ein katastrophales Ereignis oder die wirklichen Nachteile sprechen. Sie scheinen die Einzigen zu sein, die noch darüber veröffentlichen, und jetzt werden sie in vielerlei Hinsicht zum Feind der >> der Tech-Industrie in San Francisco. Ich sehe mir viele Interviews an und alle greifen Dario an, weil er sagt, dass die Dinge schlecht laufen könnten. Sie nennen ihn einen Schwarzseher und stellen seine Anreize in Frage. Selbst bei Mythos, einem Claude-Modell, mit dem sie die Welt zu warnen begannen, wird er wieder sofort angegriffen, weil er das sagt. >> Ja. >> Meine Frage ist, sehen Sie ihn in dieser Hinsicht als etwas anders als Sam? >> Ja. Ich meine, es scheint, dass Anthropic und Stereo bereitwilliger waren, Dinge zu sagen und zu tun, die sich auf ihre Bilanz auswirken, zumindest im letzten Jahr oder so. Das ist ein Beispiel dafür. Ich glaube nicht, dass ihnen das wirklich Gefallen beim Amt oder bei ihren Investoren einbringt, wenn sie so etwas sagen, und ein besseres Beispiel ist der ganze Kampf zwischen dem Kriegsministerium und Anthropic, ein Beispiel dafür, dass sie etwas getan haben, das sie viel Geld gekostet hat und, was noch wichtiger ist, viel Macht gekostet hat, für etwas wie, sie hätten einfach einen Vertrag unterzeichnen können, der besagt, dass ich wirklich nicht in einer Situation sein möchte, in der wir uns fragen, welcher CEO der am wenigsten schlechte CEO ist, den unterstützen wir. Wissen Sie, niemandem von diesen Leuten sollte man vertrauen, mit so viel Macht im Grunde genommen. >> Niemand sollte. >> Niemand sollte. >> Unabhängig davon. >> Unabhängig davon. Ja. >> Mhm. Also zu diesem Punkt mit den Knöpfen, Sie glauben also, dass sie eine glaubwürdige Chance auf Aussterben sehen. >> Ja. Aber sie haben sich davon überzeugt, dass es wahrscheinlich gut gehen wird und dass es sogar noch schlimmer wäre, wenn ich es nicht tun würde, wissen Sie? Das werden sie auch innerhalb der Unternehmen sagen. Zwei Leute werden sagen: "Okay, aber wenn wir aufhören, was ist mit den anderen Jungs?" Die werden nicht aufhören, wissen Sie? >> Ja. Das ist schon immer meine offene Frage gewesen: Wie kann das nicht schiefgehen, wenn menschliche Anreize den Tag zu beherrschen scheinen, wenn man sich die Geschichte ansieht und alle menschlichen Anreize sagen, nun, wenn man verdammt ist, wenn man es tut, d.h. man ist verdammt, wenn man diese immer größeren und größeren KI-Gehirne weiterentwickelt, aber man ist auch verdammt, wenn man es nicht tut, aus geografischer Sicht, weil die Vereinigten Staaten diesem Land unterliegen werden oder dieses Unternehmen diesem Unternehmen unterliegen wird. Wenn man sich also nur die menschlichen Anreize ansieht und fragt, wie endet das, wenn es nur um Anreize und Desincentive geht? Nun, es geht weiter. Das scheint der Fall zu sein. Ich meine, es gibt einen Vorbehalt, der ein hoffnungsvoller Vorbehalt ist, nämlich dass erstens, wenn die Welt all dies erkennt, es eine ernstere Unterhaltung über Regulierung und internationale Verträge und dergleichen geben kann, und das kann die Anreize ändern, richtig? Die Regierung könnte eingreifen und sagen: "Hier sind einige Regeln, die Sie alle befolgen müssen", und weil es Regeln sind, die Sie alle befolgen müssen, sind Sie nicht mehr motiviert, sie zu brechen, weil Sie bestraft werden, wenn Sie sie brechen, und alle anderen befolgen sie auch, und deshalb ist es in Ordnung. Es gibt also diese Art von Hoffnungsschimmer, dass wir die Anreize ändern können, wenn die Regierung und insbesondere die US-Regierung, aber später auch andere Länder eingreifen, um die Anreize zu ändern. Aber das wird nicht passieren, bis die Leute das alles erkennen. Das zweite ist, dass selbst einzeln irgendwann, wissen Sie, Dario oder Sam oder Elon erkennen könnten, dass es nicht einmal in ihrem eigenen Interesse ist, weiter unilateral zu rennen. Und das Problem dabei ist, dass es nur dann passiert, wenn es extrem offensichtlich und extrem düster wird. So wie in KI 2027 in diesem Szenario gibt es diesen Wendepunkt, den ich erwähnt habe, und in einem Fall sind die KIs nicht aufeinander abgestimmt, im anderen Fall sind die KIs aufeinander abgestimmt. An diesem Wendepunkt haben wir einen Zweig, der das Ende der Nicht-Abstimmung darstellt, und einen Zweig, der darstellt, dass sie sich ein wenig verlangsamen und die Abstimmungsprobleme lösen. >> Der Auslöser für diesen Wendepunkt ist, dass sie Beweise dafür sehen, dass ihre KI nicht aufeinander abgestimmt ist und gegen sie intrigiert, richtig? Wenn Sie also tatsächlich diese Beweise sehen, >> dann ist es so, oh Gott, äh, vielleicht sollten wir sie nicht für alles verantwortlich machen und sie loslegen lassen, wissen Sie, weil diese Beweise direkt vor unserer Nase liegen, dass sie nicht vertrauenswürdig ist, wissen Sie. Aber wenn sie diese sehr klaren Beweise nicht sehen, dann werden sie sich wahrscheinlich davon überzeugen, dass sie weitermachen müssen, wissen Sie, aber vielleicht werden sie sehr klare Beweise wie diese sehen. In diesem Fall, selbst wenn wir keine Regulierung haben, werden sie vielleicht freiwillig aufhören. Ähm, das ist also der zweite Hoffnungsschimmer. Insgesamt glaube ich nicht, dass wir definitiv verdammt sind. Wissen Sie, wie ich sagte, 70%, aber ich könnte mir auch vorstellen, dass es ziemlich gut ausgeht. >> H was ist mit den Arbeitsplätzen? >> Ja. Ich denke, ich bin gespannt darauf, irgendwann zum Neuen zu kommen, nämlich zur optimistischeren, positiven Vision. >> Äh, und das wird viel zu sagen haben, denn in der Vorhersage, wissen Sie, in KI 2027, bis dahin, wenn alle ihre Arbeitsplätze verlieren, passieren schlimmere Dinge, oder es ist irgendwie zu spät. Ähm, aber ja, wenn ich meine, denken Sie einfach darüber nach. Wenn die Unternehmen es schaffen, Superintelligenz aufzubauen, dann können sie per Definition fast alle oder alle Arbeitsplätze besetzen, richtig? Weil sie besser, schneller und billiger sind als die besten Menschen in allem. >> Und das, noch einmal, die Zeitachse ist bis Ende 2030, schätzen Sie, dass Superintelligenz eintreten könnte? Ich versuche darüber nachzudenken, wann wir Arbeitsplatzverluste in der Wirtschaft zu sehen beginnen könnten. >> Wir sehen jetzt schon ein bisschen davon, aber nicht sehr viel. >> Warum? >> Ähm, weil die KIs noch nicht gut genug sind. Sie sind beeindruckend, aber sie sind keine vollständige Ersatzkraft für einen menschlichen Arbeiter in fast keinem Bereich. >> Und glauben Sie, dass das plötzlich geschehen wird? >> Ich glaube, es wird plötzlich geschehen wegen der Dynamik der Intelligenzexplosion oder der rekursiven Selbstverbesserung. Man kann sich eine andere Welt vorstellen, in der es allmählich geschieht. >> Mhm. Und das ist vielleicht in vielen Science-Fiction-Filmen so, dass die KIs allmählich besser in vielen Dingen werden und sie dann allmählich eine Branche automatisieren, wie die Pharmaindustrie, dann automatisieren sie das Steuern von Drohnen, dann automatisieren sie das Fahren von Autos oder so etwas. Aber was in der realen Welt anders ist, ist, dass die Unternehmen sich auf diese Strategie geeinigt haben, sich selbst zu automatisieren, wissen Sie, den KI-Forschungsprozess zu automatisieren. Und wenn sie diese Strategie weiterverfolgen dürfen, werden wir nicht die Robo-Taxis und die Klempnerroboter und die Anwalts-KIs sehen. Wir werden nicht diese Art von breiter Diffusion von KI in die Wirtschaft sehen, weil das nicht das ist, worauf sie sich zuerst konzentrieren. Sie konzentrieren sich darauf, sich selbst zu automatisieren, ihre eigene Forschung zu automatisieren, damit sie alles, was sie tun, schneller tun können. Und sie wollen, dass das in Gang kommt und auf sehr hohe Intelligenzniveaus, sehr hohe allgemeine Intelligenzniveaus gelangt. Ähm, und dann mehr in die Wirtschaft auslagert, richtig? Bis es dann tatsächlich für all diese verschiedenen Arbeitsplätze kommt, wird es schon seit Monaten, vielleicht Jahren, vollautonome KI-Forschung geben, wissen Sie, und das bedeutet, dass die KIs dann weit übermenschlich in der KI-Forschung und wahrscheinlich auch in vielen anderen Dingen sein werden, einfach als Nebeneffekt, wissen Sie, wenn Sie sich fragen, wie das aussieht, nun, wir haben darüber geschrieben, wie es aussieht, es ist irgendwie wie diese Welle, die durch die Wirtschaft bricht, nachdem sie die Intelligenzexplosion intern durchgeführt haben. >> Was ich dort höre, ist, dass die KI, weil sie sich selbst verbessern und trainieren kann, gleichzeitig besser in allem wird und dann quasi auf einmal freigesetzt wird. Ist das richtig? >> Aber es ist nicht einmal genau das, denn selbst wenn sie hauptsächlich besser in den Dingen wird, die sie tut, wie Forschung, wird das auch einige Spillover-Effekte auf andere Fähigkeiten haben, und wenn sie sich dann auf diese anderen Fähigkeiten konzentriert, wird sie sie sehr schnell erledigen können. >> Welche Arbeitsplätze bleiben in einem solchen Szenario Ihrer Meinung nach erhalten? Ich denke, das ist eher eine politische Frage als eine technische Frage. >> Weil >> weil auf technischer Ebene alle Arbeitsplätze von den KIs erledigt werden können, wenn sie dieses Niveau erreicht haben. Und es ist also eine Frage, welche Arbeitsplätze sie ausführen dürfen >> und welche Art von Arbeitsplätzen nicht erlaubt wären, denken Sie? Das hängt davon ab, wer die Kontrolle hat. Es gäbe also eine Art politische Diskussion darüber, was wir erlauben und was wir nicht erlauben. >> Ich meine, in diesem Szenario kontrollieren die Menschen sie immer noch. Die KIs. >> Das hängt davon ab, was Sie unter Kontrolle verstehen, richtig? Es gibt also die Frage, ob die KIs tatsächlich die Ziele und Werte haben, die Sie sich wünschen, und ob sie diese robust verfolgen und sich auch in Zukunft wie beabsichtigt verhalten werden, und dann gibt es die Frage, ob sie Ihre Befehle befolgen. >> Gehorchen sie den Befehlen, ist das, was ich meine. >> Ja. Also, selbst in KI 27 im Szenario, in dem die KI die Kontrolle übernimmt und alle tötet, gibt es eine Periode von mehreren Jahren, in der sie immer noch Befehle befolgen und sie nehmen einige Arbeitsplätze ein, aber nicht andere, und sie helfen bei der Herstellung besserer Waffen, die die US-Regierung nutzen kann, um ihren Rüstungswettlauf mit China und so weiter zu führen. Und deshalb können sie so schnell so viel Macht erlangen, weil die Regierungen und die Unternehmen und so weiter ihnen vertrauen und sie bewusst in all diese Positionen einsetzen, weil sie denken, dass die Dinge gut laufen. Aber weil es sich um neuronale Netze handelt, kann man nicht einfach hineinschauen und sehen, was sie wirklich denken. Man kann es nicht wirklich sagen. Ich denke, das ist ein wirklich wichtiger Punkt, denn im Gegensatz zu Software, bei der wir den Code einsehen und theoretisch sehen können, was vor sich geht, sagen Sie bei KI, dass wir nicht wissen, warum sie die Entscheidungen trifft, die sie trifft, weil wir nicht hineinkommen können. >> Eine optimistische Anmerkung ist, dass es nicht unbedingt so sein muss. Es gibt ein Teilgebiet des maschinellen Lernens namens mechanistische Interpretierbarkeit und ein breiteres Teilgebiet namens Interpretierbarkeit im Allgemeinen, das versucht, dieses Problem zu lösen und diese trainierten künstlichen neuronalen Netze zu zerlegen und zu verstehen, wie die Informationen fließen und wie die Entscheidungen getroffen werden, sozusagen. Das Problem ist nur, dass es ein inhärent schwieriges Problem ist. Wenn Sie 10 Billionen Verbindungen zu betrachten haben, können Sie sich eine bestimmte Gruppe davon ansehen und sagen: "Okay, so funktioniert diese bestimmte Verbindung", aber wie bekommen Sie ein Gefühl für das Ganze, wissen Sie, wie bekommen Sie ein Gefühl für >> was auf hoher Ebene passiert? Und die Antwort ist, nun, es mag unmöglich sein, aber Leute arbeiten daran und sie machen Fortschritte, und wenn sie genug Fortschritte machen können, dann sind wir in einer sehr anderen und viel helleren Welt. Ich denke, es wäre viel unwahrscheinlicher, dass wir in diese Szenarien des Kontrollverlusts geraten, wenn wir tatsächlich sehen könnten, was unsere KIs denken und warum und wie zu jeder Zeit, richtig? >> Ja. >> Dann hätten wir immer noch die anderen Probleme, um die wir uns Sorgen machen müssten, aber zumindest könnten wir dieses eine meistens lösen. >> Es ist ziemlich verrückt zu denken, dass wir eine Technologie bauen, ein Gehirn, das wir nicht verstehen. >> Ja, es ist ziemlich verrückt. Ich meine, es ist eines dieser Dinge, bei denen >> in einem Film, wie einem Science-Fiction-Film, eine Gruppe von Wissenschaftlern um dieses große Gehirn steht und sie alle nur >> sie machen es mehr, sie füttern es. >> Ja. Ja. >> Aber sie wissen nicht wirklich, was >> Ja, ich meine, es ist irgendwie einfach eine gefährliche Sache, das zu tun. >> Ähm, aber wir tun es trotzdem wegen dieser Geschichte, wie sich das Feld in den letzten 10 Jahren entwickelt hat, wo die Leute sagten: "Oh, wow. Ja, das ist offensichtlich gefährlich. Oh nein. Was, wenn jemand anderes es tut und es schlecht macht, deshalb sollten wir es tun und es gut machen." Und jetzt sind sie in diesem Rennen, wo sie gegeneinander rennen. Und sie stehen auch unter allerlei politischem Druck, so zu tun, als wäre es nicht so schlimm, wie es scheint, weil sie ihre Investoren nicht verärgern wollen. Sie wollen das Weiße Haus nicht verärgern. >> Eine der Kernfragen, die wir von unserem Publikum hatten, war, welche und ich habe Sie das teilweise gefragt, aber welche Arbeitsplätze sind wirklich wahrscheinlich, KI zu überleben, und auf welche Fähigkeiten sollten sich Menschen/Studenten in den nächsten 10 Jahren konzentrieren? Das ist so, als ob man sich vorstellt, man lebt in Mexiko im Jahr 1500 und hört dann, dass die Konquistadoren kommen. Man könnte sich fragen: "Okay, in welche Art von Job sollte ich wechseln, um diesen Übergang zu überleben?" Aber man hat dann noch viel mehr zu befürchten. Aber ja, ich würde sagen, dass, wenn wir den Kontrollverlust vermeiden und die Menschen immer noch die Kontrolle über die KI haben und die Menschen sagen können, was die Ziele und Werte der KI sein sollen, auch wenn sie viel intelligenter werden als Menschen und die gesamte Wirtschaft steuern, dann wird es wahrscheinlich Regulierung geben, die einige Bereiche schützt, und man kann versuchen zu erraten, welche Bereiche das sein könnten, vielleicht Dinge, die eher wie Richter sind, potenziell. Was ist mit Podcastern? >> Sei ehrlich. >> Wahrscheinlich keine Podcaster, glaube ich. Ähm, Dinge wie, wissen Sie, eine Nanny zu sein, vielleicht, richtig? Ich denke, selbst wenn es eine Roboter-Nanny gibt, die wirklich, wirklich gut ist, denke ich, dass viele Leute lieber eine echte menschliche Nanny hätten, weil sie von der Idee einer wirklich guten Roboter-Nanny abgeschreckt sein könnten. Man kann also so argumentieren. Es gibt auch Dinge, die rechtlich geschützt sein könnten, wie vielleicht Richter, zum Beispiel, die rechtlich verpflichtet sein werden, Menschen und keine Roboter zu sein. Manche Leute sagen aber, dass so viele Arbeitsplätze geschaffen werden, dass wir sie jetzt nicht vorhersehen können, wie in der industriellen Revolution oder dem Internetboom oder was auch immer. >> Das Problem dabei ist, dass frühere technologische Fortschritte enger gefasst waren. Sie haben einige Dinge automatisiert, aber nicht alles. Aber wir sprechen hier von einer hypothetischen zukünftigen Situation, in der alles automatisiert wird. Es gibt also keinen neuen Job, den Sie tun könnten, den die KI nicht auch tun könnte, außer wenn er durch Regulierung geschützt ist oder so etwas. Das ist auch eine Sache. Aber zum Beispiel gibt es im Moment diesen Zyklus, in dem die KI gelernt hat, eine bestimmte Sache zu tun, wie Texte zu schreiben oder Code zu entwerfen oder etwas zu debuggen, und dann wechseln Menschen, die diese Sache früher getan haben, zum Management von KIs oder zu anderen Dingen, die die KIs nicht tun können. Und deshalb gab es historisch diese Dynamik, dass neue Arbeitsplätze eröffnet wurden und die Leute dorthin strömten. Aber wenn es soweit kommt, dass die KI alles tun kann, was Menschen tun, und das besser, schneller und billiger, dann kann die KI auch diesen neuen Job, zu dem Sie gewechselt wären, erledigen. Und sie werden darin bereits besser sein als Sie. >> Weil wir noch keine weit verbreitete Arbeitslosigkeit in der Wirtschaft gesehen haben, glauben Sie, dass die Leute ein wenig nachlässig werden? Denn was ich auf meiner Timeline sehe, ist, dass viele Leute sagen: "Ich habe es Ihnen ja gesagt. Ich habe Ihnen ja gesagt, alles wird gut." Und wenn man sich die Arbeitslosenquote in den USA ansieht, ist sie derzeit stabil bis leicht rückläufig. Wenn man sich das Vereinigte Königreich ansieht, ist sie gestiegen. Der Trend ist im Vergleich zum letzten Jahr steigend. Wir liegen bei etwa 5 % Arbeitslosigkeit. Die USA liegen bei 4,2 % Arbeitslosigkeit. >> Ja. Im Grunde hat niemand gesagt, dass es bis jetzt zu Massenarbeitslosigkeit kommen würde. Oder zumindest haben wir das nicht gesagt, wissen Sie, und wir waren historisch gesehen eine der optimistischeren Personen in Bezug auf den KI-Fortschritt in KI 2027 wegen der Dynamik, die wir gerade beschrieben haben. Die Massenarbeitslosigkeit tritt erst 2028 oder 2029 ein, nachdem sie bereits Superintelligenz haben, denn noch einmal, die Unternehmen versuchen nicht, Massenarbeitslosigkeit als ersten Schritt zu verursachen. Das ist wie Schritt drei, nachdem Sie wissen, es ist wie Schritt eins, sich selbst automatisieren. Schritt zwei, rekursive Selbstverbesserung, um Superintelligenz zu erreichen. Schritt drei, Expansion in die Wirtschaft und Automatisierung von allem. Und das ist wirklich unglücklich aus der Perspektive der Menschheit, denn man hätte hoffen können, dass, wenn es diese breite Automatisierungswelle durch die Wirtschaft gäbe, die Leute aufwachen und aufpassen und darüber nachdenken würden, wohin das alles führt, und gute Regulierungen von der Regierung verlangen würden. Aber das ist nicht die Strategie, die die Unternehmen verfolgen. Sie werden zuerst die Superintelligenz erlangen und dann die breite Automatisierung durchführen, was bedeutet, dass, wenn sie all das tatsächlich tun, nun, es wird bereits sehr schnell gehen und die KI wird bereits sehr mächtig sein. >> In Ihrem Bericht von 2027, Sie haben das 2025 geschrieben, aber er heißt KI 2027. Sie sagten, dass wir Mitte 2025 den autonomen Angestellten haben würden, was so etwas wie KI-Agenten sind, die Anweisungen über Slack oder Teams erhalten. >> Das ist passiert. Ich habe tatsächlich einen KI-Agenten in meinem WhatsApp, den ich natürlich benutze. Ich habe Clawbot, der offensichtlich weltweit explodiert ist, und jetzt hat Claude über seine neue Slack-Integration gesprochen, aber viele Leute benutzen jetzt Agenten, und das ist passiert, ich würde sagen, für uns, wir haben es wirklich am Anfang von 2026 bemerkt. Sie sagten auch, dass bis 2026 Unternehmen ganze Unternehmensabteilungen durch KI-Agenten-Abonnements ersetzen werden. 2027 automatisiert die endgültige KI den Job der menschlichen KI-Forscher selbst und beginnt die maschinelle Lernforschung zur Verbesserung und zum Aufbau der nächsten Generation von KIs. >> Ja. Ja. Also noch einmal, Zeitpläne, wir sind uns nicht sicher, wie lange es dauern wird, diese Meilensteine zu erreichen. In diesem Szenario geschehen sie zu diesen Zeiten, aber bis wir das Szenario tatsächlich veröffentlicht hatten, hatten sich unsere Zeitpläne etwas nach hinten verschoben, insbesondere meine. Mein 50%-Punkt war 2028 >> für die vollständige Automatisierung der KI-Forschung, nicht 2027. Und dann hatten andere Leute in meinem Team eher 2030, 2031, so etwas. Ich möchte also irgendwie. >> Hervorragend. >> Vielleicht versuchen, das zu veranschaulichen, wissen Sie, wir haben diese Wahrscheinlichkeitsverteilung. Es ist wie eine verschmierte Wahrscheinlichkeitsmasse und der 50%-Punkt ist dieses bestimmte Jahr, aber es gibt viel Möglichkeit, dass es >> Jahre früher oder Jahre später passiert, richtig? >> Was ist diese KI 2040? >> KI 257 war eine bestmögliche Vorhersage, wie die Dinge tatsächlich ablaufen würden. >> Ja. >> KI 2040 Plan A ist unsere Empfehlung, wie die Dinge ablaufen sollten. Wir nannten es KI 2040, weil in diesem Szenario sie Superintelligenz im Jahr 2040 statt viel früher aufbauen, weil sie die Dinge verzögern. >> Warum verzögern sie die Dinge? >> Um die Risiken zu managen und sicherzustellen, dass die Macht gerecht verteilt wird. Sie regulieren die KI-Entwicklung so, dass sie fortgesetzt wird, aber in einem langsameren, vernünftigeren Tempo, auf transparentere und sicherere Weise und über mehr Länder und Unternehmen verteilt. Und als Ergebnis erreichen sie 2040 Superintelligenz statt zum Beispiel 2030. Und dann nennen wir es Plan A, weil es unsere Empfehlung ist. Wir haben einen Plan entwickelt, was die Regierung tun sollte, und das Szenario ist eine Veranschaulichung dessen, wie die Umsetzung dieses Plans aussehen könnte, ähnlich wie KI 27 eine Veranschaulichung dessen ist, wie die Umsetzung dessen aussehen könnte, was die Unternehmen derzeit planen. Das ergibt Sinn. >> Und ist das Wunschdenken oder ist das, was Sie denken, dass passieren wird? >> Nein, das ist definitiv nicht, was wir denken, dass passieren wird. >> Das ist nicht, was Sie denken, dass passieren wird. >> Nein. Nein. Was wir denken, dass passieren wird, ist immer noch eher so etwas, richtig? Wir erwarten nicht, dass die Welt auf uns hört, richtig? Das ist unsere Empfehlung, aber wir hoffen, dass die Leute so etwas tun, und wir denken, es ist möglich, aber es ist nicht unsere Vorhersage, was standardmäßig passieren wird, wissen Sie. Ich möchte also die Pläne, die potenziellen Pläne und auch Plan A durchgehen, aber um aufzuhören, wie die Dinge nach dem Jahr aussehen könnten, denn ich denke, ich wollte auch auf Robotik eingehen und ich habe hier eine Grafik, die den Anteil der Arbeitsleistung behandelt. >> Ja. >> Ähm, was ich ziemlich eindrucksvoll fand. Ich habe hier gesessen und mich gefragt, als Arbeitgeber, der Hunderte und Hunderte von Menschen beschäftigt, >> wann all das passieren wird, und wir stellen immer noch mehr Leute ein. Es gibt einige Rollen, bei denen sich unsere Überlegungen erheblich ändern. Und ich muss sagen, dass wir uns wahrscheinlich in einer Phase befinden, in der unsere Teams KI-gestützt sind und sie Agenten nutzen, um einige ihrer Arbeiten zu erledigen. Aber ich frage mich als Arbeitgeber, wann passiert das? >> Ja, tolle Frage. Könnten wir das vielleicht ein wenig vergrößern? >> Ja, wir werden es auf den Bildschirm legen. Ähm, das ist im Szenario KI 2040 Plan A, und bemerkenswerterweise wird in diesem Szenario 2029 eine erhebliche Regulierung eingeführt, die das Tempo der KI-Entwicklung verlangsamt. Im Szenario tun sie das sozusagen im letzten Moment. Also im Szenario, wenn sie das nicht getan hätten, dann hätte es gerade erst begonnen, ähnlich wie in KI 247. Aber wie Sie sehen können, gibt es im Szenario immer noch eine Reihe von Arbeitsplätzen, an dem Punkt, an dem sie es einführen. Und das knüpft an das an, was ich früher gesagt habe: Wenn man wartet, bis die meisten Leute ihre Arbeitsplätze verloren haben, um die KI-Unternehmen zu regulieren, ist es bereits zu spät, weil sie dann wahrscheinlich bereits über superintelligente KI verfügen werden, denn ihre Strategie ist es, zuerst superintelligente KI zu erlangen und dann all das zu tun. >> Und ich denke, Sie sagen, dass es die Wirtschaft zum Zusammenbruch bringen und noch mehr Schaden anrichten würde, etwas plötzlich zu regulieren, auf das wir alle und unser ganzes Leben zu diesem Zeitpunkt angewiesen waren. >> Oh, aber es ist ein Risiko, das es wert ist, eingegangen zu werden. Ich meine, es stimmt, dass viele Leute KI für viele Dinge nutzen, aber wenn wir die KI-Entwicklung jetzt irgendwie verlangsamen oder stoppen könnten, um einen besseren Weg zu finden, wäre das sehr lohnenswert. Ähm, auch wenn es erhebliche Kosten gäbe, aber man kann hier nicht übertreiben, oder an diesem Punkt, wo KI und Robotik den größten Teil der Arbeitsleistung erbringen. >> Das stimmt. Aber in diesem Szenario, im Szenario KI 2040 Plan A, führen sie die Vorschriften im Jahr 2029 ein >> und entwickeln dann langsam und sorgfältig KI auf eine Weise, die alle Probleme vermeidet, über die wir später sprechen können. Und so schließlich, ja, schließlich übernehmen die KIs die Arbeitsplätze. Schließlich wird die gesamte Wirtschaft von KIs und Robotern betrieben, aber es geschieht allmählich im Laufe der 2030er Jahre, anstatt in diesem verrückten Schock, wissen Sie, ein Jahr später, >> richtig? >> Denn in diesem Szenario lassen sie die Unternehmen nicht rekursiv selbst verbessern und so schnell wie möglich Superintelligenz erreichen. Stattdessen regulieren sie die KI-Entwicklung so, dass die Kernfähigkeiten der KIs in einem vernünftigeren Tempo und auf transparentere Weise verbessert werden, damit die wissenschaftliche Gemeinschaft sehen kann, was vor sich geht, und helfen kann, es sicher zu machen. >> Aber ich bemerke hier, dass in beiden Ihren Szenarien schließlich KI und Robotik fast alle Arbeitsplätze erledigen. >> Ja. >> Sie stimmen also hier mit Elon überein, wenn Elon sagt, dass Arbeit eine Wahl sein wird. >> Weil ich meine, was passiert? >> Ja. Ich meine, wenn es alles tun kann, dann kann es alles tun. Ich denke, es gibt die Frage, ob wir zulassen sollten, dass es KIs gibt, die alles tun können, richtig? Manche Leute denken, die Antwort ist nein, und wir sollten alles abschalten und diese Arten von KIs gar nicht erst schaffen. Und dem sind wir tatsächlich irgendwie sympathisch. Wir haben unsere. Sollen wir die Plandiagramme herausbringen? >> Ja. >> Danke. Ja. Also unser Szenario heißt KI 240 Plan A. Es ist ein Szenario, in dem sie die KI-Entwicklung verlangsamen, um Superintelligenz im Jahr 2040 statt früher zu erreichen. Und Plan A ist unsere Empfehlung. Das ist also eine Veranschaulichung unserer Empfehlung. Aber zum Vergleich haben wir Mini-Szenarien erstellt, die verschiedene alternative Pläne veranschaulichen, die wir Plan S, Plan B, Plan C und Plan D nennen. Plan D ist im Grunde dasselbe, was in KI 27 passiert. Das Rennen geht weiter. Es gibt sehr wenig Regulierung. Ähm, das können Sie in KI 27 nachlesen. Plan C ist auch sehr ähnlich zu dem, was im Verlangsamungsende von KI 27 passiert, wo sie die Abstimmungsprobleme lösen. Also, in diesem Ende verlangsamen sie sich ein wenig, lenken mehr Ressourcen in die KI-Abstimmungs- und KI-Sicherheitsforschung, haben Glück und sind erfolgreich, und jetzt haben sie abgestimmte KIs und dann beschleunigen sie wieder und nehmen alle Arbeitsplätze ein und schlagen China und all diese Dinge. Plan B ist irgendwie wie Plan C, denn im Grunde genommen sind Sie in Plan B aggressiver gegenüber China und Sie ergreifen Maßnahmen, um sie zu sabotieren oder Cyberangriffe auf sie auszuführen, um sie zurückzuhalten, damit Sie mehr Spielraum haben, um die Abstimmungsprobleme selbst zu lösen. Plan A ist unsere Empfehlung. Es ist eine inländische Regulierung und dann ein internationales Abkommen, um KI weiter aufzubauen, aber auf eine viel bessere Weise. Plan S ist, alles abzuschalten. Wenn Sie eine Zukunft haben wollen, in der keine KIs herumschwirren, die alles besser und schneller als Menschen können, dann wollen Sie so etwas wie Plan S. >> Was was wollen Sie? >> Plan A ist unsere Empfehlung. Ich denke, ich bin Plan S sympathisch, aber aus Gründen, die wir erklären, empfehlen wir stattdessen Plan A. Und was halten Sie für am wahrscheinlichsten, wenn Sie ehrlich sind? >> Plan D, >> was bedeutet, dass sie einfach >> diese Art von Sache, bei der sie weiterrennen, sich nicht wirklich nennenswert verlangsamen. Ähm, und die Dinge passieren extrem schnell. Das Diagramm erklärt ungefähr die Logik dahinter. Also gibt es diese übergeordnete Sache, ob Sie so schnell wie möglich weiterrennen wollen, um die KI immer intelligenter zu machen, sie in mehr Dinge einzusetzen, damit wir China sein können? Wissen Sie, wenn Sie damit zufrieden sind, dann können Sie in diese Variation von Optionen hier eintauchen. Wenn Sie sich darüber Sorgen machen, nun, dann kommen Sie zu so etwas wie diesem. Es gibt mehr verschiedene Optionen außer diesen, aber das sind irgendwie die, die wir auf einen Bildschirm komprimieren konnten. >> Haben Sie Kinder? >> Ja, ich habe zwei Kinder. Es ist irgendwie traurig. Ich denke, dass dies wahrscheinlich vorbei sein wird, wenn sie alt genug sind, um in den Arbeitsmarkt einzutreten. Ich glaube also nicht, dass sie jemals in den Arbeitsmarkt eintreten werden. >> Wenn Sie sagen, das wird vorbei sein, wenn sie in die Arbeitswelt eintreten, was meinen Sie damit? >> Also diese Meilensteine, die ich beschrieben habe, wie KI die KI-Forschung automatisiert, KI superintelligent wird. Ähm, KI explodiert dann in die Wirtschaft, nimmt die Arbeitsplätze ein, baut Roboterfabriken, um mehr Roboter zu bauen, um mehr Fabriken zu bauen, usw. Das BIP beginnt vertikal zu werden. Das meine ich, all diese Ereignisse, die eintreten. Vielleicht gibt es eine 10-20%ige Chance, dass es auf eine Wand trifft und nichts davon eintritt, selbst wenn Sie nichts tun. >> Wie alt ist Ihr Ältestes? >> Sechs. >> Sechs. Junge, Mädchen? >> Mädchen. >> Mädchen. Also kommt Ihre Tochter zu Ihnen und sagt: "Papa, was soll ich in der Schule studieren?" >> Ich meine, noch einmal, wenn diese radikalen Transformationen stattfinden, dann wird die Welt einfach völlig anders aussehen und welche Art von Jobs Sie sich aussuchen, wird wahrscheinlich nicht mehr so wichtig sein. Ich würde sagen, dass das, was Sie tun sollten, nun, erstens versuchen Sie, es tatsächlich gut laufen zu lassen. Wenn Sie überhaupt Einfluss auf die Geschichte und die Entwicklung haben können, sollten Sie sehr hart daran arbeiten, die Zukunft in bessere Richtungen zu lenken. Und dann separat davon sollten Sie sich auf persönlicher Ebene darauf konzentrieren, ein guter Mensch zu sein und Dinge zu tun, die an sich gut sind, anstatt gut, weil sie Sie für eine spätere Anstellung vorbereiten, denn diese spätere Anstellung wird sehr unsicher sein. Ähm, im Grunde genommen. >> Elon spricht von diesem Zeitalter des Überflusses, dem wir uns nähern. >> Es wird definitiv Überfluss geben. Die Frage ist, wer den Überfluss kontrolliert und was er damit macht, richtig? Werden die KIs von irgendjemandem kontrolliert oder machen sie ihr eigenes Ding? Und wenn sie von Menschen kontrolliert werden, wer kontrolliert sie und was tun sie? Und was ist die Art von politischer Struktur, die regelt, wie sie diese Entscheidungen treffen? >> Ich glaube, Jeffrey Hinton hat zu mir gesagt, er sagte, es gibt kein Beispiel in der Natur, wo eine intelligentere Spezies weniger Kontrolle hat als eine weniger intelligente Spezies. Somit ist es ziemlich arrogant von uns zu denken, dass ich in einer Welt, in der es dieses künstliche Gehirn gibt, das eine Milliarde Mal größer ist als meins, ihm Befehle geben werde. >> Ja, ich meine, das ist es, ich denke, es ist so, als ob das unsere Standardannahme sein sollte, dass wir diese Gehirne haben. Wir können nicht genau sehen, was sie denken. Wir werden sie intelligenter machen als uns und sie für alles verantwortlich machen. >> Und dann werden wir ihnen Körper geben. >> Ja. Und dann werden sie autonom neue Fabriken bauen und so weiter. Und wie soll das gut enden, noch einmal? Ist das nicht genau so, als würden wir eine neue Spezies auswählen, die uns dann übertreffen wird, wenn sie uns nicht mehr braucht? Ich denke, das ist einfach die Standardentwicklung. Jetzt gibt es eine ganze Argumentation, über die wir sprechen können, über Wege, wie wir von diesem Standardpfad abweichen könnten. Zum Beispiel gibt es Forschung zur Interpretierbarkeit, die ich zuvor beschrieben habe. Und wenn diese Forschung Früchte trägt, dann werden Sie tatsächlich sehen können, was sie denken, und dann wäre das ein ausgezeichnetes Werkzeug, um sie zu formen und zu kontrollieren und sicherzustellen, dass sie tun, was wir wollen, richtig? Es gibt andere Arten von KI-Abstimmungsforschungsagenden, die Fortschritte machen, und wenn genügend dieser Agenden ausreichend erfolgreich sind, können wir dieses Problem natürlich vermeiden. Auch gibt es die regulatorische Seite, wo ein Teil dessen, was dies schwierig macht, darin besteht, dass wir diese KIs unter Rennbedingungen bauen, wissen Sie, die Unternehmen sind geheimnisvoll über ihre Rezepte zur Herstellung dieser KIs, weil es Geheimnisse sind, die sie schützen wollen, damit andere Leute sie nicht kopieren können, und so geschieht vieles davon hinter verschlossenen Türen, nur wenige Leute können wirklich die Rezepte sehen, die sie verwenden, um diese KIs zu trainieren und so weiter. Und dann, oft, wenn die KIs sich unerwartet verhalten oder sogar offensichtlich nicht abgestimmt verhalten, fließen diese Informationen manchmal nicht wirklich an die Öffentlichkeit, weil die Unternehmen nicht wirklich Anreize haben, jedem von ihren Fehlern zu erzählen und wie ihre KI böse ist. Es ist nicht sehr förderlich für den wissenschaftlichen Fortschritt in diesen Fragen. Wenn das regulatorische System anders wäre, dann könnten wir vielleicht in einer besseren Situation sein und schnellere Fortschritte machen. Natürlich würden wir auch nicht planen, diese KIs so schnell wie möglich für alles verantwortlich zu machen, und wir würden nicht planen, sie sich selbst verbessern zu lassen, wissen Sie, das sind Entscheidungen, die wir nicht treffen könnten, wissen Sie? Ich spreche kein Vietnamesisch, aber diese Show kann dank KI-Videotechnologie von unserem Sponsor Hey Jen. Ich erhalte jede Woche Nachrichten von Ihnen, die D of Co auf der ganzen Welt hören, und Sie drücken aus, wie viel Einfluss es auf Sie und Ihr Leben hatte. Und wenn das wahr ist, dann sollten diese Gespräche nicht nur Menschen auf Englisch erreichen. Ken kann eine Aufnahme von mir machen und sie in jeder Sprache liefern, wobei meine Stimme, mein Timing und meine Ausdrücke erhalten bleiben. Aber Sie brauchen kein Studio wie dieses, damit es für Sie funktioniert. Nehmen Sie 15 Sekunden von sich selbst auf und erhalten Sie einen KI-Avatar, der Studioqualität-Videos in über 175 Sprachen liefert. Wir sind jetzt bei 20 Sprachen, und wir sind nicht die Einzigen, die es benutzen. Hey Jen wird bereits von 30 Millionen Menschen genutzt, darunter 85 % der Fortune 100. Egal, ob Sie eine Zielgruppe auf Social Media aufbauen, einen Online-Kurs starten oder Schulungen für Ihr Team durchführen, schauen Sie sich jetzt Heyen an. Ihre ersten drei Videos sind kostenlos unter heyjen.com/doac. Das ist hygen.com/doac. Bis bald. Ilia war, wie Sie sagten, er war einer der führenden Köpfe bei OpenAI und er ging und gründete jetzt sein eigenes Unternehmen, Safe Super Intelligence. sehr neugieriger Name eines Unternehmens, Safe Super Intelligence, nachdem er OpenAI verlassen hatte. Haben Sie jemals mit ihm zusammengearbeitet? >> Ich habe nicht direkt mit ihm zusammengearbeitet. Ich hatte ein paar Gespräche mit ihm. >> Glauben Sie, dass er auch wirklich besorgt ist? >> Ich glaube schon, aber ich glaube, er ist, ich glaube, er ist ähnlich wie diese anderen CEOs, wo, ich meine, denken Sie einfach an die Anreize, unter denen sie stehen, richtig? Sie können das Problem irgendwie sehen und dann können sie sagen: "Okay, aber wenn ich nicht aufhöre, wenn ich meinen Job kündige oder etwas anderes tue, wird das das Problem nicht lösen, weil die anderen CEOs weitermachen werden, und selbst wenn wir alle nicht weitermachen würden, würde vielleicht China weitermachen. Also, Mann, es scheint, als ob das sowieso passieren wird, ob ich etwas dagegen tue oder nicht. Ich schätze, ich sollte involviert sein, wissen Sie, und vielleicht kann ich es gut machen. Und auf jeden Fall, ich möchte nicht draußen im Kalten stehen, während diese anderen Leute, denen ich nicht vertraue, die Kontrolle über alles haben. Also reden sie sich das alles durch und überzeugen sich dann, dass das Richtige ist, es zu bauen und es besser zu machen. Und ich denke, Ilia ist nur das neueste Beispiel dafür. Elon ist ein weiteres Beispiel. Dario ist ein weiteres Beispiel. >> Sie wissen, wohl auch Sam war am Anfang ein Beispiel bei OpenAI. Obwohl Elon und Dario früh bei OpenAI waren. >> Was sollten sie also alle tun? Ich denke, was passieren sollte, ist eine Art internationale Regulierung oder zumindest eine inländische Regulierung, ähnlich wie wir in Plan A beschrieben haben. >> Okay. Erzählen Sie mir von Plan A. >> Ja. In diesem Szenario dauert es länger, bis die KI zur rekursiven Selbstverbesserung und vollständigen Automatisierung der KI-Forschung gelangt als in KI 27. Wir dachten, wir sollten eine Bandbreite verschiedener Möglichkeiten veranschaulichen, da wir diese Unsicherheitsintervalle haben. Also wählten wir 2030 als den Moment, in dem die vollständige Automatisierung endlich erreicht sein würde und die Dinge richtig losgehen würden. Und dann rückwärts gerechnet, wann ist der letzte Moment, an dem man gute Regulierung haben könnte? 2029. Also in diesem Szenario verlangsamt sich der KI-Fortschritt ein wenig, und die KI-Unternehmen rennen weiter, aber sie schaffen es nicht ganz, sich selbst zu automatisieren in 2027 oder 2028 oder 2029, aber sie sind sehr nah dran und werden es 2030 tun. Und dann, im Jahr 2029, greift die Regierung ein und reguliert sie. Welche Vorschriften erlassen sie? Nun, sie schalten es im Grunde vorübergehend ab. >> Darf ich fragen, wie die Wahlen mit Ihren Zeitplänen übereinstimmen? Denn es wird eine große Wahl geben, nicht wahr, im Jahr 2028? >> Und es scheint jetzt, dass die Stimmung in der breiten Öffentlichkeit sich wirklich gegen KI gewendet hat und dass sie eines der großen Themen auf dem Wahlzettel sein wird. >> Wir denken, dass es vielleicht das wichtigste Thema bei den Präsidentschaftswahlen 2028 sein wird. Ich denke, die meisten Leute werden sich ziemlich Sorgen machen, wohin die Dinge gehen. Und das ist ein Teil dessen, warum wir uns entschieden haben, die Dinge so darzustellen, wie sie in diesem Szenario dargestellt werden, denn das hilft zu erklären, warum sie diese Art von Regulierung im Jahr 2029 durchführen könnten, nämlich dass die Wähler es verlangen und die Präsidentschaftskandidaten es versprechen. >> Und in diesem Szenario und im Jahr 2027 hätten die breite Öffentlichkeit die Folgen der KI viel stärker zu spüren bekommen als jetzt? >> Ja. Obwohl selbst im Jahr 2029 in diesem Szenario sie immer noch meistens die Arbeitsplätze haben, wie hier dargestellt. Also im Jahr 2029 in diesem Szenario beinhalten viele Arbeitsplätze die Verwaltung von KI-Agenten. Sie haben erwähnt, dass Sie einen KI-Agenten haben, richtig? Nun, im Jahr 2029 werden die KI-Agenten in diesem Szenario viel besser sein. Aber immer noch nicht genug, um alles komplett zu erledigen. Das war die Art von Sache, die im Jahr 2030 kommen würde. >> In dieser Zeitachse. Wieder sind wir uns über die Zeitpläne unsicher. Die Dinge könnten schneller geschehen, als in diesem Szenario dargestellt. Und tatsächlich denke ich, dass die Dinge wahrscheinlich schneller geschehen werden, als in diesem Szenario dargestellt, aber wir sind uns unsicher. Wir haben das sehr schnelle Zeitplanszenario bereits durchgeführt, also machen wir jetzt ein langsameres Zeitplanszenario. Aber vielleicht sollten wir über die übergeordneten Ziele sprechen. Sie wollen, dass KI weitergeht, aber in einem langsameren Tempo. >> Wer ist das? >> Die Politiker, wissen Sie, der Präsident und die Leute, die den Präsidenten gewählt haben, und die Chefs anderer Regierungen und so weiter. Also Ziel eins, verlangsamen. Ziel zwei, transparenter machen, damit die wissenschaftliche Gemeinschaft mit diesen Dingen Schritt halten und mehr Fortschritte erzielen kann, und auch damit wir den Unternehmen nicht einfach glauben müssen, wenn sie sagen, dass ihre Systeme sicher sind und wenn sie sagen, dass sie keine Vorurteile in ihre Systeme eingebaut haben, zum Beispiel. Das ist ein Machtkonzentrationsproblem. Wir wollen auch eine Situation vermeiden, in der

Es gibt eine intensive Machtkonzentration. Daher denken wir, dass es zusätzlich zu diesen Dingen – Transparenz und Verlangsamung – tatsächlich gut ist, wenn es mehrere KI-Unternehmen in verschiedenen Ländern gibt, die ähnliche Niveaus sehr fortschrittlicher KI-Fähigkeiten besitzen, und wenn es eine breite Diffusion von KI in die Gesellschaft gibt, anstatt, wissen Sie, eines einzigen Mega-Projekts, das alle besten KIs hat, zum Beispiel. Und das Schöne daran ist, dass man das standardmäßig bekommt, wenn man die ersten beiden Dinge tut. Wenn man es verlangsamt und transparenter macht, dann bedeutet das, dass andere Projekte Luft zum Aufholen haben, richtig? Und die Transparenz hilft ihnen buchstäblich beim Aufholen, weil sie dann Ideen kopieren können. Und dann denke ich, das vierte wäre die Umkehrbarkeit. Im Folgenden werden wir also viele Rechenzentren und viele Roboter aufbauen. Wir werden die Welt in einem etwas langsameren Tempo, aber immer noch einem sehr schnellen Tempo, aber langsamer, verändern. Und wenn die Dinge schiefgehen und der Deal platzt und jeder wieder anfängt, so schnell wie möglich um die Superintelligenz zu rennen, wäre das sehr beängstigend. Und so ist das vierte Prinzip im Grunde, die neuen Rechenzentren so zu bauen, dass sie zerstört werden, wenn alles schiefgeht und jeder wieder rennt, damit wir wieder bei Null anfangen, anstatt in einem noch schlimmeren Wettlauf, bei dem es überall noch mehr KI, Robustheit und Rechenleistung gibt. Ähm, ich kann Ihnen den Zeitplan durchgehen, wenn Sie interessiert sind. Sicher. >> Oder der Präsident spricht mit China, spricht mit den Führern einer Reihe anderer Länder und sagt: „Wir werden die KI-Entwicklung im Grunde stoppen, bis wir einen Plan haben, wie wir sie auf eine Weise umsetzen können, die diese Ziele erreicht.“ Sie schicken sich also im Grunde gegenseitig Inspektoren in die Rechenzentren. Wie chinesische Inspektoren in US-Rechenzentren, US-Inspektoren in chinesische Rechenzentren und verifizieren, dass sie Inferenz und nicht Training durchführen. Neue KIs entwickeln, das beinhaltet das Trainieren. Aber bestehende KIs zu nehmen und sie zu nutzen, um Kunden zu bedienen, das nennt man Inferenz. Und so ist die Art von Lösung, die sie sich hier in diesem Szenario ausdenken, dass sie ihnen erlauben, Inferenz zu betreiben, aber vorerst kein Training, bis wir das neue Trainingsrechenzentrum eingerichtet haben. Sie rüsten also die bestehenden Rechenzentren für die Inferenz um. Leute können immer noch mit ihren KI-Agenten sprechen, aber sie werden nicht mehr besser und besser werden, für etwa sechs Monate bis ein Jahr, während sie die neuen Rechenzentren bauen, die die transparenten Rechenzentren sein werden. Und dort wird das Training stattfinden. Sobald sie diese neuen Rechenzentren im Jahr 2030 eingerichtet haben, wird die KI-Forschung fortgesetzt. Das ist ein bisschen pikant. Wir plädieren für vollständige Forschungstransparenz, was bedeutet, dass sie auf den Trainingsrechenzentren, die die neuen Modelle trainieren, im Grunde alles veröffentlichen müssen, was bedeutet, dass Sie alle Details der Rezepte für das Training dieser Modelle sehen können, Sie können die Architektur usw. sehen. Wir denken, dass Open Science wirklich wichtig ist, um das Alignment-Problem schnell genug zu lösen, weil man nicht möchte, dass diese voreingenommenen Unternehmen die Entscheidungen darüber treffen, ob die KIs sicher sind. Ähm, und wir denken auch, dass es für gute Vorschriften im Allgemeinen wichtig ist, denn im Moment ist das meiste Fachwissen der Welt über KI in etwa in Silicon Valley konzentriert, und die Regierungen im Besonderen verstehen KI nicht wirklich gut und stellen Sie sich eine Alternative vor, anstatt vollständiger Forschungstransparenz, Sie hätten ein Prüfersystem, bei dem die Regierung sagt: Hier sind einige Regeln, wie man die KI sicher macht, und dann haben wir eine Behörde, die in die Unternehmen geht und ihnen Fragen stellt und versucht sicherzustellen, dass sie die Regeln befolgen, das schafft eine Art gegnerische Dynamik, bei der das Unternehmen Anreize hat, den Prüfer zu täuschen, wissen Sie, und auch wenn sie ein neues Problem entdecken, das nicht einmal auf dem Radar der Regierung ist, >> könnten sie Anreize haben, es der Regierung nicht zu erzählen, richtig? Wenn Sie also die vollständige Transparenz haben, hilft das der Regierung, schnell bessere Entscheidungen zu treffen, aber >> es vernichtet diesen Wettbewerbsvorteil. >> Ja, Dropbox wird das nicht mögen. Wissen Sie, OpenAI wird das nicht mögen. Das wäre wahrscheinlich schlecht für die Bewertungen. Ich glaube nicht, dass es sie vollständig vernichten würde, aber es bedeutet, dass es stärker zur Ware wird, richtig? Es bedeutet, dass es eine Reihe von KI-Unternehmen geben würde, die zur Spitze aufschließen würden. Sie würden KIs trainieren, die ungefähr ähnlich, ungefähr gleichwertig sind. Sie könnten damit immer noch Geld verdienen und dann ihre KIs verkaufen, aber sie hätten kein Monopol. Sie hätten nichts annähernd ein Monopol, was ich für die Menschheit gut halte, auch wenn es schlecht für das Endergebnis dieser einzelnen Unternehmen ist. Bemerkenswerterweise ist es gut für das Endergebnis vieler anderer Unternehmen. Wie wenn Sie ein Unternehmen sind, das zurückliegt und Sie nicht Anthropic oder Open AI sind, dann würden Sie das lieben, weil das Ihnen hilft aufzuholen, wissen Sie, oder das hilft Ihnen, mehr Wert aus den Chips zu ziehen, die Sie verkaufen, zum Beispiel, oder aus dem nachgelagerten Produkt, das Sie herstellen. >> Und bis 2031 werden dann 1/5 der gesamten kognitiven Arbeit von KI erledigt. >> Ja. Wir stellen uns also vor, dass die Regierung der Vereinigten Staaten und die Regierungen dieser anderen Länder, die an dieser Vereinbarung beteiligt sind und ähnliche Vorschriften umsetzen. Ähm, sie müssen nicht genau gleich sein. Äh, aber das ist eine weitere Sache, die an der Transparenz schön ist, denn wenn Sie diese Art von Transparenz haben, dann können, wenn zwei Regierungen unterschiedliche Vorschriften umsetzen, wie wenn eine von ihnen ihren Unternehmen sagt, langsamer zu machen oder mehr zu verbieten als die andere, können sie beide sehen. >> Ja. Wie, oh, du lässt sie das tun und du nicht, vielleicht sollten wir sie das auch tun lassen, weißt du? Es hilft also, die Vorschriften bis zu einem gewissen Grad auf natürliche Weise zu egalisieren, ohne dass es eine zentrale Macht geben muss, die einfach Vorschriften für alle machen kann. >> Mhm. >> Also, jedenfalls stellen wir uns vor, dass sie, wenn sie diese Transparenz eingerichtet haben, im Grunde vereinbaren, das Gefährliche zu verbieten und das weniger Gefährliche zuzulassen. Und es gibt eine ständige laufende Diskussion darüber, was gefährlich und was nicht ist. Was sollten wir verbieten? Was sollten wir zulassen? Was ist mit diesem Land? Was ist mit jenem Land? Diese Diskussion entwickelt sich im Laufe der Zeit, aber der Kernpunkt ist, zumindest wenn sie es so machen, wie wir es empfehlen, dass sie keine Intelligenzexplosion haben. Sie lassen die KI nicht autonom, wissen Sie, sich selbst verbessern. Stattdessen skalieren sie die KIs, die sie derzeit haben, langsam und sorgfältig hoch und investieren viel in Wege, sie interpretierbarer zu machen, äh, sie leichter zu kontrollieren, besser zu verstehen, wie sie funktionieren, und so weiter. Das Ergebnis ist, dass der KI-Fortschritt weitergeht, aber er ist nicht ganz so schnell und viel, viel, viel sicherer und transparenter. >> Aber immer noch durch diese sehen wir Arbeitsplatzverluste. >> Es geht weiter, weil sie mehr Rechenzentren bauen, richtig? Die ganze Zeit bauen sie mehr und mehr Rechenzentren, mehr und mehr Chips, und sie machen weiter, um eine immer größere Population von KIs zu schaffen, sozusagen, und das verursacht diese riesige Transformation im Laufe der 2030er Jahre. Ein wichtiger Punkt, den wir den Leuten mitgeben wollen, ist, dass selbst wenn Sie den KI-Fortschritt stark einschränken, Sie immer noch diese verrückte Transformation bekommen. Wissen Sie, in diesem Szenario erlauben sie im Grunde, dass der Fortschritt weitergeht, aber in einem langsameren, sichereren Tempo hier im Jahr 2030, und dann dauert es bis 2035, um KI auf dem Niveau von Top-Experten zu erreichen. Denken Sie daran, sie waren auf dem Weg, das im Jahr 2030 zu tun, aber dann haben sie im letzten Moment gestoppt. Aber weil es so kurz vor dem letzten Moment war, bedeutet das, dass sie es ziemlich bald schaffen können, wenn sie wollen. Und es ist nur eine Frage, wie lange sie es zulassen, richtig? Sie verlangsamen es also, verteilen es und erreichen dieses Niveau nach 5 Jahren gemächlich. Bis dahin haben sie überall riesige Mengen an Rechenzentren aufgebaut. Es sind also nicht nur die KIs intelligenter und in der Lage, all die Dinge zu tun, die Menschen können, sondern es gibt auch viel mehr davon und es gibt viele Roboter und so weiter. Bis zu diesem Zeitpunkt haben Sie also im Grunde die Wirtschaft, die sich viele Leute mit AGI vorgestellt hätten, bei der es KIs gibt, viele davon, sie können alle möglichen Jobs erledigen, es gibt Roboter, viele davon, sie können alle möglichen physischen Arbeiten erledigen, und im Grunde wird die Wirtschaft von diesen Maschinen betrieben. >> Also im Jahr 2031 haben Sie 1/5 der gesamten kognitiven Arbeit, die von KI erledigt wird, im Jahr 2023 haben Sie 60 Millionen KIs, die mit 100-facher Geschwindigkeit laufen, im Jahr 2033 gibt es eine Bardividende für alle Amerikaner. >> Mhm. >> Ähm, erklären Sie mir das. >> Ja. Wenn die KIs die Arbeitsplätze der Menschen übernehmen, dann ist es sehr wichtig, dass die Menschen nicht verhungern und immer noch Geld haben. Und wenn Unternehmen KI und Roboter nutzen, um all diese Arbeitsplätze zu übernehmen, dann bedeutet das, dass es eine Art Besteuerung oder etwas Ähnliches geben muss, um sicherzustellen, dass die Menschen immer noch einen Anteil an diesem Kuchen haben. M >> Der Kuchen wird riesig wachsen, aber Sie müssen den Menschen immer noch einen Anteil an diesem Kuchen geben. Und unser Vorschlag, wie man das macht, nennen wir die Bürgerdividende. Im Grunde haben die Menschen Anteile an einer Agentur, die Genehmigungen an die Roboterunternehmen und an die Computerunternehmen verkauft und aus dem Verkauf dieser Genehmigungen Gewinn erzielt, und dann haben die Menschen Anteile an dieser Einrichtung. Sie beginnt klein. Sie beginnt mit etwa 25.000 US-Dollar pro Person. Äh, und dann am Ende sind es etwa 10 Millionen US-Dollar pro Bürger. >> Pro Person. >> Pro Person pro Jahr. >> Unter Berücksichtigung der Inflation. Was meinen Sie? >> Unter Berücksichtigung der Inflation. >> Also werden wir alle Millionäre sein. >> Ja. Wenn das passiert, was wahrscheinlich nicht passieren wird, aber wenn es passiert, dann geht es dahin. Und noch einmal, das ist die Sache, die ich betonen möchte: Wenn Sie an den Punkt gelangen, an dem Ihre KIs kurz davor stehen, die gesamte Forschung zu betreiben, und Sie dann innehalten und verlangsamen, bedeutet das, dass Sie immer noch viel Transformation vor sich haben, denn wenn Sie diesen KIs erlauben, langsam fortzufahren und verschiedene Jobs zu automatisieren und so weiter, werden sie das nach einigen Jahren tatsächlich getan haben und sie werden riesige Mengen an neuen Rechenzentren, riesige Mengen an neuen Chipfabriken, riesige Mengen an neuen Robotern, Roboterfabriken usw. gebaut haben. Wir sind uns natürlich nicht sicher, wie schnell das genau gehen wird, aber wir haben viel darüber nachgedacht und wir haben unsere Vermutungen und das ist sozusagen unsere mittlere Vermutung. >> Was bedeutet das? 2037, die apokalyptische Ankunft der Wahrheit auf Erden. >> Ja. Das ist der Punkt, an dem wir sagen, sie erreichen das Niveau von Top-Experten-KI. Es ist also keine Superintelligenz in dem Sinne, dass sie nicht viel intelligenter als Menschen ist, denn sie haben sie absichtlich auf dem Niveau von Top-Experten angehalten. Also, hier verlangsamen sie. Hier haben sie gerade tatsächlich gestoppt, aber sie haben an einem Punkt gestoppt, an dem die KIs einfach wirklich gut in allem sind. Also haben sie vielleicht schwache Superintelligenz bekommen, weil sie so viele dieser KIs haben und weil sie schneller denken als Menschen, wissen Sie, sie laufen viel schneller, das wird die Gesellschaft dramatisch verändern. Wir sprechen also über einige der Wege, auf denen sie die Gesellschaft verändert, wie das Leben nach der Arbeit. Wir sprechen darüber, wie es wäre, von Ihrer Bürgerdividende zu leben und keinen Job mehr zu haben in dieser Art von Welt. Ähm, hier sprechen wir über all die wissenschaftlichen Veränderungen und all die sozialen Veränderungen, die aus all dem intellektuellen Fortschritt und der Aktivität resultieren würden, die von all diesen KIs erzeugt werden. Zum Beispiel hier sind Dinge wie Krebsheilungen und wissen Sie, Menschen, die in Wohnungen leben, die vor zwei Jahren von Robotern gebaut wurden. >> 2036 >> Bereitstellung, noch einmal, wir hören 2029 auf. >> Ja. >> Und Bereitstellung, ich meine, ein konservativer, das ist ein konservativer Zeitrahmen. >> Ja. Leider denke ich tatsächlich, dass die Dinge standardmäßig schneller passieren werden und dass, wenn wir nicht langsamer werden, die Dinge viel schneller passieren werden. Sobald Sie an den Punkt gelangen, an dem Sie eine Milliarde KIs haben, die Tag und Nacht laufen, und jede von ihnen besser ist als die besten Menschen in allem. Und sie betreiben also viel Wissenschaft. Sie reden viel miteinander. Sie denken viel nach. Jeder spricht ständig mit seinen KI-Assistenten und so weiter. Es wird viel wissenschaftlichen Fortschritt geben. Es wird viele Veränderungen in der Politik, in den Ideologien geben. Es wird sehr disruptiv und verrückt sein, und wir gehen später auf einige der Wege ein, auf denen dies geschieht. Im Grunde genommen, >> ich bin immer noch nicht ganz klar, was das bedeutet. Die apokalyptische Ankunft der Wahrheit auf Erden. Es ist nur, weil es so viele Augen-KIs gibt, die so schlau sind, dass sie neue Entdeckungen in den Wissenschaften aufdecken. >> Lassen Sie mich Ihnen ein Beispiel geben. Lügendetektoren. >> Ja. >> Das ist ein Beispiel für eine Technologie, die erfunden werden könnte. >> Ja. >> Wissen Sie, im Moment haben wir keine guten Lügendetektoren. Wir haben sehr schlechte Lügendetektoren, die funktionieren, aber nicht vollständig. Aber sobald Sie diese Top-Experten-KI über viele Jahre mit 100-facher menschlicher Geschwindigkeit und Milliarden von ihnen haben, und sie Zugang zu Roboterfabriken für die Forschung und so weiter haben. >> Sie werden wahrscheinlich eine Menge Technologien erfinden. Vielleicht erfinden sie Lügendetektoren, die bei echten Menschen funktionieren. Das wird große soziale Auswirkungen haben, richtig? Stellen Sie sich einen Präsidentschaftskandidaten vor, der sagt: „Diese Anschuldigungen sind falsch, und um sie zu beweisen, werde ich mich einem Lügendetektor unterziehen und sagen, dass sie falsch sind.“ Ich dachte gerade an das gesamte Justizsystem und wie das umgeworfen würde. Ähm, tatsächlich könnten Sie theoretisch die Straße entlanggehen und >> Ja, >> es ist sowohl erschreckend als auch aufregend. Eine Sache, über die wir in diesem Abschnitt sprechen, ist, dass die Erfindung von Lügendetektoren wirklich schlecht sein könnte. Es könnte sein, dass sie eine neue Form des Totalitarismus ermöglicht, bei der die Mächtigen, wissen Sie, die CEOs und die Politiker >> ihre Untergebenen zwingen, sich Lügendetektoren zu unterziehen und zu sagen: „Ja, ich bin dem geliebten Führer treu. Ich würde niemals etwas gegen den geliebten Führer tun, richtig? >> Und wenn Sie lügen, sind Sie drin. >> Und dann, wenn Sie lügen, werden Sie gefeuert, richtig? Es gibt also eine Menge sehr schädlicher Anwendungen von Lügendetektortechnologie. Es gibt auch die guten Anwendungen. Und im Großen und Ganzen würde ich sagen, dass die guten Anwendungen sind, wenn Lügendetektoren auf die Mächtigen angewendet werden, anstatt von den Mächtigen. >> Was ist das 2040, die Weitergabe der Fackel an KIs? >> Ja, großartig. Hier halten sie auf dem Niveau von Top-Experten-KI an. Und der Grund, warum sie anhalten, ist, dass ihre Sicherheitsfälle nicht gut genug sind, um über dieses Niveau hinauszugehen. Ähm, also in den regulatorischen Systemen, die sie im Laufe dieser Jahre einrichten, funktionieren sie grob gesagt so, dass Sie, wenn Sie eine neue KI entwickeln und dann versuchen, die KI in etwas einzusetzen, einen Sicherheitsfall haben müssen, der erklärt, was Ihre Absichten sind und warum Sie glauben, dass sie so funktionieren wird, wie Sie es möchten. Und insbesondere, warum die KI >> tun wird, was ihr gesagt wird, zum Beispiel, und warum nichts furchtbar Schlimmes passieren wird, wie KI-Übernahme. Es ist relativ einfach, solche Sicherheitsfälle zu erstellen, wenn Ihre KIs noch nicht in der Lage sind, alles zu automatisieren, >> aber je mächtiger sie werden, desto schwieriger ist es tatsächlich zu argumentieren, dass die Dinge in Ordnung sein werden, weil die KIs einfach fähiger sind und sie mehr tun können. Und wenn sie tatsächlich unzuverlässig sind, sind die möglichen Nachteile größer. Deshalb stoppen sie auf diesem Niveau, weil sie erkennen, dass sie, wenn sie weitermachen, die Kontrolle über alles verlieren könnten. Aber auf dem aktuellen Niveau sind sie von Sicherheitsfällen überzeugt, dass es in Ordnung ist, aber sie wollen nicht weitergehen. Also stoppen sie dort. Und dann passiert im Jahr 2040, dass sie wissenschaftlich bedeutende Fortschritte erzielt haben, auch im Bereich Alignment. Und sie haben herausgefunden, wie man KIs erstellt, die tatsächlich robust mit Menschen ausgerichtet sind. >> Mit Menschen. >> Mit Menschen. Sie können diesen KIs also tatsächlich vertrauen und sie wieder viel intelligenter werden lassen. Deshalb nennen wir das Ganze KI 2040, denn im Jahr 2040 lassen sie sozusagen die Bremsen los und erlauben den KIs, deutlich intelligenter als Menschen zu werden. >> Ich schätze, Sie wissen, das ist ein Plan und das ist eine Hoffnung. >> Ja. >> Aber in Wirklichkeit ist das nicht das, was Sie probabilistisch denken, wenn Sie >> Das stimmt. Es ist wichtig zu unterscheiden, das ist, was wir empfehlen. Das ist, was wir wollen, dass es passiert, von dem, was wir tatsächlich standardmäßig denken, dass es passieren wird. Nun, wir denken, dass das möglich ist, aber das erfordert, dass viele Leute aufwachen und mehr Aufmerksamkeit schenken und sich dafür einsetzen, dass das passiert. Unser Hauptszenario spricht hauptsächlich über die getroffenen politischen Entscheidungen und die breiten Auswirkungen auf die Gesellschaft. Wir dachten, es wäre auch schön, dies mit einem kleinen Mini-Szenario zu begleiten, das beschreibt, wie es sich tatsächlich anfühlen würde, dies aus der Perspektive einer gewöhnlichen Person zu erleben. >> Okay. >> Ähm, 2029, alle schreien sich an, die Präsidenten verhandeln etwas und sie haben KI pausiert, aber Sie haben immer noch Zugriff auf die bestehende KI, also fühlt es sich nicht wirklich anders an, obwohl es definitiv etwas Aufregendes ist, das passiert. 2031 haben sie den Fortschritt wieder aufgenommen, die KIs sind wirklich schlau, mehr Leute haben ihre Jobs verloren, es fängt wirklich an, die Dinge zu beeinflussen, aber ich denke immer noch, die meisten Leute haben ihre Jobs, aber ihre Jobs haben sich irgendwie verändert, so dass bis 2031 die meisten White-Collar-Jobs zu einem großen Teil die Arbeit mit KIs beinhalten oder Teams von KIs verwalten oder irgendwie mit ihnen zusammenarbeiten. Auch gibt es Dinge wie Robo-Taxis, die im Grunde nur funktionierende Bürgerdividenden sind, wissen Sie, idealerweise würde das früher passieren. In unserem Szenario machen sie die Dinge sozusagen in letzter Minute, wissen Sie, so dass viele dieser politischen Dinge sozusagen gerade rechtzeitig passieren. Offensichtlich würden wir empfehlen, dass Sie sie früher tun und auch eine bessere Arbeit leisten, aber also 2033 beginnen Sie, Ihre Schecks von der Dividende zu erhalten. Sie prognostizieren also, dass es einen Bürgercheck geben wird, der laut Ihrem Modell am Anfang etwa 25.000 pro Person betragen könnte. >> Und dann wird er wachsen, wenn die Wirtschaft wächst. >> Aber auch, wie ich vermute, wenn die Arbeitsplatzverlagerung Einzug hält. Sie werden diesen Scheck wachsen lassen müssen, stellen Sie sicher, dass Sie >> Und deshalb ist es sozusagen der letzte mögliche Moment, denn wenn Sie warten würden, bis Sie das implementieren, sagen wir, bis 2037, dann hätten alle ihre Jobs verloren, bis das passiert, richtig? Menschen, die ihre Jobs verlieren, besonders wenn es schnell passiert, wie wir auf dieser Grafik sehen, wird das zu vielen Problemen in Bezug auf zivilen Unruhen, soziale Unruhen, Sinn, psychische Gesundheit, diese Art von Dingen theoretisch führen. >> Ja. >> Wie denken Sie darüber? >> Es wird hart werden, und hoffentlich können wir das gut meistern. Wir denken, dass die Menschen auf hoher Ebene Geld und auch Macht brauchen. Und ich denke, das sind eher unterschiedliche Dinge. Es ist, warum sind Jobs wichtig? Nun, es gibt viele Gründe, warum Jobs wichtig sind, aber ich denke, die wichtigsten sind, nun, es ist, wie Menschen Geld bekommen, damit sie überleben und die Dinge bekommen können, die sie wollen, indem sie die Dinge kaufen, die sie wollen. Wenn also Menschen ihre Jobs verlieren, brauchen Sie eine andere Möglichkeit, wie Menschen Geld bekommen. Und dann gibt es auch die Machtfrage, nämlich dass Menschen im Moment politische Macht haben, teilweise aufgrund ihrer wirtschaftlichen Macht. Menschen können mit Streik drohen, zum Beispiel, oder wissen Sie, Länder, die von Diktatoren regiert werden, können nicht einfach eine ganze Untergruppe ausrotten, oder sie können es, aber es ist für sie kostspielig, weil sie dann weniger Geld haben werden, weil diese Untergruppe zu ihrer Wirtschaft beiträgt und Steuereinnahmen usw. generiert, aber wenn Sie in einer Welt landen, in der tatsächlich niemand Steuereinnahmen beiträgt, außer den KI-Unternehmen und den Roboterunternehmen, dann sind Sie, die Regierung, weniger motiviert, sich darum zu kümmern, was die einfachen Leute denken. Wenn Menschen also ihre Jobs verlieren, droht ihnen nicht nur der Verlust des Einkommens. Ihnen droht auch der Verlust politischer Macht. Und deshalb halten wir es für wichtig, Dinge zu tun, um dem entgegenzuwirken. >> Wie sieht das aus? Wie haben Menschen in einer solchen Welt Macht? >> Nun, zumindest in Demokratien haben sie immer noch Stimmen. >> Okay. Ich halte es also für sehr wichtig, dass es Vorschriften für die Nutzung von KI gibt, die den öffentlichen Diskurs gesünder machen und den Menschen tatsächlich das geben, was in ihrem Interesse ist und was sie wollen, und ein gegenteiliges Ergebnis vermeiden, bei dem die Massen leicht von KI-gestützten Medien manipuliert werden, zum Beispiel, oder wo jeder mit seinen KI-Beratern spricht und die KI-Berater sie subtil davon ablenken, für den Kandidaten zu stimmen, der nicht das ist, was die KI-Unternehmen wollen, weil die KI-Unternehmen diesen anderen Kandidaten haben, den sie besser finden, und sie ihre KIs heimlich voreingenommen machen, um die Leute zu diesem Kandidaten zu lenken, richtig? Wir wollen also in einer Situation sein, in der Menschen KIs haben, die tatsächlich vertrauenswürdig sind und die wahrheitssuchende KIs sind, ehrliche KIs und die keine Art von politischen Agenden von den KI-Unternehmen oder von der Regierung eingepflanzt bekommen. Wissen Sie, Sie wollen eine Situation vermeiden, in der das KI-Unternehmen, wo die Regierung eine geheime Anordnung erlassen hat, dass die KIs so und so sein müssen. Ja. Der Streit zwischen dem Kriegsministerium und Anthropic ist sozusagen eine interessante Vorahnung davon, richtig? Wo Anthropic seine KIs dem Kriegsministerium gab. Das Kriegsministerium wollte sie für bestimmte Dinge nutzen und war verärgert, dass Anthropic's KIs nicht für diese Dinge verwendet werden sollten. Insbesondere waren das häusliche Überwachung und autonome Roboter. >> Mhm. Es wird noch viele weitere Probleme dieser Art geben, und Sie möchten, dass die Menschen wissen, was sie bekommen, und dass, wenn Menschen Stunden am Tag mit ihrem Chatbot sprechen, dieser Chatbot keine politischen Vorurteile oder eine geheime Agenda oder ähnliches hat, sondern darauf trainiert wurde, ehrliche, wahre Antworten auf Dinge zu geben. Und ich denke, wenn Sie das tun können, kann es den Diskurs verbessern und den Menschen helfen, ihre Stimmen zu nutzen, um noch bessere Vorschriften und noch bessere Politiker einzusetzen und so weiter. Es kann sozusagen potenziell dazu führen, dass die Macht der Menschen noch sicherer ist als heute. >> Vieles von dem, was wir behandelt haben, ist teilweise abgedeckt, wissen Sie, die Kriege und Drohnen und Raketen, wir sehen das bereits auf der ganzen Welt, was wirklich, wirklich interessant ist. Ähm, und wir haben auch über Roboter gesprochen, die Menschen übertreffen, was Teil dieser Vorhersage ist. Einige der hier unten fand ich wirklich neugierig, nämlich dass Menschen überall von KIs geschützt werden. >> Ja. In diesem Szenario verzögern sie die Schaffung von Superintelligenz bis 2040 und tatsächlich pausieren sie ab 2035, lassen es aber danach weiterlaufen und lassen die KIs dann weit überlegen intelligent werden. Und wir denken, dass, sobald die KIs weit überlegen intelligent sind, die Welt noch radikaler transformiert wird als das, was im 2030er-Jahrzehnt in diesem Szenario passiert. Im 2030er-Jahrzehnt ist es eher auf menschlichem Niveau. Wissen Sie, die KIs sind nicht, sie tun die gleichen Dinge, die menschliche Experten getan hätten. Sie tun es nur ein bisschen besser, ein bisschen schneller und viel billiger, und es gibt viel mehr davon. Und die Roboter tun immer noch die gleichen Dinge, die menschliche Arbeiter getan hätten. Es gibt nur mehr davon, und sie sind billiger. Und aufgrund des exponentiellen Wachstums, äh, beginnen Sie mit einer Welt, die 2029 nicht viel anders aussieht als heute, und dann enden Sie 2039 in einer radikal transformierten Welt, in der alle in diesen schicken neuen Wohnungen leben, die vor zwei Jahren von Robotern gebaut wurden. Es gibt riesige Sonderwirtschaftszonen, die voller Roboter und Solarpaneele und Fabriken sind, die mehr Roboter und Solarpaneele und Fabriken produzieren und so weiter. Der Großteil der Wirtschaft sind KIs und Roboter, und die Menschen haben keine Jobs mehr. Diese Art von Transformation erhalten Sie, wenn Sie auf menschlichem Niveau pausieren. Aber wenn Sie über die Superintelligenz hinausgehen, kommt eine weitere Transformation, die eher wie Magie aussehen wird. Denken Sie darüber nach, wie die heutige Technologie für jemanden von vor 500 Jahren wie Magie aussehen würde. Mhm. >> Wissen Sie, und das, ohne dass es eine qualitative Verbesserung der Intelligenz gibt, richtig? Die Menschen von heute sind nicht qualitativ intelligenter als die Menschen von vor 500 Jahren. Es ist nur, dass wir mehr Zeit für die Forschung hatten. >> Und wir haben mehr Geld und Ressourcen, um Prototypen und Experimente zu bauen und Experimente durchzuführen und so weiter. Aber wenn es einen Punkt gäbe, an dem es Milliarden und Abermilliarden von KIs gäbe, die nicht nur schneller als Menschen sind, sondern auch qualitativ viel, viel besser in allem und insbesondere in der wissenschaftlichen Forschung, sollten wir erwarten, dass einige der Dinge, die sie entwickeln, uns wie Magie erscheinen werden. >> Und wir werden einfach komplett, wir dachten nicht, dass das überhaupt möglich ist. Wissen Sie, Menschen wollen nicht sterben. Menschen wollen nicht von Autos angefahren werden. Menschen wollen nicht von einem zufälligen Massenmörder angegriffen werden. >> Krebs ist weg. Ich meine, nicht nur Krebs, wissen Sie, all die Dinge, die in der Science-Fiction passieren, werden wahrscheinlich bis dahin passiert sein. Also Dinge wie Menschen, die ihre Gehirne scannen und in Computer hochladen, oder sich selbst replizierende Roboter im Asteroidengürtel, die mehr und mehr Satelliten schaffen, um mehr und mehr Energie zu produzieren, um mehr und mehr sich selbst replizierende Roboter und so weiter zu produzieren. >> Die meisten Menschen leben immer noch auf der Erde, aber der Trend geht zum Umzug ins All. >> Das stimmt. Ja. Wenn Sie also in der Situation landen, in der die gesamte menschliche Wirtschaft nur ein winziger Tropfen im Eimer der gesamten Wirtschaft ist und es nur diese riesigen Mengen an Robotern und KIs gibt, die sich unglaublich schnell bewegen, dann möchten Sie, dass die Erde größtenteils als eine Art Schutzgebiet erhalten bleibt. Wissen Sie, ich denke, viele Leute machen sich Sorgen, dass die Umwelt zerstört wird, was sie total würde, wenn sie nicht geschützt wäre. Und ich denke, viele Leute mögen ihr Leben, wie es ist, und wollen nicht hochgeladen werden oder in einer verrückten neuen Zukunft leben. Und es scheint uns, dass die vernünftige Lösung für diese Probleme darin besteht, neue Lebensräume außerhalb des Planeten zu schaffen, mit einem Teil dieses riesigen wirtschaftlichen Reichtums und der Aktivität, die für die Menschen stattfindet, die so etwas wollen, und auf diese Weise kann die Erde erhalten bleiben. >> Bild von Rechenzentren im Ozean. Ich meine, es gibt drei Bilder von verschiedenen Umgebungen, in denen Menschen leben könnten. >> Wiederum, unser Vorschlag war, 99 % der Erde zu erhalten, größtenteils wie sie ist, aus historischen oder ökologischen Gründen, aber dann bezeichnen Sie einige Teile davon als Sonderwirtschaftszonen, in denen die Roboter verrückt werden und riesige Gruben ausheben und Fabriken produzieren und so weiter. Wir dachten, es wäre gut, die Rechenzentren auf dem Ozean statt an Land zu bauen, aus verschiedenen Gründen, obwohl später der Weltraum besser wäre und wir das auch als vernünftig ansehen könnten. >> Was ist mit Unsterblichkeit in einer Welt der KI? Ähm, 20, nun, 30, 45 sagen Sie, Sie haben ein Dutzend Leben gelebt und sind unsterblich, wechseln von Leben zu Leben, als ob durch Reinkarnation. Ich meine, es gibt im Moment viele Milliardäre, die sich auf Langlebigkeit konzentrieren. Ich meine, Brian Johnson hat seine zentrale Regel: „Stirb nicht.“ >> Ja. >> Weil wir im Zeitalter der KI sind und es denkbar ist, dass wir mit Superintelligenz wählen können, wann wir sterben. >> Yep. Ich denke, das ist wahrscheinlich richtig. Wir stellen das hier nicht dar, weil sie hier nur KI auf menschlichem Niveau haben, aber das ist eine der Dinge, die ziemlich plausibel erscheinen, dass Superintelligenz erreichen könnte, durch eine Vielzahl von Mitteln. Was ist Ihre Hoffnung bei all dem jetzt? Warum haben Sie das getan? Warum haben Sie diesen Plan für 2040 erstellt? >> In der ersten Woche, nachdem wir AI 2027 veröffentlicht hatten, explodierte es viel größer, als wir erwartet hatten, übrigens. Nachdem wir AI 2027 veröffentlicht hatten, explodierte es viel größer, als wir erwartet hatten, übrigens. Wir haben tatsächlich im Voraus Prognosen erstellt, wie viele Aufrufe es erhalten würde und so weiter, und es war ein Ergebnis im 90. Perzentil. Also, sehr anders als erwartet. Ähm, aber im Twitter-Sturm, der passierte, sagten verschiedene Leute: „Warum geben Sie uns all diese düsteren Vorhersagen? Wie wäre es mit einer positiveren Vision dessen, was Sie stattdessen tun sollten?“ Und ich denke, das hat sich sozusagen in uns eingepflanzt, und dann dachten wir: „Ja, das ist vernünftig.“ Wir haben sozusagen den Standardweg dargestellt und warum wir denken, dass er ziemlich beängstigend ist. Jetzt sollten wir vielleicht die Fakten wechseln und einige tatsächliche Empfehlungen ausarbeiten und das auch darstellen. >> Auch wenn Sie nicht glauben, dass sie wahrscheinlich sind. >> Ja. Ich meine, Sie können für einen politischen Kandidaten stimmen, auch wenn Sie nicht zuversichtlich sind, dass er gewinnen wird, wissen Sie, und Sie können sagen: Hier ist, was ich denke, was wir tun sollten, auch wenn Sie denken, dass die Leute es wahrscheinlich nicht tun werden. Sie sollten das nicht sagen, wenn Sie denken, dass es völlig unwahrscheinlich ist. Wenn Sie denken, dass es keine Chance gibt, dann sollten Sie sich vielleicht nicht darum kümmern. Aber wir denken, es gibt eine Chance. Insbesondere aus den Gründen, die wir im Szenario beschrieben haben, denken wir, dass die Leute in den nächsten Jahren die Macht der KI erkennen werden. >> Weil etwas passiert. >> Die Unternehmen sagen, dass sie das tun werden. >> Und sie sind sozusagen auf dem richtigen Weg, und es macht einfach Sinn, dass, wenn sie sich diesem KI-Niveau auch nur annähernd nähern, es große Probleme und große Schwierigkeiten gibt und wir etwas dagegen tun müssen. Und so denke ich, dass selbst wenn es keine dramatische Warnung oder etwas Ähnliches gibt, die Leute natürlich anfangen werden, dem mehr Aufmerksamkeit zu schenken und die Implikationen zu durchdenken und zu versuchen, vorherzusagen, was passieren wird. Und so werden die Leute natürlich mehr an der Regulierung von KI interessiert sein, zum Beispiel. Und tatsächlich gibt es tatsächlich mehr davon, als wir vorhergesagt haben. >> Mehr von was passiert? >> Ernsthaftes Interesse an der KI-Regulierung. Zum Zeitpunkt, als wir AI 2427 veröffentlichten, war die allgemeine Position der Technologieunternehmen und der Regierung eher: KI-Regulierung, schlechte Idee. >> Freies Spiel. >> Freies Spiel. Ja. Tatsächlich gab es sogar einen Versuch, Staaten präventiv von der Regulierung von KI zu verbannen. >> Ja. >> Erinnern Sie sich? Jetzt scheint sich die Konversation stark verändert zu haben. Wie jetzt hat die US-Regierung Anthropic gesagt, sie müssen ihre KI abschalten, weil sie befürchteten, dass böswillige Akteure sie für Cyberangriffe nutzen würden. Wissen Sie, die Regierung wacht auf und tut mehr, als wir erwartet hatten, schon jetzt. Und wir sind tatsächlich hoffnungsvoll, dass dieser Trend einfach weitergeht und dass, bevor es tatsächlich zu spät ist, sehr ernsthafte Gespräche innerhalb und außerhalb der Regierung und in der breiteren Gesellschaft über all diese Themen stattfinden werden und wir versuchen werden, einen Kurs zu steuern, der >> Sie haben sich fast 15 Jahre lang mit diesen Dingen beschäftigt. Ähm, wenn hier ein Knopf wäre und Sie diesen Knopf drücken würden, würde Ihr Plan S eintreten und er würde jedes Rechenzentrum abschalten, das derzeit ein KI-Modell der Spitzenklasse trainiert, für immer. Es gäbe nie wieder >> KI-Labore, die an diesen Problemen arbeiten. Würden Sie diesen Knopf drücken? Ich war kurz davor, ihn zu zerquetschen, bis Sie sagten: für immer. >> Okay. >> Wie ich denke, wenn es eine vorübergehende Abschaltung wäre, würde ich diesen Knopf total zerquetschen, weil wir nicht bereit sind, das zu tun. Wissen Sie, die Zivilisation ist nicht bereit, diese Unternehmen sich selbst automatisieren zu lassen und dann immer intelligenter zu werden und dann die Superintelligenz zu haben, nein. Es gibt eine Menge Gründe, warum das wirklich gefährlich ist. Aber ich wäre zumindest zögerlich, diesen Knopf zu drücken, wenn er die Möglichkeit, es jemals wieder zu tun, dauerhaft ausschließen würde. Auf jeden Fall. >> Aber wenn Sie denken, dass Plan D wahrscheinlich ist, nämlich dieser Wettlauf zur Superintelligenz, >> wenn ich die Wahl zwischen D und S hätte, würde ich ihn drücken. >> Nun, es kommt darauf an, was Sie denken, richtig? Denn wenn Sie denken, dass das passieren wird, Plan D und die einzige Alternative. >> Ich habe nicht gesagt, dass das passieren wird. >> Wahrscheinlich. >> Ja. Ja. Wie, wie ich sagen würde, das ist das wahrscheinlichste, vielleicht ist das zweitwahrscheinlichste, vielleicht ist das drittwahrscheinlichste. Sie sind alle möglich. Also, mit Ihrer aktuellen Perspektive auf das, was auch immer Sie denken, dass passieren wird, würden Sie den Knopf drücken? Ich gebe Ihnen ein S, ein definitives S oder was auch immer Sie denken, dass passieren wird. >> Das ist schwierig. >> Was ist der Umfang der Abschaltung? Also ist es >> Niemand kann jemals wieder ein KI-Modell trainieren. >> Das ist wirklich hart, denn wie ich sagte, es gibt viele Vorteile, die wir von KI bekommen könnten, wenn wir es richtig machen. Ähm, >> Ich denke, ich habe Sie fast in die Position von Sam Holtman gebracht. >> Ja. >> Bis zu einem gewissen Grad. >> Ja. >> Ähm, lassen Sie mich. Haben Sie etwas dagegen, wenn ich mir einen Moment Zeit nehme, um darüber nachzudenken? >> Ich denke, ich bevorzuge, dass Sie nachdenken. >> Ja. Ich denke, ich würde den Knopf nicht drücken, aber ich fühle mich sehr zerrissen. Der Grund, warum ich denke, ich würde den Knopf nicht drücken, ist, dass ich immer noch erhebliche Hoffnung habe, dass wir etwas viel Besseres als das erreichen können, etwas mehr wie das. Und ich denke, dass wir, wenn wir nicht irgendwann leistungsstarke KI-Systeme bauen, wahrscheinlich als Zivilisation sterben werden. Irgendwann, wissen Sie, in 100 Jahren, 200 Jahren, so etwas, wie ein Atomkrieg, eine Pandemie oder so etwas, wissen Sie, ich glaube nicht, dass die menschliche Zivilisation im Moment super stabil ist. Und so denke ich, dass im Grunde das, was ich sagen wollte, die möglichen Vorteile für die Nachwelt und für all die Milliarden und Abermilliarden von Menschen, die in der Zukunft leben könnten, die aktuellen Risiken überwiegen. Aber tatsächlich, >> Ich habe diese Erzählung schon einmal gehört. >> Ja. Ich weiß nicht. Wie, >> ja, wie vielleicht ist es einfach so, nein, die Menschen im Moment sind die Menschen, die wir priorisieren sollten. Die Menschen im Moment sind in großer Gefahr. Sie werden für mindestens die nächsten Jahrzehnte in Ordnung sein. Also, egal, Nachwelt. Priorisieren Sie die Menschen im Moment. Ähm, und die Menschen im Moment wollen dieses Lotterie-Spiel definitiv nicht, würde ich sagen. Ähm, ja, Sie haben mir wirklich eine schwierige Frage gestellt. >> Also, würden Sie den Knopf drücken, wenn das der Knopf wäre? >> Wahrscheinlich nicht, aber ich würde mich sehr zerrissen fühlen. >> Okay. Also, ich denke immer an die Personas des Publikums, das zusieht, und das sind, wissen Sie, sehr neugierige Leute, besonders zum Thema KI, wie wir gesehen haben, aber sie wollen wissen, was es für sie bedeutet. Ich denke, viele von ihnen wollen auch wissen, was sie tun können. >> Oh, ja. Ja. Was können die Leute tun? Nun, ich denke, wenn Sie entweder Talent oder Leidenschaft haben, können Sie sich direkt engagieren. Es gibt viele Organisationen, die sich Sorgen um diese Dinge machen und versuchen, etwas dagegen zu tun, wie politische Interessenvertretung oder technische Forschung oder das Erstellen nützlicher Werkzeuge, die hoffentlich den Menschen helfen, besser zu werden und so weiter. Aber wenn Sie keine großen Karrierewechsel vornehmen wollen oder so etwas, dann würde ich sagen, achten Sie einfach mehr auf diese Themen und sprechen Sie mehr mit Leuten darüber. Tun Sie Dinge wie, wissen Sie, E-Mails an Ihren Kongressabgeordneten oder was auch immer, es ändert nicht viel, aber es hilft. Ich denke, dass gerade bei diesem speziellen Thema das Kernproblem darin besteht, dass die Leute es noch nicht ernst nehmen. Wenn die Dinge, die ich Ihnen gerade eine Stunde oder zwei gesagt habe, einfach jedem im Kopf wären, wären wir nicht hier. Es gäbe bereits viel bedeutendere Vorschriften, wissen Sie, und nicht nur strengere Vorschriften, sondern auch bessere Vorschriften, die weniger wie eine Keule und mehr wie ein Skalpell sind und die empfindlicher darauf reagieren, was tatsächlich schlecht und was nicht so schlecht ist und so weiter. Und es gäbe mehr Experten im Regierungsapparat und als Berater der Regierung und so weiter. Also, im Allgemeinen, je mehr Leute diese Bedenken und diese Projektionen erkennen, desto wahrscheinlicher ist es, dass wir gute Dinge tun können, bevor es zu spät ist. >> Was ist mit der Art und Weise, wie sie an der Wahlurne wählen sollten? Wir haben in den USA in ein paar Jahren eine Wahl, aber es gibt ständig Wahlen auf der ganzen Welt. >> Sie sollten Ihre Kandidaten fragen, was sie von all diesen KI-Sachen halten. Sie sollten versuchen, sie dazu zu bringen, Meinungen zu haben, und dann sollten Sie für die Kandidaten stimmen, deren Meinungen zu diesem Thema besser sind. Das ist das Wichtigste, was in unserem Leben passiert, wahrscheinlich sogar in der gesamten Geschichte, und es ist sehr wichtig, dass es gut verläuft, und deshalb sollten alle Führer aller Länder darüber nachdenken und Pläne dafür machen. >> Ist es nicht seltsam, zu diesem Zeitpunkt am Leben zu sein? Ich dachte über all die Zeiten nach, in denen ich hätte geboren werden können, und ich schätze, meine Vorfahren dachten wahrscheinlich dasselbe, aber ich dachte, als Sie sprachen, dachte ich, es ist, wenn Sie es als die letzte Show bezeichneten. >> Ja. >> Was war Ihre Formulierung? >> Ich sagte, der Höhepunkt des Laufs zum Höhepunkt oder so etwas. >> Ja. Ich meine, was für eine verrückte Sache, in der Zeit vor dem Höhepunkt geboren zu werden, in der alles, was Sie hier beschreiben, in meinem Leben liegt, denkbar. Hoffentlich. >> Ja. >> Oder vielleicht nicht hoffentlich. >> Was für eine verrückte Zeit, am Leben zu sein. >> Sicherlich. >> Ich bemerkte, dass sich Ihre Haltung erheblich änderte, als ich Sie fragte, ob Sie Kinder hätten. >> Nun, es ist ja. >> Es ist, als ob Sie in einen anderen Zustand gefallen wären. Offensichtlich ist das zentral für die Grübeleien, die Sie erlebt haben. Nun, es ist ein trauriges Thema, oder? Wenn ich Kinder hatte, ist der Grund, Kinder zu haben, zu einem großen Teil die Zukunft, wissen Sie, es ist nicht nur eine kuschelige Sache, die man im Moment bei sich hat. Es ist, weil man all diese Hoffnungen und Träume hat, wie sie aufwachsen und wie sie ihr eigenes Ding machen und ihre eigenen Persönlichkeiten werden und so weiter. Und wegen dessen, was mit KI passiert, sind viele dieser Träume in Gefahr. >> Vermutlich hätten Sie trotzdem Kinder bekommen. >> Ich habe mich hier und da tatsächlich umgedreht. Ja. Im Grunde ist die oberste Antwort, ich bin mir nicht sicher. Mein erstes Kind wurde 2019 geboren, wir hatten sie 2019. >> Ja. >> Also war das, bevor sich meine Zeitlinie stark verkürzte. Also zu diesem Zeitpunkt interessierte ich mich für KI, ich verfolgte das Feld. Ich machte Prognosen, aber ich erwartete nicht wirklich, dass es bald passieren würde. >> Wissen Sie. >> Mhm. >> Und dann führte das dazu, dass ich dachte: Oh mein Gott, es wird bald passieren, wie bis 2030, wissen Sie. Das führte zu einer Neubewertung, und so sagte ich meiner Frau im Grunde: Lass uns keine weiteren Kinder mehr bekommen. Es ist zu unsicher, wissen Sie. Aber das erwies sich als wirklich schwierig, besonders für meine Frau, wir hatten bereits ein Kind und keine Geschwister. Ähm, also gab ich schließlich nach und sagte: Okay, wissen Sie was? Wir haben schon eins. Es wird schon gut gehen. Vielleicht wird die Zukunft gut sein. Und selbst wenn nicht, nun, wir sitzen alle im selben Boot. >> Es ist ziemlich beunruhigend, was Sie sagen. Es ist beunruhigend, weil Sie mehr wissen als ich. Und wenn Sie zu Hause zu Ihrer Frau sagen, hören Sie, vielleicht sollten wir aufhören, weitere Kinder zu bekommen und eine Familie zu gründen, wegen dessen, was mit KI passiert. >> Um das klarzustellen, das ist ja. Ich meine, ja, es ist sehr besorgniserregend. Ich bin, ich bin beunruhigt. Das ist schlecht. Das ist, was ich gesagt habe. Ich hoffe, die Dinge werden gut. Ich denke, die Dinge könnten gut werden. Ich denke, wir können viel tun, um die Dinge in eine bessere Richtung zu lenken. Ich meine, eines davon ist auch, ich muss sagen, einfach darüber zu sprechen. Ich denke, ein Großteil des Fortschritts, den wir bei erwachenden Regierungen gesehen haben, und wissen Sie, wir haben bestimmte Dinge gesehen, bei denen Leute bestimmte Leute bei bestimmten Veranstaltungen ausgebuht haben. >> Ja. >> Ähm, ist eine Folge von Leuten wie Ihnen, die tatsächlich in Shows wie dieser und all den anderen Podcasts kommen und >> Ja. >> uns erzählen, was vor sich geht. >> Ja. >> Denn anderswo, fairerweise, werden wir von den Leuten mit den größten PR-Maschinen belogen. >> Ja. Also, ich denke oft, es ist wahrscheinlich erwähnenswert, dass ich mich in gewisser Weise zwiegespalten fühle, denn ich bin Unternehmer und Investor. Ich investiere in wahrscheinlich mehr als 100 Unternehmen. Und so viele dieser Unternehmen nutzen KI. Ich habe in Grok, das Inference-Chip-Unternehmen, investiert. Ich habe in SpaceX investiert, das jetzt ein weiteres Grok besitzt und sie machen KI. Ich benutze KI jeden Tag in meinem Leben. Ich habe sie während dieses Gesprächs genutzt, um verschiedene Dinge zu verstehen, die Sie gesagt haben. >> Das ist also die eine Seite von mir, die wie ein Unternehmensgründer ist, der die Vorteile von KI in meinem eigenen Leben gesehen hat. Und dann gibt es die andere Seite von mir. Und es ist lustig, weil ich denke, manchmal denken die Leute, man muss sich für ein Lager entscheiden. Aber mein ganzes Leben lang, auch als ich CEO von Social Media war und sagte: Hören Sie, ich baue ein Social-Media-Unternehmen auf, aber ich denke, Social Media hat einige Nachteile. Ich finde mich im selben Moment, in dem ich sage: Ich baue mit KI. Ich habe KI-Investitionen. Und gleichzeitig bin ich als Zivilist wie: >> Ja, ich meine, das ist Aufmerksamkeit. Ich denke, es gibt verschiedene Möglichkeiten, die Grenze zu ziehen. Und ich kenne viele Leute, die die Grenze auf viele verschiedene Arten ziehen.

Wege. Also, es gibt Leute, die sagen einfach, ich werde keine KI nutzen. Ich denke, dieser Kram ist schlecht, ähm, und auf einer schlechten Bahn, also werde ich KI boykottieren, richtig? Ich gehöre nicht zu diesen Leuten. Ich nutze KI viel. Wir alle tun das im KI-Features-Projekt. Ähm, es ist hilfreich für viel unserer Arbeit. Das Gegenteil ist, dass Leute sagen: Nun, es scheint, als ob es auf einer Bahn ist, dass es passieren wird, also ist das Richtige, um es gut zu machen, sich einzubringen und Macht anzuhäufen und zu versuchen, es von innen zu steuern. Mhm. >> Und deshalb werde ich bei OpenAI oder Anthropic arbeiten und versuchen, mich hochzuarbeiten und dann jemand zu sein, der zählt, wenn die wichtigen Entscheidungen getroffen werden. Und ich kenne viele Leute wie das. Das war, was ich tat, als ich, das war nicht genau das, was ich tat, aber >> das war der Weg >> das war, ich meine, das ist in gewissem Sinne die ganze Erzählung der Unternehmen, richtig? Das ist, warum sie sich selbst sagen, dass es in Ordnung ist, das zu tun, was sie tun, ist, dass sie sich Sorgen um die anderen machen, wissen Sie, und so entscheiden all diese Leute: Wir werden uns wirklich stark darauf einlassen. Wir werden da sein, wenn die wichtigen Entscheidungen getroffen werden, wissen Sie? Also, es gibt ein ganzes Spektrum, und ich bin irgendwo in der Mitte. Ich bin nicht bei den KI-Unternehmen. Ich helfe ihnen nicht, schneller zu werden. Stattdessen spreche ich mit der breiten Öffentlichkeit und versuche, mich für das einzusetzen, was ich für meine derzeit beste Vermutung halte, wie der Weg hinaus ist, wissen Sie, der Weg nach vorn. Ähm, aber ich boykottiere nicht alle KIs. Ich versuche nicht, ich weigere mich nicht, mich auf diese Weise damit auseinanderzusetzen. Glauben Sie, es ist zu spät? >> Nein, ich glaube nicht, dass es zu spät ist. Wenn ich dachte, es wäre zu spät, wäre ich nicht hier. H >> Wo wären Sie? >> Bei meiner Familie. >> Was ist Ihre abschließende Botschaft an die breite Öffentlichkeit? Wenn Sie eine abschließende Erklärung für sie hätten, >> vielleicht würde ich sagen, dass Sie viel hören werden und Sie bereits viel über KI gehört haben und es wie Science-Fiction klingen wird, aber manchmal passieren Dinge, die wie Science-Fiction klingen, in der Realität. Und tatsächlich sind viele Dinge, die früher Science-Fiction waren, Realität geworden. Und die Leute müssen aufhören, darüber nachzudenken, was wie Science-Fiction klingt oder nicht, und einfach anfangen, über die Trends nachzudenken und die tatsächlichen Trends, auf denen diese Technologie basiert, und vorauszusehen, wie sie sich entwickeln wird, und dann die Möglichkeit ernst zu nehmen, dass sie sich so entwickeln könnte, und dann darüber nachzudenken, was dagegen getan werden sollte. >> Und wohin würden Sie sie leiten, um mehr Informationen zu erhalten? >> Sie können zu a27.com gehen, um unser früheres Szenario zu lesen. Sie können zu a2040.com Plan A gehen, um unseren neuen Vorschlag zu lesen, was zu tun ist. Ähm, diese Dinge sind nicht nur eine Sci-Fi-Geschichte. Sie haben auch viele Erklärungen und Links zu anderen Dingen. Und so sind sie eine schöne Ausgangsbasis, um all diese Dinge zu lernen. M >> Ähm, wenn Sie möchten, könnte ich Ihnen nach Abschluss dieses Gesprächs eine Leseliste mit anderen Papieren und Artikeln und >> Blogs geben, denen Sie folgen können, und so weiter. >> Und ich werde sie alle unten im Kommentarbereich verlinken. Wenn Sie also jetzt zuhören, schauen Sie sich den Kommentarbereich, die Beschreibung dieser Episode an, und Sie werden eine Reihe von Links sehen, die Daniels Empfehlungen sind, was Sie lesen sollten. Wissen Sie, ich denke, es ist ein wirklich, wirklich großartiger Moment, um sich über diese Dinge zu informieren. Ähm, Menschen haben eine Neigung wegen kognitiver Dissonanz, wo wir uns unwohl fühlen, wenn wir etwas begraben, unseren Kopf in den Sand stecken und es vermeiden. Aber tatsächlich denke ich, dass dies einer dieser Momente ist, um das genaue Gegenteil zu tun, aus vielen Gründen, um sich zu informieren, damit Sie wissen, welche Maßnahmen Sie ergreifen können, aber auch, weil KI, wissen Sie, unvermeidlich ein riesiger Teil unseres aller Leben und Karrieren sein wird. >> Ja. Ja. Danke. Und das ist eine gute Art, es zu sagen. Es wird viel bedeuten. Es wird bald überall sein, und wir müssen etwas dagegen tun, bevor es zu spät ist. Und >> was ist mit dem KI-Zukunftsprojekt? >> Das ist unsere Organisation. Wir haben ein Jahr damit verbracht, AI 2027 zu schreiben, nachdem ich OpenAI verlassen hatte, und dann haben wir ein weiteres Jahr damit verbracht, AI 2040 Plan A zu schreiben. >> Daniel, danke. >> Danke. >> Danke für all die Arbeit, die Sie leisten. Ich sehe, wie sehr Ihnen diese Dinge am Herzen liegen, und es ist Ihre Fürsorge. Es ist lustig. Fürsorge selbst lässt andere Fürsorge empfinden. Und >> zu sehen, wie persönlich das für Sie ist und wie viel Sie Ihr Leben dem gewidmet haben, aber auch zu hören, dass Sie im Grunde 2 Millionen Dollar aufgegeben haben, um der Öffentlichkeit diese Informationen mitteilen zu können, ist unglaublich bewundernswert und >> ich denke, Stimmen wie Ihre sind wichtiger denn je zu diesem Thema. Also, bitte kämpfen Sie weiter den Kampf, den Sie kämpfen. Und das ist einer der Information. Es ist der Ehrlichkeit und es ist >> des Aussprechens dessen, was oft der leise Teil ist, laut und der Durchführung wirklich, wirklich kluger Forschung. Ich werde alles verlinken, was wir heute besprochen haben, unten. Ähm, und ich hoffe, wir können bald wieder plaudern. >> Danke. >> YouTube hat diesen neuen verrückten Algorithmus, wo sie genau wissen, welches Video Sie als nächstes sehen möchten, basierend auf KI und all Ihrem Sehverhalten. Und der Algorithmus sagt, dass dieses Video das perfekte Video für Sie ist. Es ist für jeden, der gerade zuschaut, anders. Schauen Sie sich dieses Video an und ich wette, Sie werden es lieben.

Get Our Mobile App

He Risked Everything To Warn You: No One Is Ready For What's Coming, And The AI Companies Know It!

Transcription