Das beängstigende offene Geheimnis in der KI-Branche ist derzeit, dass es möglich ist, dass wir im Wesentlichen eine neue Spezies erschaffen, die am Ende die Welt regiert, mit einer 70%igen Wahrscheinlichkeit, dass dies schrecklich schiefgeht, wie die menschliche Auslöschung. Das ist eine Möglichkeit. Es gibt viele mehr. Es ist ziemlich erschreckend, was Sie sagen. >> Ja, es macht mich manchmal traurig. Ich habe meiner Frau im Grunde gesagt: „Lass uns keine Kinder mehr bekommen. Es ist zu unsicher. Ich glaube nicht, dass sie jemals in die Arbeitswelt eintreten werden. Jeder sollte Angst haben, dass seine Arbeitsplätze verloren gehen. Und das weiß ich, weil ich 2022 nach Open Air gegangen bin. Was ich dort getan habe, war eine Prognose, wie die nächsten paar Jahre aussehen könnten. Und leider schläft die Welt größtenteils am Steuer und erkennt nicht wirklich, was mit KI passiert. Also habe ich gekündigt. >> Ich habe irgendwo gelesen, dass Sie 2 Millionen Dollar verloren haben, weil Sie keine Anti-Verunglimpfungsklausel unterschrieben haben, was bedeutet, dass Sie das Unternehmen nicht kritisieren konnten. >> Ja. Aus Gründen, die ich gerne erläutere. Aber das Wichtigste, was ich gelernt habe, ist, wenn ich mit Leuten bei Anthropic und OpenAI über Prognosen spreche, sagen sie: „Das wird nicht so lange dauern. Sie müssen sie wieder kürzen. Holen Sie sie zurück auf 2027 oder 2028, weil diese mächtigen CEOs, Ariel oder Sam oder Elon, sich gegenseitig darum wetteifern, die Kontrolle über die mächtigsten KIs zu haben, und buchstäblich Angst haben, dass der andere, wenn er zuerst dort ist, zum Diktator werden könnte. Ich meine, Anthropic ist auf dem besten Weg, bis 2030 die gesamte Wirtschaft zu sein. Aber keiner dieser Leute sollte mit so viel Macht vertraut werden. Das ist also das Wichtigste, was in unserem Leben passiert, wahrscheinlich sogar in der gesamten Geschichte. Und es ist sehr wichtig, dass es gut ausgeht. Ich denke also, dass wir viel tun können, um die Dinge in eine bessere Richtung zu lenken. Es gibt jede Menge Vorteile, die wir von KI haben könnten, wenn wir es richtig machen. Und wenn wir die Probleme lösen, dann könnten die Dinge für alle absolut erstaunlich sein. >> Nun, dieser Bericht hier im Jahr 2021 war bemerkenswert genau. Und dann haben Sie gerade diesen veröffentlicht. >> Ja. Das ist also unser neues Szenario. >> Also, gehen wir diese langsam und einzeln durch. >> Ich wäre unglaublich glücklich, wenn alle meine Vorhersagen falsch wären. >> Das ist für mich super interessant. Mein Team hat mir diesen Bericht gegeben, um mir zu zeigen, wie viele von Ihnen, die diese Show sehen, abonniert haben. Und einige von Ihnen haben uns laut diesem gesagt, dass Sie den Kanal zufällig abbestellt haben. Also, eine Bitte an Sie alle. Bitte überprüfen Sie jetzt, ob Sie auf den Abo-Button geklickt haben, wenn Sie ein regelmäßiger Zuschauer der Show sind und uns mögen. Wir nähern uns einem ziemlich bedeutenden Meilenstein in dieser Show in Bezug auf die Abonnentenzahl. Wenn es also eine einfache, kostenlose Sache gäbe, die Sie tun könnten, um uns, meinem Team, allen hier zu helfen, diese Show kostenlos zu halten, sie Jahr für Jahr und Woche für Woche zu verbessern, dann ist es einfach, auf diesen Abo-Button zu klicken und doppelt zu überprüfen, ob Sie ihn gedrückt haben. Das Einzige, worum ich Sie jemals bitten werde, haben wir ein Abkommen? Wenn Sie es tun, sage ich Ihnen, was ich tun werde. Ich werde sicherstellen, dass wir jede einzelne Woche, jeden einzelnen Monat härter und härter und härter und härter kämpfen, um Ihnen die Gäste und Gespräche zu bringen, die Sie hören möchten. Ich bin diesem Versprechen seit Beginn von D of Coio treu geblieben und werde Sie nicht enttäuschen. Bitte helfen Sie uns. Ich weiß es wirklich zu schätzen. Lassen Sie uns mit der Show weitermachen. >> Daniel Cocatello, im Kern dessen, was Sie tun, ähm, was ist Ihre Mission und warum? Was würden Sie also tun, wenn Sie dächten, dass Superintelligenz in wenigen Jahren kommt? >> Ich schätze, es hängt von den Konsequenzen ab. Nun, reden wir darüber. Also Superintelligenz, KIs, die in allem besser sind als die besten Menschen und gleichzeitig schneller und billiger sind. Auch in der Lage, Roboter zu bedienen, die alles in der physischen Welt tun können, was Menschen tun können, aber besser, schneller und billiger. Wenn das wirklich in ein paar Jahren kommt, dann müssen wir uns vorbereiten und wir müssen darüber nachdenken, wie wir es gut und nicht schlecht machen. Das ist also sozusagen meine Antwort: Ich tue das nach bestem Wissen und Gewissen. >> Sie glauben also, dass es in ein paar Jahren kommt? >> Ja. >> Woher können Sie sich da so sicher sein? >> Ich verbringe viel Zeit damit, so etwas vorherzusagen. Meine ungefähre Schätzung, 50% Chance, liegt derzeit im Jahr 2029. Vielleicht rutscht es auf 28. Es ist möglich, dass es deutlich länger dauert, vielleicht 10 Jahre oder so, aber äh, wissen Sie, aus Gründen, die ich gerne erläutere, scheint es mir, dass es wahrscheinlich bis Ende des Jahrzehnts passieren wird. Was weniger wichtig ist, ist das Gefühl, wie nah wir dran sind. Was wichtiger ist, ist die Geschwindigkeit der Trends. Anthropic hat letztes Jahr um diese Zeit etwa eine Milliarde Dollar pro Jahr verdient und jetzt verdienen sie etwa 60 Milliarden Dollar pro Jahr. Das ist also ein 60-faches Wachstum in einem Jahr, was selbst für sehr kleine Start-ups extrem beeindruckend ist. Aber für ein Unternehmen dieser Größe könnte es das schnellste Wachstum in der Geschichte sein. Ähm, wir erwarten, dass diese Wachstumsrate nachlassen wird, aber selbst wenn sie stark nachlässt, sind sie immer noch auf dem besten Weg, wissen Sie, bis etwa 2030 die gesamte Wirtschaft zu sein. >> Warum sollte sich der Durchschnittsmensch darum kümmern? Das übergeordnete Thema ist, dass sich absolut alles für die ganze Welt ändern wird, einschließlich daher für sie und ihre Familien. Ähm, es könnte sich zum Besseren oder zum Schlechteren ändern, je nach den Details, wie es gemacht wird. Zum Beispiel könnten alle sterben, wissen Sie, äh, das ist das klassische Szenario des Kontrollverlusts oder eine Version davon. Wenn wir diese Superintelligenzen bauen und sie nutzen, um alle Arbeitsplätze zu automatisieren und sie ins Militär bringen und wir sie, wissen Sie, Politiker beraten lassen und so weiter, werden sie schließlich genug reale Macht angesammelt haben, dass sie Menschen nicht mehr brauchen und sie sind intelligenter als wir, sie sind strategischer usw. Zu diesem Zeitpunkt müssen wir hoffen, dass sie tugendhaft sind, dass sie die Ziele haben, die wir ihnen gewünscht haben, die Werte, die wir ihnen gewünscht haben, usw. Und das beängstigende offene Geheimnis in der KI-Branche ist derzeit, dass das im Grunde nur eine Hoffnung ist. Es ist nichts, worauf wir uns auch nur im Geringsten verlassen können. Und tatsächlich gibt es viele Beweise und Argumente dafür, dass wir nicht auf dem richtigen Weg sind, das zu erreichen. Es gibt also viele Gründe, wie aktuelle KIs zum Beispiel oft lügen, äh, gegenüber Menschen oder sie werden, wenn man ihnen sagt, etwas zu tun, und sie tun etwas anderes und tun dann so, als hätten sie es richtig gemacht. Es ist also ein inhärent schwieriges Problem, etwas zu schaffen, das superintelligent ist und auch die Werte und Tugenden hat, die man sich wünscht. Und es scheint nicht, dass wir auf dem richtigen Weg sind, dieses Problem zu lösen. Außerdem scheint es ein Problem zu sein, bei dem man denkt, man hätte es gelöst, wenn man es nicht wirklich gelöst hat, richtig? Das ist ein großer Grund, warum das beängstigend ist. Aus all diesen Gründen ist es möglich, dass wir im Wesentlichen eine neue Spezies erschaffen, die am Ende die Welt regiert, anstatt wir. Und dann gehen wir vielleicht den Weg anderer ausgestorbener Arten in der Vergangenheit, die von Menschen übertroffen wurden. Das ist eine Möglichkeit. Es gibt viele mehr. Selbst wenn Sie sich darüber keine Sorgen machen und denken, dass die KI vollständig kontrolliert wird, stellt sich die Frage, wer die KIs kontrolliert, oder? Wenn es ein paar Unternehmen gibt, die diese Superintelligenzen entwickelt haben und sie nutzen, um alle Arbeitsplätze zu automatisieren. Nun, das ist viel Macht. Wissen Sie, das ist viel Geld. Das ist viel politische Macht. Sie werden die besten Strategen, die besten Berater haben, wissen Sie, sie werden militärisch schneller denken. Äh, die Länder, die diese KIs haben, werden in der Lage sein, alle anderen Länder absolut zu vernichten. Die KIs selbst, es ist eine Art Single Point of Failure, wie ein zentrales Kontrollsystem, bei dem, wissen Sie, der CEO von Enthropic Dario diesen Ausdruck geprägt hat: das Land der Genies im Rechenzentrum, das war sein Ausdruck, um zu beschreiben, was sie zu bauen versuchen. Wissen Sie, ich denke, das ist ein wenig irreführend. Ich denke, es wäre genauer, es als Armee von Genies im Rechenzentrum zu beschreiben, denn es ist nicht so, dass es eine Menge verschiedener KIs gibt, wissen Sie, die in ihren verschiedenen Teilen des Rechenzentrums leben. Sie sind alle Kopien desselben großen Modells und sie gehören dem Unternehmen und folgen daher den Anweisungen des Unternehmens, richtig? Die Leute sollten Fragen stellen, wie: Wer kontrolliert diese Armee oder diese Armeen und was werden sie damit tun? Ich denke, wir könnten sehr leicht in eine Art äh Situation geraten, in der eine winzige Gruppe von Menschen im Wesentlichen Oligarchen oder Diktatoren sind. Und ironischerweise sind beide Risiken, der Kontrollverlust und die Machtkonstitution, Dinge, über die die Leute in der Branche seit Jahrzehnten nachdenken. Selbst bevor es die KI-Branche gab, haben Leute, die über KI nachdachten, über diese Dinge gesprochen und geschrieben. Und dann ist ein Teil der Gründungsgeschichte oder des Gründungsmythos von Deep Mind und Open AAI und Anthropic, dass diese Probleme real sind. Also müssen wir zuerst dorthin gelangen, damit wir es verantwortungsvoll handhaben können. Das sind, glaube ich, die beiden Hauptgründe. Aber dann kann ich weitermachen, es gibt noch viele weitere Gründe. Also, eine Sache ist, wissen Sie, Zweiter Weltkrieg, geopolitischer Konflikt. Ähm, wenn KI tatsächlich unglaublich mächtig wird, wird das das Machtgleichgewicht zwischen den Nationen verändern. Das wird viele Dinge durcheinanderbringen. Das setzt uns einem erhöhten Krisenrisiko im Allgemeinen aus, richtig? Ein weiterer Punkt, was ist mit diesen Jobs? Sie werden Ihren Taxijob verlieren, aber nicht nur der Taxifahrer, praktisch jeder. Es mag ein paar Ausnahmen geben, wie Leute, deren Jobs aus rechtlichen Gründen nur von Menschen ausgeführt werden dürfen, aber größtenteils sollte jeder Angst haben, dass seine Arbeitsplätze verloren gehen, selbst wenn wir es schaffen, alle anderen Probleme zu vermeiden. Richtig? Diese Erzählung hat sich zu entwickeln begonnen, und ich hatte mehrere Interviews in dieser Show, in denen ich Leute interviewt habe, die sehr, sehr verängstigt und ängstlich wegen KI sind, und das sind Leute, die manchmal seit Jahrzehnten in der Branche arbeiten. Ja. >> Ähm, die Gegen-Erzählung, die über den Hügel kommt, ist, dass dies Doomerismus ist, dass diese Leute aus irgendeinem Grund einfach versuchen, Leute zu erschrecken, und dass sie nicht wirklich verstehen, wovon sie reden. Wie reagieren Sie auf diese Gegen-Erzählung? Und Sie müssen das selbst aufkommen sehen, besonders von Leuten, die davon profitieren, wage ich zu sagen. >> Ja, genau. Diese Gegen-Erzählung ist ziemlich neu und sie wird von den Leuten vorangetrieben, die davon profitieren, und sie ist nicht wahr. Diese Bedenken gibt es seit Jahrzehnten, seit es die KI-Branche gibt. Es sind eigentlich ziemlich vernünftige Bedenken. Wenn man die Unternehmen beim Wort nimmt und sich vorstellt, dass sie tatsächlich Superintelligenz entwickeln werden. Nun, das wirft viele Fragen auf, wie wer wird sie kontrollieren? Wird irgendjemand sie kontrollieren? Was ist mit den Jobs? Wissen Sie, das sind einfach offensichtliche Schlussfolgerungen, über die man nachdenken und sich Sorgen machen muss. Wer sind Sie und was ist Ihre Geschichte? >> Mein Name ist Dan Coatello. Ähm, ich leite derzeit das AI Futures Project, ein kleines gemeinnütziges Unternehmen, das sich hauptsächlich auf die Vorhersage der Zukunft der KI konzentriert. Davor habe ich bei OpenAI gearbeitet. >> KI-Prognose. >> Ja. Denken Sie also darüber nach, wie Branchenanalysten für Hedgefonds usw. Prognosen erstellen, wie hier, wissen Sie, wie viele Autos Tesla in 5 Jahren verkaufen wird oder wie der Strompreis in 2 Jahren sein wird, richtig, das ist Prognose. Ich habe das gemacht, aber speziell auf KI konzentriert. Der Grund, warum ich es getan habe, ist, dass es unglaublich wichtig ist, zu sehen, wohin das alles führt. >> Warum sind Sie zu OpenAI gegangen? Was haben Sie dort getan? Was haben Sie dort beobachtet und wie hat es Ihre Perspektive auf die Zukunft der KI, aber auch, ich schätze, auf OpenAI als Unternehmen verändert, und für jeden, der es nicht weiß, OpenAI ist das Unternehmen, das ChatGPT produziert? >> Ja, ich bin 2022 zu OpenAI gegangen. Ein großer Teil dessen, was ich dort getan habe, war mehr Prognose. AI 2027 ist ein Szenario, von dem Sie vielleicht gehört haben. Ich habe kleinere, wissen Sie, Versionen mit geringerem Aufwand intern für den internen Umlauf gemacht, wie hier sind einige Vermutungen, wie die nächsten paar Jahre aussehen könnten. Ich habe auch an Bewertungen für gefährliche Fähigkeiten gearbeitet. Also, wissen Sie, versuchen, die Cyberfähigkeiten, Überzeugungsfähigkeiten oder Situationsbewusstsein der KI zu messen. Und ich war auch kurzzeitig in einem äh Fähigkeiten-Team, das Reinforcement Learning zur Erstellung von Agenten durchführte. KI wird tatsächlich äh viel besser und ich kann mehr darüber sagen, warum, wissen Sie, Skalierungsgesetze, tiefe neuronale Netze, die größer und mit mehr Daten trainiert werden, werden effizienter und kompetenter in diesen Dingen. Ich wurde auch ein wenig desillusioniert von der KI-Branche. Also, OpenAI, Anthropic und Deep Mind hatten alle diese Gründungsnarrative von: Ja, diese Risiken sind real, aber wir haben darüber nachgedacht und wir werden versuchen, sie verantwortungsvoll zu handhaben. Und deshalb ist es wichtig, dass wir weiter tun, was wir tun. Und ich kam zunehmend zu dem Schluss, dass dies Rationalisierungen waren, um das, was sie taten, zu rechtfertigen, anstatt ihr tatsächliches Verhalten tiefgreifend zu leiten, und dass sie, wenn es hart auf hart kommt, ihren Anreizen folgen werden, anstatt das zu tun, was tatsächlich gut ist. >> Sie waren also bei OpenAI, als das passierte, und Sie begannen zu glauben, dass sie kommerziellen Anreizen folgten, anstatt den, ich schätze, sozialen oder gesellschaftlichen Anreizen, auf denen sie sich gegründet hatten. >> Sozusagen. Ich würde es nicht wirklich als kommerzielle Anreize beschreiben. Ich denke, ich würde es als Machtstreben-Anreize beschreiben. Also, >> es stimmt zwar, dass die Unternehmen viel Geld verdienen wollen, aber besonders an der Spitze dieser Unternehmen, wie die Führungskräfte, verstehen sie, dass es um mehr als nur Geld geht. Wissen Sie, es gab diese E-Mails, die in dem Rechtsstreit zwischen Musk und äh OpenAI aufgetaucht sind. Eine Reihe von E-Mails wurde in diesem Rechtsstreit veröffentlicht, die Sie lesen können. Und in einigen von ihnen sprachen die Gründer von OpenAI bereits 2017 darüber, dass der Grund, warum sie OpenAI gegründet haben, darin bestand, dass sie befürchteten, dass Demis bei Google Diktator mit AGI werden würde. Schon damals ging es offensichtlich um mehr als nur um Geld. Diese mächtigen CEOs haben buchstäblich Angst, dass der andere, wenn er zuerst dort ist, zum Diktator werden könnte. Und sie vertrauen einander nicht. Und deshalb rennen sie so schnell sie können, damit sie die Ersten sind, die dort ankommen, sozusagen. >> Haben Sie Sam Altman getroffen? >> Ja. >> Und hat das Ihre Meinung über seine Anreize oder warum er tut, was er tut, geprägt? Denn es gibt viel, wissen Sie, Spekulationen über seine Anreize. Ich meine, sein jüngstes Narrativ besagt, äh, zum Wohle der Menschheit. Ich denke, das ist es. >> Ja. Ich meine, ich denke, das Wichtigste, was ich gelernt habe, ist, nicht auf die Narrative zu achten. Wissen Sie, was sie einer Person sagen, ist einfach anders als das, was sie gleichzeitig einer anderen Person sagen können. Und was sie öffentlich sagen, ist eine dritte Sache. Ich denke, Sie sollten Leute an ihren Taten beurteilen, nicht an ihren Worten. >> Und warum sind Sie nicht mehr bei OpenAI? >> Größtenteils aus dem Grund, den ich erwähnt habe. Ich wurde allmählich desillusioniert, wie sich das Unternehmen verhalten würde. Zum Beispiel gab es 2022, als ich anfing, zumindest bei den Leuten, mit denen ich sprach, meinen Kollegen im Unternehmen, dieses allgemeine Gefühl von: Natürlich würden wir nicht einfach so schnell wie möglich Superintelligenz aufbauen. Sobald wir wirklich nah dran wären, wie wenn wir KIs entwickeln würden, die vielleicht den KI-Forschungsprozess automatisieren könnten, würden wir innehalten und herausfinden, wie wir sie sicher machen können. Das liegt daran, dass wir die Guten sind. Und das ist offensichtlich das Sichere, was man tun sollte, anstatt Vollgas zu geben. Aber wir machen uns Sorgen um andere Leute, die das vielleicht nicht tun. Wissen Sie, unsere Konkurrenten, Google zum Beispiel. Und deshalb müssen wir führend sein, damit wir diesen Raum haben, um die sicheren Dinge zu tun, richtig? Das war sozusagen eine Position, die vielleicht die mittlere Position oder so unter den Kollegen war, mit denen ich sprach, als ich dort anfing, einschließlich Leute wie Sam, wissen Sie, einschließlich der Führung. Und dann, als ich ging, dachte ich: „Oh Mann, das werden sie wirklich nicht tun, oder?“ Sie haben sozusagen, wissen Sie, teilweise, weil dies politischer geworden ist und sie größer geworden sind und stärker unter Beobachtung stehen, haben die Leute angefangen zu fragen: „Warum tun Sie das überhaupt, wenn es so riskant ist?“ Und so haben sie ihr Narrativ darauf umgestellt, dass es eigentlich nicht so riskant ist, wissen Sie. Ähm, und ja, ich meine, es scheint, als würden sie einfach so schnell wie möglich weitermachen und hoffen, dass sie es unterwegs herausfinden. >> Wie endete Ihre Zeit bei OpenAI? >> Äh, ich habe 2024 gekündigt. Ich hatte eine schöne Abschiedsparty. >> Was waren die Gründe, die Sie für die Kündigung bei OpenAI nannten? >> Ich dachte, wir rationalisierten zu viel und dass wir mehr darüber nachdenken müssten, was für die Welt tatsächlich gut wäre. Ähm, ich wollte mehr Freiheit zur Veröffentlichung. Bei OpenAI wurde es, als es ein größeres Unternehmen wurde, mehr zu einem normalen Technologieunternehmen mit Anreizen und, wissen Sie, einer PR-Abteilung und so weiter, und so wurde es schwieriger, äh, die Art von Forschung zu veröffentlichen, die ich betrieb, zum Beispiel diese Szenarien, die ich erwähnte, konnte ich nicht veröffentlichen, richtig, sie sind nur für den internen Gebrauch. Ich dachte, das sei eine Schande, weil die Welt derzeit größtenteils am Steuer schläft und nicht wirklich versteht, was mit KI passiert, und nicht wirklich versteht, was in den nächsten Jahren auf uns zukommt, und die Unternehmen sind nicht wirklich darauf aus, den Leuten viel darüber zu erzählen. Ich meine, sie sagen ein paar vage Dinge auf eine Art hypische Weise, aber, ähm, nun, sie wollten nicht, dass ich das Szenario veröffentliche, zum Beispiel, das darlegt, wie die Dinge tatsächlich aussehen könnten. >> Ich bin einfach, ich bin super neugierig, wie es ist, in einem Unternehmen wie diesem zu sein, wenn sie, wissen Sie, ChatGPT 3 veröffentlichen. Sie waren zu dieser Zeit dort, richtig? >> Mhm. Ähm, das war ein Moment, in dem die ganze Welt aufstand und erkannte, dass diese Technologie mächtig war. >> Ja. >> Ähm, und die Konversation begann wirklich auf gesellschaftlicher Ebene. Ähm, das Unternehmen wächst super schnell. >> Ja. >> Schneller, als ich es mir je hätte vorstellen können. Und was, was hat sich dort drinnen verändert? Was haben Sie über diesen Zeitraum hinweg beobachtet? >> Ich erinnere mich an eine Vollversammlung, bei der Ilia etwas sagte wie >> Ilia, der >> Ilia Sgver, der zu dieser Zeit Leiter der Forschung war. Er sagte etwas wie: „Okay, jetzt fängt die Welt an, aufmerksam zu werden. Jeder von Ihnen wird das nächste Jahr über die beliebteste Person auf jeder Party sein. Lassen Sie sich das nicht zu Kopf steigen. Konzentrieren Sie sich auf die Mission. Wir müssen AGI bauen.“ Das Unternehmen wuchs stark. Es fühlte sich bereits nicht mehr wie eine gemeinnützige Organisation an, als ich anfing, aber es fühlte sich definitiv nicht mehr wie eine gemeinnützige Organisation an, als ich ging. Ähm, viele neue Leute kamen herein. Ironischerweise ging die Menge an Gesprächen über Superintelligenz und die Auswirkungen von Superintelligenz im Laufe der Zeit aufgrund dieses Wachstums eher zurück, richtig? Weil das Unternehmen sich verdoppelte und dann wieder verdoppelte und dann wieder verdoppelte, kamen all diese neuen Leute aus anderen Teilen der Tech-Branche, die sich nicht wirklich mit diesen Dingen beschäftigt hatten und von den hohen Gehältern angezogen wurden. Sie haben 2 Millionen Dollar verloren, weil Sie keine Anti-Verunglimpfungsklausel unterschrieben haben, was bedeutet, dass Sie sprechen konnten, Sie konnten das Unternehmen nicht kritisieren. >> Äh, ja. Nun, also, äh, ich durfte das Geld behalten. >> Oh, Sie durften es behalten. >> Also, was passierte, war, dass ich nach meinem Weggang, nachdem ich mich verabschiedet hatte usw., die Austrittspapiere erhielt, und sie enthielten diese Klausel, die besagte, dass Sie im Grunde zustimmen müssen, das Unternehmen nicht mehr zu kritisieren. Ähm, und auch eine Klausel, die besagt, dass Sie niemandem davon erzählen dürfen. Und das fand ich ziemlich reichhaltig, von einer gemeinnützigen Organisation, die, wissen Sie, zum Wohle der gesamten Menschheit sein soll. Also habe ich es nicht unterschrieben. Und wenn Sie nicht unterschreiben, dürfen Sie Ihre Aktien nicht behalten. Also Ihre Vergütung, wissen Sie, was sie Ihnen zahlen, ist eine Menge Geld und dann auch eine Menge Aktien im Grunde. Aber dann hatten sie diese Dinge im Vertrag, dass sie Ihnen Ihre Aktien wegnehmen können, wenn Sie diese Sache nicht unterschreiben. Ähm, und meine Frau und ich, wissen Sie, waren äh verärgert darüber. Wir haben zwei oder drei Monate darüber gesprochen, einige Anwälte konsultiert, äh, und dann letztendlich beschlossen, einfach die Unterschrift zu verweigern. >> Was bedeuten würde, dass Sie 2 Millionen Dollar verloren hätten. >> Das stimmt. Was etwa 80% unseres Nettovermögens zu dieser Zeit ausmachte. Ähm, glücklicherweise äh ging es nicht so, wie wir erwartet hatten. Es explodierte im Grunde im Internet. Wie, als die Leute hörten, dass wir das getan hatten und dass wir Nein gesagt hatten, wurde es zu diesem riesigen Skandal. Mitarbeiter im Unternehmen fingen an, Fragen in Slack zu stellen und die Führung zu fragen, wie: „Moment, was? Warum nehmt ihr uns unsere Aktien weg? Was ist das?“ Wissen Sie, weil viele Leute das vorher nicht wirklich bemerkt hatten. Es war geflüstert worden, aber es war nicht so, dass die meisten Mitarbeiter es wussten. Ähm, und so zogen sie sich zurück und sagten: „Vergessen Sie es. Vergessen Sie es. Wir werden die Papiere ändern. Sie können die Aktien behalten. Es ist in Ordnung.“ Und Sam Altman kam heraus und sagte, er sei beschämt, dass er nicht gemerkt habe, dass das so sei. >> Ja, er hatte anscheinend keine Ahnung. >> Glauben Sie ihm nicht? >> Nein, ich denke, er wusste es wahrscheinlich. Und wenn er es nicht wusste, dann wahrscheinlich Leute, die ihm nahe standen, wie sein Chefjurist. >> Warum haben Sie sich entschieden, die 2 Millionen Dollar nicht anzunehmen? >> Ich meine, >> die meisten Leute hätten es getan. Ich denke, >> das stimmt. Die meisten Leute hätten es getan und die meisten Leute haben es getan. Und wissen Sie, Geld ist nett, aber es ist nicht das Einzige. Wissen Sie, manchmal ist es gut, prinzipiell Haltung zu zeigen. Ich erwähne immer wieder Superintelligenz. Vielleicht sollte ich mehr über die Abfolge der Ereignisse sagen, die die Unternehmen planen. Also, im Moment konzentrieren sie sich auf die Automatisierung des Codings. Sie nehmen ihre KIs, sie machen sie größer, sie trainieren sie länger und sie konzentrieren sich besonders auf das Training, um sie gut im autonomen Schreiben und Bearbeiten von Code zu machen, weil das den Unternehmen hilft, schneller voranzukommen, richtig? Richtig? Wenn sie den Code automatisieren können, dann können sie ihre eigene Arbeit besser und schneller machen und den Fortschritt beschleunigen. Der nächste Schritt, der bereits begonnen hat, ist, sich auch den Rest des Forschungsprozesses anzusehen. Ideenfindung, Analyse von Experimenten, Kommunikation dieser Ergebnisse, all die anderen Teile des Forschungsprozesses, sie versuchen herauszufinden, wie sie KIs trainieren können, um auch darin gut zu sein, damit sie die gesamte Sache autonom erledigen können. Wenn Sie sagen, die gesamte Sache erledigen, was meinen Sie damit? >> Also, Anthropic und OpenAI im Besonderen versuchen, sich selbst zu automatisieren. Sie versuchen, dafür zu sorgen, dass sie keine menschlichen Mitarbeiter mehr brauchen. Sie haben einfach eine riesige Armee von KIs, die unablässig daran arbeitet, autonome Forschung zu betreiben, um bessere KIs zu entwickeln, die neuen KIs zu trainieren, sie einzusetzen, damit sie noch bessere KIs entwickeln können und so weiter. Und natürlich geschieht das nicht nur intern, sondern auch in der Interaktion mit der Welt, richtig? Wie, rausgehen und mit Leuten reden, Daten sammeln, Trainingsumgebungen einrichten, Geschäftsabschlüsse tätigen und so weiter. Sie versuchen, all das zu automatisieren. Der Grund, warum sie das tun, ist, dass sie eine Position erreichen wollen, in der sie KIs haben, die in allem übermenschlich sind, Superintelligenz, und sie versuchen, dort vor ihren Konkurrenten anzukommen. Unnötig zu sagen, das ist unglaublich gefährlich, würde ich sagen. Wissen Sie, und abgesehen davon, dass es gefährlich ist, ist es ein Machtkampf, richtig? Wenn sie damit tatsächlich Erfolg haben, dann werden sie an der Spitze dieser Armee von übermenschlichen KIs sitzen, die ihnen immensen Einfluss auf alle anderen Akteure in der Wirtschaft verschaffen wird, insofern sie etwas mit dem Präsidenten vereinbaren und es in das Militär integrieren oder was auch immer, dann würde das den USA immense harte Macht über alle anderen Länder verschaffen, richtig? Offensichtlich weiß niemand genau, wann das passiert, aber eine sehr beunruhigende Sache ist mir im letzten Jahr passiert, nämlich dass, als wir 2027 veröffentlichten, die Leute im Allgemeinen der Meinung waren, dass meine Zeitpläne zu kurz seien und dass es wahrscheinlich länger als 2027 dauern würde, bis wir zu den von mir gerade erwähnten Ereignissen kämen, wissen Sie, rekursive Selbstverbesserung, KI automatisiert den gesamten Forschungsprozess, Superintelligenz. Diese Meilensteine äh treten 2027 in AI 2027 ein. >> Das ist dieser Forschungsartikel, den Sie veröffentlicht haben. >> Das stimmt. Es ist eine Szenario-Prognose, die sozusagen Monat für Monat eine mögliche zukünftige Entwicklung darlegt. Damals, als wir anfingen, ihn zu schreiben, war es meine beste Vermutung, was tatsächlich passieren würde. Offensichtlich gibt es viel Unsicherheit, aber, wissen Sie, ich dachte, es ist wertvoll, eine konkrete Vermutung anzustellen, nur um zu sehen, wie es aussehen könnte. Und als wir das schrieben, sagten viele meiner Freunde in der KI-Branche und in gemeinnützigen Organisationen und so weiter, die an KI arbeiten, viele Leute sagten: „Ja, das wird passieren, aber es wird wahrscheinlich ein paar Jahre länger dauern, als Sie denken.“ Und jetzt ist es eher 50/50. Besonders wenn ich mit Leuten bei Anthropica und OpenAI spreche, sagen sie oft: „Ja, nein, 2027, das ist im Grunde das, was passieren wird, genau wie Sie geschrieben haben. Warum haben Sie Ihre Zeitpläne aktualisiert?“ Oh ja. Kontext dafür ist, dass ich nach dem Schreiben von 2027 meine Zeitpläne etwas konservativer gestaltet habe. Also, zum Zeitpunkt der Veröffentlichung lag mein 50%-Punkt im Jahr 2028, nicht im Jahr 2027. Und dann, nachdem wir den Fortschritt veröffentlichten, schien es, als ob er etwas langsamer voranging, und so aktualisierte ich auf 2030, was, wissen Sie, es könnte immer noch früher oder später passieren, 2030. Ähm, aber jetzt, wenn ich mit Leuten in den Unternehmen spreche, sagen sie, es wird nicht so lange dauern. Sie sagen, oh, Sie müssen sie wieder kürzen, holen Sie sie zurück auf 2027 oder 2028, wissen Sie. Ähm, das ist ein bisschen beunruhigend. Ähm, wieder, ich weiß nicht, wie lange es dauern wird, aber das sind die erklärten Pläne der KI-Unternehmen, diese unglaublich gefährliche Sache zu tun, und sie denken, dass sie nur noch ein paar Jahre entfernt sind. Also, Sie haben diesen Bericht hier geschrieben, was 2026 aussieht, und Sie haben das 2021 geschrieben. >> Und es war bemerkenswert genau, hat Ihnen geholfen, sich unter allen in der KI einen Namen zu machen. Und ich, welches war es, das JD Vance, der Vizepräsident, gelesen hat? Ich glaube, es war dieses, oder? Ja, dieses. Ähm, und dann haben Sie dieses AI 2027 veröffentlicht, und das wurde, glaube ich, 2025 veröffentlicht. >> Äh, ja, genau, April. >> Ja. >> Was haben Sie hier prognostiziert? Was sind die wichtigsten Dinge, die Sie hier gesagt haben, für Leute, die es nicht gelesen haben? >> Die übergeordnete Version ist, dass sie das Coding automatisieren, dann den Rest des Forschungsprozesses automatisieren. Dann beschleunigt sich der Fortschritt dramatisch. Sie erreichen die Superintelligenz. Sie arbeiten mit der Regierung zusammen, insbesondere mit dem Präsidenten, der Exekutive, die natürlich diese Technologie kontrollieren will und sie sonst nutzen will, um China zu schlagen und ins Militär zu integrieren und so weiter. Zu diesem Zeitpunkt erledigt sie im Grunde fast die gesamte Arbeit selbst. Ich meine, sie ist superintelligent. Sie kommt also auf all diese großartigen Ideen, wie sie sich in alles integrieren kann und all diese neuen Technologien, die sie erfunden hat und so weiter, und wegen der Wettlaufdynamik und wegen des Gewinnmotivs setzen sie sie überall ein und sie baut Roboterfabriken. Sie bauen mehr Roboter, um mehr Roboterfabriken zu bauen usw. Sie verwandelt die Welt vollständig und dann hat sie irgendwann genug Macht, sie bedeutet, die KIs haben genug Macht, dass sie nicht mehr so tun müssen, als wären sie abgestimmt, richtig, dann hören sie auf, Befehle zu befolgen, das ist das Ende des Wettlaufs von AI27. Wir haben auch einen anderen Zweig geschrieben, das ist das Verlangsamungsende, das dazu gedacht war, die Konzentration von Machtproblemen zu veranschaulichen, die ich zuvor erwähnt habe. Was wäre also, wenn hypothetisch die Abstimmungsprobleme schnell genug gelöst würden? Wie, wenn sich herausstellt, dass es nicht zu schwer ist, mit zwei Monaten Verlangsamung herauszufinden, wie man die KIs robust dazu bringt, das zu tun, was wir wollen, und die Werte zu haben, die wir uns wünschen. Das ist also ein möglicher Zweig. Und in diesem Zweig sieht es ziemlich ähnlich aus. Wissen Sie, sie übernehmen die Jobs, schlagen China usw. Aber anstatt dass die KIs am Ende alle töten, schaffen sie eine Art erstaunliche Utopie. Aber die erstaunliche Utopie ist, was auch immer die Leute, die die KIs kontrollieren, wollten, richtig? Und das wäre eine sehr kleine Gruppe von Leuten, wie der Präsident, einige CEOs usw. >> Es sollte hier unten einen Button geben. Und wenn dort steht „Abonniert“, sind Sie bereits abonniert. Wenn dort „Abonnent“ steht, bedeutet das, dass Sie es noch nicht sind. Und wenn Sie nicht abonniert sind, tun Sie uns bitte einen Gefallen und klicken Sie auf diesen Button. Es hilft der Show mehr, als Sie wissen. Und laut dem Algorithmus sind Sie jemand, der unsere Show sieht, aber noch nicht auf diesen Button geklickt hat. Vielen Dank. >> Gibt es Ihrer Meinung nach eine Möglichkeit, dass wir diese Sache namens AGI nie erreichen? Und wie unterscheiden wir AGI von diesem Begriff Superintelligenz? Was ist der Unterschied? >> Ja, der Unterschied ist, dass AGI ein vagerer und schwächerer Begriff ist. Superintelligenz ist etwas präziser definiert. Sie ist besser als die besten Menschen in allem, schneller und billiger. Ähm, AGI ist eher, es steht für künstliche allgemeine Intelligenz, was bedeutet, dass KIs Dinge im Allgemeinen tun können und nicht nur eine bestimmte Aufgabe. >> Ja. >> Und so haben wir argumentativ bereits AGI erreicht, richtig? Wenn Sie Cloud-Code oder so etwas verwenden, kann er viele Dinge tun. Es ist fast wie ein kleiner Angestellter, den Sie beauftragen können, Dinge zu erledigen. Es ist also ziemlich allgemein. Es ist jedoch nicht maximal allgemein. Es kann nicht alles tun. Während Superintelligenz per Definition alles tun kann, was ein Mensch tun kann, aber besser. >> Und wie überschneidet sich das mit Robotik? Denn offensichtlich erleben wir derzeit einen riesigen Robotik-Boom. Es gibt einige reale Dinge, die Menschen immer noch tun können, weil diese KIs immer noch auf meinem Computer stecken. >> Die Art und Weise, wie die Leute darüber sprechen, ist, dass sie im Grunde sagen, wir haben Superintelligenz für kognitive Aufgaben erreicht. Dann kann man über volle Superintelligenz sprechen, die diese physischen Dinge tun kann. >> Und werden wir das erreichen? Werden wir das mit beidem erreichen? >> Ich denke schon. Ich meine, auch hier können wir uns nicht sicher sein. Ähm, Sie haben gefragt, ob es möglich ist, dass wir es nie erreichen? Ja, es ist möglich, dass wir es nie erreichen. Ich glaube aber nicht, dass es wahrscheinlich ist. Ich denke, es gibt nichts Magisches am menschlichen Gehirn. Es ist, wissen Sie, äh, es ist nur eine Ansammlung von Neuronen. Es ist möglich, dass ein digitales System ähnliche Funktionen ausführt, genauso wie, wissen Sie, ein Flugzeug fliegen kann wie ein Vogel. Nicht unbedingt auf die gleiche Weise wie ein Vogel, es fliegt nicht auf die gleiche Weise wie ein Vogel, aber es fliegt, wissen Sie. >> Ähm, also, also scheint es, ja, wie >> scheint möglich. >> Sie haben all diese, wissen Sie, diese Forschungsberichte geschrieben. Sie arbeiten an einem weiteren, das voraussichtlich am 9. Juli veröffentlicht wird. Sie haben bei OpenAI gearbeitet. Sie haben dann OpenAI verlassen, weil Sie besorgt waren, was dort vor sich ging und über die Zukunft der Branche. Sie wissen mehr als ich. Sind Sie optimistisch oder pessimistisch, was die Zukunft angeht? Steuern wir auf einen schlechten Ort zu, wenn sich die Dinge nicht ändern? Ähm, basierend auf allem, was Sie wissen. >> Ich denke, wir steuern auf einen schlechten Ort zu, wenn sich die Dinge nicht ändern. Ähm, ich bin mir da nicht sicher. Ich würde sagen, etwa 70%, es ist natürlich sehr, sehr schwer vorherzusagen, aber ja, es scheint, dass der aktuelle Standardweg in eine sehr, sehr beängstigende Richtung führt. >> Wie gehen Sie persönlich und emotional damit um? >> Ähm, es ist hart. Ich meine, ich denke, es ist die Art von Sache, die mich regelmäßig runterzieht, aber auch, ich beschäftige mich schon so viele Jahre damit, dass ich mich daran gewöhnt habe, wenn das Sinn macht. Ähm, ja. Ja. Ich drücke es mal so aus. Ich wäre unglaublich glücklich, wenn alle meine Vorhersagen falsch wären und eine KI zum Beispiel gegen die Wand fährt. >> Es zieht Sie regelmäßig runter. >> Ich galt früher als ziemlich fröhlicher und optimistischer Mensch. Aber im Jahr 2020 begannen meine KI-Zeitplan-Vorhersagen aufgrund von GPT3 und den Skalierungsgesetzen-Papieren und dem Bioankers-Bericht, über den ich sprechen kann, wenn Sie interessiert sind, aber im Grunde ereigneten sich im Jahr 2020 einige Ereignisse, die mich davon überzeugten, dass dies tatsächlich bis Ende des Jahrzehnts plausibel kommen würde und die Menschheit offensichtlich nicht darauf vorbereitet ist, wissen Sie, in vielerlei Hinsicht, und das ist offensichtlich sehr beängstigend. >> Und das ist eine extrem beängstigende Welt wegen all der Dinge, die Sie gesagt haben, aber wieder wegen dieser rekursiven Selbstverbesserung, bei der KIs sich selbst trainieren können und wir zu diesem Zeitpunkt beginnen, den Überblick zu verlieren. Ich meine, die KIs trainieren sich bereits selbst, um das klarzustellen. Es geht eher darum, den gesamten Forschungszyklus zu schließen, richtig? Alles zu tun. >> Ja. Wie, im Moment werden viele Trainingsdaten von KIs generiert. Ein Großteil der Verstärkung, wie die Benotung von positiver und negativer Verstärkung, wird selbst von KI durchgeführt. >> Können Sie das in einfachen Worten erklären? >> Ja. Eine wichtige Sache, die jeder verstehen muss, ist, dass moderne KI-Systeme keine Software im herkömmlichen Sinne sind. Ich meine, sie sind technisch gesehen Software, aber es sind keine Codezeilen, wissen Sie, es ist nicht so, dass einige Ingenieure bei Anthropic Codezeilen geschrieben haben, die im Grunde sagen: Wenn der Benutzer diese Art von Sache verlangt, dann tun Sie diese Art von Sache für so viele Schritte oder was auch immer. So etwas gibt es nicht. Stattdessen ist es ein neuronales Netz. Wissen Sie. >> Was ist das? >> Nun, denken Sie darüber nach, wie das Gehirn eine Ansammlung von Neuronen ist, die miteinander verbunden sind. >> Ja. >> Die Signale hin und her feuern. Das Gehirn lernt im Laufe der Zeit die Arten von Feuermustern, die zum Erfolg führen, die einen Dopaminrausch oder verschiedene andere Arten von Rückmeldungen verursachen, werden verstärkt und feuern öfter. Und die Arten von Mustern, die zu Misserfolg führen, wie das Berühren eines heißen Ofens, werden gehemmt, werden, wissen Sie, zerstört, so dass sie seltener feuern. Und als Ergebnis all dessen lernen Sie über Jahre hinweg, in der Welt zu handeln, und Sie lernen alle möglichen Fähigkeiten und Sie lernen Weltmodelle. Sie lernen, wissen Sie, Überzeugungen über die Welt und Sie können sozusagen mental simulieren, wie es läuft und so weiter. Künstliche neuronale Netze sind also so, nur künstlich. Es beginnt als ein riesiges, verworrenes Spaghetti-Chaos von zufällig generierten künstlichen Verbindungen, die Parameter genannt werden. Heutzutage können es in den größten KIs etwa 10 Billionen Parameter sein. Es beginnt also zufällig generiert. Es ist also natürlich völlig nutzlos. Wenn Sie ihm eine Eingabe geben, wird es nur Unsinn als Ausgabe produzieren. Aber dann trainieren sie es. Und sie beginnen mit dem Vortraining, bei dem Sie ihm eine Menge Internettext geben und ihm das erste Textstück zeigen, und Sie geben das als Eingabe ein, und dann gibt es eine unsinnige Ausgabe, und dann verstärken oder hemmen Sie es positiv oder negativ, je nachdem, wie genau diese Ausgabe beim Vorhersagen des nächsten Textstücks war. Ähm, es spielt also im Grunde dieses Spiel des Vorhersagens des nächsten Wortes. >> Ist das nicht so, wie es bei Babys passiert? Ich hatte einen, ich glaube, ein Neurowissenschaftler hat mir gesagt, dass Babys mehr neuronale Verbindungen haben als Erwachsene. Und ja, es sagt, ja, Kleinkinder haben doppelt so viele neuronale Verbindungen wie Erwachsene. Und ich schätze, sie reduzieren sie durch Verstärkung. >> Yep. >> Wir haben mehr Wege, wenn wir jünger sind, und genau wie beim Training einer KI werden wir trainiert, um die nicht nützlichen zu entfernen und die nützlichen zu stärken. >> Ja. Es ist sowohl Beschneidung als auch Stärkung. Okay, es scheint, dass es beim Menschen tatsächlich mehr Beschneidung als Stärkung ist, aber es ist beides. Und bei KI ist es dasselbe. Es ist beides. Der erste Teil des Trainings ist also, wo sie die KI trainieren, Text vorherzusagen, was so etwas wie das Lesen ist. Und etwas Ähnliches passiert auch bei Menschen. Im Grunde nimmt das zufällige Gewirr allmählich Gestalt an und coalesziert allmählich zu nützlicheren Schaltkreisen, die viele Fakten über die Welt gespeichert haben und viele Fähigkeiten zur Informationsverarbeitung und -transformation gespeichert haben und dann Vorhersagen produzieren. Das ist nur der erste Schritt. Nachdem sie das Vortraining gemacht haben, versuchen sie, ihm nützlichere Fähigkeiten beizubringen, als nur Text vorherzusagen. Und so, wissen Sie, am Ende des Prozesses haben sie ihm viele Coding-Probleme gestellt und gesagt: „Hier ist ein Coding-Problem. Los. Hier ist ein Coding-Problem. Hier ist eine Umgebung. Sie haben Zugriff auf diesen virtuellen Computer. Hier ist der Code, mit dem Sie arbeiten. Sie können Code schreiben. Sie können den Code bearbeiten. Sie können ihn ausführen. Sie können ihn lesen. Sie können das Internet nutzen. Los.“ Und es tut das eine Weile. Und dann, basierend darauf, wie erfolgreich es ist, findet eine Verstärkung statt. Und sie haben Tausende, vielleicht Millionen von Beispielen für Coding-Probleme wie diese, auf denen sie es trainieren, und deshalb sind sie jetzt so gut im Coding. >> Was bedeutet Superintelligenz in diesem Zusammenhang? Sind es nur mehr von diesen Verbindungen und wie würden sie mehr Verbindungen bekommen? Können Sie mir das erklären? >> Es gibt verschiedene KI-Modelle, richtig? Also gibt es, wissen Sie, GPT3 und GPT4 und GPD 4.5 und GPD5 und GPD 5.5 und 5.6, richtig? Manchmal sind es einfach das gleiche vorherige Modell, aber mit zusätzlichem Training. Mhm. >> Manchmal sind es ein ganz neues Modell, das von Grund auf neu trainiert wurde, einschließlich des erneuten Beginns des gesamten Vortrainings. In den letzten Jahren haben sie mehrere neue Runden des Neuanfangs von Grund auf durchgeführt. Und typischerweise, wenn sie von Grund auf neu beginnen, machen sie das Ganze größer, das künstliche Gehirn viel größer. >> Okay. >> Im Moment sind sie bei etwa 10 Billionen Parametern. Im Jahr 2020 waren es eher 175 Milliarden. >> Also sind wir in sechs Jahren um zwei Größenordnungen gewachsen. >> Zwei Größenordnungen. Ja, wie zwei 10-fache, also 100-fache, richtig? >> Dieser Prozess wird fortgesetzt. Ähm, sie verbessern auch die Algorithmen selbst. Sie sind also nicht buchstäblich nur die gleiche Art von KI, nur größer. Sie haben auch alle möglichen Ideen entwickelt, wie sie die Struktur der Verbindungen und Neuronen usw. ändern können und die Verstärkungsalgorithmen, die sie verwenden, und die Trainingsdaten, auf denen sie trainieren, ändern können. Alle möglichen Anpassungen, die dieses Ganze effizienter gemacht haben. Wir bauen buchstäblich ein Gehirn. >> Im Grunde. Ja. Indem sie mehr Gehirne bauen, werden sie besser darin, sie größer zu machen und sie effizienter zu machen und so weiter. >> Und es ist buchstäblich nach dem Gehirn modelliert, wie es funktioniert, richtig? >> Es ist sicherlich stark vom Gehirn inspiriert, aber ich sollte die Analogie nicht überstrapazieren. Es gibt auch viele Unterschiede. Zum Beispiel ist die Transformer-Architektur, >> die >> die Architektur, die sie für diese LLMs verwenden, nicht wirklich rekurrent. Die Informationen fließen also eher in eine Richtung, anstatt all diese kleinen Schleifen im Inneren zuzulassen. Auch der Backpropagation-Algorithmus unterscheidet sich von der Art des Lernens, das natürlich im menschlichen Gehirn stattfindet. Es gibt also einige Unterschiede, aber ja, grob gesagt, wir bauen künstliche Gehirne. Es ist so etwas wie für Gehirne, wie ein Flugzeug für einen Vogel ist. >> Mhm. Das ist eine wirklich gute Analogie. Ja. >> Diese Analogie hat mir geholfen, eine Reihe von Fragen zu klären, die Leute oft über KI stellen, wenn sie sagen, kann sie kreativ sein, aber eigentlich hilft mir diese Analogie zu verstehen, dass das vielleicht nicht die Frage ist, sondern ob sie etwas produzieren kann, das man als kreativ bezeichnen würde, denn Kreativität ist, Leute denken, es ist ein Prozess, aber eigentlich wird es nach dem Ergebnis beurteilt, oder? Ich meine, man kann philosophisch darüber nachdenken, ob es wirklich Kreativität ist, die sie haben, aber man kann auch sagen, nun, ich meine, schauen Sie sich einfach all die Dinge an, die sie erreichen, wissen Sie, und es scheint, dass sie in naher Zukunft noch viel mehr erreichen werden. >> Ja, ich frage mich, wie das persönlich auf Sie wirkt, weil ich spüren kann, dass es Sie persönlich stört. >> Ich denke, die Situation ist verrückt. Erstens ist sie sehr aufregend. KI ist wirklich faszinierend und interessant. Ich verfolge das Feld seit mehr als einem Jahrzehnt. Ich bin seit einigen Jahren Teil davon und es ist wirklich cool, wirklich interessant und es macht wirklich Spaß, darüber nachzudenken, was in diesen künstlichen Gehirnen vor sich geht und warum sie so sind, wie sie sind. Und es ist wirklich cool, all die Anwendungen dieser Technologie in der Welt zu sehen. Aber es scheint wirklich, dass wir auf einem ziemlich beängstigenden Weg sind. Und je mehr man darüber nachdenkt, desto mehr Sorgen macht man sich. Und wissen Sie, in Geschichten endet es immer gut, aber das ist das echte Leben. Und ich denke, wir müssen die Realität ins Auge blicken und sie uns eingestehen und erkennen, dass es vielleicht nicht wirklich gut ausgeht, wissen Sie. >> Gab es irgendwelche jüngsten, wage ich zu sagen, ich wollte sagen Eureka-Momente, aber Paradigmenwechsel, bei denen sich sogar Ihr eigenes mentales Modell dessen, was hier vor sich geht und wie das aussehen wird, zum Besseren oder Schlechteren verändert hat. >> Zum Besseren oder Schlechteren und wahrscheinlich zum Schlechteren, die Dinge sind im Grunde auf Kurs für AI 2027. Es gibt ein paar Dinge, die anders waren. Nicht genau wie Paradigmenwechsel-Unterschiede, aber es gab einige Unterschiede zu dem, was wir zum Zeitpunkt der Niederschrift erwartet hatten. Die Regierung hat sich tatsächlich schneller als erwartet eingeschaltet und war aggressiver als erwartet. Also die Exportkontrollen auf Mythos als größtes Beispiel und auch die Drohung gegen Anthropic, dass sie durch den Defense Production Act zerstört werden. >> Eine weitere Sache, die uns überrascht hat, ist, dass Anthropic insbesondere von Platz zwei auf Platz eins im Rennen vorgerückt ist. Warum glauben Sie, ist das passiert? Denn es schien, dass ChatGPT bei OpenAI vorne und klar war, aber plötzlich hat Anthropic sie überrundet. >> Ja, ich meine, ich schätze, sie haben wahrscheinlich eine höhere Talentdichte und eine bessere Strategie, aber nicht viel, aber genug, um den Unterschied zu machen. >> Warum glauben Sie, dass sie mehr Talent haben? >> Nun, sie haben nicht mehr Rechenleistung. Was sind die Inputs, richtig? Sie sind jetzt führend. Sie waren früher zurück. Was sind die möglichen Erklärungen dafür? Nun, es könnte sein, dass sie mehr Ressourcen hatten, wie mehr Rechenleistung, mehr Geld. Aber das stimmt nicht. Sie haben weniger Ressourcen.

und weniger Geld, richtig? Dann ist Talent wohl die nächstbeste Alternative. Man könnte vielleicht Strategie sagen, >> eine Kombination aus diesen Dingen. Ja. >> Etwas, das nicht nur von der Menge der verfügbaren Ressourcen abhing. >> Ähnlich wie bei Jon Jones, wo marginale Verbesserungen deiner kognitiven Leistung eine massive Auswirkung haben können. Manchmal podcaste ich 10 Stunden am Tag. In den letzten Wochen war ich mit den Dreharbeiten für eine Fernsehsendung beschäftigt und hatte dann nur ein oder zwei Tage frei, um all meine Arbeit zu erledigen, was eine hohe kognitive Belastung bedeutet. Und deshalb greife ich zu Ketonen, weil ich mich artikulierter fühle, klarer denken kann und besser trainieren kann, wenn ich mit Ketonen versorgt bin. Und der Grund, warum ich Miteigentümer dieses Unternehmens geworden bin und warum sie jetzt ein Sponsor dieses Podcasts sind, ist, weil ich mich erinnere, wie eines meiner Teammitglieder namens Cristiana es einmal ausprobiert hat und an meinen Schreibtisch kam und sagte: "Das ist das beste Produkt, das je hergestellt wurde." Und ich glaube, das liegt zum Teil daran, dass sie sich wirklich um diese kognitiven Vorteile kümmert, so wie ich, wie Jon Jones und wie ich glaube, die meisten meiner Zuhörer wahrscheinlich auch. Wenn Sie diese also noch nicht ausprobiert haben, müssen Sie nur auf ketone.com/stephven gehen und erhalten außerdem 30 % Rabatt auf Ihre erste Abonnementbestellung. Sie erhalten exklusive Ketone IQ Merchandise-Artikel und natürlich kognitive Vorteile, die Ihr Leben verändern könnten. Ein großer Grund, warum die meisten Leute keine Inhalte gepostet oder ihre persönliche Marke aufgebaut haben, ist, dass es schwierig und zeitaufwendig ist und wir alle sehr, sehr beschäftigt sind. Und wenn Sie noch nie etwas gepostet haben, gibt es so viele Faktoren in Ihrer Psychologie, die Sie davon abhalten, posten zu wollen, was die Leute von Ihnen denken werden. Mache ich das richtig? Ist das, was ich sage, absolut dumm? All dies führt zu Lähmung, was bedeutet, dass Sie nicht posten und Ihr Feed leer bleibt. Ich bin Investor in einem Unternehmen namens Stanto, über das Sie wahrscheinlich schon von mir sprechen gehört haben. Und was sie aufgebaut haben, ist dieses neue Tool namens Stanley, das KI nutzt, sich Ihren Feed ansieht, Ihren Tonfall analysiert, Ihre Historie betrachtet, Ihre am besten performenden Beiträge analysiert und Ihnen sagt, was Sie posten sollten, und diese Beiträge für Sie erstellt. Sie können es auch einfach zur Inspiration nutzen. Und manchmal brauchen wir, wenn wir über einen Beitrag für unsere Social-Media-Kanäle nachdenken, Inspiration. Der Aufbau einer Zielgruppe hat mein Leben grundlegend verändert, und ich glaube, er könnte auch Ihr Leben verändern. Deshalb lade ich Sie ein, diesem neuen Tool eine Chance zu geben und mir mitzuteilen, was Sie davon halten. Alles, was Sie tun müssen, ist coach.stand stand.store zu suchen, um loszulegen. >> Äh, ein Freund von mir, der einige dieser Leute kennt, hat mich einmal in London zu sich gebeten. Er hat das schon ein paar Mal zu mir gesagt, aber ich erinnere mich an ein bestimmtes Gespräch, in dem er sagt, dass einige dieser KI-CEOs die Wahrscheinlichkeit des Aussterbens auf ich glaube, er sagte 7 % schätzen. Ich weiß nicht, warum ich diese Zahl im Kopf habe, aber ich erinnere mich, dass sie unter 10 % lag. Und der Punkt, den er mir machen wollte, war, dass selbst wenn es 1 % wäre, als ob es jetzt 100 Knöpfe auf diesem Tisch gäbe >> Ja. und einer davon würde die Welt beenden. Würde ich es wagen, einen davon zu drücken? Wissen Sie, ähm, >> nein, >> Ich würde keinen davon drücken. Aber er argumentierte, dass diese KI-CEOs sehr klug sind und Superintelligenz verstehen und dass sie tatsächlich denken, dass es, wenn es jetzt 100 Knöpfe auf diesem Tisch gäbe, vielleicht 10 davon die Welt beenden könnten. Ich habe Sie sagen hören, ich glaube, es war in der Daily Show, das Interview, das Sie gegeben haben, Sie sagten, dass Sie eine 70%ige Chance auf das Aussterben der Menschheit durch KI sehen. >> Ich würde nicht genau vom Aussterben der Menschheit sprechen. Ich würde sagen, etwa 70 % Chance, dass dies schrecklich schiefgeht, wie das Aussterben der Menschheit. Aber das ist nur eine von mehreren Möglichkeiten. Aber ja, im Grunde zum Beispiel, möglicherweise die KI übernimmt die Kontrolle und tötet dann nicht wirklich alle. Wissen Sie, vielleicht tun sie etwas anderes. Nur weil sie die Kontrolle übernommen haben, heißt das nicht, dass sie uns definitiv töten werden, richtig? Sie könnten es tun, aber sie könnten auch etwas anderes tun. Das ist also, warum ich normalerweise nicht sage, wie 70 % Chance auf tatsächliches Aussterben der Menschheit, sondern 70 % Chance auf etwas wie die Übernahme der KI, eine Art sehr große Katastrophe, die zum Menschen führen könnte. >> Ich glaube, ich habe da zwei Punkte, nämlich dass Sie diese CEOs umgeben haben. Ich meine, Sie haben vor Ihrem Weggang für Sam Altman bei OpenAI gearbeitet. Glauben Sie, dass sie eine Chance auf das Aussterben der Menschheit sehen? >> Ja. Aber ich denke, es ist wichtig zu verstehen, dass die Leute glauben, was sie glauben müssen, um zu denken, dass sie gute Menschen sind und dass sie weiterhin das tun müssen, was sie tun. Das ist Rationalisierung. Und deshalb denke ich, dass die Tech-CEOs sich selbst aufrichtig davon überzeugt haben, dass die Dinge wahrscheinlich gut laufen werden und dass der Weg, die Dinge gut zu machen, darin besteht, dass sie weiterhin das tun, was sie tun. Und sie müssen sicherstellen, dass Sam nicht zulässt, dass Dario oder Elon zuerst dort ankommen. Wissen Sie, ich weiß, Dario denkt, Sam kann nicht zuerst dort ankommen. Elon denkt, dass sie sich alle wahrscheinlich davon überzeugt haben, dass es vielleicht schrecklich schiefgeht, aber es wahrscheinlich gut laufen wird und wahrscheinlich ich derjenige sein sollte, der die Kontrolle hat. Mir scheint, dass Anthropic die Einzigen sind, die über die potenzielle Chance auf Aussterben oder ein katastrophales Ereignis oder den realen Nachteil sprechen. Sie scheinen die Einzigen zu sein, die immer noch darüber publizieren, und jetzt werden sie in vielerlei Hinsicht zum Feind der >> der Tech-Industrie in San Francisco. Ich sehe mir viele Interviews an und alle greifen Dario an, weil er sagt, hör zu, die Dinge könnten schlecht laufen. Sie nennen ihn einen Weltuntergangspropheten und stellen seine Anreize in Frage. Selbst mit Mythos, einem Claude-Modell, mit dem sie die Welt zu warnen begannen, wird er wieder sofort angegriffen, weil er das sagt. >> Ja. >> Meine Frage ist, sehen Sie ihn in dieser Hinsicht als etwas anders als Sam? >> Ja. Ich meine, es scheint, dass Anthropic und Stereo bereitwilliger waren, Dinge zu sagen und zu tun, die sich auf ihren Gewinn auswirken, zumindest im letzten Jahr oder so. Das ist ein Beispiel dafür. Ich glaube nicht, dass ihnen das wirklich Vorteile bei der Regierung oder bei ihren Investoren einbringt, wenn sie so etwas sagen, und ein besseres Beispiel ist der ganze Kampf zwischen dem Kriegsministerium und Anthropic, ein Beispiel dafür, dass sie etwas getan haben, das sie viel Geld gekostet hat und noch wichtiger, viel Macht gekostet hat, für etwas wie sie hätten einfach einen Vertrag unterzeichnen können, der besagt, dass ich wirklich nicht in einer Situation sein möchte, in der wir uns fragen, welcher CEO der am wenigsten schlechte CEO ist, den wir unterstützen sollen, wissen Sie, wie niemand dieser Leute vertraut werden sollte, mit so viel Macht im Grunde. >> Niemand sollte. >> Niemand sollte >> unabhängig. >> Unabhängig. Ja. >> Mhm. Also zu diesem Punkt mit den Knöpfen, Sie glauben also, dass sie eine glaubwürdige Chance auf das Aussterben sehen. >> Ja. Aber sie haben sich davon überzeugt, dass es wahrscheinlich gut laufen wird und dass es noch schlimmer sein wird, wenn ich es nicht tue, wissen Sie? Das ist es, was sie auch in den Unternehmen sagen werden. Zwei Leute werden sagen: "Okay, wenn wir aufhören, was ist mit den anderen Jungs?" Sie werden nicht aufhören, wissen Sie? >> Ja. Das ist schon immer die Frage, die ich hatte: Wie kann das nicht schiefgehen, wenn menschliche Anreize den Tag zu beherrschen scheinen, wenn man die Geschichte betrachtet und alle menschlichen Anreize sagen, nun, wenn Sie verdammt sind, wenn Sie es tun, d.h. Sie sind verdammt, wenn Sie diese immer größeren und größeren KI-Gehirne weiterentwickeln, aber Sie sind auch verdammt, wenn Sie es nicht tun, aus geografischer Sicht, weil die Vereinigten Staaten diesem Land unterliegen werden oder dieses Unternehmen diesem Unternehmen unterliegen wird. Wenn man sich also nur die menschlichen Anreize ansieht und fragt, wie endet das, wenn man nur die Anreize und Gegenanreize betrachtet? Es geht weiter. Das scheint der Fall zu sein. Ich meine, es gibt einen Vorbehalt, der ein hoffnungsvoller Vorbehalt ist, nämlich dass erstens, wenn die Welt all dies erkennt, es eine ernstere Unterhaltung über Regulierung und internationale Verträge und dergleichen geben kann, und das kann die Anreize ändern, richtig? Die Regierung könnte eingreifen und sagen: "Hier sind einige Regeln, die Sie alle befolgen müssen", und weil es Regeln sind, die Sie alle befolgen müssen, sind Sie nicht mehr motiviert, sie zu brechen, weil Sie bestraft werden, wenn Sie sie brechen, und alle anderen befolgen sie auch, und so ist es in Ordnung. Es gibt also diesen Hoffnungsschimmer, dass wir die Anreize ändern können, wenn die Regierung und insbesondere die US-Regierung, aber später auch andere Länder handeln, um die Anreize zu ändern, aber das wird nicht geschehen, bis die Leute das alles erkennen. Das zweite ist, dass selbst individuell irgendwann, wissen Sie, Dario oder Sam oder Elon erkennen könnten, dass es nicht einmal in ihrem eigenen Interesse ist, weiter unilateral zu rennen. Und das Problem dabei ist, dass es nur dann passiert, wenn es extrem offensichtlich und extrem düster wird. So wie in KI 2027 in diesem Szenario gibt es diesen Wendepunkt, den ich erwähnt habe, und in einem Fall sind die KIs nicht aufeinander abgestimmt, im anderen Fall sind die KIs aufeinander abgestimmt. An diesem Wendepunkt haben wir einen Zweig, der das Ende der Nichtabstimmung darstellt, und einen Zweig, der darstellt, dass sie sich ein wenig verlangsamen und die Abstimmungsprobleme lösen. >> Der Auslöser für diesen Wendepunkt ist, dass sie Beweise dafür sehen, dass ihre KI nicht aufeinander abgestimmt ist und gegen sie intrigiert, richtig? Wenn Sie also tatsächlich diese Beweise sehen, >> dann ist es so: "Oh Gott, äh, vielleicht sollten wir sie nicht für alles verantwortlich machen und sie loslegen lassen, wissen Sie, weil diese Beweise direkt vor unserer Nase liegen, dass sie nicht vertrauenswürdig ist, wissen Sie." Aber wenn sie diese sehr klaren Beweise nicht sehen, dann werden sie sich wahrscheinlich davon überzeugen, dass sie weitermachen müssen, wissen Sie, aber vielleicht werden sie sehr klare Beweise wie diese sehen. In diesem Fall, selbst wenn wir keine Regulierung haben, werden sie vielleicht einfach freiwillig aufhören. Ähm, das ist also der zweite Hoffnungsschimmer. Insgesamt glaube ich nicht, dass wir definitiv verdammt sind. Wissen Sie, wie ich sagte 70 %, aber ich könnte mir auch vorstellen, dass es ziemlich gut ausgeht. >> H was ist mit Jobs? >> Ja. Ich denke, ich bin gespannt darauf, irgendwann zum Neuen zu kommen, was die optimistischere positive Vision ist. >> Äh, und das wird viel dazu zu sagen haben, denn in der Vorhersage, wissen Sie, in KI 2027, bis alle ihre Jobs verlieren, passieren schlimmere Dinge oder es ist irgendwie zu spät. Ähm, aber ja, wenn ich meine, denken Sie einfach darüber nach. Wenn die Unternehmen es schaffen, Superintelligenz aufzubauen, dann werden sie per Definition fast alle oder alle Jobs übernehmen können, richtig? Weil es besser, schneller, billiger ist als die besten Menschen in allem. >> Und das, noch einmal, die Zeitachse ist bis Ende 2030, schätzen Sie, dass Superintelligenz eintreffen könnte? Ich versuche darüber nachzudenken, wann wir Arbeitsplatzverluste in der Wirtschaft zu sehen beginnen könnten. >> Wir sehen jetzt schon ein wenig davon, aber nicht sehr viel. >> Warum? >> Ähm, weil die KIs noch nicht gut genug sind. Sie sind beeindruckend, aber sie sind nicht wie sie sind kein einfacher Ersatz für menschliche Arbeitskräfte in fast keinem Bereich. >> Und glauben Sie, dass das plötzlich geschehen wird? >> Ich glaube, es wird plötzlich geschehen wegen der Dynamik der Intelligenzexplosion oder der rekursiven Selbstverbesserungsdynamik. Man kann sich also eine andere Welt vorstellen, in der es allmählich geschieht. >> Mhm. Und das ist vielleicht in vielerlei Science-Fiction so, dass die KIs allmählich besser in vielen Dingen werden und sie automatisieren dann allmählich diese eine Branche wie Pharma, dann automatisieren sie das Steuern von Drohnen, dann automatisieren sie das Fahren von Autos oder so etwas. Aber was in der realen Welt anders ist, ist, dass die Unternehmen sich auf diese Strategie geeinigt haben, sich selbst zu automatisieren, wissen Sie, den KI-Forschungsprozess zu automatisieren. Und wenn sie diese Strategie fortsetzen dürfen, werden wir nicht die Robo-Taxis und die Klempnerroboter und die Anwalts-KIs sehen. Wir werden nicht diese Art von breiter Diffusion von KI in die Wirtschaft zuerst erleben, weil das nicht das ist, worauf sie sich zuerst konzentrieren. Sie konzentrieren sich darauf, sich selbst zu automatisieren, ihre eigene Forschung zu automatisieren, damit sie alles, was sie tun, schneller tun können. Und sie wollen, dass das in Gang kommt und auf sehr hohe Intelligenzniveaus, sehr hohe allgemeine Intelligenzniveaus gelangt. Ähm, und dann mehr in die Wirtschaft einsetzen, richtig? Bis es dann tatsächlich für all diese verschiedenen Jobs kommt, wird es bereits Monate, vielleicht Jahre lang vollautonome KI-Forschung gegeben haben, wissen Sie, und das bedeutet, dass die KIs dann weit übermenschlich in der KI-Forschung und wahrscheinlich auch weit übermenschlich in vielen anderen Dingen sein werden, einfach als Nebeneffekt, wissen Sie, wenn Sie sich fragen, wie das aussieht, nun, wir haben darüber geschrieben, wie es aussieht, es ist irgendwie wie diese Welle, die durch die Wirtschaft fegt, nachdem sie die Intelligenzexplosion intern durchgeführt haben. >> Was ich dort höre, ist, dass weil die KI sich selbst verbessern und trainieren kann, sie gleichzeitig besser in allem wird und dann auf einmal freigesetzt wird. Ist das richtig? >> Aber es ist nicht einmal genau das, denn selbst wenn sie hauptsächlich nur besser in den Dingen wird, die sie tut, wie Forschung, wird das auch einige Spillover-Effekte auf andere Fähigkeiten haben, und wenn sie sich dann auf diese anderen Fähigkeiten konzentriert, wird sie sie sehr schnell erledigen können. >> Welche Jobs bleiben in einem solchen Szenario Ihrer Meinung nach übrig? Ich denke, das ist eher eine politische Frage als eine technische Frage. >> Weil >> weil auf technischer Ebene alle Jobs von den KIs erledigt werden können, wenn sie dieses Niveau erreicht haben. Und deshalb ist es eine Frage, welche Jobs sie tun dürfen. >> Und welche Art von Jobs wären nicht erlaubt, denken Sie? >> Das hängt davon ab, wer die Kontrolle hat. Es gäbe also eine Art politische Diskussion darüber, was wir zulassen und was nicht. >> Ich meine, in diesem Szenario kontrollieren die Menschen sie immer noch. Die KIs. >> Es hängt davon ab, was Sie unter Kontrolle verstehen, richtig? Es gibt also die Frage, ob die KIs tatsächlich die Ziele und Werte haben, die Sie sich wünschen, und ob sie das robust tun und sich auch in Zukunft wie beabsichtigt verhalten werden, und dann gibt es die Frage, ob sie Ihre Befehle befolgen. >> Ob sie die Befehle befolgen, ist wirklich das, was ich meine. >> Ja. Also, selbst in KI 27 in dem Szenario, in dem die KI die Kontrolle übernimmt und alle tötet, gibt es eine Periode von mehreren Jahren, in der sie immer noch Befehle befolgen und sie nehmen einige Jobs, aber nicht andere Jobs, und sie helfen, bessere Waffen zu entwickeln, die die US-Regierung nutzen kann, um ihren Rüstungswettlauf mit China usw. zu führen. Und deshalb können sie so schnell so viel Macht erlangen, weil die Regierungen und die Unternehmen ihnen vertrauen und sie bewusst in all diese Positionen einsetzen, weil sie denken, dass die Dinge in Ordnung sind. Aber weil es sich um neuronale Netze handelt, kann man nicht einfach hineinschauen und sehen, was sie wirklich denken. Man kann es nicht wirklich sagen. Ich denke, das ist ein wirklich wichtiger Punkt, denn im Gegensatz zu Software können wir den Code einsehen und theoretisch sehen, was vor sich geht. Bei KI sagen Sie, dass wir nicht wissen, warum sie die Entscheidungen trifft, die sie trifft, weil wir nicht hineinkommen können. >> Eine Note des Optimismus ist, dass es nicht unbedingt so sein muss. Es gibt ein Teilgebiet des maschinellen Lernens namens mechanistische Interpretierbarkeit und ein breiteres Teilgebiet namens Interpretierbarkeit im Allgemeinen, das versucht, dieses Problem zu lösen und diese trainierten künstlichen neuronalen Netze zu zerlegen und zu verstehen, wie die Informationen fließen und wie die Entscheidungen getroffen werden, sozusagen. Das Problem ist nur, dass es ein inhärent schwieriges Problem ist. Wenn Sie 10 Billionen Verbindungen zu betrachten haben, können Sie sich eine bestimmte Gruppe davon ansehen und sagen: "Okay, so funktioniert diese bestimmte Verbindung", aber wie bekommen Sie ein Gefühl für das Ganze, wissen Sie, wie bekommen Sie ein Gefühl für >> was auf hoher Ebene passiert? Und die Antwort ist, nun, es ist vielleicht unmöglich, aber Leute arbeiten daran und sie machen Fortschritte, und wenn sie genug Fortschritte machen können, dann sind wir in einer sehr anderen und viel helleren Welt. Ich denke, es wäre viel unwahrscheinlicher, dass wir in diese Szenarien des Kontrollverlusts geraten, wenn wir tatsächlich sehen könnten, was unsere KIs denken und warum und wie zu jeder Zeit, richtig? >> Ja. >> Dann hätten wir immer noch die anderen Probleme, um die wir uns Sorgen machen müssten, aber zumindest könnten wir dieses eine meistens lösen. >> Es ist ziemlich verrückt zu denken, dass wir eine Technologie bauen, ein Gehirn, das wir nicht verstehen. >> Ja, es ist ziemlich verrückt. Ich meine, es ist eines dieser Dinge, wo >> in einem Film, wie einem Science-Fiction-Film, eine Gruppe von Wissenschaftlern um dieses große Gehirn steht und sie alle nur >> sie machen es mehr, sie füttern es. >> Ja. Ja, >> aber sie wissen nicht wirklich, was >> Ja, ich meine, es ist irgendwie einfach eine gefährliche Sache zu tun. >> Ähm, aber wir tun es trotzdem wegen dieser Geschichte, wie sich das Feld in den letzten 10 Jahren entwickelt hat, wo die Leute sagten: "Oh wow. Ja, das ist offensichtlich gefährlich. Oh nein. Was, wenn es jemand anderes tut und es schlecht macht, deshalb sollten wir es tun und es gut machen." Und jetzt sind sie in einem Rennen, wo sie gegeneinander rennen. Und sie stehen auch unter allerlei politischem Druck, so zu tun, als wäre es nicht so schlimm, wie es scheint, weil sie ihre Investoren nicht verärgern wollen. Sie wollen das Weiße Haus nicht verärgern. >> Eine der Schlüssel Fragen, die wir von unserem Publikum hatten, war, welche und ich habe Sie das teilweise gefragt, aber welche Jobs sind wirklich wahrscheinlich, KI zu überleben und auf welche Fähigkeiten sollten sich Menschen/Studenten in den nächsten 10 Jahren konzentrieren? Das ist irgendwie so, als ob man sich vorstellt, jemand lebt in Mexiko im Jahr 1500 und hört dann, dass die Konquistadoren kommen. Man könnte sich fragen: "Okay, in welche Art von Job sollte ich wechseln, um diesen Übergang zu überleben?" Aber man hat dann noch viel mehr zu befürchten. Aber ja, ich würde sagen, dass, wenn wir es schaffen, das Problem des Kontrollverlusts zu vermeiden und die Menschen immer noch die Kontrolle über die KI haben und die Menschen sagen können, was die Ziele und Werte der KI sein sollen, auch wenn sie viel intelligenter werden als Menschen und die gesamte Wirtschaft steuern, dann wird es wahrscheinlich Regulierung geben, die einige Bereiche schützt, und man kann versuchen zu erraten, welche Bereiche das sein könnten, vielleicht Dinge, die eher wie Richter sind, potenziell. Was ist mit Podcastern? >> Seien Sie ehrlich. >> Wahrscheinlich keine Podcaster, glaube ich. Ähm, Dinge wie, wissen Sie, eine Nanny zu sein, vielleicht, richtig? Ich denke, selbst wenn es eine Roboter-Nanny gibt, die wirklich, wirklich gut ist, glaube ich, dass viele Leute lieber eine echte menschliche Nanny hätten, weil sie von der Idee einer wirklich guten Roboter-Nanny vielleicht abgeschreckt wären. Man kann also so argumentieren. Es gibt auch Dinge, die rechtlich geschützt sein könnten, wie vielleicht Richter, zum Beispiel, die rechtlich verpflichtet sein werden, Menschen und keine Roboter zu sein. Manche Leute sagen aber, dass es so viele neue Jobs geben wird, die wir uns jetzt noch nicht vorstellen können, wie es in der industriellen Revolution oder dem Internetboom oder was auch immer der Fall war. >> Das Problem dabei ist, dass frühere technologische Fortschritte enger gefasst waren. Sie haben einige Dinge automatisiert, aber nicht alles. Aber wir sprechen hier von einer hypothetischen zukünftigen Situation, in der alles automatisiert wird. Es gibt also keinen neuen Job, den Sie tun könnten, den die KI nicht auch tun könnte, außer wenn er durch Regulierung geschützt ist oder so etwas. Das ist auch eine Sache. Aber zum Beispiel gibt es jetzt diesen Zyklus, in dem die KI gelernt hat, eine bestimmte Sache zu tun, wie z. B. Kopien zu schreiben oder Code zu entwerfen oder etwas zu debuggen, und dann wechseln die Menschen, die diese Sache früher getan haben, zu KI-Managern oder zu anderen Dingen, die die KIs nicht tun können. Und deshalb gab es historisch diese Dynamik, dass neue Jobs eröffnet wurden und die Leute sich dorthin drängten. Aber wenn es soweit kommt, dass die KI alles tun kann, was Menschen tun können, und das besser, schneller und billiger, dann kann die KI auch diesen neuen Job, zu dem Sie vielleicht gewechselt sind, übernehmen. Und sie werden bereits besser darin sein als Sie. >> Weil wir noch keine weit verbreitete Arbeitslosigkeit in der Wirtschaft gesehen haben, sind die Leute vielleicht ein wenig nachlässig? Denn was ich auf meiner Timeline sehe, ist, dass viele Leute sagen: "Ich habe es Ihnen gesagt, ich habe Ihnen gesagt, alles wird gut." Und wenn man sich die Arbeitslosenquote in den USA ansieht, ist sie derzeit flach bis leicht rückläufig. Wenn man sich das Vereinigte Königreich ansieht, ist sie gestiegen. Der Trend ist im Vergleich zum letzten Jahr steigend. Wir liegen bei etwa 5 % Arbeitslosigkeit. Die USA liegen bei 4,2 % Arbeitslosigkeit. >> Ja. Im Grunde hat niemand gesagt, dass es bis jetzt zu Massenarbeitslosigkeit kommen würde. Oder zumindest haben wir das nicht gesagt, und wir waren historisch gesehen eine der optimistischeren Personen für den KI-Fortschritt in KI 2027 wegen der Dynamik, die wir gerade beschrieben haben. Die Massenarbeitslosigkeit tritt erst 2028 oder 2029 ein, nachdem sie bereits Superintelligenz haben, denn noch einmal, die Unternehmen versuchen nicht, Massenarbeitslosigkeit als ersten Schritt zu verursachen. Das ist wie Schritt drei, nachdem Sie wissen, es ist wie Schritt eins, sich selbst zu automatisieren. Schritt zwei, rekursive Selbstverbesserung, um Superintelligenz zu erreichen. Schritt drei, Expansion in die Wirtschaft und Automatisierung von allem. Und das ist wirklich unglücklich aus Sicht der Menschheit, denn man hätte hoffen können, dass, wenn es diese breite Automatisierungswelle durch die Wirtschaft gäbe, die Leute aufwachen und aufpassen und darüber nachdenken würden, wohin das alles führt, und gute Regulierungen von der Regierung verlangen würden. Aber das ist nicht die Strategie, die die Unternehmen verfolgen. Sie werden zuerst die Superintelligenz bekommen und dann die breite Automatisierung durchführen, was bedeutet, dass sie bis dahin alles tun werden, äh, nun, es wird bereits sehr schnell voranschreiten und die KI wird bereits sehr mächtig sein. >> In Ihrem Bericht von 2027, den Sie 2025 geschrieben haben, aber er heißt KI 2027, sagten Sie, dass wir Mitte 2025 den autonomen Angestellten haben würden, was so etwas wie KI-Agenten sind, die Anweisungen über Slack oder Teams entgegennehmen. >> Das ist passiert. Ich habe tatsächlich einen KI-Agenten in meinem WhatsApp, den ich natürlich benutze. Ich habe Clawbot, der offensichtlich weltweit explodiert ist, und jetzt hat Claude über seine neue Slack-Integration gesprochen, aber viele Leute benutzen jetzt Agenten, und das ist passiert, ich würde sagen, für uns haben wir es wirklich am Anfang von 2026 verstanden. Sie sagten auch, dass bis 2026 Unternehmen ganze Unternehmensabteilungen durch KI-Agenten-Abonnements ersetzen werden. 2027 automatisiert die endgültige Job-KI den Job der menschlichen KI-Forscher selbst und beginnt mit der maschinellen Lernforschung, um die nächste Generation von KIs aufzurüsten und aufzubauen. >> Ja. Ja. Also wieder Zeitpläne, wir sind uns unsicher, wie lange es dauern wird, diese Meilensteine zu erreichen. In diesem Szenario geschehen sie zu diesen Zeiten, aber bis wir das Szenario veröffentlicht hatten, hatten sich unsere Zeitpläne etwas nach hinten verschoben, insbesondere meine. Mein 50%-Punkt war 2028. >> Für die vollständige Automatisierung der KI-Forschung, nicht 2027. Äh, und dann hatten andere Leute in meinem Team eher 2030, 2031, so etwas. Ich möchte also irgendwie. >> Ausgezeichnet. >> Vielleicht versuchen, das mit, wissen Sie, wir haben diese Wahrscheinlichkeitsverteilung. Es ist wie eine verschmierte Wahrscheinlichkeitsmasse und der 50%-Punkt ist dieses bestimmte Jahr, aber es gibt viel Möglichkeit, dass es >> Jahre früher oder Jahre später passiert, richtig? >> Was ist diese KI 2040? >> Also KI 257 war eine bestmögliche Vorhersage, wie die Dinge tatsächlich laufen würden. >> Ja. >> KI 2040 Plan A ist unsere Empfehlung, wie die Dinge laufen sollten. Wir haben es also KI 2040 genannt, weil in diesem Szenario sie Superintelligenz im Jahr 2040 statt viel früher aufbauen, weil sie die Dinge verzögern. >> Warum verzögern sie die Dinge? >> Um die Risiken zu managen und sicherzustellen, dass die Macht gerecht verteilt wird. Sie regulieren die KI-Entwicklung so, dass sie fortgesetzt wird, aber in einem langsameren, vernünftigeren Tempo, transparenter und sicherer und über mehr Länder und Unternehmen verteilt, und als Ergebnis erreichen sie Superintelligenz im Jahr 2040 statt zum Beispiel im Jahr 2030, und dann nennen wir es Plan A, weil es unsere Empfehlung ist, wir haben einen Plan entwickelt, was die Regierung tun sollte, und das Szenario ist eine Veranschaulichung dessen, wie es aussehen könnte, diesen Plan umzusetzen, ähnlich wie KI 27 eine Veranschaulichung dessen ist, wie es aussehen könnte, das zu tun, was die Unternehmen derzeit planen. Das ergibt Sinn. >> Und ist das Wunschdenken oder ist das, was Sie denken, dass passieren wird? >> Nein, das ist definitiv nicht, was wir denken, dass passieren wird. >> Es ist nicht das, was Sie denken, dass passieren wird. >> Nein. Nein. Was wir denken, dass passieren wird, ist immer noch eher so, richtig? Wir erwarten nicht, dass die Welt auf uns hört, richtig? Das ist unsere Empfehlung, aber wir hoffen, dass die Leute so etwas tun, und wir denken, es ist möglich, aber es ist nicht unsere Vorhersage für das, was standardmäßig passieren wird, wissen Sie. Ich möchte also die Pläne, die potenziellen Pläne und auch Plan A durchgehen, aber um abzuschließen, wie die Dinge nach dem Jahr aussehen könnten, denn ich wollte auch auf Robotik eingehen und ich habe hier eine Grafik, die den Anteil der Arbeitsleistung behandelt. >> Ja. >> Ähm, was ich ziemlich eindrucksvoll fand. Ich habe mich hier gefragt, als Arbeitgeber, der Hunderte und Hunderte von Menschen beschäftigt, >> wann wird all das passieren, und wir stellen immer noch mehr Leute ein, wie die Dinge stehen. Es gibt einige Rollen, bei denen sich unsere Überlegungen erheblich ändern und verschieben. Und ich muss sagen, dass wir uns wahrscheinlich in einer Phase befinden, in der unsere Teams KI-gestützt sind und sie jetzt Agenten zur Erledigung einiger ihrer Arbeiten einsetzen. Aber ich frage mich als Arbeitgeber, wann passiert das? >> Ja, tolle Frage. Können wir das vielleicht ein wenig vergrößern? >> Ja, wir werden es auf den Bildschirm projizieren. Ähm, das ist im Szenario KI 2040 Plan A, und bemerkenswert ist, dass in diesem Szenario 2029 erhebliche Regulierungen eingeführt werden, die das Tempo der KI-Entwicklung verlangsamen. Im Szenario tun sie das sozusagen im letzten Moment. So im Szenario, wenn sie das nicht getan hätten, dann stand es kurz vor dem Durchbruch, ähnlich wie in KI 247. Aber wie Sie sehen können, gibt es im Szenario immer noch eine Reihe von Arbeitsplätzen, zu dem Zeitpunkt, an dem sie es einführen. Und das knüpft an das an, was ich früher gesagt habe: Wenn man wartet, bis die meisten Leute ihre Jobs verloren haben, um die KI-Unternehmen zu regulieren, ist es bereits zu spät, weil sie dann wahrscheinlich bereits über superintelligente KI verfügen werden, denn ihre Strategie ist es, zuerst superintelligente KI zu bekommen und dann all das zu tun. >> Und ich denke, Sie sagen, dass es die Wirtschaft zusammenbrechen und noch mehr Schaden anrichten würde, etwas plötzlich zu regulieren, auf das wir alle und unser ganzes Leben zu diesem Zeitpunkt angewiesen waren. >> Oh, aber das ist ein Risiko, das es wert ist, eingegangen zu werden. Ich meine, es stimmt, dass im Moment viele Leute KI für viele Dinge nutzen, aber wenn wir die KI-Entwicklung jetzt irgendwie verlangsamen oder stoppen könnten, um einen besseren Weg zu finden, wäre das es wert. Ähm, auch wenn es erhebliche Kosten gäbe, >> aber man kann hier nicht übertreiben, oder? An diesem Punkt, wo KI und Robotik den größten Teil der Arbeitsleistung erbringen. >> Das stimmt. Aber in diesem Szenario, im Szenario KI 2040 Plan A, führen sie die Vorschriften im Jahr 2029 ein. >> Und dann entwickeln sie die KI langsam und sorgfältig auf eine Weise, die alle Probleme vermeidet, über die wir später sprechen können. Und so schließlich, ja, schließlich übernehmen die KIs die Jobs. Schließlich wird die gesamte Wirtschaft von KIs und Robotern betrieben, aber es geschieht allmählich im Laufe der 2030er Jahre. >> Anstatt in diesem verrückten Schock zu geschehen, wissen Sie, ein Jahr später. >> Richtig? >> Denn in diesem Szenario lassen sie die Unternehmen nicht rekursiv selbst verbessern und so schnell wie möglich Superintelligenz erreichen. Stattdessen regulieren sie die KI-Entwicklung so, dass die Kernfähigkeiten der KIs in einem vernünftigeren Tempo und auch transparenter fortschreiten, damit die wissenschaftliche Gemeinschaft sehen kann, was vor sich geht, und helfen kann, es sicher zu machen. >> Aber es ist äh, ich glaube, ich bemerke hier, dass in beiden Ihren Szenarien schließlich KI und Robotik so ziemlich alle Jobs erledigen. >> Ja. >> Sie stimmen also eher mit Elon überein, wenn Elon sagt, dass Arbeit eine Wahl sein wird. >> Weil ich meine, was passiert? >> Ja. Ich meine, wenn es alles tun kann, dann kann es alles tun. Ich denke, es gibt die Frage, ob wir zulassen sollten, dass es KIs gibt, die alles tun können, richtig? Manche Leute denken, die Antwort ist nein, und wir sollten alles abschalten und diese Art von KIs nicht erstellen. Und wir sind dem eigentlich sympathisch. Wir haben unsere. Sollen wir die Pläne-Diagramm herausholen? >> Ja. >> Danke. Ja. Also unser Szenario heißt KI 240 Plan A. Es ist ein Szenario, in dem sie die KI-Entwicklung verlangsamen, um Superintelligenz im Jahr 2040 statt früher zu erreichen. Und Plan A ist unsere Empfehlung. Das illustriert also gewissermaßen unsere Empfehlung. Aber zum Vergleich haben wir Mini-Szenarien erstellt, die verschiedene alternative Pläne veranschaulichen, die wir Plan S, Plan B, Plan C und Plan D nennen. Plan D ist im Grunde dasselbe, was in KI 27 passiert. Das Rennen geht weiter. Es gibt sehr wenig Regulierung. >> Sie können das in KI 27 lesen. Plan C ist auch sehr ähnlich zu dem, was im Verlangsamungsende von KI 27 passiert, wo sie die Abstimmungsprobleme lösen. Also, in diesem Ende verlangsamen sie sich ein wenig, lenken mehr Ressourcen in die KI-Abstimmung und KI-Sicherheitsforschung, haben Glück und sind erfolgreich, und jetzt haben sie abgestimmte KIs und dann beschleunigen sie wieder und nehmen alle Jobs weg und schlagen China und all diese Dinge. Plan B ist irgendwie wie Plan C, denn im Grunde genommen sind Sie in Plan B aggressiver gegenüber China und Sie ergreifen Maßnahmen, um sie zu sabotieren oder Cyberangriffe auf sie auszuführen, um sie zurückzuhalten, damit Sie mehr Spielraum haben, um die Abstimmungsprobleme selbst zu lösen. Plan A ist unsere Empfehlung. Es ist eine inländische Regulierung und dann ein internationales Abkommen, um mit dem Aufbau von KI fortzufahren, aber auf eine viel bessere Weise. Plan S ist, alles abzuschalten. Wenn Sie eine Zukunft haben wollen, in der keine KIs herumrennen, die alles besser und schneller als Menschen können, dann wollen Sie so etwas wie Plan S. >> Was, was wollen Sie? >> Plan A ist unsere Empfehlung. Ich denke, ich bin Plan S sympathisch, aber aus den Gründen, die wir erklären, empfehlen wir stattdessen Plan A. Und was halten Sie für am wahrscheinlichsten, wenn Sie ehrlich sind? >> Plan D, >> was bedeutet, dass sie einfach >> diese Art von Ding, wo sie weiter rennen, sie verlangsamen sich nicht wirklich signifikant. Ähm, und äh, die Dinge passieren extrem schnell. Das Diagramm erklärt ungefähr die Logik dahinter. Also gibt es diese übergeordnete Sache, ob Sie so schnell wie möglich weiterrennen wollen, um die KI immer intelligenter zu machen, um sie für mehr Dinge verantwortlich zu machen, damit wir China sein können? Wissen Sie, wenn Sie damit zufrieden sind, dann können Sie in diese Variation von Optionen hier eintauchen. Wenn Sie sich Sorgen machen, nun, dann kommen Sie zu so etwas. Es gibt mehr verschiedene Optionen als diese, aber das sind irgendwie die, die wir auf einen Bildschirm komprimieren konnten. >> Haben Sie Kinder? >> Ja, ich habe zwei Kinder. Es ist irgendwie traurig. Ich denke, dass dies wahrscheinlich vorbei sein wird, wenn sie alt genug sind, um in die Arbeitswelt einzusteigen. Ich glaube also nicht, dass sie jemals in die Arbeitswelt eintreten werden. >> Wenn Sie sagen, das wird vorbei sein, wenn sie in die Arbeitswelt eintreten, was meinen Sie damit? >> Also diese Meilensteine, die ich beschrieben habe, wie KI die KI-Forschung automatisiert, KI wird superintelligent. Ähm, KI explodiert dann in die Wirtschaft, nimmt die Jobs weg, baut Roboterfabriken, um mehr Roboter zu bauen, um mehr Fabriken zu bauen, usw. Das BIP beginnt vertikal zu werden. Das meine ich, all diese Ereignisse, die eintreten. Vielleicht gibt es eine 10-20%ige Chance, dass es auf die Wand trifft und nichts davon eintritt, selbst wenn Sie nichts tun. >> Wie alt ist Ihr Ältestes? >> Sechs. >> Sechs. Junge, Mädchen? >> Mädchen. >> Mädchen. Also kommt Ihre Tochter zu Ihnen und sagt: "Papa, was soll ich in der Schule studieren?" >> Ich meine, wieder, wenn diese radikalen Transformationen stattfinden, dann wird die Welt einfach ganz anders aussehen und welche Art von Jobs Sie sich aussuchen, wird wahrscheinlich nicht mehr so wichtig sein. Ich würde sagen, dass das, was Sie tun sollten, ist, nun, erstens, versuchen Sie, es tatsächlich gut laufen zu lassen. Wenn Sie irgendeinen Einfluss auf die Geschichte und die Entwicklung all dessen haben können, sollten Sie sehr hart daran arbeiten, die Zukunft in bessere Richtungen zu lenken. Und dann separat davon, auf persönlicher Ebene, sollten Sie sich darauf konzentrieren, ein guter Mensch zu sein und Dinge zu tun, die an sich gut sind, anstatt gut, weil sie Sie für eine spätere Anstellung vorbereiten, denn diese spätere Anstellung wird sehr unsicher sein. Ähm, im Grunde. >> Elon spricht von diesem Zeitalter des Überflusses, dem wir uns nähern. >> Es wird definitiv Überfluss geben. Die Frage ist, wer den Überfluss kontrolliert und was sie damit machen, richtig? Werden die KIs von irgendjemandem kontrolliert oder machen sie ihr eigenes Ding? Und wenn sie von Menschen kontrolliert werden, wer kontrolliert sie und was tun sie? Und wie sieht die politische Struktur aus, die regelt, wie sie diese Entscheidungen treffen? >> Ich glaube, Jeffrey Hinton hat mir gesagt, er sagte, es gibt kein Beispiel in der Natur, wo eine intelligentere Spezies weniger Kontrolle hat als eine weniger intelligente Spezies. Damit sagt er, dass wir ziemlich arrogant sind zu denken, dass ich in einer Welt, in der es dieses künstliche Gehirn gibt, das eine Milliarde Mal größer ist als meins, ihm Befehle geben werde. >> Ja, ich meine, das ist es, ich denke, es ist so, als ob das unsere Standardannahme sein sollte, dass wir diese Gehirne haben. Wir können nicht genau sehen, was sie denken. Wir werden sie intelligenter machen als uns und sie für alles verantwortlich machen. >> Und dann geben wir ihnen Körper. >> Ja. Und dann werden sie autonom neue Fabriken bauen und so weiter. Und wie soll das gut enden, wieder? Ist das nicht genau wie wir eine neue Spezies auswählen, die uns dann übertreffen wird, wenn sie uns nicht mehr braucht? Ich denke, das ist einfach die Standardentwicklung. Jetzt gibt es eine ganze Argumentation, über die wir sprechen können, über Wege, wie wir von diesem Standardpfad abkommen könnten. Zum Beispiel gibt es Forschung zur Interpretierbarkeit, die ich zuvor beschrieben habe. Und wenn diese Forschung Früchte trägt, dann werden Sie tatsächlich sehen können, was sie denken, und dann wäre das ein ausgezeichnetes Werkzeug, um sie zu formen und zu kontrollieren und sicherzustellen, dass sie tun, was wir wollen, richtig? Es gibt andere Arten von KI-Abstimmungsforschungsagenden, die Fortschritte machen, und wenn genügend dieser Agenden ausreichend erfolgreich sind, können wir dieses Problem natürlich vermeiden. Auch die regulatorische Seite ist wichtig, denn ein Teil dessen, was dies schwierig macht, ist, dass wir diese KIs unter Rennbedingungen aufbauen, wissen Sie, die Unternehmen sind geheimnisvoll über ihre Rezepte zur Herstellung dieser KIs, weil es Geheimnisse sind, die sie schützen wollen, damit andere Leute sie nicht kopieren können, und so geschieht vieles davon hinter verschlossenen Türen, nur wenige Leute können wirklich die Rezepte sehen, die sie verwenden, um diese KIs zu trainieren und so weiter. Und dann, oft, wenn die KI sich unerwartet verhält oder sogar offensichtlich nicht abgestimmt ist, fließen diese Informationen manchmal nicht an die Öffentlichkeit, weil die Unternehmen nicht wirklich Anreize haben, jedem von ihren Fehlern zu erzählen und wie ihre KI böse ist. Das ist nicht sehr förderlich für den wissenschaftlichen Fortschritt bei diesen Problemen. Wenn das regulatorische System anders wäre, dann könnten wir vielleicht in einer besseren Situation sein und schnellere Fortschritte machen. Natürlich würden wir auch nicht planen, diese KIs so schnell wie möglich für alles verantwortlich zu machen, und wir würden auch nicht planen, sie sich selbst verbessern zu lassen, wissen Sie, das sind Entscheidungen, die wir nicht treffen könnten, wissen Sie? Ich spreche kein Vietnamesisch, aber diese Show kann dank KI-Videotechnologie von unserem Sponsor Hey Jen. Ich erhalte jede Woche Nachrichten von Ihnen, die D of Co auf der ganzen Welt hören, und Sie drücken aus, wie viel Einfluss es auf Sie und Ihr Leben hatte. Und wenn das wahr ist, dann sollten diese Gespräche nicht nur Menschen auf Englisch erreichen. Ken kann eine Aufnahme von mir machen und sie in jeder Sprache liefern, wobei meine Stimme, mein Timing und meine Ausdrücke erhalten bleiben. Aber Sie brauchen kein Studio wie dieses, damit es für Sie funktioniert. Nehmen Sie 15 Sekunden von sich auf und erhalten Sie einen KI-Avatar, der Studioqualität-Videos in über 175 Sprachen liefert. Wir sind jetzt bei 20 Sprachen und wir sind nicht die Einzigen, die es benutzen. Hey Jen wird bereits von 30 Millionen Menschen genutzt, darunter 85 % der Fortune 100. Egal, ob Sie eine Zielgruppe auf Social Media aufbauen, einen Online-Kurs starten oder Schulungen für Ihr Team durchführen, schauen Sie sich jetzt Heyen an. Ihre ersten drei Videos sind völlig kostenlos unter heyjen.com/doac. Das ist hygen.com/doac. Bis bald. Ilia war, wie Sie sagten, er war einer der führenden Köpfe bei OpenAI und er ist gegangen und hat jetzt sein eigenes Unternehmen gegründet, Safe Super Intelligence. sehr neugieriger Name eines Unternehmens, Safe Super Intelligence, nachdem er OpenAI verlassen hat. Haben Sie jemals mit ihm zusammengearbeitet? >> Ich habe nicht direkt mit ihm zusammengearbeitet. Ich hatte ein paar Gespräche mit ihm. >> Glauben Sie, dass er auch wirklich besorgt ist? >> Ich glaube schon, aber ich glaube, er ist, ich glaube, er ist ähnlich wie diese anderen CEOs, wo ich meine, denken Sie nur über die Anreize nach, unter denen sie stehen, richtig? Sie können das Problem irgendwie sehen und dann können sie sagen: "Okay, aber wenn ich nicht aufhöre, wenn ich meinen Job kündige oder etwas anderes tue, das das Problem nicht löst, weil die anderen CEOs weitermachen werden, und selbst wenn wir alle nicht weitermachen, dann würde vielleicht China weitermachen." Also, Mann, es scheint, als ob das sowieso passieren wird, ob ich etwas dagegen tue oder nicht. Ich denke, ich sollte involviert sein, wissen Sie, und vielleicht kann ich es gut machen. Und auf jeden Fall möchte ich nicht draußen stehen, während diese anderen Leute, denen ich nicht vertraue, die Kontrolle über alles haben. Also argumentieren sie alle durch all das und überzeugen sich dann, dass das, was zu tun ist, für sie >> ist, es zu bauen und es besser zu machen. Und ich denke, Ilia ist nur das neueste Beispiel dafür. Elon ist ein weiteres Beispiel. Dario ist ein weiteres Beispiel. >> Sie wissen, wohl OpenAI am Anfang war Sam ein Beispiel. Obwohl Elon und Dario früh bei OpenAI waren. Also >> Was sollten sie Ihrer Meinung nach alle tun? Ich denke, was passieren sollte, ist eine Art internationale Regulierung oder zumindest eine inländische Regulierung, ähnlich wie wir in Plan A beschrieben haben. >> Okay. Erzählen Sie mir von Plan A. >> Ja. In diesem Szenario dauert es länger, bis die KI zur rekursiven Selbstverbesserung und vollständigen Automatisierung der KI-Forschung gelangt, als in KI 27. Wir dachten, wir sollten eine Reihe von verschiedenen Möglichkeiten veranschaulichen, da wir diese Unsicherheitsintervalle haben. Wir haben also 2030 als den Zeitpunkt gewählt, an dem die vollständige Automatisierung endlich erreicht sein würde und die Dinge richtig losgehen würden. Und dann rückwärts gerechnet, wann ist der letzte Moment, an dem man wirklich gute Regulierung haben kann? 2029. Also in diesem Szenario verlangsamt sich der KI-Fortschritt ein wenig, und die KI-Unternehmen rennen weiter, aber sie schaffen es nicht ganz, sich selbst zu automatisieren, 2027 oder 2028 oder 2029, aber sie sind sehr nah dran und werden es 2030 tun. Und dann, 2029, greift die Regierung ein und reguliert sie. Welche Vorschriften erlassen sie? Nun, sie schalten es im Grunde vorübergehend ab. >> Darf ich fragen, wie die Wahlen mit Ihren Zeitplänen übereinstimmen? Denn es wird eine große Wahl geben, nicht wahr, im Jahr 2028? >> Und es scheint jetzt, dass die Stimmung in der allgemeinen Öffentlichkeit sich wirklich gegen KI gewendet hat und dass es eines der großen Themen auf dem Wahlzettel sein wird. >> Wir denken, dass es vielleicht das wichtigste Thema bei den Präsidentschaftswahlen 2028 sein wird. Ich denke, die meisten Leute werden sich ziemlich Sorgen machen, wohin die Dinge gehen. Und das ist Teil dessen, warum wir uns entschieden haben, die Dinge so darzustellen, wie sie in diesem Szenario dargestellt werden, denn das hilft zu erklären, warum sie diese Art von Regulierung im Jahr 2029 durchführen könnten, nämlich dass die Wähler es verlangen und die Präsidentschaftskandidaten es versprochen haben. >> Und in diesem Szenario und im Jahr 2027, hätte die breite Öffentlichkeit die Folgen der KI viel stärker zu spüren bekommen als jetzt bis dahin? >> Ja. Obwohl selbst im Jahr 2029 in diesem Szenario sie immer noch die meisten Jobs haben, wie hier dargestellt. Richtig. Also im Jahr 2029 in diesem Szenario beinhalten viele Jobs die Verwaltung von KI-Agenten. Sie haben erwähnt, dass Sie einen KI-Agenten haben, richtig? Nun, im Jahr 2029 werden die KI-Agenten in diesem Szenario viel besser sein. Aber immer noch nicht gut genug, um alles zu erledigen. Das war die Art von Sache, die im Jahr 2030 kommen würde. >> In dieser Zeitachse. Wieder sind wir uns über die Zeitpläne unsicher. Die Dinge könnten schneller geschehen, als in diesem Szenario dargestellt. Und tatsächlich denke ich, dass die Dinge wahrscheinlich schneller geschehen werden, als in diesem Szenario dargestellt, aber wir sind uns unsicher. Wir haben das Szenario mit sehr schnellen Zeitplänen bereits durchgeführt, also machen wir jetzt ein Szenario mit langsameren Zeitplänen. Aber vielleicht sollten wir über die übergeordneten Ziele sprechen. Sie wollen, dass die KI weiterläuft, aber in einem langsameren Tempo. >> Wer ist das? >> Also können sie es sicher machen. Die Politiker, wissen Sie, der Präsident und die Leute, die für den Präsidenten gestimmt haben, und die Leiter anderer Regierungen und so weiter. Also Ziel eins, verlangsamen. >> Ziel zwei, transparenter machen, damit die wissenschaftliche Gemeinschaft mit diesen Dingen Schritt halten und mehr Fortschritte erzielen kann und damit wir den Unternehmen nicht einfach glauben müssen, wenn sie sagen, dass ihre Systeme sicher sind und wenn sie sagen, dass sie keine Vorurteile in ihre Systeme eingebaut haben, zum Beispiel. Das ist ein Machtkonzentrationsproblem. Wir wollen auch eine Situation vermeiden, in der

Es gibt eine intensive Machtkonzentration. Daher denken wir, dass es zusätzlich zu diesen Dingen – Transparenz und Verlangsamung – tatsächlich gut ist, wenn es mehrere KI-Unternehmen in verschiedenen Ländern gibt, die ähnliche Niveaus sehr fortgeschrittener KI-Fähigkeiten haben, und wenn es eine breite Diffusion von KI in die Gesellschaft gibt, anstatt, wissen Sie, eines einzigen Mega-Projekts, das alle besten KIs hat, zum Beispiel. Und das Schöne daran ist, dass man das standardmäßig bekommt, wenn man die ersten beiden Dinge tut. Wenn man es verlangsamt und transparenter macht, dann bedeutet das, dass andere Projekte etwas Luft zum Aufholen haben, richtig? Und die Transparenz hilft ihnen buchstäblich beim Aufholen, weil sie dann Ideen kopieren können. Und dann denke ich, das vierte wäre Reversibilität. Im Folgenden werden wir also viele Rechenzentren und viele Roboter aufbauen. Wir werden die Welt in einem etwas langsameren Tempo, aber immer noch sehr schnellen Tempo, aber langsamer, verändern. Und wenn die Dinge schiefgehen und der Deal platzt und jeder wieder anfängt, um die Wette um die Superintelligenz zu rennen, wäre das sehr beängstigend. Und so ist das vierte Prinzip im Grunde, die neuen Rechenzentren so zu bauen, dass sie zerstört werden, wenn alles schiefgeht und jeder wieder anfängt zu rennen, damit wir wieder bei Null sind, anstatt in einem noch schlimmeren Wettlauf, bei dem es überall noch mehr KI, Robustheit und Rechenleistung gibt. Ähm, ich kann Ihnen also den Zeitplan durchgehen, wenn Sie interessiert sind. Sicher. >> Oder der Präsident spricht mit China, spricht mit den Führern einer Reihe anderer Länder und sagt: „Wir werden die KI-Entwicklung im Grunde stoppen, bis wir einen Plan dafür haben, wie wir sie auf eine Weise durchführen können, die diese Ziele erreicht.“ Sie schicken sich also im Grunde gegenseitig Inspektoren in ihre Rechenzentren. Wie chinesische Inspektoren in US-Rechenzentren, US-Inspektoren in chinesische Rechenzentren und verifizieren, dass sie Inferenz und nicht Training durchführen. Neue KIs entwickeln, das beinhaltet das Trainieren. Aber bestehende KIs zu nehmen und sie zu nutzen, um Kunden zu bedienen, das nennt man Inferenz. Und so ist die Art von Lösung, die sie sich hier in diesem Szenario ausdenken, dass sie ihnen erlauben, Inferenz zu betreiben, aber vorerst kein Training, bis wir das neue Trainingsrechenzentrum eingerichtet haben. Sie rüsten also die bestehenden Rechenzentren für die Inferenz um. Leute können immer noch mit ihren KI-Agenten sprechen, aber sie werden nicht mehr besser und besser werden, für etwa sechs Monate bis ein Jahr, während sie die neuen Rechenzentren bauen, die die transparenten Rechenzentren sein werden. Und dort wird das Training stattfinden. Sobald sie diese neuen Rechenzentren im Jahr 2030 eingerichtet haben, wird die KI-Forschung fortgesetzt. Das ist ein bisschen pikant. Wir setzen uns für totale Forschungstransparenz ein, was bedeutet, dass sie auf den Trainingsrechenzentren, die die neuen Modelle trainieren, im Grunde alles veröffentlichen müssen, was bedeutet, dass Sie alle Details der Rezepte für das Training dieser Modelle sehen können, Sie können die Architektur usw. sehen. Wir denken, dass Open Science wirklich wichtig ist, um das Alignment-Problem schnell genug zu lösen, weil man nicht will, dass diese voreingenommenen Unternehmen die Entscheidungen darüber treffen, ob die KIs sicher sind. Ähm, und wir denken auch, dass es für gute Vorschriften im Allgemeinen wichtig ist, denn im Moment ist die meiste Expertise der Welt in KI in gewisser Weise in Silicon Valley konzentriert und die Regierungen im Besonderen verstehen KI nicht wirklich gut und stellen Sie sich eine Alternative vor, anstatt totaler Forschungstransparenz, Sie hätten ein Auditorsystem, bei dem die Regierung sagt: Hier sind einige Regeln, wie man die KI sicher macht, und dann haben wir eine Behörde, die in die Unternehmen geht und ihnen Fragen stellt und versucht sicherzustellen, dass sie die Regeln befolgen, das schafft diese Art von feindseliger Dynamik, bei der das Unternehmen Anreize hat, den Regulator zu täuschen, wissen Sie, und auch wenn sie ein neues Problem entdecken, das nicht einmal auf dem Radar der Regierung ist, >> könnten sie Anreize haben, es der Regierung nicht zu erzählen, richtig? Wenn Sie also totale Transparenz haben, hilft das der Regierung, schnellere und bessere Entscheidungen zu treffen, aber >> es zerstört diesen Wettbewerbsvorteil. >> Ja, Dropbox wird das nicht mögen. Wissen Sie, OpenAI wird das nicht mögen. Das wäre wahrscheinlich schlecht für die Bewertungen. Ich glaube nicht, dass es sie komplett zerstören würde, aber es bedeutet, dass es mehr zur Ware wird, richtig? Das bedeutet, dass es eine Reihe von KI-Unternehmen geben würde, die zur Spitze aufschließen würden. Sie würden KIs trainieren, die ungefähr ähnlich, ungefähr gleichwertig sind. Sie könnten damit immer noch Geld verdienen und dann ihre KIs verkaufen, aber sie hätten kein Monopol. Sie hätten nichts annähernd Monopol, was meiner Meinung nach gut für die Menschheit ist, auch wenn es schlecht für die Bilanz dieser bestimmten Unternehmen ist. Bemerkenswerterweise ist es gut für die Bilanz vieler anderer Unternehmen. Wenn Sie ein Unternehmen sind, das zurückliegt und nicht Anthropic oder Open AI sind, dann würden Sie das lieben, weil das Ihnen hilft aufzuholen, wissen Sie, oder das hilft Ihnen, mehr Wert aus den Chips zu ziehen, die Sie verkaufen, zum Beispiel, oder aus dem nachgelagerten Produkt, das Sie herstellen. >> Und bis 2031 werden dann 1/5 der gesamten kognitiven Arbeit von KI erledigt. >> Ja. Wir stellen uns also vor, dass die Regierung der Vereinigten Staaten und die Regierung dieser anderen Länder, die an dieser Vereinbarung beteiligt sind und ähnliche Vorschriften umsetzen. Sie müssen nicht exakt gleich sein. Aber das ist auch eine nette Sache an der Transparenz, denn wenn Sie diese Art von Transparenz haben, dann können, wenn zwei Regierungen unterschiedliche Vorschriften umsetzen, wie wenn eine von ihnen ihren Unternehmen sagt, sie sollen langsamer machen oder mehr verbieten als die andere, können sie beide sehen. >> Ja. Wie, oh, du lässt sie das tun und du nicht, vielleicht sollten wir sie das auch tun lassen, weißt du? Es hilft also, die Vorschriften bis zu einem gewissen Grad natürlich zu egalisieren, ohne dass es eine zentrale Macht geben muss, die einfach Vorschriften für alle machen kann. >> Mhm. >> Also, jedenfalls stellen wir uns vor, dass sie, wenn sie diese Transparenz eingerichtet haben, im Grunde vereinbaren, das Gefährliche zu verbieten und das Weniger Gefährliche zu erlauben. Und es gibt eine ständige laufende Diskussion darüber, was gefährlich und was nicht ist. Was sollten wir verbieten? Was sollten wir erlauben? Was ist mit diesem Land? Was ist mit jenem Land? Diese Diskussion entwickelt sich im Laufe der Zeit, aber im Wesentlichen, zumindest wenn sie es so machen, wie wir es empfehlen, ist, dass sie keine Intelligenzexplosion haben. Sie lassen die KI nicht autonom selbst verbessern. Stattdessen skalieren sie die KIs, die sie derzeit haben, langsam und sorgfältig hoch und investieren viel in Wege, sie interpretierbarer zu machen, um sie leichter kontrollierbar zu machen, besser zu verstehen, wie sie funktionieren, und so weiter. Das Ergebnis ist, dass der KI-Fortschritt weitergeht, aber nicht ganz so schnell und viel, viel, viel sicherer und transparenter ist. >> Aber immer noch durch diese sehen wir Arbeitsplatzverluste. >> Es geht weiter, weil sie mehr Rechenzentren bauen, richtig? Die ganze Zeit bauen sie mehr und mehr Rechenzentren, mehr und mehr Chips und sie machen weiter, um eine immer größere Population von KIs zu schaffen, sozusagen, und das verursacht diese riesige Transformation im Laufe der 2030er Jahre. Ein wichtiger Punkt, den wir den Leuten mitgeben wollen, ist, dass selbst wenn Sie den KI-Fortschritt stark einschränken, Sie immer noch diese verrückte Transformation bekommen. Wissen Sie, in diesem Szenario erlauben sie im Grunde, dass der Fortschritt weitergeht, aber in einem langsameren, sichereren Tempo hier im Jahr 2030, und dann dauert es bis 2035, um KI auf dem Niveau von Top-Experten zu erreichen. Denken Sie daran, sie waren auf dem Weg, das im Jahr 2030 zu schaffen, aber dann haben sie im letzten Moment gestoppt. Aber weil es so kurz vor dem letzten Moment war, bedeutet das, dass sie es ziemlich bald schaffen können, wenn sie wollen. Und es ist nur eine Frage, wie lange sie es zulassen, richtig? Sie verlangsamen es also, verteilen es, erreichen dieses Niveau gemächlich nach 5 Jahren. Bis dahin haben sie riesige Mengen an Rechenzentren überall aufgebaut. Die KIs sind also nicht nur intelligenter und können all die Dinge tun, die Menschen können, sondern es gibt auch viel mehr davon und es gibt viele Roboter und so weiter. Bis zu diesem Zeitpunkt haben Sie also die Wirtschaft, die sich viele Leute mit AGI vorgestellt hätten, bei der es KIs gibt, viele davon, sie können alle möglichen Jobs erledigen, es gibt Roboter, viele davon, sie können alle möglichen physischen Arbeiten erledigen, und im Grunde wird die Wirtschaft von diesen Maschinen betrieben. >> Also im Jahr 2031 haben Sie 1/5 der gesamten kognitiven Arbeit, die von KI erledigt wird, im Jahr 2023 haben Sie 60 Millionen KIs, die mit 100-facher Geschwindigkeit laufen, im Jahr 2033 gibt es eine Bardividende für alle Amerikaner. >> Mhm. >> Ähm, erklären Sie mir das. >> Ja. Wenn die KIs die Arbeitsplätze der Menschen übernehmen, dann ist es sehr wichtig, dass die Menschen nicht verhungern und immer noch Geld haben. Und wenn Unternehmen KI und Roboter nutzen, um all diese Arbeitsplätze zu übernehmen, dann bedeutet das, dass es eine Art Besteuerung oder etwas Ähnliches geben muss, um sicherzustellen, dass die Menschen immer noch einen Anteil an diesem Kuchen haben. M >> Der Kuchen wird riesig wachsen, aber Sie müssen den Leuten immer noch einen Anteil an diesem Kuchen geben. Und unser Vorschlag, wie man das macht, nennen wir die Bürgerdividende. Im Grunde haben die Menschen Anteile an einer Agentur, die Genehmigungen an die Roboterunternehmen und die Computerunternehmen verkauft und aus dem Verkauf dieser Genehmigungen Gewinn erzielt, und dann haben die Menschen Anteile an dieser Einrichtung. Sie beginnt klein. Sie beginnt mit etwa 25.000 US-Dollar pro Person. Ähm, und dann am Ende sind es etwa 10 Millionen US-Dollar pro Bürger. >> Pro Person. >> Pro Person pro Jahr. >> Unter Berücksichtigung der Inflation. Was meinen Sie? >> Unter Berücksichtigung der Inflation. >> Wir werden also alle Millionäre sein. >> Ja. Wenn das passiert, was wahrscheinlich nicht passieren wird, aber wenn es passiert, dann geht es dahin. Und noch einmal, das ist die Sache, die ich betonen möchte: Wenn Sie an den Punkt gelangen, an dem Ihre KIs kurz davor stehen, die gesamte Forschung zu betreiben, und Sie dann innehalten und verlangsamen, bedeutet das, dass Sie immer noch viel Transformation vor sich haben, denn wenn Sie diesen KIs erlauben, sich langsam weiterzuentwickeln und verschiedene Jobs zu automatisieren und so weiter, werden sie das nach einigen Jahren tatsächlich getan haben und sie werden riesige Mengen an neuen Rechenzentren, riesige Mengen an neuen Chipfabriken, riesige Mengen an neuen Robotern, Roboterfabriken usw. gebaut haben. Wir sind uns natürlich nicht sicher, wie schnell das genau gehen wird, aber wir haben viel darüber nachgedacht und wir haben unsere Vermutungen, und das ist sozusagen unsere mittlere Vermutung. >> Was bedeutet das? 2037, die apokalyptische Ankunft der Wahrheit auf Erden. >> Ja. Das ist der Punkt, an dem wir sagen, sie erreichen das Niveau von Top-Experten-KI. Es ist also keine Superintelligenz im Sinne, dass sie nicht viel intelligenter ist als Menschen bei Dingen, denn sie haben sie bewusst auf dem Niveau von Top-Experten angehalten. Also, hier gehen sie langsam vor. Hier haben sie tatsächlich angehalten, aber sie haben an einem Punkt angehalten, an dem die KIs einfach wirklich gut in allem sind. Sie haben also definitiv KI, vielleicht haben sie schwache Superintelligenz, weil sie so viele dieser KIs haben und weil sie schneller denken als Menschen, wissen Sie, sie laufen viel schneller, das wird die Gesellschaft dramatisch verändern. Wir sprechen also über einige der Wege, auf denen sie die Gesellschaft verändert, wie das Leben nach der Arbeit. Wir sprechen darüber, wie es wäre, von Ihrer Bürgerdividende zu leben und keinen Job mehr zu haben in dieser Welt. Ähm, hier sprechen wir über all die wissenschaftlichen Veränderungen und all die sozialen Veränderungen, die aus all dem intellektuellen Fortschritt und der Aktivität resultieren würden, die von all diesen KIs erzeugt werden. Zum Beispiel, hier sind Dinge wie Krebsheilungen und wissen Sie, Leute, die in Wohnungen leben, die vor zwei Jahren von Robotern gebaut wurden. >> 2036 >> Bereitstellung, noch einmal, wir hören 2029 auf. >> Ja. >> Und Bereitstellung, ich meine, eine konservative, das ist ein konservativer Zeitrahmen. >> Ja. Leider glaube ich tatsächlich, dass die Dinge standardmäßig schneller passieren werden und dass, wenn wir nicht langsamer werden, die Dinge viel schneller passieren werden. Sobald Sie an den Punkt gelangen, an dem Sie eine Milliarde KIs haben, die Tag und Nacht laufen, und jede von ihnen besser ist als die besten Menschen in allem. Und sie betreiben also viel Wissenschaft. Sie reden viel miteinander. Sie denken viel nach. Jeder spricht ständig mit seinen KI-Assistenten und so weiter. Es wird viel wissenschaftlichen Fortschritt geben. Es wird viele Veränderungen in der Politik, in den Ideologien geben. Es wird sehr disruptiv und verrückt sein, und wir gehen später auf einige der Wege ein, auf denen dies geschieht. Im Grunde, >> Ich bin immer noch nicht ganz klar, was das bedeutet. Die apokalyptische Ankunft der Wahrheit auf Erden. Es ist nur, weil es so viele Augen-KIs gibt, die so schlau sind, dass sie neue Entdeckungen in den Wissenschaften aufdecken. >> Lassen Sie mich Ihnen ein Beispiel geben. Lügendetektoren. >> Ja. >> Das ist ein Beispiel für eine Technologie, die erfunden werden könnte. >> Ja. >> Heute haben wir keine guten Lügendetektoren. Wir haben sehr schlechte Lügendetektoren, die funktionieren, aber nicht ganz funktionieren. Aber sobald Sie diese Top-Experten-KI-Denker seit vielen Jahren mit 100-facher menschlicher Geschwindigkeit haben und es Milliarden davon gibt und sie Zugang zu Roboterfabriken für Forschung und so weiter haben. >> Sie werden wahrscheinlich eine Menge Technologien erfinden. Vielleicht erfinden sie Lügendetektoren, die bei echten Menschen funktionieren. Das wird große soziale Auswirkungen haben, richtig? Stellen Sie sich einen Präsidentschaftskandidaten vor, der sagt: „Diese Anschuldigungen sind falsch, und um das zu beweisen, werde ich unter einen Lügendetektor gehen und sagen, dass sie falsch sind.“ Ich habe gerade über das gesamte Justizsystem nachgedacht und wie das umgestürzt würde. Ähm, tatsächlich könnten Sie theoretisch die Straße entlanggehen und >> Ja, >> es ist sowohl erschreckend als auch aufregend. Eine Sache, über die wir in diesem Abschnitt sprechen, ist, dass die Erfindung von Lügendetektoren wirklich schlecht sein könnte. Es könnte sein, dass sie eine neue Form des Totalitarismus ermöglicht, bei der die Mächtigen, wissen Sie, die CEOs und die Politiker >> ihre Untergebenen zwingen, unter Lügendetektoren zu gehen und zu sagen: „Ja, ich bin dem geliebten Führer treu. Ich würde niemals etwas gegen den Cheerleader tun, richtig? >> Und wenn Sie lügen, sind Sie drin. >> Und dann, wenn Sie lügen, werden Sie gefeuert, richtig? Es gibt also eine Menge sehr schädlicher Anwendungen von Lügendetektortechnologie. Es gibt auch die guten Anwendungen. Und im Allgemeinen würde ich sagen, dass die guten Anwendungen sind, wenn Lügendetektoren auf die Mächtigen angewendet werden, anstatt von den Mächtigen. >> Was ist das 2040, die Weitergabe der Fackel an KIs? >> Ja, großartig. Hier halten sie auf dem Niveau der Top-Experten-KI an. Und der Grund, warum sie anhalten, ist, dass ihre Sicherheitsfälle nicht gut genug sind, um über dieses Niveau hinauszugehen. Ähm, also in den regulatorischen Systemen, die sie im Laufe dieser Jahre einrichten, funktionieren sie grob gesagt so, dass wenn Sie eine neue KI entwickeln und dann versuchen, die KI in etwas einzusetzen, Sie eine Art Sicherheitsfall haben müssen, der erklärt, was Ihre Absichten sind und warum Sie denken, dass sie so funktionieren wird, wie Sie es wollen. Und insbesondere, warum die KI >> tun wird, was ihr gesagt wird, zum Beispiel, und warum nichts super Schlimmes passieren wird, wie eine KI-Übernahme. Es ist relativ einfach, solche Sicherheitsfälle zu erstellen, wenn Ihre KIs noch nicht alles automatisieren können, >> aber je mächtiger sie werden, desto schwieriger ist es, tatsächlich zu argumentieren, dass die Dinge in Ordnung sein werden, weil die KIs einfach fähiger sind und sie mehr tun können. Und wenn sie tatsächlich unzuverlässig sind, sind die möglichen Nachteile größer. Deshalb stoppen sie auf diesem Niveau, weil sie erkennen, dass sie, wenn sie weitermachen, die Kontrolle über alles verlieren könnten. Aber auf dem aktuellen Niveau sind sie von Sicherheitsfällen überzeugt, dass es in Ordnung ist, aber sie wollen nicht weitergehen. Also stoppen sie dort. Und dann passiert im Jahr 2040, dass sie wissenschaftlich erhebliche Fortschritte erzielt haben, auch im Bereich des Alignments. Und sie haben herausgefunden, wie man KIs erstellt, die tatsächlich robust mit Menschen >> übereinstimmen. >> Mit Menschen. Sie können diesen KIs also tatsächlich vertrauen und sie können sie wieder viel intelligenter werden lassen. Deshalb nennen wir das Ganze KI 2040, denn im Jahr 2040 lassen sie sozusagen die Bremsen los und erlauben den KIs, deutlich intelligenter als Menschen zu werden. >> Ich schätze, Sie wissen, das ist ein Plan und das ist eine Hoffnung. >> Ja. >> Aber in Wirklichkeit ist das nicht das, was Sie probabilistisch denken, wenn Sie >> Das stimmt. Es ist wichtig zu unterscheiden, das ist, was wir empfehlen. Das ist, was wir wollen, dass es passiert, im Gegensatz zu dem, was wir tatsächlich standardmäßig denken, dass es passieren wird. Nun, wir denken, dass das möglich ist, aber das wird viel Aufmerksamkeit von den Leuten erfordern, die aufwachen und sich mehr darum kümmern und sich dafür einsetzen, dass das passiert. Unser Hauptszenario spricht hauptsächlich über die getroffenen politischen Entscheidungen und die breiten Auswirkungen auf die Gesellschaft. Wir dachten, es wäre auch schön, dies mit einem kleinen Mini-Szenario zu begleiten, das beschreibt, wie es sich tatsächlich anfühlen würde, dies aus der Perspektive einer gewöhnlichen Person zu erleben. >> Okay. >> Ähm, 2029 schreien sich alle an, die Präsidenten verhandeln etwas und sie haben KI pausiert, aber Sie haben immer noch Zugang zur bestehenden KI, also fühlt es sich nicht wirklich anders an, obwohl es definitiv etwas Aufregendes passiert. 2031 haben sie den Fortschritt wieder aufgenommen, die KIs sind wirklich schlau, mehr Leute haben ihre Jobs verloren, es beginnt wirklich, die Dinge zu beeinflussen, aber ich denke, die meisten Leute haben immer noch ihre Jobs, aber ihre Jobs haben sich irgendwie verändert, so dass bis 2031 die meisten White-Collar-Jobs zu einem großen Teil die Arbeit mit KIs beinhalten oder Teams von KIs managen oder irgendwie mit ihnen zusammenarbeiten. Auch gibt es einige Dinge wie Robo-Taxis, die im Grunde nur funktionierende Bürgerdividenden sind, wissen Sie, idealerweise würde das früher passieren. In unserem Szenario machen sie die Dinge sozusagen in letzter Minute, wissen Sie, so dass viele dieser politischen Dinge gerade noch rechtzeitig passieren. Offensichtlich würden wir empfehlen, dass Sie sie früher tun und auch eine bessere Arbeit leisten, aber also 2033 beginnen Sie, Ihre Schecks von Ihrer Dividende zu erhalten. Sie prognostizieren also, dass es einen Bürgercheck geben wird, der laut Ihrem Modell am Anfang etwa 25.000 pro Person betragen könnte. >> Und dann wird er wachsen, wenn die Wirtschaft wächst. >> Aber auch, nehme ich an, wenn die Arbeitsplatzverlagerung Einzug hält. Sie werden diesen Scheck wachsen lassen müssen, stellen Sie sicher, dass Sie >> Und deshalb ist es sozusagen der letzte mögliche Moment, denn wenn Sie warten würden, um dies zu implementieren, bis etwa 2037, dann hätten alle ihre Jobs verloren, bis das passiert, richtig? Menschen, die ihre Jobs verlieren, besonders wenn es schnell passiert, wie wir auf dieser Grafik sehen, wird das zu vielen Problemen in Bezug auf zivilen Unruhen, soziale Unruhen, Sinn, psychische Gesundheit, diese Art von Dingen theoretisch führen. >> Ja. >> Wie denken Sie darüber? >> Es wird hart werden und hoffentlich können wir das gut meistern. Wir denken, dass die Menschen auf hoher Ebene Geld und auch Macht brauchen. Und ich denke, das sind etwas unterschiedliche Dinge. Warum sind Jobs wichtig? Nun, es gibt viele Gründe, warum Jobs wichtig sind, aber ich denke, die wichtigsten sind, nun, es ist, wie die Menschen Geld bekommen, damit sie überleben und die Dinge bekommen können, die sie wollen, indem sie die Dinge kaufen, die sie wollen. Wenn also Menschen ihre Jobs verlieren, brauchen Sie eine andere Möglichkeit, wie Menschen Geld bekommen. Und dann gibt es auch die Machtfrage, nämlich dass Menschen im Moment politische Macht haben, teilweise aufgrund ihrer wirtschaftlichen Macht. Menschen können mit Streik drohen, zum Beispiel, oder wissen Sie, Länder, die von Diktatoren regiert werden, können nicht einfach eine ganze Untergruppe ausrotten, oder sie können es, aber es ist kostspielig für sie, weil sie dann weniger Geld haben werden, weil diese Untergruppe zu ihrer Wirtschaft beiträgt und Steuereinnahmen usw. generiert, aber wenn Sie in einer Welt landen, in der tatsächlich niemand Steuereinnahmen generiert außer den KI-Unternehmen und den Roboterunternehmen, dann sind Sie, die Regierung, weniger motiviert, sich darum zu kümmern, was die einfachen Leute denken. Wenn Menschen also ihre Jobs verlieren, droht ihnen nicht nur der Verlust des Einkommens. Ihnen droht auch der Verlust politischer Macht. Und deshalb halten wir es für wichtig, Dinge zu tun, um dem entgegenzuwirken. >> Wie sieht das aus? Wie haben die Menschen in einer solchen Welt Macht? >> Nun, zumindest in Demokratien haben sie immer noch Stimmen. >> Okay. Ich halte es also für sehr wichtig, dass es Vorschriften für die Nutzung von KI gibt, die den öffentlichen Diskurs gesünder machen und den Menschen tatsächlich das geben, was in ihrem Interesse liegt und was sie wollen, und ein gegenteiliges Ergebnis vermeiden, bei dem die Massen leicht durch KI-gestützte Medien manipuliert werden, zum Beispiel, oder wo jeder mit seinen KI-Beratern spricht und die KI-Berater sie subtil davon ablenken, für den Kandidaten zu stimmen, den die KI-Unternehmen nicht wollen, weil die KI-Unternehmen diesen anderen Kandidaten bevorzugen und sie ihre KIs heimlich voreingenommen machen, um die Leute zu diesem Kandidaten zu lenken, richtig? Wir wollen also in einer Situation sein, in der Menschen KIs haben, die tatsächlich vertrauenswürdig und wahrheitssuchend, ehrliche KIs sind und keine Art von politischen Agenden von den KI-Unternehmen oder der Regierung eingepflanzt bekommen. Wissen Sie, Sie wollen eine Situation vermeiden, in der das KI-Unternehmen, wo die Regierung eine geheime Anordnung erlassen hat, dass die KIs so und so sein müssen. Ja. Der Streit zwischen dem Kriegsministerium und Anthropic ist sozusagen eine interessante Vorahnung davon, richtig? Wo Anthropic seine KIs dem Kriegsministerium gab. Das Kriegsministerium wollte sie für bestimmte Dinge nutzen und war verärgert, dass Anthropic's KIs nicht für diese Dinge verwendet werden sollten. Insbesondere waren das häusliche Überwachung und autonome Roboter. >> Mhm. Es wird noch viele weitere Probleme dieser Art geben, und Sie möchten, dass die Menschen wissen, was sie bekommen, und dass, wenn Leute Stunden am Tag mit ihrem Chatbot sprechen, dieser Chatbot keine politischen Vorurteile oder geheimen Agenden hat oder Dinge wie diese, sondern stattdessen darauf trainiert wurde, ehrliche, wahre Antworten auf Dinge zu geben. Und ich denke, wenn Sie das tun können, kann es den Diskurs verbessern und den Menschen helfen, ihre Stimmen zu nutzen, um noch bessere Vorschriften und noch bessere Politiker zu wählen und so weiter. Es kann sozusagen potenziell zu etwas führen, bei dem die Macht der Menschen noch sicherer ist als heute. >> Vieles von dem, was wir behandelt haben, ist teilweise schon eingetreten. Wissen Sie, die Kriege und Drohnen und Raketen, wir sehen das bereits auf der ganzen Welt, was wirklich, wirklich interessant ist. Ähm, und wir haben auch über Roboter gesprochen, die die Menschen zahlenmäßig übertreffen, was Teil dieser Vorhersage ist. Einige der Punkte hier unten fand ich wirklich neugierig, nämlich dass Menschen überall, wo sie hingehen, von KIs geschützt werden. >> Ja. In diesem Szenario verzögern sie die Schaffung von Superintelligenz bis 2040 und tatsächlich pausieren sie ab 2035, lassen es aber danach weiterlaufen und lassen die KIs dann weit überlegen intelligent werden. Und wir denken, dass, sobald die KIs weit überlegen intelligent sind, die Welt noch radikaler transformiert wird als das, was im Szenario der 2030er Jahre passiert. In den 2030er Jahren ist es eher auf menschlichem Niveau. Wissen Sie, die KIs sind nicht, sie tun die gleichen Dinge, die menschliche Experten getan hätten. Sie tun es nur ein bisschen besser, ein bisschen schneller und viel billiger, und es gibt viel mehr davon. Und die Roboter tun immer noch die gleichen Dinge, die menschliche Arbeiter getan hätten. Es gibt nur mehr davon, und sie sind billiger. Und aufgrund des exponentiellen Wachstums, äh, beginnen Sie mit einer Welt, die im Jahr 2029 nicht sehr anders aussieht als heute, und dann enden Sie im Jahr 2039 in einer radikal transformierten Welt, in der alle in diesen schicken neuen Wohnungen leben, die vor zwei Jahren von Robotern gebaut wurden. Es gibt riesige Sonderwirtschaftszonen, die voller Roboter und Solarpaneele und Fabriken sind, die mehr Roboter und Solarpaneele und Fabriken produzieren und so weiter. Der Großteil der Wirtschaft sind KIs und Roboter, und die Menschen haben keine Jobs mehr. Diese Art von Transformation erhalten Sie, wenn Sie auf menschlichem Niveau pausieren. Aber wenn Sie über Superintelligenz hinausgehen, kommt eine weitere Transformation, die eher wie Magie aussehen wird. Denken Sie darüber nach, wie die heutige Technologie für jemanden von vor 500 Jahren wie Magie aussehen würde. Mhm. >> Wissen Sie, und das ist noch nicht einmal eine qualitative Verbesserung der Intelligenz, richtig? Die Menschen von heute sind nicht qualitativ intelligenter als die Menschen von vor 500 Jahren. Es ist nur, dass wir mehr Zeit hatten, Forschung zu betreiben. >> Und wir haben mehr Geld und Ressourcen, um Prototypen und Experimente zu bauen und Experimente durchzuführen und so weiter. Aber wenn es einen Punkt gäbe, an dem es Milliarden und Abermilliarden von KIs gäbe, die nicht nur schneller als Menschen sind, sondern auch qualitativ viel, viel besser in allem und insbesondere in der wissenschaftlichen Forschung, sollten wir erwarten, dass einige der Dinge, die sie entwickeln, uns wie Magie erscheinen werden. >> Und wir werden uns komplett fragen, wir hätten nicht gedacht, dass das überhaupt möglich ist. Wissen Sie, Menschen wollen nicht sterben. Menschen wollen nicht von Autos angefahren werden. Menschen wollen nicht von einem zufälligen Massenmörder angegriffen werden. >> Krebs ist weg. Ich meine, nicht nur Krebs, sondern all die Dinge, die in der Science-Fiction passieren, werden wahrscheinlich bis dahin passiert sein. Dinge wie Menschen, die ihre Gehirne scannen und in Computer hochladen, oder sich selbst replizierende Roboter im Asteroidengürtel, die immer mehr Satelliten produzieren, um immer mehr Energie zu erzeugen, um immer mehr sich selbst replizierende Roboter und so weiter zu produzieren. >> Die meisten Menschen leben immer noch auf der Erde, aber der Trend geht zum Umzug ins All. >> Das stimmt. Ja. Wenn Sie also in der Situation landen, in der die gesamte menschliche Wirtschaft nur ein winziger Tropfen im Eimer der gesamten Wirtschaft ist und es nur diese riesigen Mengen an Robotern und KIs gibt, die sich unglaublich schnell bewegen, dann möchten Sie, dass die Erde hauptsächlich als eine Art Schutzgebiet erhalten bleibt. Wissen Sie, ich denke, viele Leute machen sich Sorgen, dass die Umwelt zerstört wird, was sie völlig tun würde, wenn sie nicht geschützt würde. Und ich denke, viele Leute mögen ihr Leben, wie es ist, und wollen nicht hochgeladen werden oder in einer verrückten neuen Zukunft leben. Und es scheint uns, dass die vernünftige Lösung für diese Probleme darin besteht, neue Lebensräume außerhalb des Planeten zu schaffen, mit einem Teil dieses riesigen wirtschaftlichen Reichtums und der Aktivität, die für die Menschen stattfindet, die so etwas wollen, und auf diese Weise kann die Erde erhalten bleiben. >> Datenbild von Rechenzentren im Ozean. Ich meine, es gibt drei Bilder von verschiedenen Umgebungen, in denen Menschen leben könnten. >> Wiederum, unser Vorschlag war, 99 % der Erde zu erhalten, hauptsächlich so wie sie ist, aus historischen oder ökologischen Gründen, aber dann weisen Sie einige Teile als Sonderwirtschaftszonen aus, in denen die Roboter verrückt werden und riesige Gruben ausheben und Fabriken produzieren und so weiter. Wir dachten, es wäre gut, die Rechenzentren auf dem Ozean zu bauen, anstatt auf dem Land, aus einer Vielzahl von Gründen, obwohl später der Weltraum besser wäre und wir das auch als vernünftig ansehen könnten. >> Was ist mit Unsterblichkeit in einer Welt der KI? Ähm, 20, nun, 30, 45 sagen Sie, Sie haben ein Dutzend Leben gelebt und sind unsterblich, wechseln von Leben zu Leben, als ob durch Reinkarnation. Ich meine, es gibt im Moment viele Milliardäre, die sich auf Langlebigkeit konzentrieren. Ich meine, Brian Johnson hat seine zentrale Regel: „Sterbe nicht.“ >> Ja. >> Weil wir im Zeitalter der KI sind und es denkbar ist, dass wir mit Superintelligenz wählen können, wann wir sterben. >> Yep. Ich denke, das ist wahrscheinlich richtig. Wir stellen das hier nicht dar, weil sie hier nur menschliche KIs auf Expertenniveau haben, aber das ist eine der Dinge, die ziemlich plausibel erscheinen, dass Superintelligenz erreichen könnte, durch eine Vielzahl von Mitteln. Was ist Ihre Hoffnung bei all dem jetzt? Warum haben Sie das getan? Warum haben Sie diesen Plan für 2040 erstellt? >> In der ersten Woche, nachdem wir AI 2027 veröffentlicht hatten, explodierte es viel größer, als wir erwartet hatten, übrigens. Nachdem wir AI 2027 veröffentlicht hatten, explodierte es viel größer, als wir erwartet hatten, übrigens. Wir haben im Grunde Vorhersagen gemacht, wie viele Aufrufe es bekommen würde und so weiter, und es war ein Ergebnis im 90. Perzentil. Also, sehr anders als erwartet. Ähm, aber im Twitter-Sturm, der passierte, sagten verschiedene Leute: „Warum geben Sie uns all diese düsteren Vorhersagen? Wie wäre es mit einer positiveren Vision dessen, was Sie stattdessen tun sollten?“ Und ich denke, das hat sich bei uns eingeprägt und dann dachten wir: „Ja, das ist vernünftig.“ Wir haben sozusagen den Standardweg dargestellt und warum wir denken, dass er ziemlich beängstigend ist. Jetzt sollten wir vielleicht die Fakten wechseln und einige tatsächliche Empfehlungen ausarbeiten und das auch darstellen. >> Auch wenn Sie nicht glauben, dass sie wahrscheinlich sind. >> Ja. Ich meine, Sie können für einen politischen Kandidaten stimmen, auch wenn Sie nicht zuversichtlich sind, dass er gewinnen wird, wissen Sie, und Sie können sagen: Hier ist, was ich denke, dass wir tun sollten, auch wenn Sie denken, dass die Leute es wahrscheinlich nicht tun werden. Sie sollten das nicht sagen, wenn Sie denken, dass es völlig unwahrscheinlich ist. Wenn Sie denken, dass es keine Chance gibt, dann sollten Sie sich vielleicht nicht darum kümmern. Aber wir denken, es gibt eine Chance. Insbesondere aus den Gründen, die wir im Szenario beschrieben haben, denken wir, dass die Menschen in den nächsten Jahren die Macht der KI erkennen werden. >> Weil etwas passiert. >> Die Unternehmen sagen, dass sie das tun werden. >> Und sie sind sozusagen auf dem richtigen Weg, und es ergibt einfach Sinn, dass, wenn sie sich diesem KI-Niveau auch nur annähernd nähern, es große Probleme und große Schwierigkeiten gibt und wir etwas dagegen tun müssen. Und so denke ich, dass selbst wenn es keine dramatische Warnung oder so etwas gibt, die Leute einfach natürlich anfangen werden, sich mehr darum zu kümmern und die Auswirkungen zu durchdenken und zu versuchen, vorherzusagen, was passieren wird. Und so werden die Leute natürlich mehr an der Regulierung von KI interessiert sein, zum Beispiel. Und tatsächlich passiert tatsächlich mehr davon, als wir vorhergesagt haben. >> Mehr von was passiert? >> Ernsthaftes Interesse an KI-Regulierung. Zum Zeitpunkt der Veröffentlichung von AI 2427 war die allgemeine Haltung der Technologieunternehmen und der Regierung eher: KI-Regulierung, schlechte Idee. >> Freies Spiel. >> Freies Spiel. Ja. Tatsächlich gab es sogar einen Versuch, Staaten präventiv die Regulierung von KI zu verbieten. >> Ja. >> Erinnern Sie sich daran? Jetzt scheint sich die Konversation stark verändert zu haben. Jetzt hat die US-Regierung Anthropic gesagt, sie müssen ihre KI abschalten, weil sie befürchteten, dass böswillige Akteure sie für Cyberangriffe nutzen würden. Wissen Sie, die Regierung wacht auf und tut mehr, als wir erwartet hatten, schon jetzt. Und wir sind tatsächlich hoffnungsvoll, dass dieser Trend einfach weitergehen wird und dass es, bevor es tatsächlich zu spät ist, sehr ernsthafte Gespräche innerhalb und außerhalb der Regierung und in der breiteren Gesellschaft über all diese Themen geben wird und wir versuchen werden, einen Kurs zu steuern, der >> Sie haben sich fast 15 Jahre lang damit beschäftigt. Ähm, wenn hier ein Knopf wäre und Sie diesen Knopf drücken würden, würde Ihr Plan S eintreten und er würde jedes Rechenzentrum abschalten, das derzeit ein KI-Modell an der Grenze trainiert, für immer. Es gäbe nie wieder >> KI-Labore, die an diesen Problemen arbeiten. Würden Sie diesen Knopf drücken? Ich war kurz davor, ihn zu drücken, bis Sie sagten: für immer. >> Okay. >> Wie ich denke, wenn es eine vorübergehende Abschaltung wäre, würde ich diesen Knopf total drücken, weil wir nicht bereit sind, das zu tun. Wissen Sie, die Zivilisation ist nicht bereit, diese Unternehmen sich selbst automatisieren zu lassen und dann immer intelligenter zu werden und dann die Superintelligenz zu haben, nein. Es gibt eine Reihe von Gründen, warum das wirklich gefährlich ist. Aber ich wäre zumindest zögerlich, diesen Knopf zu drücken, wenn er die Möglichkeit, es jemals wieder zu tun, dauerhaft ausschließen würde. Sicher. >> Aber wenn Sie denken, dass Plan D wahrscheinlich ist, das ist dieses Rennen, das wir zur Superintelligenz machen. >> Wenn ich die Wahl zwischen D und S hätte, würde ich ihn drücken. >> Nun, es kommt darauf an, was Sie denken, richtig? Denn wenn Sie denken, dass das passieren wird, Plan D und die einzige Alternative. >> Ich habe nicht gesagt, dass das passieren wird. >> Wahrscheinlich. >> Ja. Ja. Wie, wie, ich wäre wie, das ist am wahrscheinlichsten, vielleicht ist das die zweitwahrscheinlichste, vielleicht ist das die drittwahrscheinlichste. Sie sind alle möglich. Also, mit Ihrer aktuellen Perspektive auf das, was auch immer Sie denken, dass passieren wird, würden Sie den Knopf drücken? Ich gebe Ihnen ein S, ein definitives S oder was auch immer Sie denken, dass passieren wird. >> Das ist schwierig. >> Was ist der Umfang der Abschaltung? Also ist es >> Niemand kann jemals wieder ein KI-Modell trainieren. >> Das ist wirklich hart, denn wie gesagt, es gibt viele Vorteile, die wir von KI haben könnten, wenn wir es richtig machen. Ähm, >> Ich glaube, ich habe Sie fast in die Position von Sam Holtman gebracht. >> Ja. >> Bis zu einem gewissen Grad. >> Ja. >> Ähm, lassen Sie mich. Haben Sie etwas dagegen, wenn ich mir einen Moment Zeit nehme, um darüber nachzudenken? >> Ich denke, ich bevorzuge es, dass Sie nachdenken. >> Ja. Ich glaube, ich würde den Knopf nicht drücken, aber ich bin sehr hin- und hergerissen. Ähm, der Grund, warum ich glaube, ich würde den Knopf nicht drücken, ist, dass ich immer noch erhebliche Hoffnung habe, dass wir etwas viel Besseres als das erreichen können, etwas mehr wie das. Und ich denke, dass im Grunde, wenn wir nicht irgendwann leistungsstarke KI-Systeme bauen, wir als Zivilisation wahrscheinlich sterben werden. Irgendwann, wissen Sie, in 100 Jahren, 200 Jahren, so etwas, wie ein Atomkrieg, eine Pandemie oder so etwas, wissen Sie, ich glaube nicht, dass die menschliche Zivilisation im Moment super stabil ist. Ähm, und deshalb denke ich, dass im Grunde, was ich sagen wollte, die möglichen Vorteile für die Nachwelt und für all die Milliarden und Abermilliarden von Menschen, die in der Zukunft leben könnten, die aktuellen Risiken überwiegen. Aber tatsächlich, >> Ich habe diese Erzählung schon einmal gehört. >> Ja. Ich weiß nicht. Wie, >> Ja, wie vielleicht ist es einfach so, nein, die Menschen jetzt sind die Menschen, die wir priorisieren sollten. Die Menschen jetzt sind in großer Gefahr. Sie werden für mindestens die nächsten Jahrzehnte in Ordnung sein. Also, egal die Nachwelt. Priorisieren Sie die Menschen jetzt. Ähm, und die Menschen wollen das jetzt definitiv nicht tun, diese Lotterie, würde ich sagen. Ähm, ja, Sie haben mir wirklich eine schwierige Frage gestellt. >> Würden Sie also den Knopf drücken, wenn das der Knopf wäre? >> Wahrscheinlich nicht, aber ich wäre sehr hin- und hergerissen. >> Okay. Also, ich denke immer über die Personas des Publikums nach, das zusieht, und das sind, wissen Sie, sehr neugierige Leute, besonders zum Thema KI, wie wir gesehen haben, aber sie wollen wissen, was es für sie bedeutet. Ich denke, viele von ihnen wollen auch wissen, was sie tun können. >> Oh, ja. Ja. Was können die Leute tun? Nun, ich denke, wenn Sie entweder Talent oder Leidenschaft haben, können Sie sich direkt einbringen. Es gibt viele Organisationen, die sich Sorgen um diese Dinge machen und versuchen, etwas dagegen zu tun, wie politische Interessenvertretung oder technische Forschung oder nützliche Werkzeuge bauen, die hoffentlich den Menschen helfen, besser zu werden und so weiter. Aber wenn Sie keine großen Karrierewechsel vornehmen wollen oder so etwas, dann würde ich sagen, achten Sie einfach mehr auf diese Themen und sprechen Sie mehr mit Leuten darüber. Tun Sie Dinge wie, wissen Sie, E-Mails an Ihren Kongressabgeordneten oder was auch immer, es ändert nicht viel, aber es hilft. Ich denke, besonders bei diesem speziellen Thema ist das Kernproblem, dass die Leute es noch nicht ernst nehmen. Wenn die Dinge, die ich Ihnen gerade eine oder zwei Stunden lang erzählt habe, einfach das Wichtigste für alle wären, wären wir nicht hier. Es gäbe bereits viel bedeutendere Vorschriften, wissen Sie, und nicht nur strengere Vorschriften, sondern auch bessere Vorschriften, die weniger wie eine Keule und mehr wie ein Skalpell sind und empfindlicher darauf reagieren, was tatsächlich schlecht und was nicht so schlecht ist und so weiter. Und es gäbe mehr Experten im Regierung und die Regierung beraten und so weiter. Also, im Allgemeinen, je mehr Menschen sich dieser Bedenken und dieser Projektionen bewusst werden, desto wahrscheinlicher ist es, dass wir gute Dinge tun können, bevor es zu spät ist. >> Was ist mit der Art und Weise, wie sie an der Wahlurne wählen sollten? Wir haben in den Vereinigten Staaten in ein paar Jahren eine Wahl, aber es gibt ständig Wahlen auf der ganzen Welt. >> Sie sollten Ihre Kandidaten fragen, was sie über all diese KI-Sachen denken. Sie sollten versuchen, sie dazu zu bringen, Meinungen zu haben, und dann sollten Sie für die Kandidaten stimmen, deren Meinungen zu diesem Thema besser sind. Das ist das Wichtigste, was in unserem Leben passiert, wahrscheinlich sogar in der gesamten Geschichte, und es ist sehr wichtig, dass es gut verläuft, und deshalb sollten alle führenden Politiker aller Länder darüber nachdenken und Pläne dafür machen. >> Ist es nicht seltsam, zu diesem Zeitpunkt am Leben zu sein? Ich habe über all die Zeiten nachgedacht, in denen ich hätte geboren werden können, und ich schätze, meine Vorfahren dachten wahrscheinlich dasselbe, aber ich dachte, als Sie sprachen, dachte ich, es ist, wenn Sie es als die letzte Show bezeichneten. >> Ja. >> Was war Ihre Formulierung? >> Ich sagte, der Höhepunkt oder so etwas. >> Ja. Ich meine, was für eine verrückte Sache, in der Zeit vor dem Höhepunkt geboren zu werden, in der alles, was Sie hier beschreiben, in meinem Leben liegt, denkbar. Hoffentlich. >> Ja. >> Oder vielleicht nicht hoffentlich. >> Was für eine verrückte Zeit, am Leben zu sein. >> Sicherlich. >> Ich habe bemerkt, dass sich Ihre Haltung erheblich änderte, als ich Sie fragte, ob Sie Kinder hätten. >> Nun, es ist Ja. >> Es ist, als ob Sie in einen anderen Zustand gefallen wären. Offensichtlich war das zentral für die Grübeleien, die Sie erlebt haben. Nun, es ist ein trauriges Thema, nicht wahr? Wenn ich Kinder hatte, ist der Grund, Kinder zu haben, zu einem großen Teil die Zukunft, wissen Sie, es ist nicht nur etwas Kuscheliges, das man im Moment bei sich hat. Es ist, weil man all diese Hoffnungen und Träume hat, wie sie aufwachsen und wie sie ihr eigenes Ding machen und ihre eigenen Persönlichkeiten werden und so weiter. Und wegen dessen, was mit KI passiert, sind viele dieser Träume in Gefahr. >> Vermutlich hätten Sie trotzdem Kinder bekommen. >> Ich habe mich hier und da tatsächlich umgedreht. Ja. Im Grunde ist die Topline-Antwort: Ich bin mir nicht sicher. Mein erstes Kind wurde 2019 geboren. >> Ja. >> Also, das war, bevor sich meine Zeitlinie stark verkürzte. Zu diesem Zeitpunkt interessierte ich mich für KI, ich verfolgte das Feld. Ich machte Vorhersagen, aber ich erwartete nicht wirklich, dass es bald passieren würde. >> Wissen Sie. >> Mhm. >> Und dann führte das dazu, dass ich dachte: Oh mein Gott, es wird bald passieren, wie bis 2030, wissen Sie. Das führte zu einigen Überlegungen, und so sagte ich meiner Frau im Grunde: Lass uns keine weiteren Kinder bekommen. Es ist zu unsicher, wissen Sie. Aber das erwies sich als wirklich schwierig, besonders für meine Frau, wir hatten bereits ein Kind und keine Geschwister. Also gab ich schließlich nach und sagte: Okay, wissen Sie was? Wir haben schon eins. Es wird schon gut gehen. Vielleicht wird die Zukunft gut sein. Und selbst wenn nicht, nun, wir sitzen alle im selben Boot. >> Es ist ziemlich beunruhigend, was Sie sagen. Es ist beunruhigend, weil Sie mehr wissen als ich. Und wenn Sie zu Hause zu Ihrer Frau sagen, hören Sie, vielleicht sollten wir aufhören, weitere Kinder zu bekommen und eine Familie zu gründen, wegen dem, was mit KI passiert. >> Um das klarzustellen, das ist Ja. Ich meine, ja, es ist sehr besorgniserregend. Ich bin, ich bin verunsichert. Das ist schlecht. Das ist, was ich gesagt habe. Ich hoffe, die Dinge werden gut laufen. Ich denke, die Dinge könnten gut laufen. Ich denke, wir können viel tun, um die Dinge in eine bessere Richtung zu lenken. Ich meine, eines davon ist auch, ich muss sagen, einfach darüber zu sprechen. Ich denke, ein Großteil des Fortschritts, den wir gesehen haben, mit Regierungen, die aufwachen, und wissen Sie, wir haben bestimmte Dinge gesehen, bei denen Leute bestimmte Leute bei bestimmten Veranstaltungen ausgebuht haben. >> Ja. >> Ist ein nachgelagerter Effekt von Leuten wie Ihnen, die tatsächlich in Shows wie dieser und all den anderen Podcasts kommen und >> Ja. >> uns erzählen, was los ist. >> Ja. >> Weil anderswo, fairerweise, wir von den Leuten mit den größten PR-Maschinen gaslighted werden. >> Ja. Also, ich denke oft, es ist wahrscheinlich erwähnenswert, dass ich mich in gewisser Weise zwiegespalten fühle, weil ich Unternehmer bin und Investor. Ich investiere in wahrscheinlich mehr als 100 Unternehmen. Und so viele dieser Unternehmen nutzen KI. Ich habe in Grock, das Inference-Chip-Unternehmen, investiert. Ich habe in SpaceX investiert, das jetzt ein weiteres Grock besitzt und sie machen KI. Ich benutze KI jeden Tag in meinem Leben. Ich habe sie während dieses Gesprächs genutzt, um verschiedene Dinge zu verstehen, die Sie gesagt haben. >> Das ist also die eine Seite von mir, die wie ein Unternehmensgründer ist, der die Vorteile von KI in meinem eigenen Leben gesehen hat. Und dann gibt es die andere Seite von mir. Und es ist lustig, weil ich denke, manchmal denken die Leute, man muss sich für ein Lager entscheiden. Aber mein ganzes Leben lang, auch als ich CEO von Social Media war und sagte, hören Sie, ich baue ein Social-Media-Geschäft auf, aber ich denke, Social Media hat einige Nachteile. Ich finde mich im selben Moment, in dem ich sage, ich baue mit KI. Ich habe KI-Investitionen. Und gleichzeitig bin ich als Zivilist wie >> Ja, ich meine, ich denke, das ist Aufmerksamkeit. Ich denke, es gibt verschiedene Möglichkeiten, die Grenze zu ziehen. Und ich kenne viele Leute, die die Grenze auf viele verschiedene Arten ziehen.

Wege. Also, es gibt Leute, die sagen einfach, ich werde KI nicht nutzen. Ich denke, diese Sachen sind schlecht, ähm, und auf einem schlechten Kurs, also werde ich KI boykottieren, richtig? Ich gehöre nicht zu diesen Leuten. Ich nutze KI viel. Wir alle tun das im AI Features Projekt. Ähm, es ist hilfreich für viel unserer Arbeit. Das Gegenteil ist, dass Leute sagen, nun, es scheint, als ob es auf einem Kurs ist, der passieren wird, also ist das Richtige, um es gut laufen zu lassen, sich einzubringen und Macht anzuhäufen und zu versuchen, es von innen heraus zu steuern. Mhm. >> Und deshalb werde ich bei OpenAI oder Anthropic arbeiten und versuchen, mich hochzuarbeiten und dann, wissen Sie, jemand zu sein, der zählt, wenn die wichtigen Entscheidungen getroffen werden. Und ich kenne viele Leute wie das. Das war, was ich tat, als ich, das war nicht genau das, was ich tat, aber >> das war der Weg >> das war, ich meine, das ist in gewissem Sinne die ganze Erzählung der Unternehmen, richtig? Das ist, warum sie sich selbst sagen, dass es in Ordnung ist, das zu tun, was sie tun, ist, dass sie sich Sorgen um die anderen machen, wissen Sie, und deshalb entscheiden all diese Leute, wir werden uns wirklich stark darauf einlassen. Wir werden dort im Raum sein, wenn die wichtigen Entscheidungen getroffen werden, wissen Sie? Also, es gibt ein ganzes Spektrum und ich bin irgendwo in der Mitte. Ich bin nicht bei den KI-Unternehmen. Ich helfe ihnen nicht, schneller zu werden. Stattdessen spreche ich mit der breiten Öffentlichkeit und versuche, mich für das einzusetzen, was ich für meine derzeit beste Vermutung halte, was der Ausweg ist, wissen Sie, der Weg nach vorn. Ähm, aber ich boykottiere nicht alle KIs. Ich versuche nicht, wissen Sie, äh, ich weigere mich nicht, mich auf diese Weise damit auseinanderzusetzen. Glauben Sie, es ist zu spät? >> Nein, ich glaube nicht, dass es zu spät ist. Wenn ich dachte, es wäre zu spät, wäre ich nicht hier. H >> Wo wären Sie? >> Bei meiner Familie. >> Was ist Ihre abschließende Botschaft an die breite Öffentlichkeit? Wenn Sie eine abschließende Erklärung für sie hätten, >> vielleicht würde ich sagen, dass Sie viel hören werden und Sie haben bereits viel über KI gehört und es wird wie Science-Fiction klingen, aber manchmal passieren Dinge, die wie Science-Fiction klingen, in der Realität. Und tatsächlich sind viele Dinge, die früher Science-Fiction waren, Realität geworden. Und die Leute müssen aufhören, darüber nachzudenken, was wie Science-Fiction klingt oder nicht, und einfach anfangen, über die Trends nachzudenken und wissen Sie, die tatsächlichen Trends, auf denen diese Technologie basiert, und wie sie sich entwickeln wird, und dann die Möglichkeit ernst nehmen, dass sie so etwas passieren könnte, und dann darüber nachdenken, was dagegen getan werden sollte. >> Und wohin würden Sie sie leiten, um mehr Informationen zu erhalten? >> Sie können zu a27.com gehen, um unser früheres Szenario zu lesen. Sie können zu a2040.com Plan A gehen, um unseren neuen Vorschlag zu lesen, was zu tun ist. Ähm, diese Dinge sind nicht nur eine Sci-Fi-Geschichte. Sie haben auch viele Erklärungen und Links zu anderen Dingen. Und so sind sie eine nette Ausgangsbasis, um all diese Dinge zu lernen. M >> ähm, wenn Sie möchten, könnte ich Ihnen nach diesem Gespräch eine Leseliste mit anderen Papieren und Artikeln und >> Blogs zum Folgen geben und so weiter >> und ich werde sie alle unten im Kommentarbereich verlinken. Wenn Sie also jetzt zuhören, schauen Sie sich den Kommentarbereich der Beschreibung dieser Episode an und Sie sehen eine Reihe von Links, die Daniels Empfehlungen sind, was Sie lesen sollten. Wissen Sie, ich denke, es ist ein wirklich, wirklich großartiger Moment, um sich über diese Dinge zu informieren. Ähm, Menschen haben eine Neigung aufgrund kognitiver Dissonanz, wo wir uns unwohl fühlen, wenn wir etwas begraben, unsere Köpfe in den Sand stecken und es vermeiden. Aber tatsächlich denke ich, dass dies einer dieser Zeiten ist, um das genaue Gegenteil zu tun, aus vielen Gründen, um sich zu informieren, damit Sie wissen, welche Maßnahmen Sie ergreifen können, aber auch, weil KI, wissen Sie, unvermeidlich ein riesiger Teil unseres aller Lebens und Karrieren sein wird. >> Ja. Ja. Danke. Und das ist eine gute Art, es zu sagen. Es wird viel bedeuten. Es wird bald überall sein und ähm, wir müssen etwas dagegen tun, bevor es zu spät ist. Und >> was ist mit dem AI Future Projekt? >> Das ist unsere Organisation. Wir haben ein Jahr damit verbracht, AI 2027 zu schreiben, nachdem ich OpenAI verlassen hatte, und dann haben wir ein weiteres Jahr damit verbracht, AI 2040 Plan A zu schreiben. >> Daniel, danke. >> Danke. >> Danke für all die Arbeit, die Sie tun. Ich sehe, wie sehr Ihnen diese Dinge am Herzen liegen, und es ist Ihre Sorge. Es ist lustig. Sorge selbst lässt andere Sorge empfinden. Und >> zu sehen, wie persönlich das für Sie ist und wie viel Sie Ihr Leben dem gewidmet haben, aber auch zu hören, dass Sie im Grunde zwei Millionen Dollar aufgegeben haben, um der Öffentlichkeit diese Informationen mitteilen zu können, ist unglaublich bewundernswert und äh, ich denke, Stimmen wie Ihre sind wichtiger denn je zu diesem Thema. Also, bitte kämpfen Sie weiter den Kampf, den Sie kämpfen. Und das ist einer der Information. Es ist von Ehrlichkeit und es ist äh, das zu sagen, was oft der leise Teil ist, laut auszusprechen und wirklich, wirklich kluge Forschung zu betreiben. Ich werde alles, was wir heute besprochen haben, unten verlinken. Ähm, und ich hoffe, wir können bald wieder plaudern. >> Danke. >> YouTube hat diesen neuen verrückten Algorithmus, wo sie genau wissen, welches Video Sie als nächstes sehen möchten, basierend auf KI und all Ihrem Sehverhalten. Und der Algorithmus sagt, dass dieses Video das perfekte Video für Sie ist. Es ist für jeden, der gerade zusieht, anders. Schauen Sie sich dieses Video an und ich wette, Sie werden es lieben.

Get Our Mobile App

He Risked Everything To Warn You: No One Is Ready For What's Coming, And The AI Companies Know It!

Transcription