Ilya Sutskever – We're moving from the age of scaling to the age of research

Weißt du, was verrückt ist? Dass das alles echt ist. Was meinst du damit? Denkst du nicht auch so? All diese KI-Sachen und all diese Bay Area… dass es passiert. Ist das nicht direkt aus Science-Fiction? Eine andere Sache, die verrückt ist, ist, wie normal sich der langsame Anstieg anfühlt. Die Idee, dass wir 1% des BIP in KI investieren würden, ich glaube, das hätte sich wie eine größere Sache angefühlt, während es sich jetzt einfach… Wir gewöhnen uns ziemlich schnell an Dinge, wie sich herausstellt. Aber es ist auch irgendwie abstrakt. Was bedeutet das? Es bedeutet, dass du es in den Nachrichten siehst, dass die Firma X die Summe Y angekündigt hat. Das ist alles, was du siehst. Es wird bisher nicht wirklich auf andere Weise gefühlt. Sollen wir hier tatsächlich anfangen? Ich denke, das ist eine interessante Diskussion. Sicher. Ich denke, dein Punkt, wie aus der Sicht des Durchschnittsmenschen nichts so anders ist, wird auch bis zur Singularität wahr bleiben. Nein, das glaube ich nicht. Okay, interessant. Die Sache, auf die ich mich bezog, dass sie sich nicht anders anfühlt, ist, okay, die Firma X hat eine schwer zu verstehende Geldsumme an Investitionen angekündigt. Ich glaube nicht, dass irgendjemand weiß, was er damit anfangen soll. Aber ich denke, die Auswirkungen von KI werden spürbar sein. KI wird sich durch die Wirtschaft ziehen. Es wird sehr starke wirtschaftliche Kräfte dafür geben, und ich denke, die Auswirkungen werden sehr stark spürbar sein. Wann erwartest du diese Auswirkungen? Ich denke, die Modelle scheinen intelligenter zu sein, als ihre wirtschaftlichen Auswirkungen vermuten lassen. Ja. Das ist eine der sehr verwirrenden Dinge an den Modellen im Moment. Wie kann man die Tatsache in Einklang bringen, dass sie bei Auswertungen so gut abschneiden? Du schaust dir die Auswertungen an und denkst: "Das sind ziemlich schwierige Auswertungen." Sie schneiden so gut ab. Aber die wirtschaftlichen Auswirkungen scheinen dramatisch zurückzubleiben. Es ist sehr schwer zu verstehen, wie das Modell einerseits diese erstaunlichen Dinge tun kann und andererseits sich in einer Situation zweimal wiederholen kann. Ein Beispiel wäre, sagen wir, du verwendest Vibe-Coding, um etwas zu tun. Du gehst irgendwohin und dann bekommst du einen Fehler. Dann sagst du dem Modell: "Kannst du bitte den Fehler beheben?" Und das Modell sagt: "Oh mein Gott, du hast so recht. Ich habe einen Fehler. Lass mich das beheben." Und es führt einen zweiten Fehler ein. Dann sagst du ihm: "Du hast diesen neuen zweiten Fehler", und es sagt dir: "Oh mein Gott, wie konnte ich das tun? Du hast wieder so recht", und bringt den ersten Fehler zurück, und du kannst zwischen diesen wechseln. Wie ist das möglich? Ich bin mir nicht sicher, aber es deutet darauf hin, dass etwas Seltsames vor sich geht. Ich habe zwei mögliche Erklärungen. Die skurrilere Erklärung ist, dass vielleicht das RL-Training die Modelle ein wenig zu einseitig und eng fokussiert macht, ein wenig zu unbewusst, obwohl es sie auch in anderer Hinsicht bewusst macht. Deshalb können sie keine grundlegenden Dinge tun. Aber es gibt eine andere Erklärung. Als die Leute Pre-Training machten, wurde die Frage, auf welchen Daten trainiert werden soll, beantwortet, weil diese Antwort alles war. Wenn du Pre-Training machst, brauchst du alle Daten. Du musst also nicht überlegen, ob es diese oder jene Daten sein werden. Aber wenn Leute RL-Training machen, müssen sie nachdenken. Sie sagen: "Okay, wir wollen diese Art von RL-Training für dieses Ding und jene Art von RL-Training für jenes Ding." Soweit ich höre, haben alle Unternehmen Teams, die einfach neue RL-Umgebungen produzieren und sie dem Trainingsmix hinzufügen. Die Frage ist, nun, was sind das? Es gibt so viele Freiheitsgrade. Es gibt eine so riesige Vielfalt an RL-Umgebungen, die du produzieren könntest. Eine Sache, die du tun könntest, und ich denke, das geschieht unabsichtlich, ist, dass Leute sich von den Auswertungen inspirieren lassen. Du sagst: "Hey, ich möchte, dass unser Modell wirklich gut abschneidet, wenn wir es veröffentlichen. Ich möchte, dass die Auswertungen großartig aussehen. Was wäre ein RL-Training, das bei dieser Aufgabe helfen könnte?" Ich denke, das ist etwas, das passiert, und es könnte vieles von dem erklären, was vor sich geht. Wenn du das mit der Tatsache kombinierst, dass die Generalisierung der Modelle tatsächlich unzureichend ist, dann hat das das Potenzial, vieles von dem zu erklären, was wir sehen, diese Diskrepanz zwischen Auswertungsleistung und tatsächlicher Leistung in der realen Welt, was etwas ist, das wir heute nicht einmal verstehen, was wir damit meinen. Ich mag diese Idee, dass das eigentliche Belohnungs-Hacking die menschlichen Forscher sind, die sich zu sehr auf die Auswertungen konzentrieren. Ich denke, es gibt zwei Möglichkeiten, das, was du gerade angesprochen hast, zu verstehen oder darüber nachzudenken. Eine ist, wenn es so ist, dass ein Modell, nur weil es übermenschlich in einem Programmierwettbewerb wird, nicht automatisch geschmackvoller wird und besseres Urteilsvermögen bei der Verbesserung deines Codebestands ausübt, dann solltest du die Suite von Umgebungen erweitern, so dass du es nicht nur auf die beste Leistung in einem Programmierwettbewerb testest. Es sollte auch in der Lage sein, die beste Art von Anwendung für X, Y oder Z zu erstellen. Eine andere, vielleicht ist das, worauf du anspielst, ist zu sagen: "Warum sollte es überhaupt so sein, dass übermenschlich in Programmierwettbewerben zu werden, dich nicht generell zu einem geschmackvolleren Programmierer macht?" Vielleicht ist das Richtige nicht, die Menge und Vielfalt der Umgebungen weiter zu stapeln, sondern einen Ansatz zu finden, der es dir ermöglicht, aus einer Umgebung zu lernen und deine Leistung bei etwas anderem zu verbessern. Ich habe eine menschliche Analogie, die hilfreich sein könnte. Nehmen wir den Fall des kompetitiven Programmierens, da du das erwähnt hast. Angenommen, du hast zwei Studenten. Einer von ihnen beschloss, der beste kompetitive Programmierer werden zu wollen, also wird er 10.000 Stunden für dieses Gebiet üben. Er wird alle Probleme lösen, alle Beweistechniken auswendig lernen und sehr geschickt darin sein, alle Algorithmen schnell und korrekt zu implementieren. Indem er das tut, wurde er einer der Besten. Student Nummer zwei dachte: "Oh, kompetitives Programmieren ist cool." Vielleicht übte er 100 Stunden, viel weniger, und er schnitt auch sehr gut ab. Wer von beiden wird deiner Meinung nach später in seiner Karriere besser abschneiden? Der zweite. Richtig. Ich denke, das ist im Grunde das, was passiert. Die Modelle sind viel mehr wie der erste Student, aber noch mehr. Denn dann sagen wir, das Modell sollte gut im kompetitiven Programmieren sein, also besorgen wir uns jedes einzelne kompetitive Programmierproblem, das es je gab. Und dann machen wir etwas Datenaugmentation, damit wir noch mehr kompetitive Programmierprobleme haben, und wir trainieren darauf. Jetzt hast du diesen großartigen kompetitiven Programmierer. Mit dieser Analogie ist es intuitiver. Ja, okay, wenn es so gut trainiert ist, alle verschiedenen Algorithmen und alle verschiedenen Beweistechniken sind ihm sofort zur Verfügung. Und es ist intuitiver, dass es bei diesem Vorbereitungsgrad nicht unbedingt auf andere Dinge verallgemeinert. Aber was ist dann die Analogie für das, was der zweite Student tut, bevor er die 100 Stunden Feinabstimmung macht? Ich denke, er hat "es". Den "Es"-Faktor. Als ich Student war, erinnere ich mich an einen solchen Studenten, der mit mir studierte, also weiß ich, dass es existiert. Ich denke, es ist interessant, "es" von dem zu unterscheiden, was Pre-Training tut. Eine Möglichkeit, das, was du gerade über das Nicht-Wählen-der-Daten-beim-Pre-Training gesagt hast, zu verstehen, ist zu sagen, dass es eigentlich nicht unähnlich zu den 10.000 Stunden Übung ist. Es ist nur so, dass du diese 10.000 Stunden Übung kostenlos bekommst, weil sie bereits irgendwo in der Pre-Training-Verteilung vorhanden sind. Aber vielleicht schlägst du vor, dass es tatsächlich nicht so viel Generalisierung vom Pre-Training gibt. Es gibt einfach so viele Daten im Pre-Training, aber es verallgemeinert nicht unbedingt besser als RL. Die Hauptstärke des Pre-Trainings ist: A, es gibt so viel davon, und B, du musst nicht viel darüber nachdenken, welche Daten in das Pre-Training einfließen sollen. Es sind sehr natürliche Daten, und sie enthalten vieles von dem, was Menschen tun: die Gedanken der Menschen und viele der Merkmale. Es ist wie die ganze Welt, wie sie von Menschen auf Text projiziert wird, und Pre-Training versucht, das mit einer riesigen Datenmenge zu erfassen. Pre-Training ist sehr schwer zu analysieren, weil es so schwer ist zu verstehen, auf welche Weise das Modell auf Pre-Training-Daten angewiesen ist. Wenn das Modell einen Fehler macht, könnte es daran liegen, dass etwas zufällig nicht so gut durch die Pre-Training-Daten gestützt wird? "Gestützt durch Pre-Training" ist vielleicht ein loser Begriff. Ich weiß nicht, ob ich hier noch etwas Nützlicheres hinzufügen kann. Ich glaube nicht, dass es eine menschliche Analogie zum Pre-Training gibt. Hier sind Analogien, die Leute für die menschliche Analogie zum Pre-Training vorgeschlagen haben. Ich bin neugierig auf deine Gedanken, warum sie potenziell falsch sind. Eine ist, an die ersten 18, oder 15, oder 13 Jahre eines Menschen zu denken, in denen er nicht unbedingt wirtschaftlich produktiv ist, aber etwas tut, das ihn die Welt besser verstehen lässt und so weiter. Die andere ist, an die Evolution als eine Art Suche über 3 Milliarden Jahre zu denken, die dann zu einer menschlichen Lebenszeit führt. Ich bin neugierig, ob du denkst, dass eine dieser beiden Analogien dem Pre-Training entspricht. Wie würdest du das lebenslange menschliche Lernen betrachten, wenn nicht Pre-Training? Ich denke, es gibt einige Ähnlichkeiten zwischen beiden und dem Pre-Training, und Pre-Training versucht, die Rolle beider zu spielen. Aber ich denke, es gibt auch einige große Unterschiede. Die Menge der Pre-Training-Daten ist sehr, sehr erstaunlich. Ja. Irgendwie weiß ein Mensch, selbst nach 15 Jahren mit einem winzigen Bruchteil der Pre-Training-Daten, viel weniger. Aber was auch immer er weiß, er weiß es irgendwie tiefer. Schon in diesem Alter würdest du keine Fehler machen, die unsere KIs machen. Es gibt noch etwas anderes. Man könnte sagen, könnte es so etwas wie Evolution sein? Die Antwort ist vielleicht. Aber in diesem Fall hat die Evolution vielleicht tatsächlich einen Vorteil. Ich erinnere mich, das gelesen zu haben. Eine Möglichkeit, wie Neurowissenschaftler das Gehirn lernen, ist, Menschen mit Hirnschäden in verschiedenen Teilen des Gehirns zu untersuchen. Manche Menschen haben die seltsamsten Symptome, die man sich vorstellen kann. Es ist tatsächlich wirklich, wirklich interessant. Ein Fall, der mir einfällt und relevant ist. Ich habe von dieser Person gelesen, die eine Art Hirnschaden hatte, einen Schlaganfall oder einen Unfall, der ihre emotionale Verarbeitung ausschaltete. Also hörte sie auf, Emotionen zu empfinden. Sie blieb sehr artikuliert und konnte kleine Rätsel lösen, und bei Tests schien sie einfach gut zu sein. Aber sie empfand keine Emotionen. Sie fühlte sich nicht traurig, sie fühlte sich nicht wütend, sie fühlte sich nicht belebt. Sie wurde irgendwie extrem schlecht darin, überhaupt Entscheidungen zu treffen. Es würde Stunden dauern, bis sie sich entschied, welche Socken sie tragen sollte. Sie traf sehr schlechte finanzielle Entscheidungen. Was sagt das über die Rolle unserer eingebauten Emotionen bei der Schaffung eines lebensfähigen Agenten aus? Um auf deine Frage zum Pre-Training zurückzukommen: Vielleicht, wenn du gut genug darin bist, alles aus dem Pre-Training herauszuholen, könntest du das auch bekommen. Aber das ist die Art von Ding, die… Nun, es mag möglich sein oder auch nicht, das aus dem Pre-Training zu bekommen. Was ist "das"? Offensichtlich nicht nur direkt Emotion. Es scheint eine Art wertfunktionsähnliche Sache zu sein, die dir sagt, was die endgültige Belohnung für jede Entscheidung sein sollte. Glaubst du nicht, dass das implizit aus dem Pre-Training kommt? Ich denke, das könnte sein. Ich sage nur, es ist nicht 100% offensichtlich. Aber was ist das? Wie denkst du über Emotionen? Was ist die ML-Analogie für Emotionen? Es sollte eine Art Wertfunktionsding sein. Aber ich glaube nicht, dass es eine großartige ML-Analogie gibt, weil Wertfunktionen im Moment keine sehr prominente Rolle in dem spielen, was die Leute tun. Es könnte sich lohnen, für das Publikum zu definieren, was eine Wertfunktion ist, wenn du das tun möchtest. Sicher, das mache ich sehr gerne. Wenn Leute Reinforcement Learning machen, wie Reinforcement Learning im Moment gemacht wird, wie trainieren die Leute diese Agenten? Du hast dein neuronales Netz und gibst ihm ein Problem, und dann sagst du dem Modell: "Geh es lösen." Das Modell braucht vielleicht Tausende, Hunderttausende von Aktionen oder Gedanken oder so etwas, und dann produziert es eine Lösung. Die Lösung wird bewertet. Und dann wird die Punktzahl verwendet, um ein Trainingssignal für jede einzelne Aktion in deiner Flugbahn bereitzustellen. Das bedeutet, wenn du etwas tust, das lange dauert – wenn du eine Aufgabe trainierst, die lange dauert, um sie zu lösen – wird es überhaupt kein Lernen geben, bis du die vorgeschlagene Lösung gefunden hast. So wird Reinforcement Learning naiv gemacht. So werden o1, R1 angeblich gemacht. Die Wertfunktion sagt so etwas wie: "Vielleicht kann ich dir manchmal, nicht immer, sagen, ob du dich gut oder schlecht machst." Die Vorstellung einer Wertfunktion ist in manchen Bereichen nützlicher als in anderen. Zum Beispiel, wenn du Schach spielst und eine Figur verlierst, habe ich einen Fehler gemacht. Du musst nicht das ganze Spiel spielen, um zu wissen, dass das, was ich gerade getan habe, schlecht war, und deshalb war auch alles, was davor kam, schlecht. Die Wertfunktion lässt dich das Warten bis zum Ende abkürzen. Nehmen wir an, du machst eine Art Mathe- oder Programmieraufgabe und versuchst, eine bestimmte Lösung oder Richtung zu erkunden. Nach, sagen wir, tausend Schritten des Nachdenkens kommst du zu dem Schluss, dass diese Richtung vielversprechend ist. Sobald du zu diesem Schluss kommst, könntest du bereits einen Belohnungssignal tausend Zeitschritte zuvor erhalten, als du dich entschieden hast, diesen Weg zu verfolgen. Du sagst: "Nächstes Mal sollte ich diesen Weg in einer ähnlichen Situation nicht verfolgen", lange bevor du tatsächlich die vorgeschlagene Lösung gefunden hast. Das war im DeepSeek R1-Paper – dass der Raum der Flugbahnen so breit ist, dass es vielleicht schwer ist, eine Abbildung von einer Zwischenflugbahn und einem Wert zu lernen. Und auch angesichts dessen, dass du zum Beispiel beim Programmieren die falsche Idee hast, dann zurückgehst, dann etwas änderst. Das klingt nach so wenig Vertrauen in Deep Learning. Sicher, es mag schwierig sein, aber nichts, was Deep Learning nicht kann. Meine Erwartung ist, dass eine Wertfunktion nützlich sein wird, und ich erwarte voll und ganz, dass sie in Zukunft verwendet wird, wenn nicht schon. Worauf ich bei der Person anspielte, deren emotionales Zentrum beschädigt wurde, ist eher, dass es vielleicht darauf hindeutet, dass die Wertfunktion von Menschen durch Emotionen auf eine wichtige Weise moduliert wird, die durch Evolution hartkodiert ist. Und vielleicht ist das wichtig, damit Menschen in der Welt effektiv sind. Das ist die Sache, die ich dich fragen wollte. Es gibt etwas wirklich Interessantes an Emotionen und der Wertfunktion, nämlich dass es beeindruckend ist, dass sie so viel Nutzen haben und dennoch relativ einfach zu verstehen sind. Ich habe zwei Antworten. Ich stimme zu, dass im Vergleich zu den Dingen, die wir lernen, und den Dingen, über die wir sprechen, die Art von KI, über die wir sprechen, Emotionen relativ einfach sind. Sie könnten sogar so einfach sein, dass man sie vielleicht auf eine für Menschen verständliche Weise abbilden könnte. Ich denke, das wäre cool. Was den Nutzen angeht, denke ich, gibt es eine Sache, bei der es diesen Komplexitäts-Robustheits-Kompromiss gibt, bei dem komplexe Dinge sehr nützlich sein können, aber einfache Dinge in einem sehr breiten Spektrum von Situationen sehr nützlich sind. Eine Möglichkeit, das, was wir sehen, zu interpretieren, ist, dass wir diese Emotionen haben, die sich hauptsächlich von unseren Säugetier-Vorfahren entwickelt haben und dann ein wenig verfeinert wurden, als wir Hominiden waren, nur ein wenig. Wir haben aber eine beträchtliche Menge an sozialen Emotionen, die Säugetiere vielleicht nicht haben. Aber sie sind nicht sehr ausgefeilt. Und weil sie nicht ausgefeilt sind, dienen sie uns so gut in dieser sehr anderen Welt im Vergleich zu der, in der wir gelebt haben. Tatsächlich machen sie auch Fehler. Zum Beispiel unsere Emotionen… Nun, eigentlich weiß ich es nicht. Zählt Hunger als Emotion? Das ist umstritten. Aber ich denke, zum Beispiel, unser intuitives Gefühl von Hunger leitet uns in dieser Welt mit einem Überfluss an Nahrung nicht richtig. Die Leute haben über das Skalieren von Daten, das Skalieren von Parametern, das Skalieren von Rechenleistung gesprochen. Gibt es eine allgemeinere Art, über Skalierung nachzudenken? Was sind die anderen Skalierungsachsen? Hier ist eine Perspektive, die meiner Meinung nach wahr sein könnte. Die Art und Weise, wie ML früher funktionierte, war, dass die Leute einfach an Dingen herumspielten und interessante Ergebnisse erzielten. Das ist, was in der Vergangenheit passiert ist. Dann kam die Skalierungs-Erkenntnis. Skalierungsgesetze, GPT-3, und plötzlich erkannten alle, dass wir skalieren sollten. Das ist ein Beispiel dafür, wie Sprache das Denken beeinflusst. "Skalierung" ist nur ein Wort, aber es ist ein so mächtiges Wort, weil es den Leuten sagt, was sie tun sollen. Sie sagen: "Lasst uns versuchen, Dinge zu skalieren." Also fragst du, was skalieren wir? Pre-Training war das, was skaliert werden musste. Es war ein bestimmtes Skalierungsrezept. Der große Durchbruch des Pre-Trainings ist die Erkenntnis, dass dieses Rezept gut ist. Du sagst: "Hey, wenn du etwas Rechenleistung mit etwas Daten in ein neuronales Netz einer bestimmten Größe mischst, wirst du Ergebnisse erzielen. Du wirst wissen, dass du besser sein wirst, wenn du das Rezept einfach hochskalierst." Das ist auch großartig. Unternehmen lieben das, weil es dir eine sehr risikofreie Möglichkeit gibt, deine Ressourcen zu investieren. Es ist viel schwieriger, in Forschung zu investieren. Vergleiche das. Wenn du forschst, musst du sagen: "Geht hin, Forscher, und forscht und erfindet etwas", im Gegensatz zu mehr Daten, mehr Rechenleistung. Du weißt, dass du etwas aus dem Pre-Training bekommen wirst. Tatsächlich scheint es, basierend auf verschiedenen Dingen, die einige Leute auf Twitter sagen, vielleicht scheint es, dass Gemini einen Weg gefunden hat, mehr aus dem Pre-Training herauszuholen. Irgendwann wird jedoch das Pre-Training die Daten ausgehen. Die Daten sind sehr klar endlich. Was machst du als Nächstes? Entweder machst du eine Art aufgemotztes Pre-Training, ein anderes Rezept als das, was du bisher gemacht hast, oder du machst RL, oder vielleicht etwas anderes. Aber jetzt, wo die Rechenleistung groß ist, ist die Rechenleistung jetzt sehr groß, in gewisser Weise sind wir zurück im Zeitalter der Forschung. Vielleicht gibt es hier eine andere Art, es auszudrücken. Bis 2020, von 2012 bis 2020, war es das Zeitalter der Forschung. Jetzt, von 2020 bis 2025, war es das Zeitalter der Skalierung – vielleicht plus oder minus, fügen wir Fehlerbalken zu diesen Jahren hinzu – weil die Leute sagen: "Das ist erstaunlich. Du musst mehr skalieren. Skaliere weiter." Das eine Wort: Skalierung. Aber jetzt ist die Skala so groß. Ist der Glaube wirklich: "Oh, es ist so groß, aber wenn du 100x mehr hättest, wäre alles so anders?" Es wäre anders, sicher. Aber ist der Glaube, dass wenn du die Skala nur 100-fach erhöhst, alles transformiert wird? Das glaube ich nicht. Also ist es wieder das Zeitalter der Forschung, nur mit großen Computern. Das ist eine sehr interessante Art, es auszudrücken. Aber lass mich dir die Frage stellen, die du gerade gestellt hast. Was skalieren wir, und was würde ein Rezept bedeuten? Ich bin mir glaube ich keiner sehr klaren Beziehung bewusst, die fast wie ein Naturgesetz aussieht, wie sie im Pre-Training existierte. Es gab ein Potenzgesetz zwischen Daten oder Rechenleistung oder Parametern und Verlust. Welche Art von Beziehung sollten wir anstreben, und wie sollten wir darüber nachdenken, wie dieses neue Rezept aussehen könnte? Wir haben bereits einen Übergang von einer Art der Skalierung zu einer anderen Art der Skalierung erlebt, vom Pre-Training zu RL. Jetzt skalieren die Leute RL. Jetzt, basierend auf dem, was Leute auf Twitter sagen, geben sie mehr Rechenleistung für RL aus als für Pre-Training, weil RL ziemlich viel Rechenleistung verbrauchen kann. Du machst sehr lange Rollouts, also braucht es viel Rechenleistung, um diese Rollouts zu produzieren. Dann erhältst du relativ wenig Lernen pro Rollout, sodass du wirklich viel Rechenleistung ausgeben kannst. Ich würde es nicht einmal Skalierung nennen. Ich würde sagen: "Hey, was machst du? Ist das, was du tust, das Produktívste, was du tun könntest? Kannst du eine produktivere Art finden, deine Rechenleistung zu nutzen?" Wir haben das Wertfunktionsgeschäft früher besprochen. Vielleicht, wenn die Leute gut mit Wertfunktionen umgehen können, werden sie ihre Ressourcen produktiver nutzen. Wenn du einen ganz anderen Weg findest, Modelle zu trainieren, könntest du sagen: "Ist das Skalierung oder nutzt es nur deine Ressourcen?" Ich denke, es wird ein wenig mehrdeutig. In dem Sinne, dass, als die Leute damals im Zeitalter der Forschung waren, es hieß: "Lasst uns dies und das und das versuchen. Lasst uns jenes und jenes und jenes versuchen. Oh, schau, etwas Interessantes passiert." Ich denke, es wird eine Rückkehr dazu geben. Wenn wir uns wieder im Zeitalter der Forschung befinden, wenn wir einen Schritt zurücktreten, welcher Teil des Rezepts muss am meisten überlegt werden? Wenn du von Wertfunktion sprichst, versuchen die Leute bereits das aktuelle Rezept, aber dann mit LLM-as-a-Judge und so weiter. Man könnte sagen, das ist eine Wertfunktion, aber es klingt, als hättest du etwas viel Grundlegenderes im Sinn. Sollten wir überhaupt das Pre-Training überdenken und nicht nur weitere Schritte am Ende dieses Prozesses hinzufügen? Die Diskussion über die Wertfunktion, ich denke, sie war interessant. Ich möchte betonen, dass ich denke, dass die Wertfunktion etwas ist, das RL effizienter machen wird, und ich denke, das macht einen Unterschied. Aber ich denke, alles, was du mit einer Wertfunktion tun kannst, kannst du auch ohne tun, nur langsamer. Das, was ich für das Grundlegendste halte, ist, dass diese Modelle irgendwie dramatisch schlechter verallgemeinern als Menschen. Das ist super offensichtlich. Das scheint eine sehr grundlegende Sache zu sein. Das ist also der Kern: Generalisierung. Es gibt zwei Unterfragen. Es gibt eine, die sich mit Stichprobeneffizienz befasst: Warum brauchen diese Modelle so viel mehr Daten, um zu lernen als Menschen? Es gibt eine zweite Frage. Selbst getrennt von der Datenmenge, warum ist es so schwer, dem Modell das beizubringen, was wir wollen, als einem Menschen? Für einen Menschen brauchen wir nicht unbedingt eine verifizierbare Belohnung, um… Du betreust wahrscheinlich eine Menge Forscher und sprichst mit ihnen, du zeigst ihnen deinen Code und du zeigst ihnen, wie du denkst. Von dort nehmen sie deine Denkweise auf und wie sie forschen sollten. Du musst ihnen keine verifizierbare Belohnung geben, die lautet: "Okay, das ist der nächste Teil des Lehrplans, und jetzt ist das der nächste Teil deines Lehrplans. Oh, dieses Training war instabil." Es gibt nicht diesen schlampigen, maßgeschneiderten Prozess. Vielleicht sind diese beiden Probleme tatsächlich miteinander verbunden, aber ich wäre neugierig, das Zweite zu erforschen, das mehr wie kontinuierliches Lernen ist, und das Erste, das sich einfach wie Stichprobeneffizienz anfühlt. Man könnte sich tatsächlich fragen, ob eine mögliche Erklärung für die menschliche Stichprobeneffizienz, die berücksichtigt werden muss, die Evolution ist. Die Evolution hat uns eine kleine Menge der nützlichsten Informationen gegeben. Für Dinge wie Sehen, Hören und Fortbewegung gibt es meiner Meinung nach einen ziemlich starken Fall dafür, dass die Evolution uns viel gegeben hat. Zum Beispiel übertrifft die menschliche Geschicklichkeit bei weitem… Ich meine, Roboter können auch geschickt werden, wenn man sie einer riesigen Menge an Training in Simulation unterzieht. Aber einen Roboter in der realen Welt so schnell eine neue Fähigkeit wie ein Mensch erlernen zu lassen, scheint sehr weit hergeholt. Hier könnte man sagen: "Oh ja, Fortbewegung. Alle unsere Vorfahren brauchten großartige Fortbewegung, Eichhörnchen. Also haben wir bei der Fortbewegung vielleicht einen unglaublichen Vorwissen." Man könnte dasselbe für das Sehen sagen. Ich glaube, Yann LeCun hat den Punkt gemacht, dass Kinder nach 10 Stunden Übung Autofahren lernen, was stimmt. Aber unser Sehen ist so gut. Zumindest für mich erinnere ich mich, dass ich ein Fünfjähriger war. Ich war damals sehr begeistert von Autos. Ich bin mir ziemlich sicher, dass meine Autokenntnis bereits als Fünfjähriger zum Fahren mehr als ausreichend war. Man sieht als Fünfjähriger nicht so viele Daten. Man verbringt die meiste Zeit im Haus der Eltern, also hat man eine sehr geringe Datenvielfalt. Aber man könnte sagen, vielleicht ist das auch Evolution. Aber in Sprache, Mathematik und Programmierung wahrscheinlich nicht. Es scheint immer noch besser zu sein als Modelle. Offensichtlich sind Modelle besser als der Durchschnittsmensch in Sprache, Mathematik und Programmierung. Aber sind sie besser als der Durchschnittsmensch im Lernen? Oh ja. Oh ja, absolut. Was ich sagen wollte, ist, dass Sprache, Mathematik und Programmierung – und besonders Mathematik und Programmierung – darauf hindeuten, dass das, was Menschen gut im Lernen macht, wahrscheinlich nicht so sehr ein kompliziertes Vorwissen ist, sondern etwas mehr, etwas Grundlegendes. Ich bin mir nicht sicher, ob ich das verstanden habe. Warum sollte das so sein? Betrachten wir eine Fähigkeit, bei der Menschen eine Art große Zuverlässigkeit zeigen. Wenn die Fähigkeit eine ist, die für unsere Vorfahren über viele Millionen Jahre, Hunderte von Millionen Jahren sehr nützlich war, könnte man argumentieren, dass Menschen sie vielleicht wegen der Evolution gut beherrschen, weil wir ein Vorwissen haben, ein evolutionäres Vorwissen, das auf eine sehr nicht offensichtliche Weise kodiert ist, die uns irgendwie so gut darin macht. Aber wenn Menschen eine große Fähigkeit, Zuverlässigkeit, Robustheit und Lernfähigkeit in einem Bereich zeigen, der erst vor kurzem existierte, dann ist das eher ein Hinweis darauf, dass Menschen vielleicht einfach besseres maschinelles Lernen haben, Punkt. Wie sollten wir darüber nachdenken, was das ist? Was ist die ML-Analogie? Es gibt ein paar interessante Dinge daran. Es braucht weniger Stichproben. Es ist mehr unüberwacht. Ein Kind lernt Autofahren… Kinder lernen kein Autofahren. Ein Teenager, der Autofahren lernt, bekommt nicht genau eine vorgefertigte, verifizierbare Belohnung. Es kommt aus der Interaktion mit der Maschine und der Umwelt. Es braucht viel weniger Stichproben. Es scheint unüberwachter. Es scheint robuster? Viel robuster. Die Robustheit von Menschen ist wirklich erstaunlich. Hast du eine einheitliche Denkweise, warum all diese Dinge gleichzeitig passieren? Was ist die ML-Analogie, die so etwas realisieren könnte? Eines der Dinge, nach denen du gefragt hast, ist, wie kann der jugendliche Fahrer sich selbst korrigieren und aus seiner Erfahrung lernen, ohne einen externen Lehrer? Die Antwort ist, dass sie ihre Wertfunktion haben. Sie haben einen allgemeinen Sinn, der übrigens auch bei Menschen extrem robust ist. Was auch immer die menschliche Wertfunktion ist, mit wenigen Ausnahmen rund um Sucht, ist sie tatsächlich sehr, sehr robust. Also für etwas wie einen Teenager, der Autofahren lernt, fängt er an zu fahren, und er hat sofort ein Gefühl dafür, wie er fährt, wie schlecht er fährt, wie unsicher. Und dann sieht er: "Okay." Und dann ist natürlich die Lerngeschwindigkeit jedes Teenagers so schnell. Nach 10 Stunden bist du bereit. Es scheint, dass Menschen eine Lösung haben, aber ich bin neugierig, wie sie es tun und warum es so schwer ist. Wie müssen wir die Art und Weise, wie wir Modelle trainieren, neu konzeptualisieren, um so etwas zu ermöglichen? Das ist eine großartige Frage, und ich habe viele Meinungen dazu. Aber leider leben wir in einer Welt, in der nicht alle Ideen des maschinellen Lernens frei diskutiert werden, und das ist eine davon. Es gibt wahrscheinlich einen Weg, es zu tun. Ich glaube, es kann getan werden. Die Tatsache, dass Menschen so sind, ich glaube, das ist ein Beweis dafür, dass es getan werden kann. Es kann aber noch einen anderen Hinderungsgrund geben, nämlich dass es möglich ist, dass die menschlichen Neuronen mehr Rechenleistung erbringen, als wir denken. Wenn das wahr ist und wenn das eine wichtige Rolle spielt, dann könnten die Dinge schwieriger sein. Aber unabhängig davon glaube ich, dass es auf die Existenz eines maschinellen Lernprinzips hinweist, zu dem ich Meinungen habe. Aber leider machen die Umstände es schwer, es im Detail zu diskutieren. Niemand hört diesen Podcast, Ilya. Ich bin neugierig. Wenn du sagst, wir sind zurück in einem Forschungszeitalter, du warst von 2012 bis 2020 dabei. Wie wird die Stimmung jetzt sein, wenn wir in das Forschungszeitalter zurückkehren? Zum Beispiel, selbst nach AlexNet, nahm die Menge an Rechenleistung, die für Experimente verwendet wurde, weiter zu, und die Größe der Grenzsysteme nahm weiter zu. Glaubst du, dass dieses Forschungszeitalter immer noch enorme Mengen an Rechenleistung erfordern wird? Glaubst du, dass es zurück in die Archive gehen und alte Papiere lesen wird? Du warst bei Google und OpenAI und Stanford, diesen Orten, als es mehr eine Forschungsstimmung gab? Was für Dinge sollten wir in der Community erwarten? Eine Folge des Zeitalters der Skalierung war, dass die Skalierung die Luft aus dem Raum gesaugt hat. Weil die Skalierung die Luft aus dem Raum gesaugt hat, fingen alle an, dasselbe zu tun. Wir sind an den Punkt gelangt, an dem wir uns in einer Welt befinden, in der es deutlich mehr Unternehmen als Ideen gibt. Tatsächlich gibt es in diesem Zusammenhang ein Sprichwort aus Silicon Valley, das besagt, dass Ideen billig sind, Ausführung alles ist. Die Leute sagen das oft, und es steckt Wahrheit darin. Aber dann habe ich jemanden auf Twitter sagen hören: "Wenn Ideen so billig sind, wie kommt es dann, dass niemand Ideen hat?" Und ich denke, das stimmt auch. Wenn man den Forschungsfortschritt in Bezug auf Engpässe betrachtet, gibt es mehrere Engpässe. Einer davon sind Ideen, und einer davon ist deine Fähigkeit, sie zum Leben zu erwecken, was Rechenleistung, aber auch Ingenieurskunst sein kann. Wenn man in die 90er Jahre zurückgeht, sagen wir, da gab es Leute mit ziemlich guten Ideen, und wenn sie viel größere Computer gehabt hätten, hätten sie vielleicht zeigen können, dass ihre Ideen tragfähig sind. Aber das konnten sie nicht, also konnten sie nur eine sehr, sehr kleine Demonstration machen, die niemanden überzeugte. Der Engpass war also Rechenleistung. Dann, im Zeitalter der Skalierung, hat sich die Rechenleistung stark erhöht. Natürlich stellt sich die Frage, wie viel Rechenleistung benötigt wird, aber die Rechenleistung ist groß. Die Rechenleistung ist groß genug, dass es nicht offensichtlich ist, dass man so viel mehr Rechenleistung benötigt, um eine Idee zu beweisen. Ich gebe dir eine Analogie. AlexNet wurde auf zwei GPUs gebaut. Das war die gesamte Rechenleistung, die dafür verwendet wurde. Der Transformer wurde auf 8 bis 64 GPUs gebaut. Kein einziges Transformer-Papier-Experiment verwendete mehr als 64 GPUs von 2017, was heute etwa zwei GPUs wären. ResNet, richtig? Man könnte argumentieren, dass die o1-Argumentation nicht die rechenintensivste Sache der Welt war. Für Forschung braucht man also definitiv eine gewisse Menge an Rechenleistung, aber es ist alles andere als offensichtlich, dass man die absolut größte Menge an Rechenleistung für Forschung benötigt. Man könnte argumentieren, und ich denke, das stimmt, dass wenn man das absolut beste System bauen will, dann hilft mehr Rechenleistung. Insbesondere wenn alle im gleichen Paradigma sind, dann wird Rechenleistung zu einem der großen Unterscheidungsmerkmale. Ich frage dich nach der Geschichte, weil du tatsächlich dabei warst. Ich bin mir nicht sicher, was tatsächlich passiert ist. Es klingt, als wäre es möglich gewesen, diese Ideen mit minimaler Rechenleistung zu entwickeln. Aber der Transformer wurde nicht sofort berühmt. Er wurde zu dem, was jeder zu tun begann und dann darauf aufbaute und darauf aufbaute, weil er auf immer höheren Rechenleistungsstufen validiert wurde. Korrekt. Und wenn du bei SSI 50 verschiedene Ideen hast, woher weißt du, welche die nächste Transformer ist und welche brüchig ist, ohne die Art von Rechenleistung zu haben, die andere Spitzenlabore haben? Dazu kann ich etwas sagen. Kurz gesagt, du hast SSI erwähnt. Speziell für uns ist die Menge an Rechenleistung, die SSI für die Forschung hat, wirklich nicht klein. Ich möchte erklären, warum. Einfache Mathematik kann erklären, warum die Menge an Rechenleistung, die wir haben, für die Forschung vergleichbar ist, als man vielleicht denkt. Ich werde es erklären. SSI hat 3 Milliarden Dollar eingenommen, was absolut gesehen viel ist. Aber man könnte sagen: "Schau dir die anderen Unternehmen an, die viel mehr einnehmen." Aber ein Großteil ihrer Rechenleistung geht für Inferenz drauf. Diese großen Zahlen, diese großen Darlehen, sind für Inferenz bestimmt. Das ist Nummer eins. Zweitens, wenn du ein Produkt haben willst, auf dem du Inferenz machst, brauchst du einen großen Stab von Ingenieuren, Verkäufern. Viel von der Forschung muss der Produktion von produktbezogenen Funktionen aller Art gewidmet sein. Wenn man sich also ansieht, was tatsächlich für die Forschung übrig bleibt, wird der Unterschied viel kleiner. Die andere Sache ist, wenn du etwas anderes machst, brauchst du dann wirklich die absolute maximale Skala, um es zu beweisen? Das glaube ich überhaupt nicht. Ich denke, in unserem Fall haben wir ausreichend Rechenleistung, um uns selbst und jedem anderen zu beweisen, dass das, was wir tun, richtig ist. Es gibt Schätzungen, dass Unternehmen wie OpenAI allein für Experimente jährlich rund 5-6 Milliarden Dollar ausgeben. Das ist getrennt von dem Geld, das sie für Inferenz und so weiter ausgeben. Es scheint also, dass sie mehr pro Jahr für Forschungsversuche ausgeben, als ihr insgesamt an Finanzierung habt. Ich denke, es ist eine Frage, was du damit machst. Es ist eine Frage, was du damit machst. In ihrem Fall, im Fall anderer, gibt es eine viel größere Nachfrage nach Trainingsrechenleistung. Es gibt viel mehr verschiedene Arbeitsströme, es gibt verschiedene Modalitäten, es gibt einfach mehr Zeug. Also wird es fragmentiert. Wie wird SSI Geld verdienen? Meine Antwort auf diese Frage ist ungefähr so: Im Moment konzentrieren wir uns nur auf die Forschung, und dann wird sich die Antwort auf diese Frage von selbst ergeben. Ich denke, es wird viele mögliche Antworten geben. Ist SSIs Plan immer noch, direkt auf Superintelligenz zu schießen? Vielleicht. Ich denke, es hat seinen Wert. Ich denke, es hat viel Wert, weil es sehr schön ist, nicht von der täglichen Marktkonkurrenz beeinflusst zu werden. Aber ich denke, es gibt zwei Gründe, die uns dazu veranlassen könnten, den Plan zu ändern. Einer ist pragmatisch, wenn die Zeitpläne sich als lang herausstellen, was sie tun könnten. Zweitens denke ich, dass es viel Wert darin gibt, dass die beste und mächtigste KI da draußen ist und die Welt beeinflusst. Ich denke, das ist eine bedeutsam wertvolle Sache. Warum ist dann dein Standardplan, direkt auf Superintelligenz zu schießen? Weil es so klingt, als ob OpenAI, Anthropic, all diese anderen Unternehmen, ihr explizites Denken ist: "Schau, wir haben schwächere und schwächere Intelligenzen, an die sich die Öffentlichkeit gewöhnen und auf die sie sich vorbereiten kann." Warum ist es potenziell besser, direkt eine Superintelligenz zu bauen? Ich werde die Argumente dafür und dagegen darlegen. Das Argument dafür ist, dass eine der Herausforderungen, denen sich Menschen auf dem Markt stellen, darin besteht, dass sie am Wettlauf teilnehmen müssen. Der Wettlauf ist ziemlich schwierig, da er dich schwierigen Kompromissen aussetzt, die du eingehen musst. Es ist schön zu sagen: "Wir werden uns von all dem isolieren und uns nur auf die Forschung konzentrieren und erst herauskommen, wenn wir bereit sind, und nicht vorher." Aber der Gegenpunkt ist auch gültig, und das sind gegensätzliche Kräfte. Der Gegenpunkt ist: "Hey, es ist nützlich für die Welt, mächtige KI zu sehen. Es ist nützlich für die Welt, mächtige KI zu sehen, denn das ist der einzige Weg, sie zu kommunizieren." Nun, ich schätze, nicht einmal nur, dass man die Idee kommunizieren kann – die KI kommunizieren, nicht die Idee. Die KI kommunizieren. Was meinst du mit "die KI kommunizieren"? Nehmen wir an, du schreibst einen Aufsatz über KI, und der Aufsatz sagt: "KI wird dies und das sein, und KI wird jenes sein." Du liest ihn und sagst: "Okay, das ist ein interessanter Aufsatz." Nun stell dir vor, du siehst eine KI, die dies tut, eine KI, die das tut. Es ist unvergleichlich. Grundsätzlich denke ich, dass es einen großen Vorteil hat, wenn KI in der Öffentlichkeit ist, und das wäre ein Grund für uns, nicht ganz direkt zu schießen. Ich schätze, es ist nicht einmal das, aber ich denke, das ist ein wichtiger Teil davon. Die andere große Sache ist, dass ich mir keine andere Disziplin in menschlicher Ingenieurwissenschaft und Forschung vorstellen kann, bei der das Endprodukt hauptsächlich durch Nachdenken über seine Sicherheit sicherer gemacht wurde, im Gegensatz dazu, warum Flugzeugabstürze pro Meile heute so viel niedriger sind als vor Jahrzehnten. Warum ist es so viel schwieriger, einen Fehler in Linux zu finden als vor Jahrzehnten? Ich denke, das liegt hauptsächlich daran, dass diese Systeme der Welt ausgesetzt wurden. Du hast Fehler bemerkt, diese Fehler wurden korrigiert und die Systeme wurden robuster. Ich bin mir nicht sicher, warum AGI und übermenschliche Intelligenz anders sein sollten, besonders angesichts – und ich hoffe, wir kommen dazu – dass die Schäden von Superintelligenz nicht nur darin bestehen, dass ein bösartiger Büroklammer-Aufsteller da draußen ist. Aber das ist eine wirklich mächtige Sache, und wir wissen nicht einmal, wie wir konzeptualisieren sollen, wie Menschen damit interagieren, was Menschen damit tun werden. Ein schrittweiser Zugang dazu scheint ein besserer Weg zu sein, vielleicht die Auswirkungen zu verteilen und den Menschen zu helfen, sich darauf vorzubereiten. Nun, ich denke, in diesem Punkt, selbst im direkten Szenario, würdest du es immer noch schrittweise freigeben, so stelle ich es mir vor. Gradualismus wäre eine inhärente Komponente jedes Plans. Es ist nur eine Frage, was das Erste ist, das du aus der Tür bekommst. Das ist Nummer eins. Zweitens glaube ich, dass du dich mehr für kontinuierliches Lernen eingesetzt hast als andere Leute, und ich denke tatsächlich, dass das eine wichtige und richtige Sache ist. Hier ist, warum. Ich gebe dir ein weiteres Beispiel dafür, wie Sprache das Denken beeinflusst. In diesem Fall sind es zwei Wörter, die das Denken aller geprägt haben, behaupte ich. Erstes Wort: AGI. Zweites Wort: Pre-Training. Lass mich erklären. Der Begriff AGI, warum existiert dieser Begriff? Es ist ein sehr spezifischer Begriff. Warum existiert er? Der Grund, warum der Begriff AGI existiert, ist meiner Meinung nach nicht so sehr, weil er eine sehr wichtige, wesentliche Beschreibung eines Endzustands der Intelligenz ist, sondern weil er eine Reaktion auf einen anderen Begriff ist, der existierte, und der Begriff ist schmale KI. Wenn man in die antike Geschichte des Spielens und der KI, der Dame-KI, der Schach-KI, der Computerspiel-KI zurückgeht, würde jeder sagen: Schau dir diese schmale Intelligenz an. Sicher, die Schach-KI kann Kasparov schlagen, aber sie kann nichts anderes tun. Sie ist so schmal, künstliche schmale Intelligenz. Als Reaktion darauf sagten einige Leute: Das ist nicht gut. Es ist so schmal. Was wir brauchen, ist allgemeine KI, eine KI, die einfach alles tun kann. Dieser Begriff hat viel Anklang gefunden. Die zweite Sache, die viel Anklang gefunden hat, ist Pre-Training, insbesondere das Rezept des Pre-Trainings. Ich denke, die Art und Weise, wie die Leute jetzt RL machen, macht vielleicht den konzeptionellen Eindruck des Pre-Trainings rückgängig. Aber Pre-Training hatte diese Eigenschaft. Du machst mehr Pre-Training und das Modell wird in allem besser, mehr oder weniger gleichmäßig. Allgemeine KI. Pre-Training gibt AGI. Aber was mit AGI und Pre-Training passiert ist, ist, dass sie in gewissem Sinne das Ziel überschossen haben. Wenn man über den Begriff "AGI" nachdenkt, insbesondere im Kontext des Pre-Trainings, wird man erkennen, dass ein Mensch keine AGI ist. Ja, es gibt definitiv eine Grundlage an Fähigkeiten, aber einem Menschen fehlt eine riesige Menge an Wissen. Stattdessen verlassen wir uns auf kontinuierliches Lernen. Wenn man also darüber nachdenkt: "Okay, nehmen wir an, wir sind erfolgreich und produzieren eine Art sichere Superintelligenz." Die Frage ist, wie definiert man sie? Wo auf der Kurve des kontinuierlichen Lernens wird sie sich befinden? Ich produziere einen superintelligenten 15-Jährigen, der sehr eifrig ist. Er weiß noch nicht viel, ein großartiger Schüler, sehr eifrig. Du gehst und wirst Programmierer, du gehst und wirst Arzt, lerne. Man kann sich also vorstellen, dass die Bereitstellung selbst eine Art Lernversuch-und-Irrtum-Periode beinhalten wird. Es ist ein Prozess, im Gegensatz zum Fallenlassen des fertigen Produkts. Ich verstehe. Du schlägst vor, dass das, worauf du mit Superintelligenz hinweist, kein fertiger Geist ist, der weiß, wie man jeden einzelnen Job in der Wirtschaft macht. Denn die Art und Weise, wie zum Beispiel die ursprüngliche OpenAI-Charta oder was auch immer AGI definiert, ist so, dass sie jeden einzelnen Job, jede einzelne Sache tun kann, die ein Mensch tun kann. Du schlägst stattdessen einen Geist vor, der lernen kann, jeden einzelnen Job zu tun, und das ist Superintelligenz. Ja. Aber sobald du den Lernalgorithmus hast, wird er genauso in die Welt gebracht, wie ein menschlicher Arbeiter einer Organisation beitreten würde. Genau. Es scheint, dass eine dieser beiden Dinge passieren wird, vielleicht passiert keines davon. Eins, dieser super-effiziente Lernalgorithmus wird übermenschlich, wird so gut wie du und potenziell sogar besser bei der Aufgabe der ML-Forschung. Infolgedessen wird der Algorithmus selbst immer übermenschlicher. Das andere ist, selbst wenn das nicht passiert, wenn du ein einzelnes Modell hast – das ist explizit deine Vision –, bei dem Instanzen eines Modells, die in der Wirtschaft eingesetzt werden und verschiedene Jobs erledigen, lernen, diese Jobs zu machen, kontinuierlich während der Arbeit lernen, alle Fähigkeiten erwerben, die jeder Mensch erwerben könnte, aber sie alle gleichzeitig erwerben und dann ihre Lernerfahrungen zusammenführen, hast du im Grunde ein Modell, das funktional superintelligent wird, selbst ohne irgendeine Art von rekursiver Selbstverbesserung in der Software. Denn du hast jetzt ein Modell, das jeden Job in der Wirtschaft machen kann, und Menschen können ihre Gehirne nicht auf die gleiche Weise verschmelzen. Erwartest du also eine Art Intelligenzexplosion durch breite Bereitstellung? Ich denke, es ist wahrscheinlich, dass wir ein schnelles Wirtschaftswachstum haben werden. Ich denke, bei breiter Bereitstellung gibt es zwei Argumente, die man anführen könnte, die im Widerspruch zueinander stehen. Eines ist, dass sobald man einen Punkt erreicht, an dem man eine KI hat, die Dinge schnell lernen kann, und es viele davon gibt, es eine starke Kraft geben wird, sie in der Wirtschaft einzusetzen, es sei denn, es gibt eine Art Regulierung, die es stoppt, was übrigens sein könnte. Aber die Idee eines sehr schnellen Wirtschaftswachstums für eine gewisse Zeit, ich denke, das ist sehr möglich durch breite Bereitstellung. Die Frage ist, wie schnell es sein wird. Ich denke, das ist schwer zu wissen, denn einerseits hast du diesen sehr effizienten Arbeiter. Andererseits ist die Welt einfach wirklich groß und es gibt viel Zeug, und dieses Zeug bewegt sich mit unterschiedlicher Geschwindigkeit. Aber andererseits könnte die KI jetzt… Ich denke, sehr schnelles Wirtschaftswachstum ist möglich. Wir werden alle möglichen Dinge sehen, wie verschiedene Länder mit unterschiedlichen Regeln, und die, die freundlichere Regeln haben, das Wirtschaftswachstum wird schneller sein. Schwer vorherzusagen. Es scheint mir, dass dies eine sehr prekäre Situation ist. Im Extremfall wissen wir, dass dies möglich sein sollte. Wenn man etwas hat, das so gut im Lernen ist wie ein Mensch, aber das seine Gehirne verschmelzen kann – verschiedene Instanzen auf eine Weise verschmelzen kann, wie Menschen es nicht können – schon jetzt scheint dies etwas zu sein, das physikalisch möglich sein sollte. Menschen sind möglich, digitale Computer sind möglich. Man braucht nur beides kombiniert, um dieses Ding zu produzieren. Es scheint auch, dass diese Art von Ding extrem mächtig ist. Wirtschaftswachstum ist eine Möglichkeit, es auszudrücken. Eine Dyson-Sphäre ist viel Wirtschaftswachstum. Aber eine andere Möglichkeit, es auszudrücken, ist, dass man in potenziell sehr kurzer Zeit… Du stellst Leute bei SSI ein, und in sechs Monaten sind sie produktiv, wahrscheinlich. Ein Mensch lernt wirklich schnell, und dieses Ding wird immer intelligenter und intelligenter sehr schnell. Wie denkst du darüber, das gut zu machen? Warum ist SSI gut dafür positioniert? Was ist SSIs Plan dort, das versuche ich im Grunde zu fragen. Eine der Möglichkeiten, wie sich mein Denken verändert hat, ist, dass ich jetzt mehr Wert auf die schrittweise und vorausschauende Bereitstellung von KI lege. Eine sehr schwierige Sache an KI ist, dass wir über Systeme sprechen, die noch nicht existieren, und es ist schwer, sie sich vorzustellen. Ich denke, eines der Dinge, die passieren, ist, dass es in der Praxis sehr schwer ist, die AGI zu spüren. Es ist sehr schwer, die AGI zu spüren. Wir können darüber reden, aber stell dir vor, du führst ein Gespräch darüber, wie es ist, alt zu sein, wenn du alt und gebrechlich bist. Du kannst ein Gespräch führen, du kannst versuchen, es dir vorzustellen, aber es ist einfach schwer, und du kehrst zur Realität zurück, wo das nicht der Fall ist. Ich denke, dass viele der Probleme rund um AGI und seine zukünftige Macht daraus resultieren, dass es sehr schwer vorstellbar ist. Zukünftige KI wird anders sein. Sie wird mächtig sein. Tatsächlich ist das ganze Problem, was ist das Problem von KI und AGI? Das ganze Problem ist die Macht. Das ganze Problem ist die Macht. Wenn die Macht wirklich groß ist, was wird dann passieren? Eine der Möglichkeiten, wie ich meine Meinung im letzten Jahr geändert habe – und diese Meinungsänderung, ich werde mich ein wenig absichern, könnte sich auf die Pläne unseres Unternehmens auswirken – ist, dass, wenn es schwer vorstellbar ist, was tust du? Du musst die Sache zeigen. Du musst die Sache zeigen. Ich behaupte, dass die meisten Leute, die an KI arbeiten, sie sich auch nicht vorstellen können, weil sie zu anders ist als das, was die Leute täglich sehen. Ich behaupte, hier ist etwas, das ich vorhersage, wird passieren. Das ist eine Vorhersage. Ich behaupte, dass sich die Verhaltensweisen der Menschen ändern werden, wenn KI mächtiger wird. Wir werden alle möglichen beispiellosen Dinge sehen, die jetzt nicht passieren. Ich gebe einige Beispiele. Ich denke, zum Besseren oder Schlechteren, die Spitzenunternehmen werden eine sehr wichtige Rolle spielen, ebenso wie die Regierung. Die Art von Dingen, die du sehen wirst, von denen du die Anfänge siehst, sind Unternehmen, die erbitterte Konkurrenten sind und beginnen, bei der KI-Sicherheit zusammenzuarbeiten. Du hast vielleicht OpenAI und Anthropic einen ersten kleinen Schritt machen sehen, aber das gab es nicht. Das ist etwas, das ich vor etwa drei Jahren in einem meiner Vorträge vorhergesagt habe, dass so etwas passieren wird. Ich behaupte auch, dass es, wenn KI weiterhin mächtiger, sichtbarer mächtig wird, auch den Wunsch von Regierungen und der Öffentlichkeit geben wird, etwas zu tun. Ich denke, das ist eine sehr wichtige Kraft, die KI zu zeigen. Das ist Nummer eins. Nummer zwei, okay, die KI wird gebaut. Was muss getan werden? Eine Sache, die ich behaupte, wird passieren, ist, dass im Moment die Leute, die an KI arbeiten, ich behaupte, dass die KI sich nicht mächtig anfühlt wegen ihrer Fehler. Ich denke, dass die KI irgendwann tatsächlich mächtig werden wird. Ich denke, wenn das passiert, werden wir eine große Veränderung in der Art und Weise sehen, wie alle KI-Unternehmen Sicherheit angehen. Sie werden viel paranoider werden. Ich sage das als Vorhersage, dass wir das sehen werden. Wir werden sehen, ob ich Recht habe. Aber ich denke, das ist etwas, das passieren wird, weil sie sehen werden, wie die KI mächtiger wird. Alles, was gerade passiert, behaupte ich, liegt daran, dass die Leute schauen

Beim heutigen KI und es ist schwer, sich die zukünftige KI vorzustellen. Es gibt eine dritte Sache, die geschehen muss. Ich spreche davon in allgemeineren Begriffen, nicht nur aus der Perspektive von SSI, weil Sie mich nach unserem Unternehmen gefragt haben. Die Frage ist, was sollten die Unternehmen anstreben zu bauen? Was sollten sie anstreben zu bauen? Es gab eine große Idee, in die jeder eingesperrt war, und das ist die sich selbst verbessernde KI. Warum ist das passiert? Weil es weniger Ideen als Unternehmen gibt. Aber ich behaupte, dass es etwas Besseres zu bauen gibt, und ich denke, dass jeder das wollen wird. Es ist die KI, die robust darauf ausgerichtet ist, sich speziell um empfindungsfähiges Leben zu kümmern. Ich denke insbesondere, es gibt ein Argument dafür, dass es einfacher sein wird, eine KI zu bauen, die sich um empfindungsfähiges Leben kümmert, als eine KI, die sich nur um menschliches Leben kümmert, weil die KI selbst empfindungsfähig sein wird. Und wenn man an Dinge wie Spiegelneuronen und menschliche Empathie für Tiere denkt, was man vielleicht argumentieren könnte, dass es nicht groß genug ist, aber es existiert. Ich denke, es ist eine emergente Eigenschaft aus der Tatsache, dass wir andere mit demselben Schaltkreis modellieren, den wir verwenden, um uns selbst zu modellieren, weil das die effizienteste Sache ist, die man tun kann. Selbst wenn man also eine KI dazu bringt, sich um empfindungsfähige Wesen zu kümmern – und es ist mir nicht wirklich klar, dass das das ist, was man versuchen sollte, wenn man die Ausrichtung gelöst hat –, wäre es immer noch so, dass die meisten empfindungsfähigen Wesen KIs sein werden. Es wird Billionen, schließlich Quadrillionen von KIs geben. Menschen werden ein sehr kleiner Bruchteil empfindungsfähiger Wesen sein. Es ist mir also nicht klar, ob das Ziel eine Art menschliche Kontrolle über diese zukünftige Zivilisation ist, dass dies das beste Kriterium ist. Es ist wahr. Es ist möglich, dass es nicht das beste Kriterium ist. Ich werde zwei Dinge sagen. Erstens, die Sorge um empfindungsfähiges Leben, ich denke, es gibt einen Verdienst daran. Es sollte berücksichtigt werden. Ich denke, es wäre hilfreich, wenn es eine Art Kurzliste von Ideen gäbe, die die Unternehmen in dieser Situation verwenden könnten. Das ist Nummer zwei. Nummer drei, ich denke, es wäre wirklich materiell hilfreich, wenn die Macht der mächtigsten Superintelligenz irgendwie begrenzt wäre, weil dies viele dieser Bedenken ausräumen würde. Die Frage, wie man das macht, bin ich mir nicht sicher, aber ich denke, das wäre materiell hilfreich, wenn man über wirklich, wirklich mächtige Systeme spricht. Bevor wir die Ausdiskussion fortsetzen, möchte ich das noch einmal vertiefen. Wie viel Spielraum gibt es an der Spitze? Wie denken Sie über Superintelligenz nach? Glauben Sie, dass sie, basierend auf dieser Idee der Lerneffizienz, vielleicht einfach extrem schnell darin ist, neue Fähigkeiten oder neues Wissen zu erlernen? Hat sie einfach einen größeren Pool an Strategien? Gibt es ein einziges zusammenhängendes "Es" im Zentrum, das mächtiger oder größer ist? Wenn ja, stellen Sie sich vor, dass dies in Bezug auf den Rest der menschlichen Zivilisation gottähnlich sein wird, oder fühlt es sich einfach wie ein weiterer Agent oder ein weiterer Cluster von Agenten an? Dies ist ein Bereich, in dem verschiedene Menschen unterschiedliche Intuitionen haben. Ich denke, es wird auf jeden Fall sehr mächtig sein. Was ich für am wahrscheinlichsten halte, ist, dass ungefähr zur gleichen Zeit mehrere solcher KIs entwickelt werden. Ich denke, wenn der Cluster groß genug ist – wenn der Cluster buchstäblich kontinentgroß ist –, könnte dieses Ding wirklich mächtig sein, in der Tat. Wenn man buchstäblich einen kontinentgroßen Cluster hat, können diese KIs sehr mächtig sein. Alles, was ich Ihnen sagen kann, ist, dass es schön wäre, wenn sie auf irgendeine Weise zurückgehalten werden könnten oder wenn es eine Art Vereinbarung oder etwas gäbe, wenn man über extrem mächtige KIs spricht, wirklich dramatisch mächtige. Was ist die Besorgnis über Superintelligenz? Wie kann man die Besorgnis erklären? Wenn man sich ein System vorstellt, das ausreichend mächtig ist, wirklich ausreichend mächtig – und man könnte sagen, man muss etwas Sinnvolles tun, wie sich auf eine sehr einseitige Weise um empfindungsfähiges Leben zu kümmern –, könnten uns die Ergebnisse nicht gefallen. Das ist wirklich, was es ist. Vielleicht, nebenbei bemerkt, ist die Antwort, dass man keinen RL-Agenten im üblichen Sinne baut. Ich werde mehrere Dinge hervorheben. Ich denke, Menschen sind Semi-RL-Agenten. Wir verfolgen eine Belohnung, und dann machen uns die Emotionen oder was auch immer dazu, dass wir der Belohnung überdrüssig werden und eine andere Belohnung verfolgen. Der Markt ist eine sehr kurzsichtige Art von Agent. Die Evolution ist dieselbe. Die Evolution ist in gewisser Weise sehr intelligent, aber in anderer Weise sehr dumm. Die Regierung wurde so konzipiert, dass sie ein endloser Kampf zwischen drei Teilen ist, was eine Auswirkung hat. Ich denke also, Dinge wie diese. Eine weitere Sache, die diese Diskussion schwierig macht, ist, dass wir über Systeme sprechen, die nicht existieren, die wir nicht bauen können. Das ist die andere Sache und das ist tatsächlich mein Glaube. Ich denke, was die Leute jetzt tun, wird eine gewisse Strecke zurücklegen und dann nachlassen. Es wird sich weiter verbessern, aber es wird auch nicht "es" sein. Das "Es", das wir nicht bauen können, und vieles hängt vom Verständnis zuverlässiger Generalisierung ab. Ich sage noch etwas. Eines der Dinge, die man über die Schwierigkeit der Ausrichtung sagen kann, ist, dass Ihre Fähigkeit, menschliche Werte zu lernen, fragil ist. Dann ist Ihre Fähigkeit, sie zu optimieren, fragil. Man lernt tatsächlich, sie zu optimieren. Und kann man nicht sagen: "Sind das nicht alles Beispiele für unzuverlässige Generalisierung?" Warum scheinen Menschen so viel besser zu generalisieren? Was wäre, wenn die Generalisierung viel besser wäre? Was würde in diesem Fall passieren? Was wäre die Auswirkung? Aber diese Fragen sind im Moment noch unbeantwortbar. Wie denkt man darüber, wie KI gut funktioniert? Sie haben skizziert, wie sich KI entwickeln könnte. Wir werden diese Art von kontinuierlich lernenden Agenten haben. KI wird sehr mächtig sein. Vielleicht wird es viele verschiedene KIs geben. Wie denken Sie über viele kontinentgroße Rechenintelligenzen, die herumgehen? Wie gefährlich ist das? Wie machen wir das weniger gefährlich? Und wie machen wir das auf eine Weise, die ein Gleichgewicht schützt, in dem es möglicherweise fehlgeleitete KIs und böswillige Akteure gibt? Hier ist ein Grund, warum ich "KI, die sich um empfindungsfähiges Leben kümmert" mochte. Wir können darüber streiten, ob es gut oder schlecht ist. Aber wenn die ersten N dieser dramatischen Systeme sich um die Menschheit kümmern, sie lieben oder so etwas, sich um empfindungsfähiges Leben kümmern, muss das offensichtlich auch erreicht werden. Das muss erreicht werden. Wenn dies also von den ersten N dieser Systeme erreicht wird, dann kann ich sehen, dass es gut geht, zumindest für eine ganze Weile. Dann stellt sich die Frage, was langfristig passiert. Wie erreicht man ein langfristiges Gleichgewicht? Ich denke, da gibt es auch eine Antwort. Ich mag diese Antwort nicht, aber sie muss berücksichtigt werden. Langfristig könnte man sagen: "Okay, wenn man eine Welt hat, in der mächtige KIs existieren, könnte man kurzfristig sagen, man hat ein universelles hohes Einkommen. Man hat ein universelles hohes Einkommen und uns allen geht es gut." Aber was sagen die Buddhisten? "Veränderung ist die einzige Konstante." Dinge ändern sich. Es gibt eine Art Regierung, eine politische Struktur, und sie ändert sich, weil diese Dinge eine begrenzte Lebensdauer haben. Eine neue Regierungsform kommt auf und funktioniert, und dann hört sie nach einiger Zeit auf zu funktionieren. Das sehen wir ständig passieren. Ich denke also, für das langfristige Gleichgewicht könnte ein Ansatz sein, dass vielleicht jeder Mensch eine KI hat, die seine Befehle ausführt, und das ist gut. Wenn das unbegrenzt aufrechterhalten werden könnte, ist das wahr. Aber der Nachteil ist, dass die KI dann Geld für die Person verdient und sich im politischen Bereich für ihre Bedürfnisse einsetzt, und vielleicht dann einen kleinen Bericht schreibt, in dem steht: "Okay, hier ist, was ich getan habe, hier ist die Situation", und die Person sagt: "Großartig, mach weiter so." Aber die Person ist kein Teilnehmer mehr. Dann kann man sagen, dass das ein prekärer Zustand ist. Ich werde vorausschicken, dass ich diese Lösung nicht mag, aber es ist eine Lösung. Die Lösung ist, wenn Menschen zu Teil-KIs mit einer Art Neuralink++ werden. Denn was als Ergebnis passieren wird, ist, dass die KI dann etwas versteht, und wir verstehen es auch, weil das Verständnis nun pauschal übertragen wird. Wenn die KI also in einer bestimmten Situation ist, sind Sie selbst vollständig in dieser Situation involviert. Ich denke, das ist die Antwort auf das Gleichgewicht. Ich frage mich, ob die Tatsache, dass Emotionen, die vor Millionen – oder in vielen Fällen Milliarden – von Jahren in einer völlig anderen Umgebung entwickelt wurden, unser Handeln immer noch so stark leiten, ein Beispiel für erfolgreiche Ausrichtung ist. Um zu verdeutlichen, was ich meine – ich weiß nicht, ob es genauer ist, es als Wertfunktion oder Belohnungsfunktion zu bezeichnen –, aber der Hirnstamm hat eine Direktive, die besagt: "Paare dich mit jemandem, der erfolgreicher ist." Der Kortex ist der Teil, der versteht, was Erfolg im modernen Kontext bedeutet. Aber der Hirnstamm kann den Kortex ausrichten und sagen: "Wie auch immer du Erfolg definierst – und ich bin nicht schlau genug, um das zu verstehen –, du wirst diese Direktive trotzdem verfolgen." Ich denke, es gibt einen allgemeineren Punkt. Ich denke, es ist tatsächlich mysteriös, wie die Evolution hochrangige Wünsche kodiert. Es ist ziemlich einfach zu verstehen, wie die Evolution uns den Wunsch nach gut riechender Nahrung geben würde, weil Geruch eine Chemikalie ist, also verfolge einfach diese Chemikalie. Es ist sehr einfach, sich vorzustellen, dass die Evolution das tut. Aber die Evolution hat uns auch all diese sozialen Wünsche gegeben. Wir legen großen Wert darauf, von der Gesellschaft positiv gesehen zu werden. Wir legen Wert darauf, in gutem Ansehen zu sein. All diese sozialen Intuitionen, die wir haben, sind meiner festen Überzeugung nach fest verdrahtet. Ich weiß nicht, wie die Evolution das gemacht hat, weil es ein hochrangiges Konzept ist, das im Gehirn repräsentiert ist. Nehmen wir an, Ihnen ist etwas Soziales wichtig, es ist kein niedrigrangiges Signal wie Geruch. Es ist nichts, wofür es einen Sensor gibt. Das Gehirn muss viel Verarbeitung leisten, um viele Informationsbits zusammenzufügen, um zu verstehen, was sozial vor sich geht. Irgendwie sagte die Evolution: "Darauf solltest du Wert legen." Wie hat sie das gemacht? Sie hat es auch schnell gemacht. All diese hochentwickelten sozialen Dinge, die uns wichtig sind, sind meiner Meinung nach ziemlich neu entstanden. Die Evolution hatte leichtes Spiel, diesen hochrangigen Wunsch fest zu kodieren. Mir ist keine gute Hypothese bekannt, wie das gemacht wird. Ich hatte einige Ideen, die ich herumgewälzt habe, aber keine davon ist befriedigend. Besonders beeindruckend ist, dass es sich um einen Wunsch handelt, den Sie in Ihrem Leben gelernt haben, das ergibt Sinn, weil Ihr Gehirn intelligent ist. Es ergibt Sinn, warum Sie in der Lage wären, intelligente Wünsche zu lernen. Vielleicht ist das nicht Ihr Punkt, aber eine Möglichkeit, es zu verstehen, ist, dass der Wunsch in das Genom eingebaut ist, und das Genom ist nicht intelligent. Aber Sie sind irgendwie in der Lage, diese Eigenschaft zu beschreiben. Es ist nicht einmal klar, wie Sie diese Eigenschaft definieren, und Sie können sie in die Gene einbauen. Im Wesentlichen, oder vielleicht drücke ich es anders aus. Wenn man sich die Werkzeuge ansieht, die dem Genom zur Verfügung stehen, sagt es: "Okay, hier ist ein Rezept zum Bauen eines Gehirns." Man könnte sagen: "Hier ist ein Rezept, um die Dopamin-Neuronen mit dem Geruchssensor zu verbinden." Und wenn der Geruch eine bestimmte Art von gutem Geruch ist, wollen Sie das essen. Ich könnte mir vorstellen, dass das Genom das tut. Ich behaupte, dass es schwerer vorstellbar ist. Es ist schwerer vorstellbar, dass das Genom sagt, man sollte sich um eine komplizierte Berechnung kümmern, die Ihr gesamtes Gehirn, ein großer Teil Ihres Gehirns, durchführt. Das ist alles, was ich behaupte. Ich kann Ihnen eine Spekulation geben, wie es gemacht werden könnte. Lassen Sie mich eine Spekulation anbieten und ich werde erklären, warum die Spekulation wahrscheinlich falsch ist. Das Gehirn hat Gehirnregionen. Wir haben unseren Kortex. Er hat all diese Gehirnregionen. Der Kortex ist einheitlich, aber die Gehirnregionen und die Neuronen im Kortex sprechen meist mit ihren Nachbarn. Das erklärt, warum man Gehirnregionen bekommt. Denn wenn man eine Art Sprachverarbeitung machen will, müssen alle Neuronen, die Sprache verarbeiten, miteinander sprechen. Und weil Neuronen meist nur mit ihren nahen Nachbarn sprechen können, muss es eine Region sein. Alle Regionen befinden sich von Person zu Person meist am selben Ort. Vielleicht hat die Evolution buchstäblich einen Ort im Gehirn fest kodiert. Es sagt also: "Oh, wenn die GPS-Koordinaten des Gehirns so und so sind, wenn das feuert, dann solltest du dich darum kümmern." Vielleicht hat die Evolution das getan, weil es im Werkzeugkasten der Evolution liegen würde. Ja, obwohl es Beispiele gibt, wo zum Beispiel Menschen, die blind geboren werden, diesen Bereich ihres Kortex von einem anderen Sinn übernehmen lassen. Ich habe keine Ahnung, aber ich wäre überrascht, wenn die Wünsche oder Belohnungsfunktionen, die ein visuelles Signal erfordern, für Menschen, die unterschiedliche Bereiche ihres Kortex übernommen haben, nicht mehr funktionieren würden. Zum Beispiel, wenn man keine Sehkraft mehr hat, kann man dann immer noch das Gefühl haben, dass man möchte, dass Leute um einen herum einen mögen und so weiter, wofür es normalerweise auch visuelle Hinweise gibt. Dem stimme ich voll und ganz zu. Ich denke, es gibt ein noch stärkeres Gegenargument zu dieser Theorie. Es gibt Menschen, denen in der Kindheit die Hälfte ihres Gehirns entfernt wird, und sie haben immer noch alle ihre Gehirnregionen. Aber sie alle bewegen sich irgendwie nur in eine Hemisphäre, was darauf hindeutet, dass die Gehirnregionen, ihr Standort nicht fest ist und diese Theorie daher nicht stimmt. Es wäre cool gewesen, wenn es wahr wäre, aber es ist nicht so. Ich denke also, das ist ein Rätsel. Aber es ist ein interessantes Rätsel. Tatsache ist, dass die Evolution uns irgendwie in die Lage versetzt hat, uns sehr, sehr zuverlässig um soziale Dinge zu kümmern. Selbst Menschen mit allen möglichen seltsamen psychischen Erkrankungen, Mängeln und emotionalen Problemen neigen dazu, sich auch darum zu kümmern. Was plant SSI anders zu machen? Vermutlich ist Ihr Plan, eines der führenden Unternehmen zu sein, wenn diese Zeit kommt. Vermutlich haben Sie SSI gegründet, weil Sie dachten: "Ich habe einen Weg gefunden, wie man das sicher angeht, auf eine Weise, wie es die anderen Unternehmen nicht tun." Was ist dieser Unterschied? So wie ich es beschreiben würde, gibt es einige Ideen, die ich für vielversprechend halte, und ich möchte sie untersuchen und sehen, ob sie tatsächlich vielversprechend sind oder nicht. Es ist wirklich so einfach. Es ist ein Versuch. Wenn sich die Ideen als richtig erweisen – diese Ideen, die wir im Zusammenhang mit dem Verständnis der Generalisierung besprochen haben –, dann denke ich, werden wir etwas Wertvolles haben. Werden sie sich als richtig erweisen? Wir betreiben Forschung. Wir sind eindeutig ein "Forschungszeitalter"-Unternehmen. Wir machen Fortschritte. Wir haben im letzten Jahr tatsächlich ziemlich gute Fortschritte gemacht, aber wir müssen weitere Fortschritte, weitere Forschung machen. So sehe ich das. Ich sehe es als Versuch, eine Stimme und ein Teilnehmer zu sein. Ihr Mitbegründer und ehemaliger CEO ist kürzlich zu Meta gegangen, und die Leute haben gefragt: "Nun, wenn viele Durchbrüche erzielt worden wären, wäre das unwahrscheinlich gewesen." Ich frage mich, wie Sie darauf antworten. Dazu werde ich einfach ein paar Fakten in Erinnerung rufen, die vielleicht vergessen wurden. Ich denke, diese Fakten, die den Kontext liefern, erklären die Situation. Der Kontext war, dass wir zu einer Bewertung von 32 Milliarden Dollar finanziert haben, und dann kam Meta und bot an, uns zu erwerben, und ich sagte nein. Aber mein ehemaliger Mitbegründer sagte in gewisser Weise ja. Infolgedessen konnte er auch viel kurzfristige Liquidität genießen, und er war die einzige Person von SSI, die zu Meta wechselte. Es klingt so, als ob SSI plant, ein Unternehmen an der Spitze zu sein, wenn diese sehr wichtige Periode der Menschheitsgeschichte erreicht ist, in der es übermenschliche Intelligenz gibt. Sie haben Ideen, wie übermenschliche Intelligenz gut funktionieren kann. Aber andere Unternehmen werden ihre eigenen Ideen ausprobieren. Was unterscheidet SSI's Ansatz, Superintelligenz gut funktionieren zu lassen? Das Wichtigste, was SSI unterscheidet, ist sein technischer Ansatz. Wir haben einen anderen technischen Ansatz, den ich für wertvoll halte und den wir verfolgen. Ich behaupte, dass es am Ende eine Konvergenz der Strategien geben wird. Ich denke, es wird eine Konvergenz der Strategien geben, bei der irgendwann, wenn KI mächtiger wird, jedem mehr oder weniger klar sein wird, was die Strategie sein sollte. Es sollte so etwas sein wie, man muss einen Weg finden, miteinander zu reden, und man möchte, dass seine erste tatsächliche echte superintelligente KI ausgerichtet ist und sich irgendwie um empfindungsfähiges Leben kümmert, sich um Menschen kümmert, demokratisch ist, eine davon, eine Kombination davon. Ich denke, das ist die Bedingung, nach der jeder streben sollte. Das ist es, wonach SSI strebt. Ich denke, dass zu diesem Zeitpunkt, wenn nicht schon geschehen, alle anderen Unternehmen erkennen werden, dass sie auf dasselbe zusteuern. Wir werden sehen. Ich denke, die Welt wird sich wirklich verändern, wenn KI mächtiger wird. Ich denke, die Dinge werden wirklich anders sein und die Menschen werden sich wirklich anders verhalten. Apropos Prognosen, was sind Ihre Prognosen für dieses System, das Sie beschreiben, das genauso lernen kann wie ein Mensch und folglich, als Ergebnis, übermenschlich wird? Ich denke, so 5 bis 20. 5 bis 20 Jahre? Mhm. Ich möchte nur entrollen, wie Sie sich die Welt vorstellen könnten. Es ist so, wir haben noch ein paar Jahre, in denen diese anderen Unternehmen den aktuellen Ansatz fortsetzen und er ins Stocken gerät. "Ins Stocken geraten" bedeutet hier, dass sie nicht mehr als niedrige Hunderte von Milliarden Umsatz erzielen? Wie denken Sie darüber, was ins Stocken geraten bedeutet? Ich denke, ins Stocken geraten wird aussehen wie… es wird alles sehr ähnlich aussehen bei all den verschiedenen Unternehmen. Es könnte so etwas sein. Ich bin mir nicht sicher, denn ich denke, selbst wenn es ins Stocken gerät, könnten diese Unternehmen einen stupenden Umsatz erzielen. Vielleicht keine Gewinne, weil sie hart arbeiten müssen, um sich voneinander zu unterscheiden, aber definitiv Umsatz. Aber etwas in Ihrem Modell impliziert, dass, wenn die richtige Lösung auftaucht, es eine Konvergenz zwischen allen Unternehmen geben wird. Ich bin neugierig, warum Sie denken, dass das der Fall ist. Ich sprach mehr über die Konvergenz der Ausrichtungsstrategien. Ich denke, eine endgültige Konvergenz des technischen Ansatzes wird wahrscheinlich auch stattfinden, aber ich bezog mich auf die Konvergenz der Ausrichtungsstrategien. Was genau ist das, was getan werden sollte? Ich möchte nur besser verstehen, wie Sie sich die Zukunft vorstellen. Derzeit haben wir diese verschiedenen Unternehmen, und Sie erwarten, dass ihr Ansatz weiterhin Umsatz generiert, aber nicht zu diesem menschenähnlichen Lerner gelangt. Also haben wir jetzt diese verschiedenen Abzweigungen von Unternehmen. Es gibt Sie, es gibt Thinking Machines, es gibt eine Reihe anderer Labore. Vielleicht findet einer von ihnen den richtigen Ansatz. Aber dann macht die Veröffentlichung ihres Produkts es anderen Leuten klar, wie man diese Sache macht. Ich denke, es wird nicht klar sein, wie man es macht, aber es wird klar sein, dass etwas anderes möglich ist, und das ist Information. Die Leute werden dann versuchen herauszufinden, wie das funktioniert. Ich denke jedoch, dass eines der Dinge, die hier nicht angesprochen, nicht diskutiert werden, ist, dass mit jeder Steigerung der Fähigkeiten der KI, ich denke, es wird einige Veränderungen geben, aber ich weiß nicht genau welche, in der Art und Weise, wie die Dinge getan werden. Ich denke, es wird wichtig sein, aber ich kann es nicht genau erklären. Standardmäßig würde man erwarten, dass das Unternehmen, das dieses Modell hat, all diese Gewinne erzielt, weil es das Modell hat, das die Fähigkeiten und Kenntnisse besitzt, die es in der Welt aufbaut. Was ist der Grund zu glauben, dass die Vorteile davon weit verbreitet sein werden und nicht nur bei dem Modellunternehmen landen, das diesen kontinuierlichen Lernkreislauf zuerst in Gang bringt? Hier ist, was ich denke, passieren wird. Erstens, schauen wir uns an, wie die Dinge bisher mit den KIs der Vergangenheit gelaufen sind. Ein Unternehmen hat einen Fortschritt erzielt und das andere Unternehmen hat sich bemüht und nach einiger Zeit ähnliche Dinge hervorgebracht, und sie begannen, auf dem Markt zu konkurrieren und die Preise zu senken. Ich denke also, aus Marktsicht wird etwas Ähnliches auch dort passieren. Wir sprechen übrigens von der guten Welt. Was ist die gute Welt? Es ist, wo wir diese mächtigen menschenähnlichen Lerner haben, die auch… Übrigens, vielleicht gibt es noch eine Sache, die wir nicht auf der Spezifikation der superintelligenten KI besprochen haben, die meiner Meinung nach erwähnenswert ist. Es ist, dass man sie eng macht, sie kann nützlich und eng zugleich sein. Man kann viele enge superintelligente KIs haben. Aber nehmen wir an, man hat viele davon und ein Unternehmen erzielt damit hohe Gewinne. Dann kommt ein anderes Unternehmen und beginnt zu konkurrieren. Die Art und Weise, wie der Wettbewerb funktionieren wird, ist durch Spezialisierung. Wettbewerb liebt Spezialisierung. Man sieht es auf dem Markt, man sieht es auch in der Evolution. Man wird viele verschiedene Nischen haben und viele verschiedene Unternehmen, die verschiedene Nischen besetzen. In dieser Welt könnten wir sagen, dass ein KI-Unternehmen in einem Bereich sehr komplizierter wirtschaftlicher Aktivität wirklich gut ist und ein anderes Unternehmen in einem anderen Bereich. Und das dritte Unternehmen ist wirklich gut in Rechtsstreitigkeiten. Widerspricht das nicht dem, was menschenähnliches Lernen impliziert? Es ist, dass es lernen kann… Es kann, aber man hat angesammeltes Wissen. Man hat eine große Investition. Man hat viel Rechenleistung aufgewendet, um wirklich, wirklich gut, wirklich phänomenal in dieser Sache zu werden. Jemand anderes hat eine riesige Menge an Rechenleistung und Erfahrung aufgewendet, um in etwas anderem wirklich gut zu werden. Man wendet viel menschliches Lernen an, um dorthin zu gelangen, aber jetzt ist man an diesem hohen Punkt, an dem jemand anderes sagen würde: "Schau, ich will nicht anfangen zu lernen, was du gelernt hast." Ich schätze, das würde erfordern, dass viele verschiedene Unternehmen gleichzeitig mit dem menschenähnlichen kontinuierlichen Lernagenten beginnen, damit sie ihre unterschiedliche Baumsuche in verschiedenen Zweigen beginnen können. Aber wenn ein Unternehmen diesen Agenten zuerst bekommt, oder diesen Lerner zuerst, dann scheint es… Nun, wenn man sich jeden einzelnen Job in der Wirtschaft vorstellt, scheint es für ein Unternehmen machbar zu sein, eine Instanz zu haben, die jeden davon lernt. Das ist ein valides Argument. Meine starke Intuition ist, dass es nicht so kommen wird. Das Argument besagt, dass es so kommen wird, aber meine starke Intuition ist, dass es nicht so kommen wird. Theoretisch gibt es keinen Unterschied zwischen Theorie und Praxis. In der Praxis gibt es das. Ich denke, das wird eines davon sein. Viele Leute's Modelle der rekursiven Selbstverbesserung besagen buchstäblich, explizit, dass wir eine Million Ilyas auf einem Server haben werden, die sich verschiedene Ideen ausdenken, und das wird sehr schnell zu einer Superintelligenz führen. Haben Sie eine Intuition darüber, wie parallelisierbar das ist, was Sie tun? Was sind die Gewinne aus der Erstellung von Kopien von Ilya? Ich weiß es nicht. Ich denke, es wird definitiv abnehmende Erträge geben, weil man Leute will, die anders denken, anstatt gleich. Wenn es buchstäbliche Kopien von mir gäbe, bin ich mir nicht sicher, wie viel mehr inkrementellen Wert man bekommen würde. Leute, die anders denken, das ist, was man will. Warum sind, wenn man sich verschiedene Modelle ansieht, selbst von völlig unterschiedlichen Unternehmen veröffentlicht, die auf potenziell nicht überlappenden Datensätzen trainiert wurden, LLMs erstaunlich ähnlich zueinander? Vielleicht sind die Datensätze nicht so nicht überlappend, wie es scheint. Aber es gibt einen Sinn, in dem selbst wenn ein einzelner Mensch weniger produktiv sein mag als die zukünftige KI, vielleicht etwas daran ist, dass menschliche Teams mehr Vielfalt haben als KI-Teams. Wie können wir sinnvolle Vielfalt unter KIs hervorrufen? Ich denke, das Erhöhen der Temperatur führt nur zu Unsinn. Man will eher etwas wie, dass verschiedene Wissenschaftler unterschiedliche Vorurteile oder unterschiedliche Ideen haben. Wie bekommt man diese Art von Vielfalt unter KI-Agenten? Der Grund, warum es keine Vielfalt gab, glaube ich, ist das Pre-Training. Alle vortrainierten Modelle sind so ziemlich gleich, weil sie auf denselben Daten vortrainiert werden. Jetzt ist RL und Post-Training, wo einige Differenzierung beginnt, weil verschiedene Leute auf verschiedene RL-Trainings kommen. Ich habe gehört, wie Sie in der Vergangenheit auf Self-Play als eine Möglichkeit hingewiesen haben, entweder Daten zu generieren oder Agenten mit gleich intelligenten Agenten abzugleichen, um das Lernen zu starten. Wie sollten wir darüber nachdenken, warum es keine öffentlichen Vorschläge gibt, dass diese Art von Dingen mit LLMs funktioniert? Ich würde sagen, es gibt zwei Dinge zu sagen. Der Grund, warum ich dachte, Self-Play sei interessant, ist, dass es eine Möglichkeit bot, Modelle nur mit Rechenleistung, ohne Daten zu erstellen. Wenn man denkt, dass Daten die ultimative Engstelle sind, dann ist die Verwendung von nur Rechenleistung sehr interessant. Das macht es also interessant. Die Sache ist, dass Self-Play, zumindest so, wie es in der Vergangenheit gemacht wurde – wenn Agenten irgendwie miteinander konkurrieren –, nur gut für die Entwicklung einer bestimmten Reihe von Fähigkeiten ist. Es ist zu eng. Es ist nur gut für Verhandlungen, Konflikte, bestimmte soziale Fähigkeiten, Strategien, diese Art von Dingen. Wenn Ihnen diese Fähigkeiten wichtig sind, dann wird Self-Play nützlich sein. Tatsächlich denke ich, dass Self-Play ein Zuhause gefunden hat, aber in einer anderen Form. So Dinge wie Debatte, Beweiser-Verifizierer, man hat eine Art LLM-als-Richter, der auch Anreize hat, Fehler in Ihrer Arbeit zu finden. Man könnte sagen, das ist nicht genau Self-Play, aber das ist ein verwandtes adversarielles Setup, das die Leute meiner Meinung nach machen. Tatsächlich ist Self-Play ein Spezialfall allgemeinerer Konkurrenz zwischen Agenten. Die natürliche Reaktion auf Wettbewerb ist, zu versuchen, anders zu sein. Wenn man also mehrere Agenten zusammenbringt und ihnen sagt: "Ihr müsst alle an einem Problem arbeiten, und ihr seid Agenten, und ihr inspiziert, woran jeder andere arbeitet", werden sie sagen: "Nun, wenn sie diesen Ansatz bereits verfolgen, ist es nicht klar, dass ich ihn verfolgen sollte. Ich sollte etwas Differenziertes verfolgen." Ich denke also, etwas Ähnliches könnte auch einen Anreiz für eine Vielfalt von Ansätzen schaffen. Letzte Frage: Was ist Forschungsgeschmack? Sie sind offensichtlich die Person auf der Welt, die den besten Geschmack in der KI-Forschung hat. Sie waren Co-Autor der größten Dinge, die in der Geschichte des Deep Learning passiert sind, von AlexNet bis GPT-3 und so weiter. Was ist das, wie charakterisieren Sie, wie Sie auf diese Ideen kommen? Ich kann das für mich selbst kommentieren. Ich denke, verschiedene Leute machen es unterschiedlich. Eine Sache, die mich persönlich leitet, ist eine Ästhetik, wie KI sein sollte, indem ich darüber nachdenke, wie Menschen sind, aber korrekt denke. Es ist sehr einfach, falsch darüber nachzudenken, wie Menschen sind, aber was bedeutet es, korrekt über Menschen nachzudenken? Ich gebe Ihnen einige Beispiele. Die Idee des künstlichen Neurons ist direkt vom Gehirn inspiriert, und es ist eine großartige Idee. Warum? Weil man sagt, das Gehirn hat all diese verschiedenen Organe, es hat die Falten, aber die Falten spielen wahrscheinlich keine Rolle. Warum denken wir, dass die Neuronen wichtig sind? Weil es viele von ihnen gibt. Es fühlt sich richtig an, also will man das Neuron. Man will eine lokale Lernregel, die die Verbindungen zwischen den Neuronen verändert. Es erscheint plausibel, dass das Gehirn das tut. Die Idee der verteilten Darstellung. Die Idee, dass das Gehirn auf Erfahrung reagiert, daher sollte unser neuronales Netz aus Erfahrung lernen. Das Gehirn lernt aus Erfahrung, das neuronale Netz sollte aus Erfahrung lernen. Man fragt sich, ist etwas fundamental oder nicht fundamental? Wie die Dinge sein sollten. Ich denke, das hat mich ziemlich geleitet, aus mehreren Blickwinkeln zu denken und nach fast Schönheit, Schönheit und Einfachheit zu suchen. Hässlichkeit, dafür gibt es keinen Raum. Es ist Schönheit, Einfachheit, Eleganz, korrekte Inspiration vom Gehirn. All diese Dinge müssen gleichzeitig vorhanden sein. Je mehr sie vorhanden sind, desto zuversichtlicher kann man in einen Top-Down-Glauben sein. Der Top-Down-Glaube ist das, was einen aufrechterhält, wenn die Experimente einem widersprechen. Denn wenn man sich die ganze Zeit auf die Daten verlässt, nun, manchmal kann man das Richtige tun, aber es gibt einen Fehler. Aber man weiß nicht, dass es einen Fehler gibt. Woher weiß man, dass es einen Fehler gibt? Woher weiß man, ob man weiter debuggen sollte oder ob man zu dem Schluss kommt, dass es die falsche Richtung ist? Das ist der Top-Down-Ansatz, und er basiert auf dieser facettenreichen Schönheit und Inspiration durch das Gehirn. Gut, wir belassen es dabei. Vielen Dank. Ilya, vielen Dank. Alles klar. Ich schätze es. Das war großartig. Ja, ich habe es genossen. Ja, ich auch.