Andrej Karpathy — “We’re summoning ghosts, not building animals”

Heute spreche ich mit Andrej Karpathy. Andrej, warum sagst du, dass dies das Jahrzehnt der Agenten sein wird und nicht das Jahr der Agenten? Zuerst einmal vielen Dank, dass Sie mich hier haben. Ich freue mich, hier zu sein. Das Zitat, das Sie gerade erwähnt haben: "Es ist das Jahrzehnt der Agenten", ist eigentlich eine Reaktion auf ein bereits existierendes Zitat. Ich bin mir nicht sicher, wer das gesagt hat, aber sie spielten darauf an, dass dies das Jahr der Agenten im Hinblick auf LLMs sei und wie sie sich entwickeln würden. Das hat mich getriggert, weil es in der Branche eine gewisse Übervorhersage gibt. Meiner Meinung nach ist dies genauer als das Jahrzehnt der Agenten zu beschreiben. Wir haben einige sehr frühe Agenten, die äußerst beeindruckend sind und die ich täglich benutze – Claude und Codex und so weiter –, aber ich habe immer noch das Gefühl, dass noch viel Arbeit zu tun ist. Meine Reaktion ist, dass wir ein Jahrzehnt lang mit diesen Dingen arbeiten werden. Sie werden besser werden, und es wird wunderbar sein. Ich habe nur auf die Zeitpläne der Implikation reagiert. Was glauben Sie, wird ein Jahrzehnt dauern, um zu erreichen? Was sind die Engpässe? Es tatsächlich zum Laufen zu bringen. Wenn Sie von einem Agenten sprechen, oder was die Labore im Sinn haben und vielleicht auch ich, sollten Sie ihn fast wie einen Angestellten oder einen Praktikanten betrachten, den Sie einstellen würden, um mit Ihnen zusammenzuarbeiten. Zum Beispiel arbeiten Sie hier mit einigen Angestellten zusammen. Wann würden Sie es vorziehen, wenn ein Agent wie Claude oder Codex diese Arbeit erledigt? Derzeit können sie das natürlich nicht. Was wäre nötig, damit sie das tun können? Warum tun Sie es heute nicht? Der Grund, warum Sie es heute nicht tun, ist, dass sie einfach nicht funktionieren. Sie sind nicht intelligent genug, sie sind nicht multimodulär genug, sie können Computer nicht benutzen und all diese Dinge nicht. Sie tun viele der Dinge nicht, auf die Sie früher angespielt haben. Sie haben kein kontinuierliches Lernen. Man kann ihnen nicht einfach etwas sagen, und sie werden es sich merken. Ihnen fehlen kognitive Fähigkeiten, und es funktioniert einfach nicht. Es wird etwa ein Jahrzehnt dauern, all diese Probleme zu lösen. Interessant. Als professioneller Podcaster und als Zuschauer von KI aus der Ferne ist es für mich leicht zu erkennen, was fehlt: Kontinuierliches Lernen fehlt, oder Multimodalität fehlt. Aber ich habe keine gute Möglichkeit, eine Zeitachse dafür festzulegen. Wenn mich jemand fragt, wie lange kontinuierliches Lernen dauern wird, habe ich keine Ahnung, ob dies ein Projekt ist, das 5 Jahre, 10 Jahre oder 50 Jahre dauern sollte. Warum ein Jahrzehnt? Warum nicht ein Jahr? Warum nicht 50 Jahre? Hier kommt ein wenig meine eigene Intuition ins Spiel, und eine Extrapolation mit Blick auf meine eigene Erfahrung in diesem Bereich. Ich bin seit fast zwei Jahrzehnten in der KI tätig. Es werden etwa 15 Jahre sein, nicht so lange. Sie hatten Richard Sutton hier, der viel länger dabei war. Ich habe etwa 15 Jahre Erfahrung mit Leuten, die Vorhersagen machen, und sehe, wie sie sich herausstellen. Außerdem war ich eine Weile in der Branche, ich war in der Forschung, und ich habe eine Weile in der Branche gearbeitet. Ich habe eine allgemeine Intuition, die ich daraus mitgenommen habe. Ich habe das Gefühl, dass die Probleme lösbar sind, sie sind überwindbar, aber sie sind immer noch schwierig. Wenn ich es einfach durchschneide, fühlt es sich für mich einfach wie ein Jahrzehnt an. Das ist ziemlich interessant. Ich möchte nicht nur die Geschichte hören, sondern auch, was die Leute im Raum bei verschiedenen Durchbruchsmomenten fühlten, was kurz bevorstand. Auf welche Weise waren ihre Gefühle entweder übermäßig pessimistisch oder übermäßig optimistisch? Sollen wir sie einfach eins nach dem anderen durchgehen? Das ist eine riesige Frage, denn Sie sprechen von 15 Jahren Geschehenem. KI ist so wunderbar, weil es eine Reihe von seismischen Verschiebungen gab, bei denen das gesamte Feld plötzlich anders aussah. Ich habe vielleicht zwei oder drei davon miterlebt. Ich glaube immer noch, dass es weiterhin einige geben wird, da sie mit fast überraschender Regelmäßigkeit auftreten. Als meine Karriere begann, als ich anfing, an Deep Learning zu arbeiten, als ich mich für Deep Learning interessierte, war das Zufall, weil ich direkt neben Geoff Hinton an der University of Toronto war. Geoff Hinton ist natürlich die Patenfigur der KI. Er trainierte all diese neuronalen Netze. Ich fand es unglaublich und interessant. Das war bei weitem nicht das Wichtigste, was alle in der KI taten. Das war ein kleines Nischenthema am Rande. Das ist vielleicht die erste dramatische seismische Verschiebung, die mit AlexNet und so weiter kam. AlexNet hat alle neu ausgerichtet, und alle begannen, neuronale Netze zu trainieren, aber es war immer noch sehr aufgabenbezogen, auf spezifische Aufgaben. Vielleicht habe ich einen Bildklassifikator oder einen neuronalen maschinellen Übersetzer oder so etwas. Die Leute interessierten sich nur sehr langsam für Agenten. Die Leute begannen zu denken: "Okay, vielleicht haben wir ein Häkchen neben dem visuellen Kortex oder so etwas, aber was ist mit den anderen Teilen des Gehirns, und wie können wir einen vollständigen Agenten oder eine vollständige Entität bekommen, die mit der Welt interagieren kann?" Der Durchbruch im Deep Reinforcement Learning bei Atari um 2013 war meiner Meinung nach Teil dieser frühen Bemühungen um Agenten, weil es ein Versuch war, Agenten zu bekommen, die nicht nur die Welt wahrnehmen, sondern auch handeln und interagieren und Belohnungen aus Umgebungen erhalten. Damals waren das Atari-Spiele. Ich habe das Gefühl, das war ein Fehltritt. Es war ein Fehltritt, den selbst das frühe OpenAI, dem ich angehörte, übernommen hat, denn damals war der Zeitgeist die Reinforcement Learning-Umgebungen, Spiele, Spiele spielen, Spiele schlagen, viele verschiedene Arten von Spielen bekommen, und OpenAI hat viel davon gemacht. Das war ein weiterer prominenter Teil der KI, wo vielleicht zwei, drei oder vier Jahre lang jeder Reinforcement Learning auf Spielen gemacht hat. Das war alles ein bisschen ein Fehltritt. Was ich bei OpenAI zu tun versuchte, war, dass ich immer ein bisschen misstrauisch gegenüber Spielen war, als etwas, das zu AGI führen würde. Denn meiner Meinung nach braucht man so etwas wie einen Buchhalter oder etwas, das mit der realen Welt interagiert. Ich sah einfach nicht, wie Spiele dazu passen. Mein Projekt bei OpenAI zum Beispiel fiel in den Umfang des Universe-Projekts, an einem Agenten, der Tastatur und Maus benutzte, um Webseiten zu bedienen. Ich wollte wirklich etwas haben, das mit der tatsächlichen digitalen Welt interagiert und Wissensarbeit leisten kann. Es stellt sich heraus, dass das extrem früh war, viel zu früh, so früh, dass wir uns nicht damit hätten beschäftigen sollen. Denn wenn man sich nur durchkämpft und auf der Tastatur herumhämmert und mit der Maus klickt und versucht, Belohnungen in diesen Umgebungen zu bekommen, ist die Belohnung zu spärlich und man lernt einfach nicht. Man wird einen Wald an Rechenleistung verbrennen und nie etwas auf den Weg bringen. Was Ihnen fehlt, ist diese Repräsentationskraft im neuronalen Netz. Zum Beispiel trainieren Leute heute diese computerbenutzenden Agenten, aber sie tun es auf der Grundlage eines großen Sprachmodells. Man muss zuerst das Sprachmodell haben, man muss zuerst die Repräsentationen haben, und man muss das durch all das Pre-Training und all den LLM-Kram tun. Ich habe das Gefühl, dass die Leute lose gesprochen, ein paar Mal versucht haben, das Ganze zu früh zu bekommen, wo die Leute wirklich zu früh nach Agenten greifen, würde ich sagen. Das waren Atari und Universe und sogar meine eigene Erfahrung. Man muss zuerst einige Dinge tun, bevor man zu diesen Agenten kommt. Jetzt sind die Agenten viel kompetenter, aber vielleicht fehlen uns noch einige Teile dieses Stacks. Ich würde sagen, das sind die drei Hauptkategorien dessen, was die Leute getan haben: neuronale Netze für Aufgaben trainieren, die erste Runde von Agenten versuchen und dann vielleicht die LLMs und die Repräsentationskraft der neuronalen Netze suchen, bevor man alles andere obendrauf packt. Interessant. Wenn ich die Sutton-Perspektive stählen würde, wäre es, dass Menschen alles auf einmal bewältigen können, oder sogar Tiere alles auf einmal bewältigen können. Tiere sind vielleicht ein besseres Beispiel, weil sie nicht einmal das Gerüst der Sprache haben. Sie werden einfach in die Welt geworfen, und sie müssen alles ohne Labels verstehen. Die Vision für AGI sollte dann einfach etwas sein, das sich die Sensordaten ansieht, den Computerbildschirm ansieht und einfach von Grund auf versteht, was vor sich geht. Wenn ein Mensch in eine ähnliche Situation gebracht würde und von Grund auf trainiert werden müsste... Das ist wie ein Mensch, der aufwächst, oder ein Tier, das aufwächst. Warum sollte das nicht die Vision für KI sein, anstatt dieser Sache, bei der wir Millionen von Jahren Training betreiben? Das ist eine wirklich gute Frage. Sutton war in Ihrem Podcast und ich habe den Podcast gesehen und ich habe eine Zusammenfassung dieses Podcasts, die ein wenig darauf eingeht, wie ich die Dinge sehe. Ich bin sehr vorsichtig, Analogien zu Tieren zu ziehen, weil sie durch einen ganz anderen Optimierungsprozess entstanden sind. Tiere sind entwickelt, und sie kommen mit einer riesigen Menge an eingebauter Hardware. Zum Beispiel war mein Beispiel im Beitrag der Zebra. Ein Zebra wird geboren, und ein paar Minuten später rennt es herum und folgt seiner Mutter. Das ist eine extrem komplizierte Sache. Das ist kein Reinforcement Learning. Das ist etwas, das eingebaut ist. Die Evolution hat offensichtlich eine Möglichkeit, die Gewichte unserer neuronalen Netze in ATCGs zu kodieren, und ich habe keine Ahnung, wie das funktioniert, aber es funktioniert anscheinend. Gehirne sind einfach aus einem ganz anderen Prozess entstanden, und ich bin sehr zögerlich, mich davon inspirieren zu lassen, weil wir diesen Prozess nicht wirklich durchlaufen. In meinem Beitrag sagte ich, wir bauen keine Tiere. Wir bauen Geister oder Seelen oder wie auch immer man es nennen will, weil wir kein Training durch Evolution betreiben. Wir trainieren durch Nachahmung von Menschen und den Daten, die sie ins Internet gestellt haben. Man landet bei diesen ätherischen Geistwesen, weil sie vollständig digital sind und Menschen nachahmen. Es ist eine andere Art von Intelligenz. Wenn man sich einen Raum von Intelligenzen vorstellt, fangen wir fast von einem anderen Punkt aus an. Wir bauen keine Tiere. Aber es ist auch möglich, sie im Laufe der Zeit ein bisschen tierähnlicher zu machen, und ich denke, das sollten wir tun. Noch ein Punkt. Ich habe das Gefühl, dass Sutton einen sehr... Sein Rahmen ist: "Wir wollen Tiere bauen." Ich denke, das wäre wunderbar, wenn wir das zum Laufen bringen könnten. Das wäre erstaunlich. Wenn es einen einzigen Algorithmus gäbe, den man einfach im Internet ausführen könnte und der alles lernt, wäre das unglaublich. Ich bin mir nicht sicher, ob es existiert, und das ist sicherlich nicht das, was Tiere tun, denn Tiere haben diese äußere Schleife der Evolution. Vieles von dem, was wie Lernen aussieht, ist eher eine Reifung des Gehirns. Ich glaube, es gibt sehr wenig Reinforcement Learning für Tiere. Vieles von dem Reinforcement Learning ist eher motorischer Natur; es sind keine Intelligenzaufgaben. Ich glaube also tatsächlich, dass Menschen RL nicht wirklich nutzen, grob gesagt. Können Sie den letzten Satz wiederholen? Viel von dieser Intelligenz ist keine motorische Aufgabe... was ist das, Entschuldigung? Vieles von dem Reinforcement Learning wäre aus meiner Sicht eher motorisch, einfache Aufgaben wie das Werfen eines Rings. Aber ich glaube nicht, dass Menschen Reinforcement Learning für viele Intelligenzaufgaben wie Problemlösung und so weiter nutzen. Das bedeutet nicht, dass wir das für die Forschung nicht tun sollten, aber ich habe einfach das Gefühl, dass das ist, was Tiere tun oder nicht tun. Ich werde mir einen Moment Zeit nehmen, das zu verdauen, denn es gibt viele verschiedene Ideen. Hier ist eine klärende Frage, die ich stellen kann, um die Perspektive zu verstehen. Sie schlagen vor, dass die Evolution die Art von Dingen tut, die Pre-Training tut, im Sinne des Aufbaus von etwas, das dann die Welt verstehen kann. Der Unterschied ist, dass die Evolution im Falle von Menschen durch drei Gigabyte DNA titriert werden muss. Das ist sehr unähnlich zu den Gewichten eines Modells. Buchstäblich sind die Gewichte des Modells ein Gehirn, das offensichtlich nicht in Spermien und Eizellen existiert. Es muss also wachsen. Auch die Informationen für jede einzelne Synapse im Gehirn können einfach nicht in den drei Gigabyte existieren, die in der DNA vorhanden sind. Evolution scheint näher daran zu sein, den Algorithmus zu finden, der dann das lebenslange Lernen durchführt. Nun, vielleicht ist das lebenslange Lernen nicht analog zu RL, zu Ihrem Punkt. Ist das mit dem vereinbar, was Sie gesagt haben, oder würden Sie dem widersprechen? Ich denke schon. Ich stimme Ihnen zu, dass es eine wundersame Kompression gibt, denn offensichtlich sind die Gewichte des neuronalen Netzes nicht in ATCGs gespeichert. Es gibt eine dramatische Kompression. Es gibt einige Lernalgorithmen, die übernommen werden und einen Teil des Lernens online durchführen. Dem stimme ich Ihnen definitiv zu. Ich würde sagen, ich bin viel praktischer eingestellt. Ich komme nicht aus der Perspektive, lass uns Tiere bauen. Ich komme aus der Perspektive, lass uns nützliche Dinge bauen. Ich trage einen Schutzhelm und beobachte einfach, dass wir keine Evolution betreiben werden, weil ich nicht weiß, wie das geht. Aber es stellt sich heraus, dass wir diese Geister, geistähnlichen Wesen, bauen können, indem wir Internetdokumente nachahmen. Das funktioniert. Es ist eine Möglichkeit, Sie zu etwas zu bringen, das viel eingebautes Wissen und Intelligenz in gewisser Weise hat, ähnlich wie die Evolution es vielleicht getan hat. Deshalb nenne ich Pre-Training diese beschissene Evolution. Es ist die praktisch mögliche Version mit unserer Technologie und dem, was uns zur Verfügung steht, um zu einem Ausgangspunkt zu gelangen, von dem aus wir Dinge wie Reinforcement Learning und so weiter tun können. Nur um die andere Perspektive zu stählen: Nachdem ich dieses Sutton-Interview gemacht und ein wenig darüber nachgedacht habe, hat er hier einen wichtigen Punkt. Evolution gibt uns nicht wirklich das Wissen. Sie gibt uns den Algorithmus, um das Wissen zu finden, und das scheint sich vom Pre-Training zu unterscheiden. Vielleicht ist die Perspektive, dass Pre-Training hilft, die Art von Entität aufzubauen, die besser lernen kann. Es lehrt Meta-Lernen und ist daher ähnlich wie das Finden eines Algorithmus. Aber wenn es heißt: "Evolution gibt uns Wissen, Pre-Training gibt uns Wissen", scheint diese Analogie zusammenzubrechen. Es ist subtil, und ich denke, Sie haben Recht, wenn Sie zurückschlagen, aber im Grunde tut das Pre-Training Folgendes: Sie erhalten den nächsten Token-Prädiktor im Internet und trainieren diesen in ein neuronales Netz. Es tut zwei Dinge, die nicht miteinander zusammenhängen. Erstens nimmt es all dieses Wissen auf, wie ich es nenne. Zweitens wird es tatsächlich intelligent. Durch die Beobachtung der algorithmischen Muster im Internet bootet es all diese kleinen Schaltkreise und Algorithmen im neuronalen Netz hoch, um Dinge wie In-Context-Learning und all diesen Kram zu tun. Sie brauchen oder wollen das Wissen nicht. Ich denke, das hält die neuronalen Netze insgesamt wahrscheinlich zurück, weil es sie manchmal dazu bringt, sich ein wenig zu sehr auf das Wissen zu verlassen. Zum Beispiel denke ich, dass Agenten nicht sehr gut darin sind, von der Datenvielfalt dessen abzuweichen, was im Internet existiert. Wenn sie weniger Wissen oder weniger Gedächtnis hätten, wären sie vielleicht besser. Was wir meiner Meinung nach zukünftig tun müssen – und das wäre Teil der Forschungsparadigmen – ist, Wege zu finden, etwas Wissen zu entfernen und das zu behalten, was ich den kognitiven Kern nenne. Das ist diese intelligente Entität, die von Wissen befreit ist, aber die Algorithmen und den Zauber der Intelligenz und Problemlösung und die Strategien davon und all diesen Kram enthält. Da gibt es so viel Interessantes. Beginnen wir mit In-Context-Learning. Das ist ein offensichtlicher Punkt, aber ich denke, es lohnt sich, ihn explizit zu erwähnen und darüber nachzudenken. Die Situation, in der sich diese Modelle am intelligentesten anfühlen – in der ich mit ihnen spreche und denke: "Wow, da ist wirklich etwas auf der anderen Seite, das auf meine Gedanken reagiert" – ist, wenn sie einen Fehler machen, wie: "Oh, warte, das ist der falsche Weg, darüber nachzudenken. Ich ziehe mich zurück." Das alles geschieht im Kontext. Dort spüre ich die wirkliche Intelligenz, die man sichtbar sehen kann. Dieser In-Context-Learning-Prozess wird durch Gradientenabstieg beim Pre-Training entwickelt. Er lernt spontan In-Context-Learning als Meta-Lernen, aber das In-Context-Learning selbst ist kein Gradientenabstieg, genauso wenig wie unsere lebenslange Intelligenz als Menschen, Dinge tun zu können, durch Evolution bedingt ist, aber unser Lernen während unseres Lebens durch einen anderen Prozess geschieht. Ich stimme dem nicht ganz zu, aber Sie sollten Ihren Gedanken fortsetzen. Nun, ich bin sehr neugierig zu verstehen, wie diese Analogie zusammenbricht. Ich bin zögerlich zu sagen, dass In-Context-Learning keinen Gradientenabstieg durchführt. Es führt keinen expliziten Gradientenabstieg durch. In-Context-Learning ist Musterergänzung innerhalb eines Token-Fensters. Es stellt sich einfach heraus, dass es eine riesige Menge an Mustern im Internet gibt. Sie haben Recht, das Modell lernt, das Muster zu vervollständigen, und das steckt in den Gewichten. Die Gewichte des neuronalen Netzes versuchen, Muster zu entdecken und das Muster zu vervollständigen. Es gibt eine gewisse Anpassung, die im neuronalen Netz stattfindet, die magisch ist und einfach aus dem Internet herausfällt, nur weil es viele Muster gibt. Ich werde sagen, dass es einige interessante Papiere gab, die sich die Mechanismen hinter In-Context-Learning ansehen. Ich denke, es ist möglich, dass In-Context-Learning eine kleine Gradientenabstiegsschleife intern in den Schichten des neuronalen Netzes ausführt. Ich erinnere mich an ein bestimmtes Papier, in dem sie lineare Regression mit In-Context-Learning durchführten. Ihre Eingaben in das neuronale Netz sind XY-Paare, XY, XY, XY, die zufällig auf der Linie liegen. Dann geben Sie X ein und erwarten Y. Das neuronale Netz führt, wenn es auf diese Weise trainiert wird, lineare Regression durch. Normalerweise würden Sie bei der linearen Regression einen kleinen Gradientenabstieg-Optimierer verwenden, der sich XY ansieht, einen Fehler ansieht, den Gradienten der Gewichte berechnet und die Aktualisierung ein paar Mal durchführt. Es stellt sich heraus, dass sie, als sie sich die Gewichte dieses In-Context-Learning-Algorithmus ansahen, einige Analogien zu Gradientenabstieg-Mechanismen fanden. Tatsächlich denke ich, dass das Papier noch stärker war, weil sie die Gewichte eines neuronalen Netzes hartkodierten, um durch Aufmerksamkeit und alle Interna des neuronalen Netzes einen Gradientenabstieg durchzuführen. Das ist nur mein einziger Einwand. Wer weiß, wie In-Context-Learning funktioniert, aber ich denke, es führt wahrscheinlich intern ein bisschen einen seltsamen Gradientenabstieg durch. Ich denke, das ist möglich. Ich habe nur Ihren Einwand zurückgewiesen, dass es kein In-Context-Learning durchführt. Wer weiß, was es tut, aber es tut wahrscheinlich etwas Ähnliches, aber wir wissen es nicht. Dann lohnt es sich, darüber nachzudenken: Wenn In-Context-Learning und Pre-Training beide etwas wie Gradientenabstieg implementieren, warum fühlt es sich dann so an, als ob wir mit In-Context-Learning zu diesem kontinuierlichen Lernen, dieser echten Intelligenz-ähnlichen Sache gelangen, während man durch Pre-Training nicht das analoge Gefühl bekommt? Man könnte das argumentieren. Wenn es derselbe Algorithmus ist, was könnte anders sein? Eine Möglichkeit, darüber nachzudenken, ist, wie viel Information das Modell pro Information speichert, die es aus dem Training erhält. Wenn man sich das Pre-Training ansieht, wenn man sich zum Beispiel Llama 3 ansieht, glaube ich, es wird auf 15 Billionen Tokens trainiert. Wenn man sich das 70B-Modell ansieht, wäre das die Entsprechung von 0,07 Bit pro Token, das es im Pre-Training sieht, in Bezug auf die Information in den Gewichten des Modells im Vergleich zu den gelesenen Tokens. Während man sich den KV-Cache ansieht und wie er pro zusätzlichem Token im In-Context-Learning wächst, sind es etwa 320 Kilobyte. Das ist also ein 35-millionenfacher Unterschied, wie viel Information pro Token vom Modell assimiliert wird. Ich frage mich, ob das überhaupt relevant ist. Ich stimme dem irgendwie zu. Die Art und Weise, wie ich das normalerweise ausdrücke, ist, dass alles, was während des Trainings des neuronalen Netzes geschieht, das Wissen nur eine verschwommene Erinnerung an das ist, was zur Trainingszeit passiert ist. Das liegt daran, dass die Kompression dramatisch ist. Sie nehmen 15 Billionen Tokens und komprimieren sie auf Ihr endgültiges neuronales Netz von nur wenigen Milliarden Parametern. Offensichtlich findet eine massive Kompression statt. Ich bezeichne es als eine verschwommene Erinnerung an die Internetdokumente. Während alles, was im Kontextfenster des neuronalen Netzes geschieht – Sie stecken alle Tokens hinein und bauen all diese KV-Cache-Repräsentationen auf – sehr direkt zugänglich für das neuronale Netz ist. Daher vergleiche ich den KV-Cache und das, was zur Testzeit passiert, eher mit einem Arbeitsgedächtnis. Alles, was sich im Kontextfenster befindet, ist für das neuronale Netz sehr direkt zugänglich. Es gibt immer diese fast überraschenden Analogien zwischen LLMs und Menschen. Ich finde sie überraschend, weil wir nicht direkt versuchen, ein menschliches Gehirn zu bauen. Wir stellen einfach fest, dass das funktioniert und wir es tun. Aber ich denke, alles, was in den Gewichten steckt, ist eine verschwommene Erinnerung an das, was man vor einem Jahr gelesen hat. Alles, was man ihm zur Testzeit als Kontext gibt, ist direkt im Arbeitsgedächtnis. Das ist eine sehr mächtige Analogie, um Dinge zu durchdenken. Wenn Sie zum Beispiel zu einem LLM gehen und es nach einem Buch fragen und was darin passiert ist, wie Nick Lanes Buch oder so etwas, gibt Ihnen das LLM oft etwas, das ungefähr richtig ist. Aber wenn Sie ihm das ganze Kapitel geben und Fragen stellen, werden Sie viel bessere Ergebnisse erzielen, weil es jetzt im Arbeitsgedächtnis des Modells geladen ist. Also, um auf lange Sicht zu sagen, ich stimme zu und das ist der Grund. Wenn wir einen Schritt zurücktreten, was ist der Teil der menschlichen Intelligenz, den wir mit diesen Modellen am wenigsten replizieren konnten? Nur ein großer Teil davon. Vielleicht eine Möglichkeit, darüber nachzudenken, ich weiß nicht, ob das der beste Weg ist, aber ich habe fast das Gefühl – wieder, diese Analogien sind unvollkommen, wie sie sind – wir haben uns mit dem Transformer-Neuronalen Netz, das extrem leistungsfähig und sehr allgemein ist, durchgeschlagen. Sie können Transformer auf Audio, Video oder Text trainieren, oder was auch immer Sie wollen, und es lernt einfach Muster und sie sind sehr leistungsfähig, und es funktioniert wirklich gut. Das deutet für mich fast darauf hin, dass dies ein Stück Hirnrinde ist. Es ist so etwas, denn die Hirnrinde ist bekanntermaßen auch sehr plastisch. Man kann Teile des Gehirns neu verdrahten. Es gab die leicht grausigen Experimente, bei denen der visuelle Kortex mit dem auditorischen Kortex neu verdrahtet wurde, und dieses Tier lernte gut usw. Ich denke also, das ist Hirnrinde. Ich denke, wenn wir innerhalb der neuronalen Netze Schlussfolgerungen und Planungen durchführen, Denkspuren für Denkmodelle, ist das so etwas wie der präfrontale Kortex. Vielleicht sind das kleine Häkchen, aber ich denke immer noch, dass es viele Gehirnteile und Kerne gibt, die unerforscht sind. Zum Beispiel gibt es die Basalganglien, die ein bisschen Reinforcement Learning machen, wenn wir die Modelle auf Reinforcement Learning abstimmen. Aber wo ist der Hippocampus? Nicht offensichtlich, was das wäre. Einige Teile sind wahrscheinlich nicht wichtig. Vielleicht ist das Kleinhirn für die Kognition, die Gedanken, nicht wichtig, also können wir vielleicht einige davon überspringen. Aber ich denke immer noch, dass es zum Beispiel die Amygdala gibt, all die Emotionen und Instinkte. Es gibt wahrscheinlich eine Reihe anderer Kerne im Gehirn, die sehr alt sind und von denen ich nicht glaube, dass wir sie wirklich repliziert haben. Ich weiß nicht, ob wir versuchen sollten, ein Analogon eines menschlichen Gehirns zu bauen. Ich bin im Herzen meistens Ingenieur. Vielleicht eine andere Antwort auf die Frage ist, dass Sie dieses Ding nicht als Praktikanten einstellen werden. Es fehlt vieles davon, weil es mit vielen dieser kognitiven Defizite kommt, die wir alle intuitiv spüren, wenn wir mit den Modellen sprechen. Es ist also noch nicht ganz da. Man kann es so sehen, dass noch nicht alle Gehirnteile abgehakt sind. Das ist vielleicht relevant für die Frage, wie schnell diese Probleme gelöst werden. Manchmal sagen Leute über kontinuierliches Lernen: "Schauen Sie, Sie könnten diese Fähigkeit leicht replizieren. So wie In-Context-Learning spontan als Ergebnis von Pre-Training entstanden ist, wird kontinuierliches Lernen über längere Horizonte spontan entstehen, wenn das Modell dazu angeregt wird, Informationen über längere Horizonte oder Horizonte, die länger als eine Sitzung sind, abzurufen." Wenn es also eine äußere Schleife von RL gibt, die viele Sitzungen innerhalb dieser äußeren Schleife hat, dann wird dieses kontinuierliche Lernen, bei dem es sich selbst feinabstimmt oder in einem externen Speicher schreibt oder so etwas, einfach spontan entstehen. Glauben Sie, dass so etwas plausibel ist? Ich habe einfach keine Ahnung, wie plausibel das ist. Wie wahrscheinlich ist das? Ich weiß nicht, ob ich dem ganz zustimme. Diese Modelle, wenn man sie startet und sie null Tokens im Fenster haben, fangen sie immer wieder von vorne an, wo sie waren. Ich weiß also nicht, wie das in dieser Weltanschauung aussieht. Vielleicht, indem man einige Analogien zu Menschen zieht – nur weil ich denke, dass es grob konkret und interessant ist, darüber nachzudenken –, habe ich das Gefühl, dass ich, wenn ich wach bin, ein Kontextfenster von Dingen aufbaue, die tagsüber passieren. Aber wenn ich schlafe, geschieht etwas Magisches, wo ich nicht glaube, dass dieses Kontextfenster bestehen bleibt. Es gibt einen Prozess der Destillation in die Gewichte meines Gehirns. Das geschieht während des Schlafs und all dem. Wir haben kein Äquivalent dazu in großen Sprachmodellen. Das ist für mich eher verwandt mit dem, was Sie über kontinuierliches Lernen und so weiter als abwesend sagen. Diese Modelle haben keine wirkliche Destillationsphase, in der sie das Geschehene nehmen, es obsessiv analysieren, darüber nachdenken, einen synthetischen Datengenerierungsprozess durchführen und es zurück in die Gewichte destillieren und vielleicht ein spezifisches neuronales Netz pro Person haben. Vielleicht ist es ein LoRA. Es ist kein vollständiges neuronales Netz mit Gewichten. Es ist nur ein kleiner, spärlicher Teil der Gewichte, der verändert wird. Aber wir wollen Wege schaffen, diese Individuen zu erschaffen, die sehr lange Kontexte haben. Das liegt nicht nur daran, dass sie im Kontextfenster bleiben, weil die Kontextfenster sehr, sehr lang werden. Vielleicht haben wir eine sehr ausgeklügelte, spärliche Aufmerksamkeit dafür. Aber ich denke immer noch, dass Menschen offensichtlich einen Prozess haben, um einige dieser Kenntnisse in die Gewichte zu destillieren. Das fehlt uns. Ich denke auch, dass Menschen ein sehr ausgeklügeltes, spärliches Aufmerksamkeitsverfahren haben, von dem ich glaube, dass wir einige frühe Hinweise darauf sehen. DeepSeek v3.2 ist gerade herausgekommen und ich habe gesehen, dass sie spärliche Aufmerksamkeit als Beispiel haben, und das ist eine Möglichkeit, sehr, sehr lange Kontextfenster zu haben. Ich habe also das Gefühl, dass wir viele der kognitiven Tricks wiederholen, die die Evolution hervorgebracht hat, durch einen ganz anderen Prozess. Aber wir werden auf eine ähnliche kognitive Architektur konvergieren. Werden wir in 10 Jahren immer noch so etwas wie einen Transformer haben, aber mit viel modifizierter Aufmerksamkeit und mehr spärlichen MLPs und so weiter? Die Art und Weise, wie ich gerne darüber nachdenke, ist Translationsinvarianz in der Zeit. Wo waren wir also vor 10 Jahren? 2015. Im Jahr 2015 hatten wir hauptsächlich Convolutional Neural Networks, Residual Networks kamen gerade heraus. Also bemerkenswert ähnlich, würde ich sagen, aber immer noch ziemlich anders. Der Transformer war noch nicht da. All diese moderneren Anpassungen des Transformers waren noch nicht da. Vielleicht sind einige der Dinge, auf die wir wetten können, denke ich in 10 Jahren durch Translationale Äquivarianz, dass wir immer noch riesige neuronale Netze mit einem Vorwärts-Rückwärts-Pass und Updates durch Gradientenabstieg trainieren, aber vielleicht sieht es ein bisschen anders aus, und es ist einfach, dass alles viel größer ist. Kürzlich bin ich bis ins Jahr 1989 zurückgegangen, was eine lustige Übung für mich war, vor ein paar Jahren, weil ich Yann LeCuns Convolutional Network von 1989 reproduzierte, das das erste neuronale Netz war, das meines Wissens über Gradientenabstieg trainiert wurde, wie moderne neuronale Netze, die über Gradientenabstieg auf Ziffernerkennung trainiert werden. Ich war einfach daran interessiert, wie ich das modernisieren könnte. Wie viel davon sind Algorithmen? Wie viel davon sind Daten? Wie viel dieses Fortschritts sind Rechenleistung und Systeme? Ich konnte die Lernzeit sehr schnell halbieren, indem ich einfach 33 Jahre in die Zukunft reiste. Wenn ich also 33 Jahre mit Algorithmen in die Zukunft reise, könnte ich anpassen, was Yann LeCun 1989 getan hat, und ich könnte den Fehler halbieren. Aber um weitere Fortschritte zu erzielen, musste ich viel mehr Daten hinzufügen, ich musste den Trainingsdatensatz verzehnfachen, und dann musste ich mehr Rechenoptimierungen hinzufügen. Ich musste viel länger mit Dropout und anderen Regularisierungstechniken trainieren. All diese Dinge müssen sich also gleichzeitig verbessern. Wir werden wahrscheinlich viel mehr Daten haben, wir werden wahrscheinlich viel bessere Hardware haben, wahrscheinlich viel bessere Kernel und Software, wir werden wahrscheinlich bessere Algorithmen haben. All das, es ist fast so, als ob keiner von ihnen zu viel gewinnt. Alle sind überraschend gleich. Das ist der Trend seit einer Weile. Um Ihre Frage zu beantworten, erwarte ich algorithmische Unterschiede zu dem, was heute passiert. Aber ich erwarte auch, dass einige der Dinge, die schon sehr lange Bestand haben, wahrscheinlich immer noch da sein werden. Es ist wahrscheinlich immer noch ein riesiges neuronales Netz, das mit Gradientenabstieg trainiert wird. Das wäre meine Vermutung. Es ist überraschend, dass all diese Dinge zusammen den Fehler nur halbiert haben, 30 Jahre Fortschritt... Vielleicht ist die Hälfte viel. Denn wenn man den Fehler halbiert, bedeutet das tatsächlich... Die Hälfte ist viel. Aber ich schätze, was mich schockierte, ist, dass sich alles verbessern muss: Architektur, Optimierer, Verlustfunktion. Es hat sich auch für immer verbessert. Ich erwarte also, dass all diese Änderungen lebendig und gut sind. Ja. Ich wollte Sie gerade eine sehr ähnliche Frage zu nanochat stellen. Da Sie es kürzlich programmiert haben, ist jeder einzelne Schritt im Prozess des Aufbaus eines Chatbots frisch in Ihrem RAM. Ich bin neugierig, ob Sie ähnliche Gedanken hatten, wie: "Oh, es gab keine einzelne Sache, die für den Übergang von GPT-2 zu nanochat relevant war." Was sind einige überraschende Erkenntnisse aus der Erfahrung? Beim Aufbau von nanochat? nanochat ist also ein Repository, das ich veröffentlicht habe. War es gestern oder vorgestern? Ich kann mich nicht erinnern. Wir sehen die Schlafmangel, der in die... Es versucht, das einfachste vollständige Repository zu sein, das die gesamte Pipeline von Ende zu Ende abdeckt, um einen ChatGPT-Klon zu erstellen. Sie haben also alle Schritte, nicht nur einen einzelnen Schritt, was eine Menge ist. Ich habe an allen einzelnen Schritten in der Vergangenheit gearbeitet und kleine Code-Schnipsel veröffentlicht, die Ihnen zeigen, wie das algorithmisch, in einfachem Code gemacht wird. Aber das hier behandelt die gesamte Pipeline. Was das Lernen angeht, weiß ich nicht, ob ich unbedingt etwas gefunden habe, das ich daraus gelernt habe. Ich hatte bereits im Kopf, wie man es baut. Das ist nur der Prozess, es mechanisch zu bauen und es sauber genug zu machen, damit die Leute daraus lernen können und es nützlich finden. Was ist der beste Weg für jemanden, daraus zu lernen? Ist es, den gesamten Code zu löschen und zu versuchen, ihn von Grund auf neu zu implementieren, zu versuchen, Modifikationen hinzuzufügen? Das ist eine tolle Frage. Grundsätzlich sind es etwa 8.000 Codezeilen, die Sie durch die gesamte Pipeline führen. Ich würde es wahrscheinlich auf den rechten Monitor legen. Wenn Sie zwei Monitore haben, legen Sie es auf den rechten. Sie wollen es von Grund auf neu bauen, Sie bauen es von Anfang an. Sie dürfen nicht kopieren und einfügen, Sie dürfen referenzieren, Sie dürfen nicht kopieren und einfügen. Vielleicht würde ich das so machen. Aber ich denke auch, dass das Repository selbst ein ziemlich großes Biest ist. Wenn Sie diesen Code schreiben, gehen Sie nicht von oben nach unten, Sie gehen von Chunks aus und wachsen die Chunks, und diese Information fehlt. Sie wüssten nicht, wo Sie anfangen sollen. Es ist also nicht nur ein fertiges Repository, das benötigt wird, sondern der Aufbau des Repositorys, was ein komplizierter Chunk-Wachstumsprozess ist. Dieser Teil ist also noch nicht da. Ich würde das wahrscheinlich später diese Woche hinzufügen. Es ist wahrscheinlich ein Video oder so etwas. Grob gesagt, das würde ich versuchen. Bauen Sie die Dinge selbst, aber erlauben Sie sich kein Kopieren und Einfügen. Ich glaube, es gibt zwei Arten von Wissen, fast. Es gibt das High-Level-Oberflächenwissen, aber wenn man etwas von Grund auf neu baut, ist man gezwungen, sich mit dem auseinanderzusetzen, was man nicht versteht und nicht weiß, dass man es nicht versteht. Es führt immer zu einem tieferen Verständnis. Es ist der einzige Weg zu bauen. Wenn ich es nicht bauen kann, verstehe ich es nicht. Das ist ein Feynman-Zitat, glaube ich. Ich glaube zu 100 % fest daran, weil es all diese Mikrodinge gibt, die einfach nicht richtig angeordnet sind und man das Wissen nicht wirklich hat. Man denkt nur, man hat das Wissen. Schreiben Sie also keine Blogbeiträge, machen Sie keine Folien, tun Sie nichts davon. Bauen Sie den Code, ordnen Sie ihn an, bringen Sie ihn zum Laufen. Das ist der einzige Weg. Sonst fehlt Ihnen Wissen. Sie haben getwittert, dass Code-Modelle Ihnen bei der Zusammenstellung dieses Repositorys wenig geholfen haben. Ich bin neugierig, warum das so war. Ich schätze, ich habe das Repository in etwas mehr als einem Monat aufgebaut. Ich würde sagen, es gibt drei Hauptklassen, wie Menschen derzeit mit Code interagieren. Manche Leute lehnen LLMs komplett ab und schreiben einfach von Grund auf neu. Das ist wahrscheinlich nicht mehr das Richtige. Der mittlere Teil, wo ich mich befinde, ist, dass man immer noch viel von Grund auf neu schreibt, aber man benutzt die Autovervollständigung, die jetzt von diesen Modellen verfügbar ist. Wenn man also anfängt, ein kleines Stück davon zu schreiben, wird es für Sie vervollständigt und Sie können einfach durch Tippen. Meistens ist es richtig, manchmal nicht, und Sie bearbeiten es. Aber Sie sind immer noch sehr der Architekt dessen, was Sie schreiben. Dann gibt es das Vibe-Coding: "Hallo, bitte implementiere dies oder das", Enter, und dann lass das Modell es tun. Das sind die Agenten. Ich habe das Gefühl, dass die Agenten in sehr spezifischen Umgebungen funktionieren, und ich würde sie in spezifischen Umgebungen verwenden. Aber das sind alles Werkzeuge, die Ihnen zur Verfügung stehen, und Sie müssen lernen, wofür sie gut sind, wofür sie nicht gut sind und wann Sie sie einsetzen. Die Agenten sind zum Beispiel ziemlich gut, wenn man Boilerplate-Sachen macht. Boilerplate-Code, der einfach nur kopiert und eingefügt wird, damit sind sie sehr gut. Sie sind sehr gut bei Dingen, die sehr oft im Internet vorkommen, weil es viele Beispiele dafür in den Trainingsdatensätzen dieser Modelle gibt. Es gibt Merkmale von Dingen, bei denen die Modelle sehr gut abschneiden werden. Ich würde sagen, nanochat ist kein Beispiel dafür, weil es ein ziemlich einzigartiges Repository ist. Es gibt nicht viel Code in der Art und Weise, wie ich ihn strukturiert habe. Es ist kein Boilerplate-Code. Es ist fast intellektuell intensiver Code, und alles muss sehr präzise angeordnet sein. Die Modelle haben so viele kognitive Defizite. Ein Beispiel: Sie haben den Code immer wieder missverstanden, weil sie zu viel Gedächtnis von all den typischen Internet-Methoden haben, die ich nicht übernommen habe. Die Modelle zum Beispiel – ich weiß nicht, ob ich ins Detail gehen will –, aber sie dachten immer wieder, ich schreibe normalen Code, und das tue ich nicht. Vielleicht ein Beispiel? Sie haben acht GPUs, die alle vorwärts und rückwärts laufen. Die Art und Weise, wie man Gradienten zwischen ihnen synchronisiert, ist die Verwendung eines Distributed Data Parallel-Containers von PyTorch, der automatisch während des Rückwärtslaufs mit der Kommunikation und Synchronisation von Gradienten beginnt. Ich habe DDP nicht verwendet, weil ich es nicht verwenden wollte, weil es nicht notwendig ist. Ich habe es weggeworfen und meine eigene Synchronisationsroutine geschrieben, die sich im Schritt des Optimierers befindet. Die Modelle versuchten, mich zur Verwendung des DDP-Containers zu bewegen. Sie waren sehr besorgt. Das wird zu technisch, aber ich habe diesen Container nicht verwendet, weil ich ihn nicht brauche und eine benutzerdefinierte Implementierung davon habe. Sie konnten einfach nicht verinnerlichen, dass Sie Ihre eigene hatten. Sie kamen nicht darüber hinweg. Sie versuchten immer wieder, den Stil zu verändern. Sie sind viel zu übervorsichtig. Sie machen all diese Try-Catch-Anweisungen. Sie versuchen immer wieder, eine Produktionscodebasis zu erstellen, und ich habe eine Reihe von Annahmen in meinem Code, und das ist in Ordnung. Ich brauche all diesen zusätzlichen Kram nicht darin. Ich habe also das Gefühl, dass sie die Codebasis aufblähen, die Komplexität aufblähen, sie missverstehen immer wieder, sie verwenden veraltete APIs mehrmals. Es ist ein totales Durcheinander. Es ist einfach nicht netto nützlich. Ich kann reingehen, ich kann es aufräumen, aber es ist nicht netto nützlich. Außerdem finde ich es nervig, tippen zu müssen, was ich auf Englisch will, weil es zu viel Tippen ist. Wenn ich einfach zu dem Teil des Codes navigiere, den ich will, und dorthin gehe, wo ich weiß, dass der Code erscheinen muss, und anfange, die ersten paar Buchstaben zu tippen, erkennt ihn die Autovervollständigung und gibt Ihnen einfach den Code. Das ist eine sehr hohe Informationsbandbreite, um zu spezifizieren, was Sie wollen. Sie zeigen auf den Code, wo Sie ihn haben wollen, Sie tippen die ersten paar Teile aus, und das Modell vervollständigt ihn. Was ich meine ist, diese Modelle sind in bestimmten Teilen des Stacks gut. Es gibt zwei Beispiele, bei denen ich die Modelle verwende, die ich für illustrativ halte. Eines war, als ich den Bericht generierte. Das ist eher Boilerplate-artig, also habe ich einige dieser Dinge teilweise per Vibe-Coding gemacht. Das war in Ordnung, weil es keine kritischen Dinge sind und es gut funktioniert. Der andere Teil ist, als ich den Tokenizer in Rust neu schrieb. Ich bin nicht so gut in Rust, weil ich ziemlich neu in Rust bin. Also gibt es ein bisschen Vibe-Coding, als ich einige der Rust-Codes schrieb. Aber ich hatte eine Python-Implementierung, die ich vollständig verstehe, und ich stelle nur sicher, dass ich eine effizientere Version davon erstelle, und ich habe Tests, also fühle ich mich sicherer, das zu tun. Sie erhöhen die Zugänglichkeit zu Sprachen oder Paradigmen, mit denen Sie vielleicht nicht so vertraut sind. Ich denke, sie sind auch dort sehr hilfreich. Es gibt eine Menge Rust-Code da draußen, die Modelle sind ziemlich gut darin. Ich zufällig weiß nicht viel darüber, also sind die Modelle dort sehr nützlich. Der Grund, warum diese Frage so interessant ist, ist, dass die Hauptgeschichte, die die Leute über KI haben, die explodiert und ziemlich schnell zur Superintelligenz gelangt, darin besteht, dass KI KI-Engineering und KI-Forschung automatisiert. Sie werden die Tatsache sehen, dass Sie Claude Code haben und ganze Anwendungen, CRUD-Anwendungen, von Grund auf erstellen können, und denken: "Wenn Sie diese gleiche Fähigkeit bei OpenAI und DeepMind und allem anderen hätten, stellen Sie sich nur tausend von Ihnen oder eine Million von Ihnen parallel vor, die kleine architektonische Tweaks finden." Es ist ziemlich interessant zu hören, dass Sie sagen, dass dies die Sache ist, bei der sie asymmetrisch schlechter sind. Das ist für die Vorhersage, ob die KI-Explosion vom Typ 2027 bald eintreten wird, ziemlich relevant. Das ist eine gute Formulierung, und Sie treffen den Kern, warum meine Zeitpläne etwas länger sind. Sie haben Recht. Sie sind nicht sehr gut in Code, der noch nie zuvor geschrieben wurde, vielleicht ist das eine Art, es auszudrücken, und genau das versuchen wir zu erreichen, wenn wir diese Modelle bauen. Sehr naive Frage, aber die architektonischen Tweaks, die Sie nanochat hinzufügen, sind irgendwo in einem Paper, richtig? Sie sind vielleicht sogar irgendwo in einem Repo. Ist es überraschend, dass sie das nicht integrieren können, wenn Sie sagen: "Füge RoPE-Embeddings hinzu" oder so etwas, und sie tun es auf die falsche Weise? Es ist schwierig. Sie wissen es, aber sie wissen es nicht vollständig. Sie wissen nicht, wie sie es vollständig in das Repo und Ihren Stil und Ihren Code und Ihren Ort integrieren können, und einige der benutzerdefinierten Dinge, die Sie tun, und wie es zu all den Annahmen des Repositorys passt. Sie haben zwar Wissen, aber sie sind noch nicht so weit gekommen, dass sie es integrieren und verstehen können. Vieles von dem Zeug verbessert sich weiter. Derzeit ist das State-of-the-Art-Modell, zu dem ich greife, GPT-5 Pro, und das ist ein sehr leistungsfähiges Modell. Wenn ich 20 Minuten Zeit habe, kopiere ich mein gesamtes Repo und gehe zu GPT-5 Pro, dem Orakel, für einige Fragen. Oft ist es nicht schlecht und überraschend gut im Vergleich zu dem, was es vor einem Jahr gab. Insgesamt sind die Modelle noch nicht so weit. Ich habe das Gefühl, dass die Branche einen zu großen Sprung macht und versucht, so zu tun, als wäre das erstaunlich, und das ist es nicht. Es ist Matsch. Sie setzen sich nicht damit auseinander, und vielleicht wollen sie Spenden sammeln oder so etwas. Ich bin mir nicht sicher, was vor sich geht, aber wir sind in diesem Zwischenstadium. Die Modelle sind erstaunlich. Sie brauchen immer noch viel Arbeit. Vorerst ist Autovervollständigung mein Sweet Spot. Aber manchmal, für bestimmte Arten von Code, greife ich zu einem LLM-Agenten. Hier ist ein weiterer Grund, warum das wirklich interessant ist. Im Laufe der Geschichte der Programmierung gab es viele Produktivitätsverbesserungen – Compiler, Linting, bessere Programmiersprachen –, die die Produktivität von Programmierern erhöht haben, aber nicht zu einer Explosion geführt haben. Das klingt sehr nach dem Autovervollständigungs-Tab, und diese andere Kategorie ist einfach die Automatisierung des Programmierers. Es ist interessant, dass Sie mehr in der Kategorie der historischen Analogien zu besseren Compilern oder so etwas sehen. Vielleicht führt das zu einem anderen Gedanken. Ich habe Schwierigkeiten zu unterscheiden, wo KI beginnt und aufhört, weil ich KI im Grunde als eine Erweiterung des Computings auf sehr grundlegende Weise sehe. Ich sehe ein Kontinuum dieser rekursiven Selbstverbesserung oder Beschleunigung von Programmierern von Anfang an: Code-Editoren, Syntaxhervorhebung oder sogar Typenprüfung, wie die Überprüfung von Datentypen – all diese Werkzeuge, die wir füreinander gebaut haben. Sogar Suchmaschinen. Warum sind Suchmaschinen keine KI? Ranking ist KI. Irgendwann dachte Google, schon früh, sich selbst als ein KI-Unternehmen, das die Google-Suchmaschine betreibt, was völlig fair ist. Ich sehe es als viel mehr ein Kontinuum, als andere Leute es tun, und es ist schwer für mich, die Grenze zu ziehen. Ich habe das Gefühl, dass wir jetzt eine viel bessere Autovervollständigung bekommen, und jetzt bekommen wir auch einige Agenten, die diese Schleifen sind, aber sie geraten manchmal vom Kurs ab. Was passiert, ist, dass der Mensch nach und nach immer weniger von den Low-Level-Aufgaben erledigt. Wir schreiben keinen Assemblercode, weil wir Compiler haben. Compiler nehmen meine Hochsprache in C und schreiben den Assemblercode. Wir abstrahieren uns sehr, sehr langsam. Es gibt diesen "Autonomie-Schieberegler", wie ich ihn nenne, bei dem immer mehr Dinge automatisiert werden – von den Dingen, die zu jedem Zeitpunkt automatisiert werden können – und wir tun immer weniger und erheben uns in die Abstraktionsebene über die Automatisierung. Sprechen wir ein wenig über RL. Sie haben einige sehr interessante Dinge dazu getwittert. Wie sollen wir konzeptionell darüber nachdenken, wie Menschen in der Lage sind, ein reiches Weltmodell nur durch Interaktion mit unserer Umgebung aufzubauen, und zwar auf eine Weise, die scheinbar unabhängig von der endgültigen Belohnung am Ende der Episode ist? Wenn jemand ein Unternehmen gründet und nach 10 Jahren herausfindet, ob das Unternehmen erfolgreich war oder gescheitert ist, sagen wir, sie hat eine Menge Weisheit und Erfahrung gesammelt. Aber das liegt nicht daran, dass die Log-Wahrscheinlichkeiten von allem, was in den letzten 10 Jahren passiert ist, auf- oder abgewertet werden. Etwas viel Bewussteres und Reicheres geschieht. Was ist die ML-Analogie, und wie vergleicht sich das mit dem, was wir gerade mit LLMs tun? Vielleicht ist die Art und Weise, wie ich es ausdrücke, dass Menschen kein Reinforcement Learning nutzen, wie ich sagte. Ich glaube, sie tun etwas anderes. Reinforcement Learning ist viel schlechter, als die meisten Leute denken. Reinforcement Learning ist schrecklich. Es ist nur so, dass alles, was wir vorher hatten, viel schlechter ist, weil wir vorher nur Leute imitiert haben, also hat es all diese Probleme. Beim Reinforcement Learning, sagen wir, Sie lösen ein mathematisches Problem, weil es sehr einfach ist. Sie erhalten ein mathematisches Problem und versuchen, die Lösung zu finden. Beim Reinforcement Learning werden Sie zuerst viele Dinge parallel versuchen. Sie erhalten ein Problem, Sie versuchen Hunderte verschiedener Versuche. Diese Versuche können komplex sein. Sie können so sein wie: "Oh, lass mich das versuchen, lass mich das versuchen, das hat nicht funktioniert, das hat nicht funktioniert", usw. Dann bekommen Sie vielleicht eine Antwort. Jetzt schauen Sie hinten im Buch nach und sehen: "Okay, die richtige Antwort ist diese." Sie können sehen, dass diese, diese und jene die richtige Antwort erhalten haben, aber die anderen 97 nicht. Buchstäblich tut Reinforcement Learning Folgendes: Es geht zu denen, die sehr gut funktioniert haben, und jede einzelne Sache, die Sie unterwegs getan haben, jedes einzelne Token wird aufgewertet wie: "Mach mehr davon." Das Problem dabei ist, dass die Leute sagen werden, dass Ihr Schätzer eine hohe Varianz hat, aber er ist einfach nur verrauscht. Er ist verrauscht. Er geht fast davon aus, dass jedes kleine Stück der Lösung, das Sie gemacht haben und das zur richtigen Antwort geführt hat, das Richtige war, was nicht stimmt. Sie sind vielleicht auf falschen Wegen unterwegs gewesen, bis Sie zur richtigen Lösung gekommen sind. Jede einzelne dieser falschen Dinge, die Sie getan haben, wird, solange Sie zur richtigen Lösung gekommen sind, aufgewertet als: "Mach mehr davon." Es ist schrecklich. Es ist Lärm. Sie haben all diese Arbeit geleistet, nur um am Ende eine einzige Zahl zu erhalten wie: "Oh, Sie haben es richtig gemacht." Basierend darauf werten Sie die gesamte Trajektorie auf oder ab. Die Art und Weise, wie ich es ausdrücke, ist, dass Sie Supervision durch einen Strohhalm saugen. Sie haben all diese Arbeit geleistet, die eine Minute Rollout dauern könnte, und Sie saugen die Bits der Supervision des endgültigen Belohnungssignals durch einen Strohhalm und strahlen das über die gesamte Trajektorie aus und nutzen das, um diese Trajektorie auf- oder abzuwerten. Das ist einfach dumm und verrückt. Ein Mensch würde das nie tun. Erstens würde ein Mensch niemals Hunderte von Rollouts machen. Zweitens, wenn eine Person eine Lösung findet, wird sie einen ziemlich komplizierten Überprüfungsprozess durchlaufen: "Okay, ich denke, diese Teile habe ich gut gemacht, diese Teile habe ich nicht so gut gemacht. Ich sollte wahrscheinlich dies oder das tun." Sie denken über Dinge nach. Es gibt nichts in aktuellen LLMs, das das tut. Es gibt kein Äquivalent dazu. Aber ich sehe Papiere, die auftauchen und versuchen, das zu tun, weil es jedem im Feld offensichtlich ist. Das erste Imitationslernen war übrigens extrem überraschend und wundersam und erstaunlich, dass wir durch Imitation von Menschen feinabstimmen können. Das war unglaublich. Denn am Anfang hatten wir nur Basismodelle. Basismodelle sind Autovervollständigung. Das war mir damals nicht offensichtlich, und das musste ich lernen. Das Papier, das mich umgehauen hat, war InstructGPT, weil es darauf hinwies, dass man das vortrainierte Modell, das Autovervollständigung ist, nehmen kann, und wenn man es einfach auf Text abstimmt, der wie Gespräche aussieht, passt sich das Modell sehr schnell an, um sehr gesprächig zu werden, und es behält all das Wissen aus dem Pre-Training. Das hat mich umgehauen, weil ich nicht verstand, dass es sich stilistisch so schnell anpassen und ein Assistent für einen Benutzer werden kann, nur durch ein paar Schleifen des Fine-Tunings auf dieser Art von Daten. Es war für mich sehr wundersam, dass das funktionierte. Also unglaublich.

Das war zwei bis drei Jahre Arbeit. Jetzt kam RL. Und RL erlaubt Ihnen, ein bisschen besser zu sein als nur Imitationslernen, weil Sie diese Belohnungsfunktionen haben können und Sie auf den Belohnungsfunktionen bergauf klettern können. Manche Probleme haben einfach richtige Antworten, Sie können darauf bergauf klettern, ohne Experten-Trajektorien zum Imitieren zu bekommen. Das ist also erstaunlich. Das Modell kann auch Lösungen entdecken, auf die ein Mensch vielleicht nie kommen würde. Das ist unglaublich. Dennoch ist es immer noch dumm. Wir brauchen mehr. Ich habe gestern ein Paper von Google gesehen, das versucht hat, diese Idee des Reflektierens und Überprüfens im Hinterkopf zu behalten. War es das Memory Bank Paper oder so etwas? Ich weiß es nicht. Ich habe ein paar Papers in diese Richtung gesehen. Daher erwarte ich eine größere Aktualisierung dessen, wie wir Algorithmen für LLMs in diesem Bereich anwenden. Ich denke, wir brauchen noch drei oder vier oder fünf weitere, so etwas in der Art. Sie sind so gut darin, eindrucksvolle Formulierungen zu finden. „Saugen von Überwachung durch einen Strohhalm.“ Das ist so gut. Sie sagen, das Problem mit ergebnisbasierter Belohnung sei, dass Sie diese riesige Trajektorie haben und dann am Ende versuchen, alles Mögliche darüber zu lernen, was Sie tun sollten und was Sie über die Welt aus diesem einen letzten Teil lernen sollten. Angesichts der Tatsache, dass dies offensichtlich ist, warum ist prozessbasierte Überwachung als Alternative keine erfolgreiche Methode, um Modelle leistungsfähiger zu machen? Was hat uns davon abgehalten, dieses alternative Paradigma zu nutzen? Prozessbasierte Überwachung bezieht sich einfach auf die Tatsache, dass wir nicht nur am Ende eine Belohnungsfunktion haben werden. Nachdem Sie zehn Minuten Arbeit geleistet haben, werde ich Ihnen nicht sagen, ob Sie gut oder schlecht abgeschnitten haben. Ich werde Ihnen bei jedem einzelnen Schritt sagen, wie gut Sie abschneiden. Der Grund, warum wir das nicht haben, ist, dass es schwierig ist, dies richtig zu machen. Sie haben Teil-Lösungen und wissen nicht, wie Sie die Gutschrift zuweisen sollen. Wenn Sie also die richtige Antwort erhalten, ist es nur ein Gleichheitsabgleich mit der Antwort. Es ist sehr einfach zu implementieren. Wenn Sie Prozessüberwachung betreiben, wie weisen Sie auf eine automatisierbare Weise eine Teilgutschrift zu? Es ist nicht offensichtlich, wie Sie es tun. Viele Labore versuchen, dies mit diesen LLM-Richtern zu tun. Sie bringen LLMs dazu, es zu versuchen. Sie geben einem LLM einen Prompt: „Hey, schau dir eine Teil-Lösung eines Schülers an. Wie gut denkst du, macht er sich, wenn die Antwort diese ist?“ und sie versuchen, den Prompt abzustimmen. Der Grund, warum dies schwierig ist, ist ziemlich subtil. Es ist die Tatsache, dass jedes Mal, wenn Sie ein LLM verwenden, um eine Belohnung zuzuweisen, diese LLMs riesige Dinge mit Milliarden von Parametern sind und sie manipulierbar sind. Wenn Sie damit Reinforcement Learning betreiben, werden Sie mit ziemlicher Sicherheit gegnerische Beispiele für Ihre LLM-Richter finden. Sie können das also nicht zu lange tun. Sie machen vielleicht 10 oder 20 Schritte und vielleicht funktioniert es, aber Sie können nicht 100 oder 1.000 machen. Ich verstehe, dass es nicht offensichtlich ist, aber im Grunde wird das Modell kleine Lücken finden. Es wird all diese scheinbaren Dinge in den Nischen und Winkeln des riesigen Modells finden und einen Weg finden, es zu betrügen. Ein Beispiel, das mir prominent in den Sinn kommt, war wahrscheinlich öffentlich, wenn Sie einen LLM-Richter für eine Belohnung verwenden, geben Sie ihm einfach eine Lösung von einem Schüler und fragen ihn, ob der Schüler gut abgeschnitten hat oder nicht. Wir trainierten mit Reinforcement Learning gegen diese Belohnungsfunktion, und es funktionierte wirklich gut. Dann wurde die Belohnung plötzlich extrem groß. Es gab einen massiven Sprung, und es war perfekt. Sie schauen es an und denken: „Wow, das bedeutet, der Schüler ist perfekt in all diesen Problemen. Er hat Mathematik vollständig gelöst.“ Aber wenn Sie sich die Abschlüsse ansehen, die Sie vom Modell erhalten, sind sie völliger Unsinn. Sie fangen gut an und ändern sich dann zu „dhdhdhdh“. Es ist einfach so: „Oh, okay, nehmen wir zwei plus drei und machen das und das, und dann dhdhdhdh.“ Sie schauen es an und denken: „Das ist verrückt. Wie bekommt es eine Belohnung von eins oder 100 %?“ Sie schauen sich den LLM-Richter an, und es stellt sich heraus, dass „dhdhdhdh“ ein gegnerisches Beispiel für das Modell ist, und es weist ihm 100 % Wahrscheinlichkeit zu. Das liegt einfach daran, dass dies ein Beispiel außerhalb der Stichprobe für das LLM ist. Es hat es während des Trainings nie gesehen, und Sie befinden sich im reinen Generalisierungsland. Es hat es während des Trainings nie gesehen, und im reinen Generalisierungsland können Sie diese Beispiele finden, die es brechen. Sie trainieren das LLM im Grunde genommen, um ein Prompt-Injection-Modell zu sein. Nicht einmal das. Prompt-Injection ist viel zu ausgefallen. Sie finden gegnerische Beispiele, wie sie genannt werden. Das sind unsinnige Lösungen, die offensichtlich falsch sind, aber das Modell hält sie für erstaunlich. In dem Maße, in dem Sie dies als Engpass für die Funktionalität von RL betrachten, erfordert dies bessere LLM-Richter, wenn Sie dies auf automatisierte Weise tun möchten. Wird es einfach eine Art GAN-ähnlicher Ansatz sein, bei dem Sie Modelle trainieren müssen, um robuster zu sein? Die Labore tun wahrscheinlich all das. Das Offensichtliche ist, dass „dhdhdhdh“ keine 100 % Belohnung erhalten sollte. Okay, nehmen Sie „dhdhdhdh“, stecken Sie es in den Trainingsdatensatz des LLM-Richters und sagen Sie, das sind keine 100 %, das sind 0 %. Das können Sie tun, aber jedes Mal, wenn Sie das tun, erhalten Sie ein neues LLM, und es hat immer noch gegnerische Beispiele. Es gibt eine Unendlichkeit von gegnerischen Beispielen. Wahrscheinlich wird es, wenn Sie dies ein paar Mal wiederholen, immer schwieriger, gegnerische Beispiele zu finden, aber ich bin mir nicht zu 100 % sicher, da dieses Ding eine Billion Parameter oder so hat. Ich wette, die Labore versuchen es. Ich denke immer noch, wir brauchen andere Ideen. Interessant. Haben Sie eine Vorstellung davon, wie die andere Idee aussehen könnte? Diese Idee einer Überprüfungslösung, die synthetische Beispiele umfasst, so dass Sie beim Training damit besser werden und sie auf irgendeine Weise meta-lernen. Ich denke, es gibt einige Papers, die ich gerade zu sehen beginne. Ich bin nur im Stadium des Lesens von Abstracts, weil viele dieser Papers nur Ideen sind. Jemand muss es auf der Skala eines Frontier-LLM-Labors in voller Allgemeinheit zum Laufen bringen, denn wenn man diese Papers sieht, tauchen sie auf und es ist nur ein bisschen unübersichtlich. Es sind coole Ideen, aber ich habe noch niemanden überzeugend zeigen sehen, dass dies möglich ist. Dennoch sind die LLM-Labore ziemlich verschlossen, also wer weiß, was sie gerade tun. Ich kann mir vorstellen, wie man auf synthetischen Beispielen oder synthetischen Problemen trainieren könnte, die man sich selbst ausgedacht hat. Aber es scheint noch etwas anderes zu geben, das Menschen tun – vielleicht ist Schlaf das, vielleicht Tagträumen das – was nicht unbedingt darin besteht, gefälschte Probleme zu erfinden, sondern einfach zu reflektieren. Ich bin mir nicht sicher, was die ML-Analogie für Tagträumen oder Schlafen oder einfach nur Reflektieren ist. Ich bin nicht auf ein neues Problem gestoßen. Offensichtlich wäre die grundlegendste Analogie einfach das Fine-Tuning auf Reflexionsbits, aber ich habe das Gefühl, dass das in der Praxis wahrscheinlich nicht sehr gut funktionieren würde. Haben Sie eine Meinung dazu, was die Analogie dieses Dings ist? Ich glaube, dass uns da einige Aspekte fehlen. Nehmen wir zum Beispiel das Lesen eines Buches. Derzeit, wenn LLMs ein Buch lesen, bedeutet das, dass wir die Textsequenz dehnen und das Modell das nächste Token vorhersagt und daraus etwas Wissen gewinnt. Das ist nicht wirklich das, was Menschen tun. Wenn Sie ein Buch lesen, habe ich nicht einmal das Gefühl, dass das Buch eine Exposition ist, der ich folgen und auf der ich trainieren soll. Das Buch ist eine Reihe von Prompts für mich, um synthetische Daten zu generieren, oder für Sie, um zu einem Buchclub zu gehen und mit Ihren Freunden darüber zu sprechen. Durch die Manipulation dieser Informationen gewinnen Sie tatsächlich dieses Wissen. Wir haben keine Entsprechung dafür bei LLMs. Das tun sie nicht wirklich. Ich würde gerne während des Pre-Trainings eine Phase sehen, die sich mit dem Material auseinandersetzt und versucht, es mit dem abzugleichen, was sie bereits wissen, und sich eine Weile damit auseinandersetzt und das zum Laufen bringt. Es gibt keine Entsprechung für all das. Das ist alles Forschung. Es gibt einige subtile – sehr subtile, die meiner Meinung nach sehr schwer zu verstehen sind – Gründe, warum es nicht trivial ist. Wenn ich nur einen beschreiben kann: Warum können wir nicht einfach synthetisch generieren und darauf trainieren? Weil jedes synthetische Beispiel, wenn ich nur eine synthetische Generierung des Modells gebe, das über ein Buch nachdenkt, Sie es sich ansehen und sagen: „Das sieht großartig aus. Warum kann ich nicht darauf trainieren?“ Sie könnten es versuchen, aber das Modell wird viel schlechter, wenn Sie es weiter versuchen. Das liegt daran, dass alle von den Modellen erhaltenen Samples stillschweigend kollabiert sind. Still – es ist nicht offensichtlich, wenn man sich ein einzelnes Beispiel davon ansieht – sie besetzen eine sehr kleine Mannigfaltigkeit des möglichen Raums der Gedanken über Inhalte. Die LLMs, wenn sie herauskommen, sind das, was wir „kollabiert“ nennen. Sie haben eine kollabierte Datenverteilung. Eine einfache Möglichkeit, dies zu sehen, ist, zu ChatGPT zu gehen und es zu fragen: „Erzähl mir einen Witz.“ Es hat nur etwa drei Witze. Es gibt Ihnen nicht die gesamte Bandbreite möglicher Witze. Es kennt etwa drei Witze. Sie sind stillschweigend kollabiert. Sie erhalten nicht die Reichhaltigkeit, die Vielfalt und die Entropie von diesen Modellen, wie Sie sie von Menschen erhalten würden. Menschen sind viel lauter, aber zumindest sind sie statistisch gesehen nicht voreingenommen. Sie sind nicht stillschweigend kollabiert. Sie behalten eine riesige Menge an Entropie. Wie können Sie also synthetische Datengenerierung zum Laufen bringen, trotz des Kollapses und unter Beibehaltung der Entropie? Das ist ein Forschungsproblem. Nur um sicherzugehen, dass ich es richtig verstanden habe: Der Grund, warum der Kollaps für die synthetische Datengenerierung relevant ist, ist, dass Sie synthetische Probleme oder Reflexionen erzeugen wollen, die nicht bereits in Ihrer Datenverteilung vorhanden sind? Ich denke, was ich sage ist, sagen wir, wir haben ein Kapitel eines Buches und ich bitte ein LLM, darüber nachzudenken, es wird Ihnen etwas geben, das sehr vernünftig aussieht. Aber wenn ich es 10 Mal frage, werden Sie feststellen, dass alle gleich sind. Sie können nicht einfach weiter „Reflexion“ auf der gleichen Menge an Prompt-Informationen skalieren und dann Erträge daraus erzielen. Jede einzelne Stichprobe wird in Ordnung aussehen, aber die Verteilung davon ist ziemlich schrecklich. Sie ist so schrecklich, dass, wenn Sie weiter auf zu viel von Ihrem eigenen Zeug trainieren, Sie tatsächlich kollabieren. Ich denke, es gibt möglicherweise keine grundlegende Lösung dafür. Ich denke auch, dass Menschen im Laufe der Zeit kollabieren. Diese Analogien sind überraschend gut. Menschen kollabieren im Laufe ihres Lebens. Deshalb sind Kinder noch nicht überangepasst. Sie werden Dinge sagen, die Sie schockieren werden, weil Sie sehen können, woher sie kommen, aber es ist einfach nicht das, was Leute sagen, weil sie noch nicht kollabiert sind. Aber wir sind kollabiert. Wir landen dabei, dieselben Gedanken wieder aufzugreifen. Wir landen dabei, immer mehr vom Gleichen zu sagen, und die Lernraten sinken, und der Kollaps wird immer schlimmer, und dann verschlechtert sich alles. Haben Sie dieses superinteressante Paper gesehen, dass Träumen eine Möglichkeit ist, diese Art von Überanpassung und Kollaps zu verhindern? Der Grund, warum Träumen evolutionär adaptiv ist, ist, Sie in seltsame Situationen zu versetzen, die sich sehr von Ihrer täglichen Realität unterscheiden, um diese Art von Überanpassung zu verhindern. Das ist eine interessante Idee. Ich glaube, wenn Sie Dinge in Ihrem Kopf generieren und sie dann beachten, trainieren Sie auf Ihren eigenen Stichproben, Sie trainieren auf Ihren synthetischen Daten. Wenn Sie das zu lange tun, geraten Sie vom Kurs ab und kollabieren viel zu sehr. Sie müssen immer nach Entropie in Ihrem Leben suchen. Mit anderen Leuten zu reden ist eine großartige Quelle für Entropie und ähnliches. Vielleicht hat das Gehirn auch einige interne Mechanismen entwickelt, um die Entropie in diesem Prozess zu erhöhen. Das ist eine interessante Idee. Das ist ein sehr schlecht formulierter Gedanke, also werde ich ihn einfach aussprechen und Sie reagieren lassen. Die besten Lerner, die wir kennen, nämlich Kinder, sind extrem schlecht darin, Informationen wiederzugeben. Tatsächlich vergessen Sie in den frühesten Phasen der Kindheit alles. Sie sind einfach amnesisch für alles, was vor einem bestimmten Datum passiert. Aber Sie sind extrem gut darin, neue Sprachen zu lernen und von der Welt zu lernen. Vielleicht gibt es ein Element darin, den Wald vor lauter Bäumen sehen zu können. Während, wenn Sie es mit dem anderen Ende des Spektrums vergleichen, Sie LLM-Pre-Training haben, wo diese Modelle buchstäblich Wort für Wort wiedergeben können, was das nächste auf einer Wikipedia-Seite ist. Aber ihre Fähigkeit, abstrakte Konzepte schnell zu lernen, so wie ein Kind es kann, ist viel begrenzter. Dann sind Erwachsene irgendwo dazwischen, wo sie nicht die Flexibilität des kindlichen Lernens haben, aber sie können Fakten und Informationen auf eine Weise auswendig lernen, die für Kinder schwieriger ist. Ich weiß nicht, ob das interessant ist. Ich denke, das ist zu 100 % sehr interessant. Ich glaube, dass Menschen im Vergleich zu LLMs viel mehr das Element des Sehens des Waldes vor lauter Bäumen haben. Wir sind nicht wirklich gut im Auswendiglernen, was eigentlich ein Vorteil ist. Weil wir nicht so gut im Auswendiglernen sind, sind wir gezwungen, Muster im allgemeineren Sinne zu finden. LLMs im Vergleich sind extrem gut im Auswendiglernen. Sie werden Passagen aus all diesen Trainingsquellen rezitieren. Sie können ihnen völlig unsinnige Daten geben. Sie können einen Text oder so etwas hashen, Sie erhalten eine völlig zufällige Sequenz. Wenn Sie darauf trainieren, selbst nur für eine oder zwei Iterationen, kann es plötzlich das Ganze wiedergeben. Es wird es auswendig lernen. Es gibt keinen Weg, wie eine Person eine einzelne Sequenz zufälliger Zahlen lesen und sie Ihnen rezitieren kann. Das ist ein Vorteil, kein Fehler, denn es zwingt Sie, nur die generalisierbaren Komponenten zu lernen. Während LLMs durch all die Erinnerungen an die Pre-Training-Dokumente abgelenkt werden, und es ist wahrscheinlich in gewisser Weise sehr ablenkend für sie. Deshalb möchte ich, wenn ich über den kognitiven Kern spreche, die Erinnerung entfernen, worüber wir gesprochen haben. Ich möchte gerne, dass sie weniger Erinnerung haben, damit sie nachschlagen müssen, und sie nur die Algorithmen für das Denken und die Idee eines Experiments und all diesen kognitiven Klebstoff des Handelns beibehalten. Und ist das auch relevant, um den Modellkollaps zu verhindern? Lassen Sie mich nachdenken. Ich bin mir nicht sicher. Es ist fast wie eine separate Achse. Die Modelle sind viel zu gut im Auswendiglernen, und irgendwie sollten wir das entfernen. Menschen sind viel schlechter, aber das ist gut so. Was ist eine Lösung für den Modellkollaps? Es gibt sehr naive Dinge, die Sie versuchen könnten. Die Verteilung über die Logits sollte breiter sein oder so etwas. Es gibt viele naive Dinge, die Sie versuchen könnten. Was ist das Problem mit den naiven Ansätzen? Das ist eine großartige Frage. Sie können sich eine Regularisierung für Entropie und ähnliches vorstellen. Ich vermute, sie funktionieren empirisch einfach nicht so gut, weil die Modelle derzeit kollabiert sind. Aber ich muss sagen, die meisten Aufgaben, die wir von ihnen verlangen, erfordern keine Vielfalt. Das ist wahrscheinlich die Antwort auf das, was passiert. Die Frontier-Labore versuchen, die Modelle nützlich zu machen. Ich habe das Gefühl, dass die Vielfalt der Ausgaben nicht so sehr... Erstens ist es viel schwieriger zu bearbeiten und zu bewerten und all diesen Kram, aber vielleicht ist es nicht das, was den größten Wert erfasst. Tatsächlich wird es aktiv bestraft. Wenn Sie im RL super kreativ sind, ist das nicht gut. Ja. Oder vielleicht, wenn Sie viel schreiben, Hilfe von LLMs und so etwas, ist das wahrscheinlich schlecht, weil die Modelle Ihnen stillschweigend alle dasselbe geben werden. Sie werden nicht viele verschiedene Wege erkunden, eine Frage zu beantworten. Vielleicht brauchen nicht so viele Anwendungen diese Vielfalt, also haben die Modelle sie nicht. Aber dann ist es ein Problem bei der synthetischen Datengenerierung usw. Wir schießen uns also ins eigene Knie, indem wir diese Entropie nicht im Modell aufrechterhalten. Möglicherweise sollten die Labore härter arbeiten. Ich glaube, Sie haben angedeutet, dass es ein sehr grundlegendes Problem ist, das nicht leicht zu lösen sein wird. Was ist Ihre Intuition dafür? Ich weiß nicht, ob es super fundamental ist. Ich weiß nicht, ob ich das gesagt habe. Ich glaube, dass ich diese Experimente nicht durchgeführt habe, aber ich glaube, dass man die Entropie wahrscheinlich höher regularisieren könnte. Sie ermutigen das Modell also, Ihnen immer mehr Lösungen zu geben, aber Sie möchten nicht, dass es zu sehr von den Trainingsdaten abweicht. Es wird anfangen, seine eigene Sprache zu erfinden. Es wird anfangen, extrem seltene Wörter zu verwenden, so dass es zu sehr von der Verteilung abweicht. Ich denke also, die Kontrolle der Verteilung ist einfach schwierig. Das ist in diesem Sinne wahrscheinlich nicht trivial. Wie viele Bits sollte der optimale Kern der Intelligenz am Ende sein, wenn Sie nur raten müssten? Das, was wir auf die von-Neumann-Sonden packen, wie groß muss es sein? Es ist wirklich interessant in der Geschichte des Feldes, weil es eine Zeit lang alles sehr skalierungsorientiert war, im Sinne von: „Oh, wir werden viel größere Modelle, Modelle mit Billionen von Parametern machen.“ Die Größe der Modelle ist gestiegen und dann wieder gesunken. State-of-the-Art-Modelle sind kleiner. Selbst dann haben sie meiner Meinung nach viel zu viel auswendig gelernt. Ich hatte also vor einiger Zeit eine Vorhersage, dass ich fast das Gefühl habe, dass wir kognitive Kerne bekommen können, die selbst bei einer Milliarde Parametern sehr gut sind. Wenn Sie mit einem Modell mit einer Milliarde Parametern sprechen, können Sie in 20 Jahren ein sehr produktives Gespräch führen. Es denkt und ist viel mehr wie ein Mensch. Aber wenn Sie ihm eine sachliche Frage stellen, muss es vielleicht nachschlagen, aber es weiß, dass es es nicht weiß und es muss vielleicht nachschlagen und es wird einfach all die vernünftigen Dinge tun. Es ist überraschend, dass Sie denken, es wird eine Milliarde Parameter dauern. Denn bereits jetzt haben wir Modelle mit Milliarden von Parametern oder ein paar Milliarden Parametern, die sehr intelligent sind. Nun, State-of-the-Art-Modelle sind etwa eine Billion Parameter. Aber sie erinnern sich an so viel Zeug. Ja, aber ich bin überrascht, dass in 10 Jahren, angesichts des Tempos… Wir haben gpt-oss-20b. Das ist viel besser als das ursprüngliche GPT-4, das über eine Billion Parameter hatte. Angesichts dieses Trends bin ich überrascht, dass Sie denken, dass der kognitive Kern in 10 Jahren immer noch eine Milliarde Parameter hat. Ich bin überrascht, dass Sie nicht sagen: „Oh, es wird so etwas wie zehn Millionen oder Millionen sein.“ Hier ist das Problem, die Trainingsdaten sind das Internet, das wirklich schrecklich ist. Es gibt riesige Gewinne zu erzielen, weil das Internet schrecklich ist. Selbst das Internet, wenn Sie und ich an das Internet denken, denken Sie an so etwas wie The Wall Street Journal. Das ist es nicht. Wenn Sie sich ein Pre-Training-Datenset in einem Frontier-Lab ansehen und ein zufälliges Internetdokument betrachten, ist es totaler Müll. Ich weiß nicht einmal, wie das überhaupt funktioniert. Es sind so etwas wie Aktienkurse, Symbole, es ist eine riesige Menge an Schlacke und Müll aus allen Ecken des Internets. Es ist nicht wie Ihr Wall Street Journal-Artikel, der extrem selten ist. Da das Internet so schrecklich ist, müssen wir wirklich große Modelle bauen, um das alles zu komprimieren. Die meiste dieser Kompression ist Gedächtnisarbeit statt kognitiver Arbeit. Aber was wir wirklich wollen, ist der kognitive Teil, löschen Sie das Gedächtnis. Ich denke, wir brauchen intelligente Modelle, die uns helfen, selbst das Pre-Training-Set zu verfeinern, um es auf die kognitiven Komponenten zu beschränken. Dann kommen Sie mit einem viel kleineren Modell davon, weil es ein viel besseres Datenset ist und Sie es darauf trainieren können. Aber wahrscheinlich wird es nicht direkt darauf trainiert, es wird wahrscheinlich von einem noch viel besseren Modell destilliert. Aber warum ist die destillierte Version immer noch eine Milliarde? Ich denke, Destillation funktioniert extrem gut. Also fast jedes kleine Modell, wenn Sie ein kleines Modell haben, ist es fast sicher destilliert. Richtig, aber warum ist die Destillation in 10 Jahren nicht unter einer Milliarde? Oh, Sie denken, es sollte kleiner als eine Milliarde sein? Ich meine, komm schon, oder? Ich weiß es nicht. Irgendwann sollte es mindestens eine Milliarde Knöpfe brauchen, um etwas Interessantes zu tun. Sie denken, es sollte noch kleiner sein? Ja. Wenn man sich den Trend der letzten Jahre ansieht, nur um die leicht erreichbaren Früchte zu finden und von Modellen mit über einer Billion Parametern zu Modellen, die in zwei Jahren buchstäblich um zwei Größenordnungen kleiner sind und bessere Leistung erzielen, lässt mich das denken, dass der Kern der Intelligenz vielleicht noch viel, viel kleiner ist. Viel Platz unten, um Feynman zu paraphrasieren. Ich habe das Gefühl, dass ich bereits kontrovers bin, indem ich über einen kognitiven Kern mit einer Milliarde Parametern spreche, und Sie übertreffen mich. Vielleicht könnten wir ein bisschen kleiner werden. Ich glaube, praktisch gesehen möchte man, dass das Modell etwas Wissen hat. Man möchte nicht, dass es alles nachschlägt, weil man dann nicht im Kopf nachdenken kann. Man schlägt ständig viel zu viel nach. Ein grundlegender Lehrplan muss für Wissen vorhanden sein, aber es ist kein esoterisches Wissen. Wir diskutieren, was plausibel der kognitive Kern sein könnte. Es gibt eine separate Frage, nämlich wie groß die Modelle an der Spitze im Laufe der Zeit sein werden. Ich bin neugierig, ob Sie Vorhersagen haben. Wir hatten eine zunehmende Skalierung bis vielleicht GPT 4.5 und jetzt sehen wir eine abnehmende oder stagnierende Skalierung. Es gibt viele Gründe, warum das so sein könnte. Haben Sie eine Vorhersage für die Zukunft? Werden die größten Modelle größer, kleiner oder gleich groß sein? Ich habe keine sehr starke Vorhersage. Die Labore sind einfach praktisch. Sie haben ein Flops-Budget und ein Kostenbudget. Es stellt sich einfach heraus, dass Pre-Training nicht der Ort ist, an dem Sie die meisten Ihrer Flops oder Kosten investieren wollen. Deshalb sind die Modelle kleiner geworden. Sie sind etwas kleiner, die Pre-Training-Phase ist kleiner, aber sie machen das durch Reinforcement Learning, Mid-Training und all das, was folgt, wett. Sie sind einfach praktisch in Bezug auf alle Phasen und wie man den größten Nutzen erzielt. Diesen Trend vorherzusagen ist ziemlich schwierig. Ich erwarte immer noch, dass es so viel leicht erreichbares Obst gibt. Das ist meine grundlegende Erwartung. Ich habe hier eine sehr breite Verteilung. Erwarten Sie, dass die leicht erreichbaren Früchte in ihrer Art ähnlich sind wie die Dinge, die in den letzten zwei bis fünf Jahren passiert sind? Wenn ich mir NanoChat im Vergleich zu NanoGPT und die von Ihnen vorgenommenen architektonischen Anpassungen ansehe, ist das die Art von Dingen, die Sie weiterhin erwarten? Sie erwarten keine riesigen Paradigmenwechsel. Größtenteils ja. Ich erwarte, dass die Datensätze viel, viel besser werden. Wenn man sich die durchschnittlichen Datensätze ansieht, sind sie extrem schrecklich. Sie sind so schlecht, dass ich nicht einmal weiß, wie irgendetwas funktioniert. Betrachten Sie das durchschnittliche Beispiel im Trainingsdatensatz: sachliche Fehler, Irrtümer, unsinnige Dinge. Irgendwie, wenn man es in großem Maßstab macht, wäscht sich das Rauschen weg und man bleibt mit etwas Signal übrig. Datensätze werden sich enorm verbessern. Alles wird besser. Unsere Hardware, alle Kerne für die Ausführung der Hardware und die Maximierung dessen, was man mit der Hardware erzielt. Nvidia stimmt die Hardware selbst langsam ab, Tensor Cores, all das muss geschehen und wird weiterhin geschehen. Alle Kerne werden besser und nutzen den Chip maximal aus. Alle Algorithmen werden sich wahrscheinlich über Optimierung, Architektur und alle Modellierungskomponenten dessen, wie alles gemacht wird, und welche Algorithmen wir sogar trainieren, verbessern. Ich erwarte, dass nichts dominiert. Alles plus 20 %. Das ist ungefähr das, was ich gesehen habe. Leute haben verschiedene Wege vorgeschlagen, um zu kartieren, wie viel Fortschritt wir in Richtung vollständiger AGI gemacht haben. Wenn Sie eine Linie zeichnen können, dann können Sie sehen, wo diese Linie AGI schneidet und wann das auf der x-Achse passieren würde. Leute haben vorgeschlagen, dass es das Bildungsniveau ist. Wir hatten einen Gymnasiasten, und dann ging er mit RL aufs College und wird einen Doktortitel machen. Das mag ich nicht. Oder sie schlagen die Horizontlänge vor. Vielleicht können sie Aufgaben erledigen, die eine Minute dauern, sie können diese autonom erledigen. Dann können sie autonom Aufgaben erledigen, die eine Stunde dauern, ein Mensch eine Stunde, ein Mensch eine Woche. Wie denken Sie über die relevante y-Achse hier? Wie sollten wir darüber nachdenken, wie KI Fortschritte macht? Ich habe zwei Antworten darauf. Erstens bin ich fast versucht, die Frage ganz abzulehnen, weil ich dies als eine Erweiterung des Computings betrachte. Haben wir darüber gesprochen, wie man Fortschritte im Computing kartiert, oder wie kartiert man Fortschritte im Computing seit den 1970er Jahren oder so? Was ist die y-Achse? Die ganze Frage ist aus dieser Perspektive ein wenig lustig. Wenn Leute über KI und die ursprüngliche AGI sprechen und wie wir darüber gesprochen haben, als OpenAI gegründet wurde, war AGI ein System, zu dem man gehen konnte und das jede wirtschaftlich wertvolle Aufgabe auf menschlichem Niveau oder besser erledigen konnte. Das war die Definition. Ich war damals ziemlich zufrieden damit. Ich bin für immer bei dieser Definition geblieben, und dann haben die Leute alle möglichen anderen Definitionen erfunden. Aber ich mag diese Definition. Die erste Einschränkung, die die Leute ständig machen, ist, dass sie einfach all das Physische herausnehmen, weil wir nur über digitale Wissensarbeit sprechen. Das ist eine ziemlich große Einschränkung im Vergleich zur ursprünglichen Definition, die jede Aufgabe war, die ein Mensch tun kann. Ich kann Dinge heben usw. KI kann das offensichtlich nicht, aber wir nehmen es. Welchen Anteil der Wirtschaft nehmen wir weg, indem wir sagen: „Oh, nur Wissensarbeit?“ Ich kenne die Zahlen nicht. Ich schätze etwa 10 % bis 20 %, wenn ich raten müsste, ist nur Wissensarbeit, jemand könnte von zu Hause aus arbeiten und Aufgaben erledigen, so etwas. Das ist immer noch ein wirklich großer Markt. Wie groß ist die Wirtschaft und was sind 10 % oder 20 %? Wir sprechen immer noch von einigen Billionen Dollar, selbst in den USA, an Marktanteil oder Arbeit. Das ist also immer noch ein sehr massiver Eimer. Zurück zur Definition, wonach ich suchen würde, ist, inwieweit diese Definition zutrifft. Gibt es Jobs oder viele Aufgaben? Wenn wir Aufgaben als nicht Jobs, sondern Aufgaben betrachten. Es ist schwierig, weil das Problem ist, dass sich die Gesellschaft um die Aufgaben herum neu formieren wird, die Jobs ausmachen, basierend darauf, was automatisierbar ist oder nicht. Heute, welche Jobs sind durch KI ersetzbar? Ein gutes Beispiel war kürzlich Geoff Hintons Vorhersage, dass Radiologen kein Job mehr sein würden, und das hat sich in vielerlei Hinsicht als sehr falsch erwiesen. Radiologen sind lebendig und gut und wachsen, obwohl Computer Vision wirklich, wirklich gut darin ist, all die verschiedenen Dinge zu erkennen, die sie in Bildern erkennen müssen. Es ist nur ein unordentlicher, komplizierter Job mit vielen Oberflächen und dem Umgang mit Patienten und all dem Zeug im Kontext. Ich weiß nicht, ob KI nach dieser Definition schon einen großen Eindruck hinterlassen hat. Einige der Jobs, nach denen ich suchen würde, haben einige Merkmale, die sie früher als später für die Automatisierung sehr anfällig machen. Als Beispiel kommen oft Callcenter-Mitarbeiter auf, und ich denke zu Recht. Callcenter-Mitarbeiter haben eine Reihe von vereinfachenden Eigenschaften in Bezug auf das, was heute automatisierbar ist. Ihre Jobs sind ziemlich einfach. Es ist eine Abfolge von Aufgaben, und jede Aufgabe sieht ähnlich aus. Sie nehmen einen Anruf mit einer Person entgegen, es ist eine 10-minütige Interaktion oder was auch immer, wahrscheinlich länger. Nach meiner Erfahrung viel länger. Sie erledigen eine Aufgabe in einem Schema und ändern einige Datenbankeinträge oder so etwas. Sie wiederholen also immer wieder etwas, und das ist Ihr Job. Sie wollen den Aufgabenhorizont einbeziehen – wie lange es dauert, eine Aufgabe auszuführen – und dann wollen Sie auch den Kontext entfernen. Sie befassen sich nicht mit verschiedenen Teilen von Dienstleistungen von Unternehmen oder anderen Kunden. Es ist nur die Datenbank, Sie und eine Person, der Sie dienen. Es ist geschlossener, verständlicher, rein digital. Ich würde also nach diesen Dingen suchen. Aber selbst dort schaue ich noch nicht auf vollständige Automatisierung. Ich schaue auf einen Autonomie-Schieberegler. Ich erwarte, dass wir Menschen nicht sofort ersetzen werden. Wir werden KIs einsetzen, die 80 % des Volumens erledigen. Sie delegieren 20 % des Volumens an Menschen, und Menschen beaufsichtigen Teams von fünf KIs, die die Callcenter-Arbeit erledigen, die routinemäßiger ist. Ich würde nach neuen Schnittstellen oder neuen Unternehmen suchen, die eine Schicht bereitstellen, die es Ihnen ermöglicht, einige dieser KIs zu verwalten, die noch nicht perfekt sind. Dann würde ich erwarten, dass das in der gesamten Wirtschaft so ist. Viele Jobs sind viel schwieriger als ein Callcenter-Mitarbeiter. Bei Radiologen spekuliere ich völlig und habe keine Ahnung, was der tatsächliche Arbeitsablauf eines Radiologen beinhaltet. Aber eine Analogie, die anwendbar sein könnte, ist, als Waymos zum ersten Mal eingeführt wurden, saß eine Person auf dem Vordersitz, und Sie mussten sie einfach dort haben, um sicherzustellen, dass, wenn etwas wirklich schief ging, sie da war, um zu überwachen. Selbst heute beobachten die Leute noch, um sicherzustellen, dass die Dinge gut laufen. Robotaxis, die gerade eingeführt wurden, haben immer noch eine Person darin. Jetzt könnten wir in einer ähnlichen Situation sein, in der, wenn Sie 99 % eines Jobs automatisieren, das letzte 1 %, das der Mensch tun muss, unglaublich wertvoll ist, weil es alles andere bottleneckt. Wenn es bei Radiologen so wäre, dass die Person, die vorne im Waymo sitzt, jahrelang speziell ausgebildet werden muss, um das letzte 1 % zu leisten, sollten ihre Löhne enorm steigen, weil sie das Einzige sind, was die breite Einführung bottleneckt. Radiologen, ich denke, ihre Löhne sind aus ähnlichen Gründen gestiegen, wenn Sie der letzte Engpass sind und nicht austauschbar sind. Ein Waymo-Fahrer mag mit anderen austauschbar sein. Sie könnten also sehen, dass Ihr Lohn steigt, bis Sie 99 % erreichen, und dann fällt er einfach so, wenn das letzte 1 % weg ist. Und ich frage mich, ob wir ähnliche Dinge bei der Radiologie oder den Gehältern von Callcenter-Mitarbeitern oder ähnlichem sehen. Das ist eine interessante Frage. Ich glaube nicht, dass wir das derzeit bei der Radiologie sehen. Ich denke, Radiologie ist kein gutes Beispiel. Ich weiß nicht, warum Geoff Hinton die Radiologie angegriffen hat, weil ich sie für einen extrem unordentlichen, komplizierten Beruf halte. Ich wäre viel mehr an dem interessiert, was heute mit Callcenter-Mitarbeitern passiert, weil ich erwarten würde, dass ein Großteil der Routinearbeit heute automatisierbar ist. Ich habe keinen direkten Zugang dazu, aber ich würde nach Trends suchen, was mit Callcenter-Mitarbeitern passiert. Einige der Dinge, die ich auch erwarten würde, ist, dass sie vielleicht KI einsetzen, aber dann würde ich immer noch ein oder zwei Jahre warten, weil ich erwarten würde, dass sie zurückrudern und einige Leute wieder einstellen. Es gibt Beweise dafür, dass dies bereits generell in Unternehmen geschieht, die KI einführen, was ich ziemlich überraschend finde. Ich fand auch, was wirklich überraschend war. AGI, richtig? Eine Sache, die alles tun würde. Wir werden körperliche Arbeit streichen, aber sie sollte in der Lage sein, alle Wissensarbeit zu leisten. Was man naiv erwartet hätte, ist, dass die Art und Weise, wie diese Entwicklung stattfindet, darin besteht, dass man eine kleine Aufgabe nimmt, die ein Berater erledigt, und sie aus dem Eimer nimmt. Man nimmt eine kleine Aufgabe, die ein Buchhalter erledigt, und nimmt sie aus dem Eimer. Dann macht man das einfach in der gesamten Wissensarbeit. Aber stattdessen, wenn wir glauben, dass wir mit dem aktuellen Paradigma auf dem Weg zur AGI sind, ist die Entwicklung ganz anders. Es scheint nicht so zu sein, dass Berater und Buchhalter riesige Produktivitätssteigerungen erzielen. Es ist vielmehr so, dass Programmierer immer mehr an ihrer Arbeit geschliffen werden. Wenn man sich die Einnahmen dieser Unternehmen ansieht, abzüglich der normalen Chat-Einnahmen (was ähnlich wie bei Google ist), nur wenn man sich die API-Einnahmen ansieht, werden diese von Coding dominiert. Dieses Ding, das „allgemein“ ist, das jede Wissensarbeit leisten können sollte, erledigt überwältigend nur Coding. Das ist eine überraschende Art, wie man erwarten würde, dass AGI eingesetzt wird. Hier gibt es einen interessanten Punkt. Ich glaube fest daran, dass Coding die perfekte erste Aufgabe für diese LLMs und Agenten ist. Das liegt daran, dass Coding schon immer grundlegend um Text herum funktioniert hat. Es sind Computerkonsolen und Text, und alles basiert auf Text. LLMs, die Art und Weise, wie sie im Internet trainiert werden, lieben Text. Sie sind perfekte Textverarbeiter, und es gibt all diese Daten da draußen. Es ist eine perfekte Übereinstimmung. Wir haben auch viel vorab erstellte Infrastruktur für die Handhabung von Code und Text. Zum Beispiel zeigt uns Visual Studio Code oder Ihre bevorzugte IDE Code an, und ein Agent kann sich damit verbinden. Wenn ein Agent einen Diff hat, mit dem er eine Änderung vorgenommen hat, haben wir plötzlich all diesen Code, der alle Unterschiede zu einer Codebasis mithilfe eines Diffs anzeigt. Es ist fast so, als hätten wir viel der Infrastruktur für Code vorab erstellt. Vergleichen Sie das mit einigen Dingen, die das überhaupt nicht genießen. Zum Beispiel versuchen Leute, Automatisierung nicht für Coding, sondern für Folien zu entwickeln. Ich habe ein Unternehmen gesehen, das Folien macht. Das ist viel, viel schwieriger. Der Grund, warum es viel schwieriger ist, ist, dass Folien kein Text sind. Folien sind kleine Grafiken, sie sind räumlich angeordnet, und es gibt eine visuelle Komponente. Folien haben keine vorab erstellte Infrastruktur. Zum Beispiel, wenn ein Agent eine Änderung an Ihren Folien vornehmen soll, wie zeigt ihm das Ding den Unterschied? Wie sehen Sie den Unterschied? Es gibt nichts, das Unterschiede für Folien anzeigt. Jemand muss es bauen. Einige dieser Dinge sind für KIs, wie sie derzeit sind, Textverarbeiter, nicht geeignet, und Code ist überraschenderweise geeignet. Ich bin mir nicht sicher, ob das allein ausreicht. Ich persönlich habe versucht, LLMs in Domänen nützlich zu machen, die reine Sprache-rein, Sprache-raus sind, wie das Umschreiben von Transkripten, das Erstellen von Clips basierend auf Transkripten. Es ist sehr plausibel, dass ich nicht alles Mögliche getan habe, was ich tun konnte. Ich habe eine Reihe guter Beispiele in den Kontext gestellt, aber vielleicht hätte ich eine Art Fine-Tuning machen sollen. Unser gemeinsamer Freund, Andy Matuschak, sagte mir, dass er 50 Milliarden Dinge versucht hat, um Modelle gut im Schreiben von Spaced-Repetition-Prompts zu machen. Wiederum sehr sprachbasierte Aufgaben, die Art von Dingen, die im Zentrum des Repertoires dieser LLMs stehen sollten. Er versuchte In-Context-Learning mit wenigen Beispielen. Er versuchte überwachtes Fine-Tuning und Retrieval. Er konnte sie nicht zu seiner Zufriedenheit Karten machen lassen. Daher finde ich es bemerkenswert, dass selbst in Sprachausgabe-Domänen es sehr schwierig ist, viel wirtschaftlichen Wert aus diesen Modellen zu ziehen, abgesehen vom Coding. Ich weiß nicht, was das erklärt. Das ergibt Sinn. Ich sage nicht, dass alles Textliche trivial ist. Ich denke, Code ist ziemlich strukturiert. Text ist vielleicht viel blumiger, und es gibt viel mehr Entropie im Text, würde ich sagen. Ich weiß nicht, wie ich es anders ausdrücken soll. Außerdem ist Code schwierig, und deshalb fühlen sich die Leute durch LLMs, selbst durch einfaches Wissen, ziemlich gestärkt. Ich weiß nicht, ob ich eine sehr gute Antwort habe. Offensichtlich macht Text es viel, viel einfacher, aber das bedeutet nicht, dass aller Text trivial ist. Wie denken Sie über Superintelligenz? Erwarten Sie, dass sie sich qualitativ anders anfühlt als normale Menschen oder menschliche Unternehmen? Ich sehe es als eine Weiterentwicklung der Automatisierung in der Gesellschaft. Wenn man den Trend des Computings extrapoliert, wird es eine schrittweise Automatisierung vieler Dinge geben, und Superintelligenz wird eine Extrapolation davon sein. Wir erwarten im Laufe der Zeit immer mehr autonome Entitäten, die viel von der digitalen Arbeit und dann schließlich auch einen Teil der physischen Arbeit erledigen. Im Grunde sehe ich es als reine Automatisierung, grob gesagt. Aber Automatisierung umfasst auch Dinge, die Menschen bereits tun können, und Superintelligenz impliziert Dinge, die Menschen nicht können. Aber eine der Dinge, die Menschen tun, ist, neue Dinge zu erfinden, die ich einfach in die Automatisierung einordnen würde, wenn das Sinn macht. Aber abstrakter und qualitativer gefragt, erwarten Sie, dass sich etwas anfühlt wie… Weil diese Sache entweder so schnell denken kann, oder so viele Kopien hat, oder die Kopien sich wieder in sich selbst verschmelzen können, oder viel intelligenter ist, eine beliebige Anzahl von Vorteilen, die eine KI haben mag, wird sich die Zivilisation, in der diese KIs existieren, einfach qualitativ anders anfühlen als Menschen? Ich glaube, das wird sie. Es ist im Grunde Automatisierung, aber sie wird extrem fremd sein. Sie wird wirklich seltsam aussehen. Wie Sie erwähnt haben, können wir all das auf einem Computercluster und viel schneller ausführen. Einige der Szenarien, bei denen ich nervös werde, wenn die Welt so aussieht, ist dieser allmähliche Verlust der Kontrolle und des Verständnisses dessen, was passiert. Ich denke, das ist das wahrscheinlichste Ergebnis, dass es einen allmählichen Verlust des Verständnisses geben wird. Wir werden all diese Dinge schrittweise überall einführen, und es wird immer weniger Menschen geben, die sie verstehen. Dann wird es einen allmählichen Verlust der Kontrolle und des Verständnisses dessen geben, was passiert. Das scheint mir das wahrscheinlichste Ergebnis zu sein, wie all diese Dinge ablaufen werden. Lassen Sie mich das ein wenig untersuchen. Es ist mir nicht klar, dass Kontrollverlust und Verständnisverlust dasselbe sind. Ein Vorstand bei TSMC, Intel – nennen Sie ein zufälliges Unternehmen – das sind einfach angesehene 80-Jährige. Sie haben sehr wenig Verständnis, und vielleicht haben sie praktisch keine Kontrolle. Ein besseres Beispiel ist der Präsident der Vereinigten Staaten. Der Präsident hat viel verdammte Macht. Ich versuche nicht, eine gute Aussage über den aktuellen Amtsinhaber zu machen, oder vielleicht doch, aber das tatsächliche Maß an Verständnis ist sehr unterschiedlich vom Maß an Kontrolle. Ich denke, das ist fair. Das ist ein guter Einwand. Ich denke, ich erwarte beides. Warum? Verständnisverlust ist offensichtlich, aber warum Kontrollverlust? Wir sind sehr weit in ein Territorium vorgedrungen, in dem ich nicht weiß, wie das aussieht, aber wenn ich Science-Fiction-Romane schreiben würde, würden sie nicht so aussehen, als würde eine einzige Entität alles übernehmen, sondern mehrere konkurrierende Entitäten, die allmählich autonomer werden. Einige von ihnen geraten außer Kontrolle und die anderen kämpfen sie ab. Es ist dieser Eintopf aus völlig autonomer Aktivität, den wir delegiert haben. Ich habe das Gefühl, es wird diesen Geschmack haben. Es ist nicht die Tatsache, dass sie intelligenter sind als wir, die zum Kontrollverlust führt. Es ist die Tatsache, dass sie miteinander konkurrieren, und was aus diesem Wettbewerb entsteht, führt zum Kontrollverlust. Viele dieser Dinge werden Werkzeuge für Menschen sein, sie handeln im Namen von Menschen oder so etwas. Also vielleicht haben diese Leute die Kontrolle, aber vielleicht ist es ein Kontrollverlust für die Gesellschaft insgesamt im Sinne der gewünschten Ergebnisse. Sie haben Entitäten, die im Namen von Einzelpersonen handeln, die immer noch grob als außer Kontrolle geraten angesehen werden. Das ist eine Frage, die ich früher hätte stellen sollen. Wir sprachen darüber, wie es sich derzeit anfühlt, wenn man KI-Engineering oder KI-Forschung betreibt, dass diese Modelle eher in die Kategorie eines Compilers als in die eines Ersatzes fallen. Irgendwann, wenn man AGI hat, sollte es in der Lage sein, das zu tun, was Sie tun. Glauben Sie, dass eine Million Kopien von Ihnen parallel zu einer enormen Beschleunigung des KI-Fortschritts führen? Wenn das passiert, erwarten Sie dann eine Intelligenzexplosion, sobald wir eine echte AGI haben? Ich spreche nicht von den heutigen LLMs. Das tue ich, aber es ist Business as usual, weil wir uns bereits in einer Intelligenzexplosion befinden und das seit Jahrzehnten. Es ist im Grunde die BIP-Kurve, die eine exponentielle gewichtete Summe über so viele Aspekte der Industrie ist. Alles wird schrittweise automatisiert und das schon seit Hunderten von Jahren. Die Industrielle Revolution ist Automatisierung und einige der physischen Komponenten und Werkzeugbau und all das. Compiler sind frühe Software-Automatisierung usw. Wir haben uns rekursiv selbst verbessert und explodiert, seit langer Zeit. Eine andere Möglichkeit, es zu sehen, ist, dass die Erde ein ziemlich langweiliger Ort war, wenn man die Biomechanik usw. nicht betrachtet, und sehr ähnlich aussah. Wenn man von außen schaut, sind wir mitten in diesem Feuerwerksereignis, aber wir sehen es in Zeitlupe. Ich habe definitiv das Gefühl, dass das schon sehr lange passiert. Wiederum sehe ich KI nicht als eine eigenständige Technologie im Verhältnis zu dem, was schon lange passiert. Sie denken, es ist eine Fortsetzung dieses hyper-exponentiellen Trends? Ja. Deshalb war das für mich sehr interessant, weil ich eine Weile versucht habe, KI im BIP zu finden. Ich dachte, das BIP sollte steigen. Aber dann habe ich mir andere Technologien angesehen, die ich für sehr transformativ hielt, wie Computer oder Mobiltelefone usw. Man findet sie nicht im BIP. Das BIP ist die gleiche Exponentialfunktion. Selbst das frühe iPhone hatte keinen App Store und nicht viele der Glocken und Pfeifen, die das moderne iPhone hat. Selbst wenn wir 2008, als das iPhone herauskam, als diesen großen seismischen Wandel betrachten, ist es das eigentlich nicht. Alles ist so verteilt und diffundiert so langsam, dass am Ende alles in die gleiche Exponentialfunktion eingemittelt wird. Es ist genau dasselbe mit Computern. Man findet sie nicht im BIP wie: „Oh, wir haben jetzt Computer.“ Das ist nicht passiert, weil es eine so langsame Entwicklung ist. Mit KI werden wir genau dasselbe sehen. Es ist nur mehr Automatisierung. Es ermöglicht uns, andere Arten von Programmen zu schreiben, die wir vorher nicht schreiben konnten, aber KI ist immer noch im Grunde ein Programm. Es ist eine neue Art von Computer und ein neues Computersystem. Aber es hat all diese Probleme, es wird sich im Laufe der Zeit verbreiten, und es wird sich immer noch zur gleichen Exponentialfunktion summieren. Wir werden immer noch eine Exponentialfunktion haben, die extrem vertikal wird. Es wird sehr fremd sein, in einer solchen Umgebung zu leben. Sagen Sie, wenn man den Trend vor der Industriellen Revolution bis jetzt betrachtet, hat man eine Hyper-Exponentialfunktion, bei der man von 0 % Wachstum zu dann vor 10.000 Jahren 0,02 % Wachstum und bis heute zu 2 % Wachstum geht. Das ist eine Hyper-Exponentialfunktion. Sagen Sie, wenn Sie KI darauf abbilden, dann bringt Sie KI zu 20 % Wachstum oder 200 % Wachstum? Oder sagen Sie, wenn man sich die letzten 300 Jahre ansieht, hat man gesehen, dass es Technologie nach Technologie gibt – Computer, Elektrifizierung, Dampfmaschinen, Eisenbahnen usw. – aber die Wachstumsrate ist genau die gleiche, sie ist 2 %. Sagen Sie, dass die Wachstumsrate steigen wird? Die Wachstumsrate ist auch ungefähr konstant geblieben, oder? Nur in den letzten 200, 300 Jahren. Aber im Laufe der menschlichen Geschichte ist sie explodiert. Sie ist von 0 % zu schneller, schneller, schneller gegangen. Industrielle Explosion, 2 %. Eine Zeit lang habe ich versucht, KI im BIP zu finden oder zu suchen, und ich habe mich davon überzeugt, dass das falsch ist. Selbst wenn Leute über rekursive Selbstverbesserung und Labore und so etwas sprechen, ist das Business as usual. Natürlich wird es sich rekursiv selbst verbessern, und das tut es schon. LLMs ermöglichen es den Ingenieuren, viel effizienter zu arbeiten, um die nächste Runde von LLMs zu bauen, und viel mehr Komponenten werden automatisiert und abgestimmt und so weiter. Dass alle Ingenieure Zugang zur Google-Suche haben, ist Teil davon. Dass alle Ingenieure eine IDE haben, alle Autovervollständigung oder Claude Code usw. haben, das ist alles Teil derselben Beschleunigung des Ganzen. Es ist einfach so reibungslos. Nur zur Klarstellung: Sie sagen, dass sich die Wachstumsrate nicht ändern wird. Die Intelligenzexplosion wird sich dadurch zeigen, dass sie uns einfach ermöglicht, auf der 2%igen Wachstumstrajektorie zu bleiben, so wie das Internet uns geholfen hat, auf der 2%igen Wachstumstrajektorie zu bleiben. Ja, meine Erwartung ist, dass es im gleichen Muster bleibt. Nur um das Gegenargument zu Ihnen zu bringen: Meine Erwartung ist, dass es explodiert, weil ich denke, dass echte AGI – und ich spreche nicht von LLM-Coding-Bots, ich spreche von der tatsächlichen Ersetzung eines Menschen in einem Server – qualitativ anders ist als diese anderen produktivitätssteigernden Technologien, weil es Arbeit selbst ist. Ich denke, wir leben in einer sehr arbeitsbeschränkten Welt. Wenn Sie mit jedem Startup-Gründer oder jeder Person sprechen, können Sie sagen: Was brauchen Sie mehr? Sie brauchen wirklich talentierte Leute. Und wenn Sie Milliarden von zusätzlichen Menschen haben, die Dinge erfinden, sich integrieren, Unternehmen von Anfang bis Ende führen, das fühlt sich qualitativ anders an als eine einzelne Technologie. Es ist, als ob Sie 10 Milliarden zusätzliche Menschen auf dem Planeten bekommen. Vielleicht ein Gegenargument. Ich bin ziemlich bereit, mich in die eine oder andere Richtung überzeugen zu lassen. Aber ich sage zum Beispiel, Computing ist Arbeit. Computing war Arbeit. Viele Arbeitsplätze sind verschwunden, weil Computer eine Menge digitaler Informationsverarbeitung automatisieren, die Sie jetzt nicht mehr menschlich benötigen. Computer sind also Arbeit, und das hat sich bereits gezeigt. Selbstfahrende Autos als Beispiel sind auch Computer, die Arbeit verrichten. Das spielt sich bereits ab. Es ist immer noch Business as usual. Sie haben eine Maschine, die potenziell schneller mehr davon ausspuckt. Historisch gesehen haben wir Beispiele für sich ändernde Wachstumsregime, bei denen Sie von 0,2 % Wachstum zu 2 % Wachstum übergingen. Es erscheint mir sehr plausibel, dass eine Maschine, die dann das nächste selbstfahrende Auto und das nächste Internet und was auch immer ausspuckt… Ich sehe, woher es kommt. Gleichzeitig habe ich das Gefühl, dass die Leute diese Annahme treffen: „Wir haben Gott in einer Box, und jetzt kann er alles tun“, und es wird einfach nicht so aussehen. Er wird einige Dinge tun können. Er wird bei anderen Dingen versagen. Er wird schrittweise in die Gesellschaft integriert, und wir werden am Ende das gleiche Muster haben. Das ist meine Vorhersage. Diese Annahme, plötzlich einen vollständig intelligenten, voll flexiblen, voll allgemeinen Menschen in einer Box zu haben, und wir können ihn für beliebige Probleme in der Gesellschaft einsetzen, ich glaube nicht, dass wir diesen diskreten Wandel haben werden. Ich glaube, wir werden zur gleichen Art von allmählicher Verbreitung über die gesamte Branche gelangen. Es ist oft irreführend in diesen Gesprächen. Ich mag das Wort Intelligenz in diesem Zusammenhang nicht verwenden, weil Intelligenz impliziert, dass es eine einzige Superintelligenz geben wird, die auf einem Server sitzt und sich ausdenkt, wie neue Technologien und Erfindungen entstehen, die diese Explosion verursachen. Das ist nicht das, was ich mir vorstelle, wenn ich mir 20 % Wachstum vorstelle. Ich stelle mir vor, dass es Milliarden von sehr klugen menschenähnlichen Geistern gibt, potenziell, oder das ist alles, was benötigt wird. Aber die Tatsache, dass es Hunderte von Millionen von ihnen gibt, Milliarden von ihnen, die jeweils einzelne neue Produkte herstellen, herausfinden, wie sie sich in die Wirtschaft integrieren. Wenn ein sehr erfahrener, kluger Einwanderer ins Land käme, müssten Sie nicht herausfinden, wie wir ihn in die Wirtschaft integrieren. Er findet es heraus. Er könnte ein Unternehmen gründen, er könnte Erfindungen machen oder die Produktivität steigern.

in der Welt. Wir haben Beispiele, selbst im aktuellen Regime, von Orten, die ein Wirtschaftswachstum von 10-20% hatten. Wenn man einfach viele Menschen und im Vergleich dazu weniger Kapital hat, kann man Hongkong oder Shenzhen oder was auch immer mit jahrzehntelangem Wachstum von über 10% haben. Es gibt viele wirklich kluge Leute, die bereit sind, die Ressourcen zu nutzen und diese Phase des Aufholens zu durchlaufen, weil wir diese Diskontinuität hatten, und ich denke, KI könnte ähnlich sein. Ich verstehe, aber ich denke immer noch, dass Sie einen diskreten Sprung voraussetzen. Es gibt eine Art Freischaltung, auf die wir warten, um sie zu beanspruchen. Und plötzlich werden wir Genies in Rechenzentren haben. Ich denke immer noch, dass Sie einen diskreten Sprung voraussetzen, der keinen historischen Präzedenzfall hat, den ich in keiner Statistik finden kann und der meiner Meinung nach wahrscheinlich nicht eintreten wird. Ich meine, die Industrielle Revolution ist ein solcher Sprung. Sie gingen von 0,2% Wachstum auf 2% Wachstum. Ich sage nur, Sie werden einen weiteren Sprung wie diesen sehen. Ich bin ein wenig misstrauisch, ich müsste es mir ansehen. Zum Beispiel sind einige der Aufzeichnungen vor der Industriellen Revolution nicht sehr gut. Ich bin dem gegenüber ein wenig misstrauisch, aber ich habe keine starken Meinungen. Sie sagen, dass dies ein singuläres Ereignis war, das extrem magisch war. Sie sagen, dass es vielleicht ein weiteres Ereignis geben wird, das genau so sein wird, extrem magisch. Es wird das Paradigma brechen und so weiter. Ich glaube das eigentlich nicht... Das Entscheidende an der Industriellen Revolution war, dass sie nicht magisch war. Wenn man einfach hineinzoomt, würde man 1770 oder 1870 nicht sehen, dass es eine Schlüssel-Erfindung gab. Aber gleichzeitig hat man die Wirtschaft in ein Regime verschoben, in dem der Fortschritt viel schneller war und sich exponentiell verzehnfacht hat. Ich erwarte etwas Ähnliches von KI, wo es nicht so ist, dass es einen einzigen Moment geben wird, in dem wir die entscheidende Erfindung gemacht haben. Es ist ein Überhang, der freigeschaltet wird. Wie vielleicht eine neue Energiequelle. Es gibt eine Art Freischaltung – in diesem Fall eine Art kognitive Kapazität – und es gibt einen Überhang an kognitiver Arbeit zu erledigen. Das stimmt. Sie erwarten, dass dieser Überhang durch diese neue Technologie gefüllt wird, wenn sie die Schwelle überschreitet. Vielleicht kann man es so sehen: Im Laufe der Geschichte kommt viel Wachstum zustande, weil die Menschen auf Ideen kommen, und dann sind die Menschen draußen und tun Dinge, um diese Ideen umzusetzen und wertvolle Ergebnisse zu erzielen. Die meiste Zeit ist die Bevölkerung explodiert. Das hat das Wachstum vorangetrieben. In den letzten 50 Jahren haben die Leute argumentiert, dass das Wachstum stagniert hat. Die Bevölkerung in den Schwellenländern hat ebenfalls stagniert. Ich denke, wir kehren zum exponentiellen Bevölkerungswachstum zurück, das zu einem hyper-exponentiellen Wachstum der Produktion führt. Es ist wirklich schwer zu sagen. Ich verstehe diesen Standpunkt. Ich fühle diesen Standpunkt nicht intuitiv. Sie haben mir Nick Lanes Buch empfohlen. Daraufhin fand ich es auch super interessant und habe ihn interviewt. Ich habe einige Fragen zum Denken über Intelligenz und Evolutionsgeschichte. Jetzt, da Sie in den letzten 20 Jahren KI-Forschung betrieben haben, haben Sie vielleicht ein greifbareres Gefühl dafür, was Intelligenz ist und was zu ihrer Entwicklung gehört. Sind Sie infolgedessen mehr oder weniger überrascht, dass die Evolution zufällig darauf gestoßen ist? Ich liebe Nick Lanes Bücher. Ich habe gerade seinen Podcast auf dem Weg hierher gehört. In Bezug auf Intelligenz und ihre Evolution ist sie sehr, sehr neu. Ich bin überrascht, dass sie sich entwickelt hat. Ich finde es faszinierend, über all die Welten da draußen nachzudenken. Sagen wir, es gibt tausend Planeten wie die Erde und wie sie aussehen. Ich glaube, Nick Lane war hier und sprach über einige der frühesten Teile. Er erwartet in den meisten davon sehr ähnliche Lebensformen, grob gesagt, und bakterienähnliche Dinge. Es gibt ein paar Brüche darin. Die Evolution der Intelligenz fühlt sich für mich intuitiv so an, als ob sie ein ziemlich seltenes Ereignis sein sollte. Vielleicht sollten Sie sich darauf stützen, wie lange etwas existiert. Wenn Bakterien 2 Milliarden Jahre lang existierten und nichts geschah, dann ist es wahrscheinlich ziemlich schwierig, zu Eukaryoten zu gelangen, weil Bakterien ziemlich früh in der Erdgeschichte oder Entwicklung auftraten. Wie lange haben wir Tiere? Vielleicht ein paar hundert Millionen Jahre, mehrzellige Tiere, die herumlaufen, kriechen usw. Das ist vielleicht 10% der Lebensspanne der Erde. Vielleicht ist es in dieser Zeitspanne nicht zu schwierig. Es überrascht mich immer noch intuitiv, dass es sich entwickelt hat. Ich würde vielleicht einfach viele tierähnliche Lebensformen erwarten, die tierähnliche Dinge tun. Die Tatsache, dass man etwas hervorbringen kann, das Kultur und Wissen schafft und es ansammelt, überrascht mich. Es gibt ein paar interessante Folgefragen. Wenn Sie die Sutton-Perspektive übernehmen, dass der Kern der Intelligenz tierische Intelligenz ist... Das Zitat, das er sagte, lautet: "Wenn man zum Eichhörnchen gelangt, ist man fast auf dem Weg zur AGI." Wir erreichten die Intelligenz des Eichhörnchens kurz nach der Kambrischen Explosion vor 600 Millionen Jahren. Es scheint, dass das, was das auslöste, die Sauerstoffanreicherung vor 600 Millionen Jahren war. Aber sofort war der Intelligenzalgorithmus da, um die Intelligenz des Eichhörnchens zu erzeugen. Es deutet darauf hin, dass die tierische Intelligenz so war. Sobald man Sauerstoff in der Umwelt hatte, hatte man den Eukaryoten, man konnte einfach den Algorithmus bekommen. Vielleicht war es ein Zufall, dass die Evolution so schnell darauf gestoßen ist, aber ich weiß nicht, ob das darauf hindeutet, dass es am Ende ziemlich einfach sein wird. Es ist so schwer, bei all diesen Dingen etwas zu sagen. Man kann sich darauf stützen, wie lange etwas existiert hat oder wie lange es sich anfühlt, als ob etwas eine Engstelle war. Nick Lane ist sehr gut darin, diese sehr offensichtliche Engstelle bei Bakterien und Archaeen zu beschreiben. Zwei Milliarden Jahre lang geschah nichts. Es gibt eine extreme Vielfalt an Biochemie, und doch wächst nichts zu Tieren heran. Zwei Milliarden Jahre. Ich weiß nicht, ob wir genau eine solche Entsprechung bei Tieren und Intelligenz gesehen haben, um auf Ihren Punkt zurückzukommen. Wir könnten es auch im Hinblick darauf betrachten, wie oft wir denken, dass bestimmte Intelligenzen einzeln aufgetreten sind. Das ist eine wirklich gute Sache zu untersuchen. Ein Gedanke dazu. Es gibt hominide Intelligenz und dann gibt es Vogelintelligenz. Raben usw. sind extrem schlau, aber ihre Gehirnteile sind ziemlich unterschiedlich, und wir haben nicht so viel gemeinsam. Das ist ein leichter Hinweis darauf, dass Intelligenz vielleicht ein paar Mal aufgetreten ist. In diesem Fall würden Sie sie häufiger erwarten. Ein ehemaliger Gast, Gwern, und Carl Shulman haben einen wirklich interessanten Punkt dazu gemacht. Ihre Perspektive ist, dass der skalierbare Algorithmus, den Menschen und Primaten haben, auch bei Vögeln aufgetreten ist, und vielleicht auch zu anderen Zeiten. Aber Menschen haben eine evolutionäre Nische gefunden, die marginale Intelligenzsteigerungen belohnte und auch einen skalierbaren Gehirnalgorithmus hatte, der diese Intelligenzsteigerungen erreichen konnte. Zum Beispiel, wenn ein Vogel ein größeres Gehirn hätte, würde er einfach aus der Luft abstürzen. Er ist sehr schlau für die Größe seines Gehirns, aber er ist nicht in einer Nische, die es belohnt, dass das Gehirn größer wird. Es ist vielleicht ähnlich wie bei einigen wirklich klugen... Wie Delfinen? Genau, Menschen, wir haben Hände, die es belohnen, Werkzeuggebrauch zu lernen. Wir können die Verdauung externisieren, mehr Energie ins Gehirn leiten, und das setzt das Schwungrad in Gang. Auch Dinge zum Arbeiten. Ich vermute, es wäre schwieriger, wenn ich ein Delfin wäre. Wie hat man Feuer? Das Universum der Dinge, die man im Wasser, im Inneren des Wassers tun kann, ist wahrscheinlich geringer als das, was man an Land tun kann, rein chemisch. Ich stimme dieser Ansicht über diese Nischen und das, was incentiviert wird, zu. Ich finde es immer noch wundersam. Ich hätte erwartet, dass die Dinge bei Tieren mit größeren Muskeln stecken bleiben. Die Intelligenz durchzugehen ist ein wirklich faszinierender Wendepunkt. Gwern hat es so ausgedrückt, dass der Grund, warum es so schwierig war, darin liegt, dass es eine sehr schmale Linie ist zwischen einer Situation, in der etwas so wichtig zu lernen ist, dass es sich nicht lohnt, die exakt richtigen Schaltkreise direkt in Ihre DNA zu destillieren, und der Tatsache, dass es nicht wichtig genug ist, um überhaupt zu lernen. Es muss etwas sein, das den Aufbau des Algorithmus zum Lernen im Leben incentiviert. Man muss eine Art Anpassungsfähigkeit incentivieren. Man will Umgebungen, die unvorhersehbar sind, damit die Evolution Ihre Algorithmen nicht in Ihre Gewichte einbacken kann. Viele Tiere sind in diesem Sinne vorprogrammiert. Menschen müssen es zur Testzeit herausfinden, wenn sie geboren werden. Man will diese Umgebungen, die sich sehr schnell ändern, in denen man nicht vorhersehen kann, was gut funktionieren wird. Man schafft Intelligenz, um es zur Testzeit herauszufinden. Quintin Pope hatte diesen interessanten Blogbeitrag, in dem er sagt, der Grund, warum er keinen scharfen Anstieg erwartet, ist, dass die Menschen den scharfen Anstieg hatten, bei dem wir vor 60.000 Jahren die kognitiven Architekturen zu haben scheinen, die wir heute haben. Vor 10.000 Jahren die Agrarrevolution, die Moderne. Was geschah in diesen 50.000 Jahren? Man musste dieses kulturelle Gerüst aufbauen, in dem man Wissen über Generationen hinweg ansammeln kann. Das ist eine Fähigkeit, die kostenlos vorhanden ist, so wie wir KI-Training betreiben. In vielen Fällen werden sie buchstäblich destilliert. Wenn man ein Modell neu trainiert, können sie auf sich selbst trainiert werden, sie können auf demselben Vortrainingskorpus trainiert werden, sie müssen nicht buchstäblich von vorne anfangen. Es gibt einen Sinn, in dem es die Menschen lange gedauert hat, diesen kulturellen Kreislauf in Gang zu bringen, aber er ist kostenlos, so wie wir LLM-Training betreiben. Ja und nein. Denn LLMs haben nicht wirklich das Äquivalent von Kultur. Vielleicht geben wir ihnen zu viel und incentivieren sie, sie nicht zu schaffen oder so etwas. Aber die Erfindung von Kultur und schriftlicher Aufzeichnung und des Weitergebens von Notizen zwischen einander, ich glaube nicht, dass es dafür ein Äquivalent bei LLMs gibt. LLMs haben im Moment keine wirkliche Kultur, und das ist eines der Hindernisse, würde ich sagen. Können Sie mir eine Vorstellung davon geben, wie LLM-Kultur aussehen könnte? Im einfachsten Fall wäre es ein riesiger Notizblock, den das LLM bearbeiten kann, und während es Dinge liest oder bei der Arbeit hilft, bearbeitet es den Notizblock für sich selbst. Warum kann ein LLM kein Buch für die anderen LLMs schreiben? Das wäre cool. Warum können andere LLMs das Buch dieses LLMs nicht lesen und sich davon inspirieren lassen oder schockiert sein oder so etwas? Dafür gibt es kein Äquivalent. Interessant. Wann erwarten Sie, dass so etwas anfängt zu passieren? Auch Multi-Agenten-Systeme und eine Art unabhängige KI-Zivilisation und Kultur? Es gibt zwei mächtige Ideen im Bereich Multi-Agenten, die beide noch nicht wirklich beansprucht wurden oder so. Die erste, würde ich sagen, ist Kultur und LLMs, die ein wachsendes Repertoire an Wissen für ihre eigenen Zwecke haben. Die zweite sieht viel mehr wie die mächtige Idee des Self-Play aus. In meinem Kopf ist das extrem mächtig. Evolution hat viel Wettbewerb, der Intelligenz und Evolution antreibt. Bei AlphaGo, algorithmischer, spielt AlphaGo gegen sich selbst und so lernt es, wirklich gut in Go zu werden. Es gibt kein Äquivalent von Self-Playing LLMs, aber ich würde erwarten, dass es das auch geben wird. Niemand hat es bisher getan. Warum kann ein LLM zum Beispiel keine Reihe von Problemen erstellen, die ein anderes LLM zu lösen lernt? Dann versucht das LLM immer, immer schwierigere Probleme zu lösen, so etwas. Es gibt eine Menge Möglichkeiten, das zu organisieren. Es ist ein Forschungsbereich, aber ich habe noch nichts gesehen, das überzeugend beide dieser Multi-Agenten-Verbesserungen beansprucht. Wir sind meist im Bereich eines einzelnen Agenten, aber das wird sich ändern. Im Bereich der Kultur würde ich auch Organisationen einordnen. Davon haben wir auch noch nichts überzeugendes gesehen. Deshalb sind wir noch am Anfang. Können Sie die wichtigste Engstelle identifizieren, die diese Art der Zusammenarbeit zwischen LLMs verhindert? Vielleicht würde ich es so ausdrücken: Einige dieser Analogien funktionieren und sollten es nicht, aber irgendwie tun sie es bemerkenswerterweise. Viele der kleineren Modelle oder dümmeren Modelle ähneln bemerkenswerterweise einem Kindergartenkind, einem Grundschüler oder einem Oberstufenschüler. Irgendwie sind wir noch nicht so weit, dass diese Dinge übernehmen können. Mein Claude Code oder Codex fühlen sich immer noch wie dieser Grundschüler an. Ich weiß, dass sie PhD-Tests bestehen können, aber kognitiv fühlen sie sich immer noch wie ein Kindergarten- oder Grundschüler an. Ich glaube nicht, dass sie Kultur schaffen können, weil sie noch Kinder sind. Sie sind Savant-Kinder. Sie haben eine perfekte Erinnerung an all diese Dinge. Sie können überzeugend alle möglichen Dinge erzeugen, die wirklich gut aussehen. Aber ich glaube immer noch, dass sie nicht wirklich wissen, was sie tun, und sie haben nicht wirklich die Kognition über all diese kleinen Checkboxen, die wir immer noch sammeln müssen. Sie haben erzählt, dass Sie bei Tesla von 2017 bis 2022 das autonome Fahren geleitet haben. Und Sie haben aus erster Hand diesen Fortschritt von coolen Demos zu jetzt Tausenden von Autos gesehen, die tatsächlich autonom fahren. Warum hat das ein Jahrzehnt gedauert? Was ist in dieser Zeit passiert? Eine Sache, der ich fast sofort widersprechen werde, ist, dass dies in vielerlei Hinsicht noch lange nicht abgeschlossen ist, auf die ich noch eingehen werde. Autonomes Fahren ist sehr interessant, weil ich dort viele meiner Intuitionen herbekomme, da ich fünf Jahre daran gearbeitet habe. Es hat diese gesamte Geschichte, dass die ersten Demos des autonomen Fahrens bis in die 1980er Jahre zurückreichen. Man kann eine Demo von CMU aus dem Jahr 1986 sehen. Da fährt ein LKW selbstständig auf Straßen. Schneller Vorlauf. Als ich zu Tesla kam, hatte ich eine sehr frühe Demo von Waymo. Sie gab mir im Grunde eine perfekte Fahrt im Jahr 2014 oder so, also eine perfekte Waymo-Fahrt vor einem Jahrzehnt. Sie fuhr uns um Palo Alto herum und so weiter, weil ich einen Freund hatte, der dort arbeitete. Ich dachte, es sei sehr nah dran, und dann hat es trotzdem lange gedauert. Für einige Arten von Aufgaben und Jobs und so weiter gibt es eine sehr große Lücke zwischen Demo und Produkt, bei der die Demo sehr einfach ist, aber das Produkt sehr schwer. Das ist besonders der Fall bei autonomen Fahren, wo die Kosten des Scheiterns zu hoch sind. Viele Branchen, Aufgaben und Jobs haben diese Eigenschaft vielleicht nicht, aber wenn man diese Eigenschaft hat, erhöht das definitiv die Zeitpläne. Zum Beispiel im Software-Engineering, ich denke, diese Eigenschaft existiert dort. Für viel Vibe-Coding ist das nicht der Fall. Aber wenn man tatsächlich produktionsreifen Code schreibt, sollte diese Eigenschaft existieren, denn jeder Fehler führt zu einer Sicherheitslücke oder so etwas. Millionen und Hunderte von Millionen persönlicher Sozialversicherungsnummern werden geleakt oder so etwas. Also sollten die Leute in der Software vorsichtig sein, ähnlich wie beim autonomen Fahren. Beim autonomen Fahren, wenn etwas schiefgeht, kann man verletzt werden. Es gibt schlimmere Ergebnisse. Aber in der Software ist es fast unbegrenzt, wie schrecklich etwas sein kann. Ich denke, sie teilen diese Eigenschaft. Was die lange Zeit in Anspruch nimmt und wie man darüber nachdenkt, ist, dass es ein Marsch der Neunen ist. Jede einzelne Neun ist eine konstante Menge an Arbeit. Jede einzelne Neun ist die gleiche Menge an Arbeit. Wenn man eine Demo bekommt und etwas 90% der Zeit funktioniert, ist das nur die erste Neun. Dann braucht man die zweite Neun, eine dritte Neun, eine vierte Neun, eine fünfte Neun. Während ich bei Tesla etwa fünf Jahre war, haben wir vielleicht drei Neunen oder zwei Neunen durchlaufen. Ich weiß es nicht, aber mehrere Neunen der Iteration. Es gibt noch mehr Neunen zu gehen. Deshalb dauern diese Dinge so lange. Es ist definitiv prägend für mich, etwas zu sehen, das eine Demo war. Ich bin sehr unbeeindruckt von Demos. Wann immer ich Demos von irgendetwas sehe, bin ich extrem unbeeindruckt davon. Wenn es eine Demo ist, die jemand als Vorführung vorbereitet hat, ist es noch schlimmer. Wenn man damit interagieren kann, ist es ein bisschen besser. Aber selbst dann ist man noch nicht fertig. Man braucht das eigentliche Produkt. Es wird all diesen Herausforderungen gegenüberstehen, wenn es mit der Realität in Kontakt kommt, und all diesen verschiedenen Verhaltensweisen, die gepatcht werden müssen. Wir werden all diese Dinge erleben. Es ist ein Marsch der Neunen. Jede Neun ist konstant. Demos sind ermutigend. Es gibt immer noch eine riesige Menge Arbeit zu tun. Es ist ein kritisches Sicherheitsgebiet, es sei denn, man macht Vibe-Coding, was nett und lustig und so weiter ist. Deshalb haben auch meine Zeitpläne aus dieser Perspektive zugenommen. Es ist sehr interessant zu hören, dass die Sicherheitsgarantien, die Sie von Software benötigen, nicht unähnlich dem autonomen Fahren sind. Was die Leute oft sagen werden, ist, dass das autonome Fahren so lange gedauert hat, weil die Kosten des Scheiterns so hoch sind. Ein Mensch macht im Durchschnitt alle 400.000 Meilen oder alle sieben Jahre einen Fehler. Wenn man einen Code-Agenten herausbringen müsste, der mindestens sieben Jahre lang keinen Fehler machen kann, wäre er viel schwerer einzusetzen. Aber Ihr Punkt ist, dass wenn man einen katastrophalen Programmierfehler macht, wie das Brechen eines wichtigen Systems alle sieben Jahre... Sehr einfach zu tun. Tatsächlich wäre es in Bezug auf die Wanduhrzeit viel weniger als sieben Jahre, weil man ständig Code wie diesen ausgibt. In Bezug auf Tokens wären es sieben Jahre. Aber in Bezug auf die Wanduhrzeit... In gewisser Weise ist es ein viel schwierigeres Problem. Autonomes Fahren ist nur eines von Tausenden von Dingen, die Menschen tun. Es ist fast wie ein einzelner Sektor, nehme ich an. Während wir über allgemeine Softwareentwicklung sprechen, ist es noch mehr... Es gibt mehr Angriffsfläche. Es gibt einen weiteren Einwand, den Leute gegen diese Analogie machen, nämlich dass beim autonomen Fahren ein großer Teil dieser Zeit darauf verwendet wurde, das Problem der robusten Grundwahrnehmung zu lösen, Repräsentationen aufzubauen und ein Modell zu haben, das ein gewisses gesunden Menschenverstand hat, damit es generalisieren kann, wenn es etwas sieht, das leicht außerhalb der Verteilung liegt. Wenn jemand so winkt, muss man nicht dafür trainieren. Die Sache wird ein gewisses Verständnis dafür haben, wie man darauf reagiert. Das sind Dinge, die wir heute mit LLMs oder VLMs kostenlos bekommen, so dass wir diese sehr grundlegenden Repräsentationsprobleme nicht lösen müssen. Das Bereitstellen von KIs in verschiedenen Domänen wird also so etwas sein wie das Bereitstellen eines autonomen Autos mit aktuellen Modellen in einer anderen Stadt, was schwierig ist, aber keine 10-jährige Aufgabe. Ich bin mir nicht zu 100% sicher, ob ich dem voll zustimme. Ich weiß nicht, wie viel wir kostenlos bekommen. Es gibt immer noch viele Lücken im Verständnis dessen, was wir bekommen. Wir bekommen definitiv generalisierbarere Intelligenz in einer einzelnen Entität, während autonomes Fahren eine sehr spezielle Aufgabe ist, die erfordert. In gewisser Weise ist der Aufbau einer spezialisierten Aufgabe vielleicht sogar schwieriger, da sie nicht aus einer allgemeineren Sache hervorgeht, die man in großem Maßstab tut, wenn das Sinn ergibt. Aber die Analogie resoniert immer noch nicht vollständig, da die LLMs immer noch ziemlich fehleranfällig sind und viele Lücken aufweisen, die noch gefüllt werden müssen. Ich glaube nicht, dass wir magische Generalisierung komplett out-of-the-box bekommen, in gewisser Weise. Der andere Aspekt, zu dem ich zurückkehren wollte, ist, dass selbstfahrende Autos immer noch lange nicht fertig sind. Die Einsätze sind ziemlich minimal. Selbst Waymo und so weiter hat sehr wenige Autos. Sie tun das grob gesagt, weil sie nicht wirtschaftlich sind. Sie haben etwas gebaut, das in der Zukunft lebt. Sie mussten die Zukunft zurückziehen, aber sie mussten sie unwirtschaftlich machen. Es gibt all diese Kosten, nicht nur Grenzkosten für diese Autos und ihren Betrieb und ihre Wartung, sondern auch die Investitionskosten für das Ganze. Sie wirtschaftlich zu machen, wird für sie immer noch ein harter Kampf sein. Auch wenn man sich diese Autos ansieht und niemand fährt, finde ich das eigentlich ein wenig täuschend, weil es sehr ausgeklügelte Teleoperationszentren von Menschen gibt, die irgendwie in einer Schleife mit diesen Autos sind. Ich habe nicht das volle Ausmaß davon, aber es gibt mehr menschliche Beteiligung, als man vielleicht erwarten würde. Es gibt Leute irgendwo da draußen, die von oben hereinstrahlen. Ich weiß nicht, ob sie vollständig in die Steuerung eingebunden sind. Manchmal sind sie es, aber sie sind sicherlich beteiligt und es gibt Leute. In gewisser Weise haben wir die Person nicht wirklich entfernt, wir haben sie an einen Ort gebracht, an dem man sie nicht sehen kann. Ich denke immer noch, dass es etwas Arbeit geben wird, wie Sie erwähnt haben, von einer Umgebung in eine andere. Es gibt immer noch Herausforderungen, um autonomes Fahren wirklich zu machen. Aber ich stimme zu, dass es definitiv eine Schwelle überschritten hat, die sich irgendwie real anfühlt, es sei denn, es ist wirklich teleoperiert. Zum Beispiel kann Waymo nicht in alle Teile der Stadt fahren. Mein Verdacht ist, dass es sich um Teile der Stadt handelt, in denen man kein gutes Signal bekommt. Jedenfalls weiß ich nichts über den Stack. Ich erfinde nur Sachen. Sie haben fünf Jahre lang das autonome Fahren bei Tesla geleitet. Entschuldigung, ich weiß nichts über die Besonderheiten von Waymo. Übrigens, ich liebe Waymo und nutze es ständig. Ich glaube nur, dass die Leute manchmal ein wenig zu naiv sind, was den Fortschritt angeht, und es immer noch eine riesige Menge Arbeit gibt. Tesla hat meiner Meinung nach einen viel skalierbareren Ansatz gewählt und das Team macht sich extrem gut. Ich bin quasi öffentlich dafür bekannt, wie sich das entwickeln wird. Waymo hatte einen frühen Start, weil man so viele Sensoren verpacken kann. Aber ich denke, Tesla verfolgt die skalierbarere Strategie und es wird viel mehr so aussehen. Das muss sich also noch entwickeln und hat es noch nicht. Aber ich möchte nicht über autonomes Fahren sprechen, als ob es ein Jahrzehnt gedauert hätte, weil es das noch nicht getan hat, wenn das Sinn ergibt. Weil erstens der Anfang 1980 ist und nicht vor 10 Jahren, und zweitens das Ende noch nicht da ist. Das Ende ist noch nicht in Sicht, denn wenn wir über autonomes Fahren sprechen, meine ich normalerweise autonomes Fahren in großem Maßstab. Die Leute müssen keinen Führerschein machen usw. Ich bin neugierig, zwei weitere Wege zu beleuchten, auf denen die Analogie unterschiedlich sein könnte. Der Grund, warum ich besonders neugierig darauf bin, ist, dass die Frage, wie schnell KI eingesetzt wird, wie wertvoll sie früh ist, möglicherweise die wichtigste Frage der Welt ist. Wenn Sie versuchen, das Jahr 2030 zu modellieren, ist dies die Frage, die Sie verstehen sollten. Eine weitere Sache, die man denken könnte, ist, dass man diese Latenzanforderung beim autonomen Fahren hat. Ich habe keine Ahnung, was die tatsächlichen Modelle sind, aber ich gehe davon aus, dass es sich um Zehntausende von Parametern handelt oder so etwas, was keine notwendige Einschränkung für Wissensarbeit mit LLMs ist. Vielleicht ist es das mit Computergebrauch und so etwas. Aber die andere große Sache ist, vielleicht wichtiger, die Frage der Investitionskosten. Ja, es gibt zusätzliche Kosten für die Bereitstellung einer zusätzlichen Kopie eines Modells, aber die Betriebskosten einer Sitzung sind ziemlich gering und man kann die Kosten von KI in den Trainingslauf selbst einrechnen, je nachdem, wie die Inferenzskalierung verläuft und so etwas. Aber es ist sicherlich nicht so viel wie der Bau eines ganz neuen Autos, um eine weitere Instanz eines Modells bereitzustellen. Die Wirtschaftlichkeit des breiteren Einsatzes ist also viel günstiger. Ich denke, das stimmt. Wenn man im Bereich der Bits bleibt, sind Bits eine Million Mal einfacher als alles, was die physische Welt berührt. Das gebe ich definitiv zu. Bits sind vollständig veränderbar, beliebig neu mischelbar mit sehr hoher Geschwindigkeit. Man würde eine viel schnellere Anpassung auch in der Industrie und so weiter erwarten. Was war die erste? Die Latenzanforderungen und ihre Auswirkungen auf die Modellgröße? Ich denke, das ist grob richtig. Ich denke auch, dass, wenn wir über Wissensarbeit in großem Maßstab sprechen, es einige Latenzanforderungen geben wird, praktisch gesehen, weil wir eine riesige Menge an Rechenleistung schaffen und diese bereitstellen müssen. Der letzte Aspekt, über den ich auch ganz kurz sprechen möchte, ist der Rest. Was denkt die Gesellschaft darüber? Was sind die rechtlichen Auswirkungen? Wie funktioniert es rechtlich? Wie funktioniert es versicherungstechnisch? Was sind diese Schichten und Aspekte davon? Was ist das Äquivalent von Leuten, die eine Pylone auf ein Waymo stellen? Es wird Äquivalente für all das geben. Ich habe also das Gefühl, dass autonomes Fahren eine sehr schöne Analogie ist, von der man Dinge leihen kann. Was ist das Äquivalent einer Pylone im Auto? Was ist das Äquivalent eines Teleoperationsarbeiters, der versteckt ist, und all die Aspekte davon. Haben Sie Meinungen dazu, was das für den aktuellen KI-Aufbau bedeutet, der die verfügbare Rechenleistung in ein oder zwei Jahren verzehnfachen und bis Ende des Jahrzehnts vielleicht mehr als verhundertfachen wird. Wenn die Nutzung von KI geringer sein wird, als manche Leute naiv vorhersagen, bedeutet das, dass wir zu viel Rechenleistung aufbauen, oder ist das eine separate Frage? Ähnlich wie bei den Eisenbahnen. Wobei, entschuldigen Sie? Waren es Eisenbahnen oder? Ja, das war es. Ja. Es gibt historische Präzedenzfälle. Oder war es mit der Telekommunikationsbranche? Vorwegnahme des Internets, das erst ein Jahrzehnt später kam, und Schaffung einer ganzen Blase in der Telekommunikationsbranche Ende der 90er Jahre. Ich verstehe, dass ich hier sehr pessimistisch klinge. Ich bin eigentlich optimistisch. Ich glaube, das wird funktionieren. Ich glaube, es ist machbar. Ich klinge nur pessimistisch, weil ich, wenn ich auf meine Twitter-Timeline schaue, all diese Dinge sehe, die für mich keinen Sinn ergeben. Es gibt viele Gründe dafür. Vieles davon ist ehrlich gesagt nur Fundraising. Es sind einfach Anreizstrukturen. Vieles davon mag Fundraising sein. Vieles davon ist nur Aufmerksamkeit, die Umwandlung von Aufmerksamkeit in Geld im Internet, so etwas. Davon gibt es viel, und ich reagiere nur darauf. Aber ich bin insgesamt immer noch sehr optimistisch, was die Technologie angeht. Wir werden all diese Dinge durcharbeiten. Es gab einen rapiden Fortschritt. Ich weiß nicht, ob es Überkapazitäten gibt. Ich glaube, wir werden in der Lage sein, das zu schlucken, was meiner Meinung nach gebaut wird. Zum Beispiel Claude Code oder OpenAI Codex und so etwas gab es vor einem Jahr noch nicht. Stimmt das? Das ist eine wundersame Technologie, die es nicht gab. Es wird eine riesige Nachfrage geben, wie wir sie bereits bei ChatGPT und so weiter sehen. Ich weiß also nicht, ob es Überkapazitäten gibt. Ich reagiere nur auf einige der sehr schnellen Zeitpläne, die die Leute weiterhin falsch angeben. Ich habe das in meinen 15 Jahren in der KI schon oft gehört, wo sehr angesehene Leute das immer wieder falsch machen. Ich möchte, dass dies richtig kalibriert wird, und einiges davon hat auch geopolitische Auswirkungen und so etwas bei einigen dieser Fragen. Ich möchte nicht, dass die Leute in diesem Bereich Fehler machen. Ich möchte, dass wir uns auf die Realität dessen konzentrieren, was Technologie ist und was nicht. Sprechen wir über Bildung und Eureka. Eine Sache, die Sie tun könnten, ist, ein weiteres KI-Labor zu gründen und dann zu versuchen, diese Probleme zu lösen. Ich bin neugierig, was Sie jetzt tun und warum nicht KI-Forschung selbst? Ich denke, ich würde es so ausdrücken, dass ich ein gewisses Maß an Determinismus in Bezug auf die Dinge empfinde, die KI-Labore tun. Ich habe das Gefühl, dass ich dort helfen könnte, aber ich weiß nicht, ob ich es einzigartig verbessern würde. Meine persönliche große Angst ist, dass ein Großteil dieser Dinge auf der Seite der Menschheit geschieht und dass die Menschheit dadurch entmachtet wird. Mir geht es nicht nur um all die Dyson-Sphären, die wir bauen werden und die KI auf völlig autonome Weise bauen wird, mir geht es darum, was mit den Menschen passiert. Ich möchte, dass die Menschen in Zukunft gut leben. Ich habe das Gefühl, dass ich dort viel einzigartiger Wert hinzufügen kann als eine inkrementelle Verbesserung im Spitzenlabor. Am meisten fürchte ich etwas, das in Filmen wie WALL-E oder Idiocracy oder so etwas dargestellt wird, wo die Menschheit auf der Seite dieser Dinge steht. Ich möchte, dass die Menschen in dieser Zukunft viel, viel besser sind. Für mich ist das durch Bildung erreichbar. Was machen Sie also da? Am einfachsten kann ich es so beschreiben: Wir versuchen, die Sternenflottenakademie zu bauen. Ich weiß nicht, ob Sie Star Trek gesehen haben. Habe ich nicht. Die Sternenflottenakademie ist diese Eliteinstitution für Spitzentechnologie, den Bau von Raumschiffen und die Ausbildung von Kadetten zu Piloten dieser Raumschiffe und so weiter. Ich stelle mir also eine Eliteinstitution für technisches Wissen und eine Art Schule vor, die sehr aktuell und eine führende Institution ist. Eine Kategorie von Fragen, die ich an Sie habe, ist die Erklärung, wie man technische oder wissenschaftliche Inhalte gut vermittelt, denn Sie sind einer der weltbesten darin. Ich bin neugierig sowohl darauf, wie Sie darüber für Inhalte denken, die Sie bereits auf YouTube veröffentlicht haben, als auch, inwieweit es anders ist, wie Sie darüber für Eureka denken. In Bezug auf Eureka ist eine Sache, die für mich an Bildung faszinierend ist, dass ich denke, dass sich Bildung mit KIs auf der Seite ziemlich grundlegend ändern wird. Sie muss umverdrahtet und bis zu einem gewissen Grad verändert werden. Ich denke immer noch, dass wir ziemlich am Anfang stehen. Es wird viele Leute geben, die versuchen werden, die offensichtlichen Dinge zu tun. Eine LLM haben und ihr Fragen stellen. All die grundlegenden Dinge tun, die man jetzt durch Prompting tun würde. Das ist hilfreich, aber es fühlt sich für mich immer noch ein wenig wie Matsch an. Ich möchte es richtig machen, und ich denke, die Fähigkeit dafür ist nicht vorhanden, was ich mir wünsche. Was ich mir wünsche, ist eine echte Tutoren-Erfahrung. Ein herausragendes Beispiel in meinem Kopf ist, dass ich kürzlich Koreanisch gelernt habe, also Sprachlernen. Ich habe eine Phase durchgemacht, in der ich Koreanisch selbst im Internet gelernt habe. Ich habe eine Phase durchgemacht, in der ich Teil eines kleinen Kurses in Korea war und mit einer Gruppe anderer Leute Koreanisch lernte, was wirklich lustig war. Wir hatten einen Lehrer und etwa 10 Leute, die Koreanisch lernten. Dann wechselte ich zu einem Eins-zu-eins-Tutor. Was mich faszinierte, war, dass ich glaube, ich hatte einen wirklich guten Tutor, aber einfach darüber nachzudenken, was dieser Tutor für mich tat und wie unglaublich diese Erfahrung war und wie hoch die Messlatte für das ist, was ich schließlich bauen möchte. Sofort verstand sie aus einem sehr kurzen Gespräch, wo ich als Student stehe, was ich weiß und was nicht. Sie konnte genau die Art von Fragen oder Dingen stellen, um mein Weltmodell zu verstehen. Kein LLM wird das im Moment zu 100% für Sie tun, nicht einmal annähernd. Aber ein Tutor wird das tun, wenn er gut ist. Sobald sie versteht, hat sie mir wirklich all die Dinge serviert, die ich in meinem aktuellen Fähigkeitsbereich brauchte. Ich muss immer angemessen herausgefordert werden. Ich darf nichts zu Schwieriges oder zu Triviales vorfinden, und ein Tutor ist wirklich gut darin, Ihnen genau das Richtige zu servieren. Ich hatte das Gefühl, dass ich die einzige Einschränkung beim Lernen war. Mir wurden immer die perfekten Informationen gegeben. Ich bin die einzige Einschränkung. Ich fühlte mich gut, weil ich das einzige Hindernis bin, das existiert. Es ist nicht so, dass ich keine Kenntnisse finden kann oder dass sie nicht richtig erklärt sind oder so etwas. Es ist nur meine Fähigkeit, mich zu erinnern und so weiter. Das ist es, was ich für die Leute will. Wie automatisiert man das? Sehr gute Frage. Bei der aktuellen Fähigkeit tut man das nicht. Deshalb denke ich, dass es im Moment nicht der richtige Zeitpunkt ist, diese Art von KI-Tutor zu bauen. Ich denke immer noch, dass es ein nützliches Produkt ist, und viele Leute werden es bauen, aber die Messlatte ist so hoch und die Fähigkeit ist nicht vorhanden. Selbst heute würde ich sagen, dass ChatGPT ein extrem wertvolles Bildungsprodukt ist. Aber für mich war es so faszinierend zu sehen, wie hoch die Messlatte ist. Als ich bei ihr war, hatte ich fast das Gefühl, dass ich das unmöglich bauen kann. Aber Sie bauen es, oder? Jeder, der einen wirklich guten Tutor hatte, sagt: "Wie wollen Sie das bauen?" Ich warte auf diese Fähigkeit. Ich habe einige KI-Beratungen für Computer Vision gemacht. Oft war der Wert, den ich dem Unternehmen brachte, darin, ihnen zu sagen, sie sollen keine KI verwenden. Ich war der KI-Experte, und sie beschrieben das Problem, und ich sagte: "Verwenden Sie keine KI." Das ist mein Mehrwert. Ich habe das Gefühl, dass es im Moment in der Bildung genauso ist, wo ich das Gefühl habe, dass es für das, was ich im Sinn habe, noch nicht die Zeit ist, aber die Zeit wird kommen. Vorerst baue ich etwas, das vielleicht konventioneller aussieht, das eine physische und digitale Komponente hat und so weiter. Aber es ist offensichtlich, wie das in Zukunft aussehen sollte. Soweit Sie bereit sind zu sagen, was ist das Ding, das Sie hoffen, dieses oder nächstes Jahr veröffentlicht wird? Ich baue den ersten Kurs. Ich möchte einen wirklich, wirklich guten Kurs haben, das offensichtliche State-of-the-Art-Ziel, zu dem man geht, um zu lernen, in diesem Fall KI. Das ist einfach das, womit ich vertraut bin, also ist es ein wirklich gutes erstes Produkt, um darin wirklich gut zu werden. Das baue ich also. Nanochat, das Sie kurz erwähnt haben, ist ein Abschlussprojekt von LLM101N, einem Kurs, den ich baue. Das ist ein wirklich großer Teil davon. Aber jetzt muss ich viele der Zwischenschritte ausbauen, und dann muss ich ein kleines Team von TAs einstellen und so weiter und den gesamten Kurs aufbauen. Eine weitere Sache, die ich sagen möchte, ist, dass die Leute oft, wenn sie an Bildung denken, eher an das, was ich eine weichere Komponente der Wissensverbreitung nennen würde, denken. Ich habe etwas sehr Hartes und Technisches im Sinn. In meinem Kopf ist Bildung der sehr schwierige technische Prozess des Aufbaus von Rampen zum Wissen. In meinem Kopf ist Nanochat eine Rampe zum Wissen, weil es sehr einfach ist. Es ist das super vereinfachte Full-Stack-Ding. Wenn man dieses Artefakt jemandem gibt und er es durchsieht, lernt er eine Menge Dinge. Es gibt Ihnen viel von dem, was ich Eurekas pro Sekunde nenne, was Verständnis pro Sekunde bedeutet. Das ist es, was ich will, viele Eurekas pro Sekunde. Für mich ist das ein technisches Problem, wie wir diese Rampen zum Wissen bauen. Ich denke also fast, dass Eureka nicht so anders ist als einige der Spitzenlabore oder einige der dort stattfindenden Arbeiten. Ich möchte herausfinden, wie man diese Rampen sehr effizient baut, damit die Leute nie stecken bleiben und alles immer nicht zu schwer oder nicht zu trivial ist, und man genau das richtige Material hat, um Fortschritte zu machen. Sie stellen sich kurzfristig vor, dass anstatt dass ein Tutor Ihr Verständnis prüfen kann, wenn Sie genug Selbstbewusstsein haben, um sich selbst zu prüfen, Sie nie stecken bleiben werden. Sie können die richtige Antwort finden, indem Sie mit dem TA sprechen oder mit einem LLM sprechen und sich die Referenzimplementierung ansehen. Es klingt so, als ob Automatisierung oder KI kein wesentlicher Teil ist. Bisher ist der große Alpha hier Ihre Fähigkeit, KI zu erklären, die in den Quellmaterialien des Kurses kodiert ist. Das ist im Grunde das, was der Kurs ist. Man muss immer auf die vorhandene Fähigkeit kalibriert sein. Viele Leute werden einfach ChatGPT usw. fragen. Aber ich denke, im Moment, zum Beispiel, wenn man zu ChatGPT geht und sagt: "Bring mir KI bei", gibt es keine Möglichkeit. Es wird Ihnen etwas Matsch geben. KI wird im Moment niemals Nanochat schreiben. Aber Nanochat ist ein wirklich nützlicher Zwischenpunkt. Ich arbeite mit KI zusammen, um all dieses Material zu erstellen, also ist KI immer noch grundlegend sehr hilfreich. Früher habe ich CS231n an der Stanford University aufgebaut, was meiner Meinung nach der erste Deep-Learning-Kurs an der Stanford University war, der sehr beliebt wurde. Der Unterschied beim Aufbau von 231n damals und LLM101N jetzt ist ziemlich drastisch. Ich fühle mich durch die LLMs, wie sie jetzt existieren, wirklich gestärkt, aber ich bin sehr stark involviert. Sie helfen mir beim Aufbau der Materialien, ich bin viel schneller. Sie erledigen viel von der langweiligen Arbeit usw. Ich habe das Gefühl, dass ich den Kurs viel schneller entwickle, und er ist LLM-infundiert, aber er ist noch nicht an einem Punkt, an dem er kreativ Inhalte erstellen kann. Ich bin immer noch da, um das zu tun. Die Schwierigkeit besteht immer darin, sich selbst an das zu kalibrieren, was existiert. Wenn Sie sich vorstellen, was in ein paar Jahren durch Eureka verfügbar sein wird, scheint die größte Engstelle darin zu bestehen, Karpathys in jedem Bereich zu finden, die ihr Verständnis in diese Rampen umwandeln können. Das würde sich im Laufe der Zeit ändern. Im Moment wäre es, Fakultätsmitglieder einzustellen, die Hand in Hand mit KI und einem Team von Leuten arbeiten, um State-of-the-Art-Kurse zu erstellen. Im Laufe der Zeit können vielleicht einige der TAs zu KIs werden. Man nimmt einfach alle Kursmaterialien und dann kann man einen sehr guten automatisierten TA für den Studenten bereitstellen, wenn er grundlegendere Fragen hat oder so etwas. Aber ich denke, man braucht Fakultät für die Gesamtarchitektur eines Kurses und um sicherzustellen, dass er passt. Ich sehe also eine Entwicklung, wie sich das entwickeln wird. Vielleicht bin ich zu einem späteren Zeitpunkt nicht einmal mehr so nützlich und KI macht den Großteil des Designs viel besser, als ich es könnte. Aber ich denke, das wird noch einige Zeit dauern, bis es sich entwickelt. Stellen Sie sich vor, dass Leute, die Expertise in anderen Bereichen haben, dann Kurse beisteuern, oder haben Sie das Gefühl, dass es für Ihre Vision wesentlich ist, dass Sie, angesichts Ihres Verständnisses, wie Sie lehren wollen, derjenige sind, der die Inhalte entwirft? Sal Khan spricht alle Videos auf Khan Academy. Stellen Sie sich so etwas vor? Nein, ich werde Fakultät einstellen, weil es Domänen gibt, in denen ich kein Experte bin. Das ist der einzige Weg, um letztendlich das State-of-the-Art-Erlebnis für den Studenten anzubieten. Ich gehe davon aus, dass ich Fakultät einstellen werde, aber ich werde wahrscheinlich noch eine Weile im Bereich KI bleiben. Ich habe etwas Konventionelleres im Sinn für die aktuelle Fähigkeit, als die Leute wahrscheinlich erwarten würden. Wenn ich die Sternenflottenakademie baue, stelle ich mir wahrscheinlich eine physische Institution vor, und vielleicht eine Stufe darunter ein digitales Angebot, das nicht das State-of-the-Art-Erlebnis ist, das man bekommt, wenn jemand physisch Vollzeit kommt und wir Material von Anfang bis Ende durcharbeiten und sicherstellen, dass man es versteht. Das ist das physische Angebot. Das digitale Angebot ist eine Menge Zeug im Internet und vielleicht ein LLM-Assistent. Es ist ein bisschen gimmickiger in einer Stufe darunter, aber zumindest ist es für 8 Milliarden Menschen zugänglich. Ich denke, Sie erfinden im Grunde das College aus ersten Prinzipien für die heute verfügbaren Werkzeuge und wählen nur die Leute aus, die die Motivation und das Interesse haben, sich wirklich mit dem Material auseinanderzusetzen. Es wird viel nicht nur Bildung, sondern auch Umschulung geben müssen. Ich würde gerne dort helfen, denn die Arbeitsplätze werden sich wahrscheinlich ziemlich verändern. Zum Beispiel versuchen heute viele Leute, sich speziell in KI weiterzubilden. Ich denke, das ist ein wirklich guter Kurs, der in dieser Hinsicht unterrichtet werden kann. Motivationstechnisch ist es vor AGI sehr einfach zu lösen, weil die Leute Geld verdienen wollen. So verdient man heute Geld in der Industrie. Post-AGI ist interessanter, möglicherweise, denn wenn alles automatisiert ist und niemand etwas zu tun hat, warum sollte jemand zur Schule gehen? Ich sage oft, dass Bildung vor AGI nützlich ist. Bildung nach AGI ist Spaß. Ähnlich gehen die Leute heute ins Fitnessstudio. Wir brauchen ihre körperliche Kraft nicht, um schwere Objekte zu manipulieren, weil wir Maschinen haben, die das tun. Sie gehen immer noch ins Fitnessstudio. Warum gehen sie ins Fitnessstudio? Weil es Spaß macht, es gesund ist und man heiß aussieht, wenn man ein Sixpack hat. Es ist für die Menschen attraktiv, das auf eine sehr tiefe, psychologische, evolutionäre Weise für die Menschheit zu tun. Bildung wird sich auf die gleiche Weise entwickeln. Sie werden zur Schule gehen, wie Sie ins Fitnessstudio gehen. Im Moment lernen nicht viele Leute, weil Lernen schwer ist. Man springt vom Material ab. Manche Leute überwinden diese Hürde, aber für die meisten Leute ist es schwer. Das ist ein technisches Problem, das gelöst werden muss. Es ist ein technisches Problem, das zu tun, was mein Tutor für mich getan hat, als ich Koreanisch lernte. Es ist machbar und baubar, und jemand sollte es bauen. Es wird das Lernen von allem trivial und wünschenswert machen, und die Leute werden es zum Spaß tun, weil es trivial ist. Wenn ich einen solchen Tutor für beliebige Wissensgebiete hätte, wäre es so viel einfacher, alles zu lernen, und die Leute würden es tun. Sie werden es aus den gleichen Gründen tun, aus denen sie ins Fitnessstudio gehen. Das klingt anders als die Nutzung... Also nach AGI nutzen Sie das als Unterhaltung oder zur Selbstverbesserung. Aber es klang so, als hätten Sie auch die Vision, dass diese Bildung relevant ist, um die Menschheit die Kontrolle über KI zu behalten. Das klingt anders. Ist es für manche Leute unterhaltsam, aber dann für andere ermächtigend? Wie denken Sie darüber? Ich denke, letztendlich ist es ein bisschen ein verlorenes Spiel, wenn das Sinn ergibt. Langfristig ist es das. Langfristig, was länger ist als die meisten Leute in der Industrie denken, ist es ein verlorenes Spiel. Ich denke, die Leute können so weit gehen und wir haben kaum an der Oberfläche dessen gekratzt, wie weit eine Person gehen kann. Das liegt nur daran, dass die Leute von Material abprallen, das zu einfach oder zu schwer ist. Die Leute werden viel weiter kommen. Jeder wird fünf Sprachen sprechen, weil warum nicht? Weil es so trivial ist. Jeder wird den gesamten Grundlehrplan eines Grundstudiums usw. kennen. Jetzt, da ich die Vision verstehe, ist das sehr interessant. Es hat ein perfektes Analogon in der Fitnesskultur. Ich glaube nicht, dass vor 100 Jahren jemand durchtrainiert gewesen wäre. Niemand hätte spontan zwei oder drei Platten Bankdrücken oder so etwas geschafft. Das ist jetzt sehr verbreitet, dank dieser Idee des systematischen Trainings und des Gewichthebens im Fitnessstudio oder des systematischen Trainings, um einen Marathon laufen zu können, was eine Fähigkeit ist, die die meisten Menschen nicht spontan hätten. Sie stellen sich ähnliche Dinge für das Lernen in vielen verschiedenen Bereichen vor, viel intensiver, tiefer, schneller. Genau. Ich wette ein wenig implizit auf eine gewisse Zeitlosigkeit der menschlichen Natur. Es wird wünschenswert sein, all diese Dinge zu tun, und ich denke, die Leute werden danach streben, so wie sie es seit Jahrtausenden tun. Das wird weiterhin zutreffen. Es gibt dafür historische Beweise. Wenn man sich zum Beispiel Aristokraten ansieht oder das antike Griechenland oder so etwas, dann haben die Menschen, wann immer es kleine Nischen gab, die in gewisser Weise post-AGI waren, viel ihrer Zeit damit verbracht, auf eine bestimmte Weise zu florieren, sei es körperlich oder kognitiv. Ich fühle mich mit den Aussichten dafür gut. Wenn das falsch ist und ich mich irre und wir in einer WALL-E- oder Idiocracy-Zukunft landen, dann ist mir egal, ob es Dyson-Sphären gibt. Das ist ein schreckliches Ergebnis. Mir liegt die Menschheit wirklich am Herzen. Jeder muss in gewisser Weise übermenschlich sein. Es ist immer noch eine Welt, in der uns das nicht ermöglicht... Es ist wie die Welt der Kultur, richtig? Sie werden die Flugbahn der Technologie nicht grundlegend transformieren oder Entscheidungen durch Ihre eigene Arbeit oder Kognition allein beeinflussen können. Vielleicht können Sie Entscheidungen beeinflussen, weil die KI Ihre Zustimmung verlangt, aber nicht, weil ich etwas erfunden habe oder eine neue Designidee hatte, die ich wirklich beeinflusse. Vielleicht. Ich denke, es wird eine Übergangsphase geben, in der wir in der Lage sein werden, im Kreislauf zu sein und Dinge voranzutreiben, wenn wir viel verstehen. Langfristig wird das wahrscheinlich verschwinden. Es könnte sogar zu einem Sport werden. Im Moment gibt es Powerlifter, die in diese Richtung extrem gehen. Was ist Powerlifting in einem kognitiven Zeitalter? Vielleicht sind es Leute, die wirklich versuchen, Olympische Spiele im Wissen zu veranstalten. Wenn man einen perfekten KI-Tutor hat, kann man vielleicht extrem weit kommen. Ich habe das Gefühl, dass die Genies von heute kaum an der Oberfläche dessen kratzen, was ein menschlicher Geist leisten kann, denke ich. Ich liebe diese Vision. Ich habe auch das Gefühl, dass die Person, mit der Sie den größten Produkt-Markt-Fit haben, ich bin, denn mein Job beinhaltet, jede Woche verschiedene Themen lernen zu müssen, und ich bin sehr begeistert. Mir geht es ähnlich. Viele Leute zum Beispiel hassen die Schule und wollen raus. Ich mochte die Schule wirklich. Ich liebte es, Dinge zu lernen und so weiter. Ich wollte in der Schule bleiben. Ich bin bis zum Doktortitel geblieben und dann ließen sie mich nicht länger bleiben, also ging ich in die Industrie. Grob gesagt, ich liebe es zu lernen, auch um des Lernens willen, aber ich liebe es auch zu lernen, weil es eine Form der Ermächtigung und des Nützlichseins und der Produktivität ist. Sie haben auch einen subtilen Punkt gemacht, den ich verdeutlichen möchte. Mit dem, was bisher mit Online-Kursen passiert ist, warum haben sie uns nicht schon in die Lage versetzt, jeden einzelnen Menschen alles lernen zu lassen? Sie sind einfach so motivationsgeladen, weil es keine offensichtlichen Einstiege gibt und es so einfach ist, stecken zu bleiben. Wenn Sie stattdessen das hier hätten – wie einen wirklich guten menschlichen Tutor – wäre das ein solcher Durchbruch aus Motivationssicht. Ich denke schon. Es fühlt sich schlecht an, vom Material abzuprallen. Es fühlt sich schlecht an. Man bekommt negative Belohnung, wenn man Zeit in etwas investiert und es nicht klappt, oder wenn man völlig gelangweilt ist, weil das, was man bekommt, zu einfach oder zu schwer ist. Wenn man es richtig macht, fühlt sich Lernen gut an. Das ist ein technisches Problem, um dorthin zu gelangen. Eine Weile wird es KI plus menschliche Zusammenarbeit sein, und irgendwann vielleicht nur noch KI. Kann ich einige Fragen zum guten Lehren stellen? Wenn Sie einem anderen Pädagogen in einem anderen Bereich, der Sie interessiert, Ratschläge geben müssten, um die Art von YouTube-Tutorials zu erstellen, die Sie gemacht haben. Vielleicht wäre es besonders interessant, über Domänen zu sprechen, in denen man das technische Verständnis einer Person nicht testen kann, indem man sie etwas programmieren lässt oder so etwas. Welchen Rat würden Sie ihnen geben? Das ist ein ziemlich breites Thema. Es gibt 10–20 Tipps und Tricks, die ich wahrscheinlich halb bewusst anwende. Aber vieles davon kommt aus meinem Physik-Hintergrund. Ich habe meinen Physik-Hintergrund wirklich, wirklich genossen. Ich habe eine ganze Tirade darüber, warum jeder Physik in der frühen Schulbildung lernen sollte, weil die frühe Schulbildung nicht darin besteht, Wissen oder Erinnerung für spätere Aufgaben in der Industrie anzuhäufen. Es geht darum, ein Gehirn zu starten. Physik startet das Gehirn auf einzigartige Weise am besten, weil einige der Dinge, die man im Physikunterricht im Gehirn tut, später extrem wertvoll sind. Die Idee, Modelle und Abstraktionen aufzubauen und zu verstehen, dass es eine Erster-Näherung gibt, die das meiste des Systems beschreibt, aber dann gibt es Zweiter-, Dritter-, Vierter-Ordnungs-Terme, die vorhanden sein können oder auch nicht. Die Idee, dass man ein sehr verrauschtes System beobachtet, aber es gibt diese Grundfrequenzen, die man abstrahieren kann. Wenn ein Physiker in den Unterricht kommt und sagt: "Nehmen wir eine kugelförmige Kuh an", lachen alle, aber das ist brillant. Es ist brillantes Denken, das in der gesamten Industrie sehr verallgemeinerbar ist, weil eine Kuh auf vielfältige Weise als Kugel angenähert werden kann. Es gibt

Ein wirklich gutes Buch, zum Beispiel "Scale". Es ist von einem Physiker, der über Biologie spricht. Vielleicht ist das auch ein Buch, das ich zum Lesen empfehlen würde. Man kann viele wirklich interessante Näherungen und Skalierungsgesetze von Tieren erhalten. Man kann sich ihre Herzschläge und ähnliche Dinge ansehen, und sie stimmen mit der Größe des Tieres und ähnlichem überein. Man kann ein Tier als Volumen betrachten. Man kann über die Wärmeableitung davon sprechen, weil die Wärmeableitung mit der Oberfläche wächst, die mit dem Quadrat wächst. Aber die Wärmeerzeugung oder -entstehung wächst mit dem Kubik. Ich habe also das Gefühl, dass Physiker die richtigen kognitiven Werkzeuge haben, um Probleme in der Welt zu lösen. Deshalb versuche ich aufgrund dieser Ausbildung immer, die Terme erster Ordnung oder die Terme zweiter Ordnung von allem zu finden. Wenn ich ein System oder eine Sache beobachte, habe ich ein Gewirr von Ideen oder Wissen in meinem Kopf. Ich versuche herauszufinden, was wichtig ist. Was ist die Komponente erster Ordnung? Wie kann ich es vereinfachen? Wie kann ich die einfachste Sache haben, die diese Sache zeigt, sie in Aktion zeigt, und dann kann ich die anderen Terme hinzufügen? Vielleicht ein Beispiel aus einem meiner Repositories, das es meiner Meinung nach gut veranschaulicht, heißt micrograd. Ich weiß nicht, ob Sie damit vertraut sind. micrograd sind also 100 Zeilen Code, die Backpropagation zeigen. Man kann neuronale Netze aus einfachen Operationen wie Plus und Mal usw. erstellen. Legosteine von neuronalen Netzen. Man baut einen Rechengraphen auf und führt einen Vorwärtsdurchlauf und einen Rückwärtsdurchlauf durch, um die Gradienten zu erhalten. Dies ist das Herzstück des gesamten Lernens neuronaler Netze. micrograd sind also 100 Zeilen ziemlich interpretierbaren Python-Codes, und sie können beliebige neuronale Netze vorwärts und rückwärts verarbeiten, aber nicht effizient. micrograd, diese 100 Zeilen Python, sind alles, was Sie brauchen, um zu verstehen, wie neuronale Netze trainieren. Alles andere ist nur Effizienz. Alles andere ist Effizienz. Es gibt eine riesige Menge Arbeit, um Effizienz zu erreichen. Man braucht seine Tensoren, man legt sie aus, man stridet sie, man stellt sicher, dass seine Kerne die Speicherbewegung korrekt orchestrieren usw. Das ist alles nur Effizienz, grob gesagt. Aber das zentrale intellektuelle Stück des Trainings neuronaler Netze ist micrograd. Es sind 100 Zeilen. Man kann es leicht verstehen. Es ist eine rekursive Anwendung der Kettenregel zur Ableitung des Gradienten, die es Ihnen ermöglicht, jede beliebige differenzierbare Funktion zu optimieren. Ich liebe es also, diese kleinen Terme zu finden und sie auf einem Silbertablett zu servieren und zu entdecken. Ich habe das Gefühl, dass Bildung das intellektuell interessanteste ist, weil man ein Gewirr von Verständnis hat und versucht, es so darzulegen, dass eine Rampe entsteht, bei der alles nur vom Vorherigen abhängt. Ich finde, dass dieses Entwirren von Wissen eine so intellektuell interessante kognitive Aufgabe ist. Ich mache es persönlich gerne, aber ich habe einfach eine Faszination dafür, Dinge auf eine bestimmte Weise darzulegen. Vielleicht hilft mir das. Es macht auch die Lernerfahrung viel motivierter. Ihr Tutorial zum Transformer beginnt mit Bigrammen, buchstäblich einer Nachschlagetabelle, von "Hier ist das aktuelle Wort oder hier ist das vorherige Wort, hier ist das nächste Wort." Es ist buchstäblich nur eine Nachschlagetabelle. Das ist die Essenz davon, ja. Es ist eine so brillante Art, mit einer Nachschlagetabelle zu beginnen und dann zu einem Transformer zu gehen. Jedes Stück ist motiviert. Warum würde man das hinzufügen? Warum würde man das nächste hinzufügen? Man könnte die Aufmerksamkeitsformel auswendig lernen, aber ein Verständnis dafür haben, warum jedes einzelne Stück relevant ist, welches Problem es löst. Sie präsentieren den Schmerz, bevor Sie eine Lösung präsentieren, und wie clever ist das? Sie möchten den Studenten durch diesen Prozess führen. Es gibt viele andere kleine Dinge, die es nett, ansprechend und interessant machen. Immer wieder den Studenten auffordern. Es gibt viele kleine Dinge wie diese, die wichtig sind, und viele gute Pädagogen tun das. Wie würden Sie das lösen? Ich werde die Lösung nicht präsentieren, bevor Sie raten. Das wäre verschwendet. Das ist ein bisschen ein... Ich möchte nicht fluchen, aber es ist ein Arschlochzug Ihnen gegenüber, Ihnen die Lösung zu präsentieren, bevor ich Ihnen die Chance gebe, selbst darauf zu kommen. Denn wenn Sie versuchen, selbst darauf zu kommen, bekommen Sie ein besseres Verständnis dafür, was der Aktionsraum ist, was das Ziel ist, und dann, warum nur diese Aktion dieses Ziel erfüllt. Sie haben die Chance, es selbst zu versuchen, und Sie haben eine Wertschätzung, wenn ich Ihnen die Lösung gebe. Es maximiert die Menge an Wissen pro neu hinzugefügter Tatsache. Warum glauben Sie, dass Leute, die in ihrem Fachgebiet echte Experten sind, standardmäßig oft schlecht darin sind, es jemandem zu erklären, der gerade anfängt? Das ist der Fluch des Wissens und der Expertise. Das ist ein echtes Phänomen, und ich habe darunter genauso gelitten, wie ich versuche, es nicht zu tun. Aber man nimmt bestimmte Dinge als selbstverständlich hin und kann sich nicht in die Lage von neuen Leuten versetzen, die gerade erst anfangen. Das ist allgegenwärtig und passiert mir auch. Eine Sache, die extrem hilfreich ist. Als Beispiel hat mir kürzlich jemand ein Papier in Biologie gezeigt, und ich hatte sofort so viele schreckliche Fragen. Was ich tat, war, ChatGPT zu benutzen, um die Fragen mit dem Papier im Kontextfenster zu stellen. Es hat einige der einfachen Dinge durchgearbeitet. Dann habe ich den Thread mit der Person geteilt, die das Papier geschrieben hat oder daran gearbeitet hat. Ich hatte das Gefühl, wenn sie die dummen Fragen sehen könnten, die ich hatte, könnte es ihnen helfen, in Zukunft besser zu erklären. Für mein Material würde ich es lieben, wenn Leute ihre dummen Gespräche mit ChatGPT über die von mir erstellten Dinge teilen würden, denn das hilft mir wirklich, mich wieder in die Lage von jemandem zu versetzen, der anfängt. Ein weiterer Trick, der erstaunlich gut funktioniert. Wenn jemand ein Papier oder einen Blogbeitrag oder eine Ankündigung schreibt, ist in 100% der Fälle die Erzählung oder Transkription, wie er es Ihnen beim Mittagessen erklären würde, nicht nur verständlicher, sondern auch genauer und wissenschaftlicher, in dem Sinne, dass die Leute die Tendenz haben, Dinge auf die abstrakteste, jargonreichste Weise zu erklären und vier Absätze lang ihren Hals zu räuspern, bevor sie die zentrale Idee erklären. Aber es gibt etwas an der direkten Kommunikation mit einer Person, das Sie zwingt, einfach die Sache zu sagen. Sagen Sie einfach die Sache. Ich habe diesen Tweet gesehen, ich fand ihn wirklich gut. Ich habe ihn mit vielen Leuten geteilt. Ich habe das viele, viele Male bemerkt. Das prominenteste Beispiel ist, dass ich mich an meine Doktorandenzeit erinnere, als ich Forschung betrieb. Man liest das Papier von jemandem und arbeitet daran, zu verstehen, was es tut. Dann fängt man sie ab, man trinkt später auf der Konferenz ein Bier mit ihnen und fragt sie: "Also dieses Papier, was haben Sie gemacht? Worum geht es in dem Papier?" Sie werden Ihnen einfach diese drei Sätze sagen, die die Essenz des Papiers perfekt einfangen und Ihnen die Idee vermitteln. Und Sie mussten das Papier nicht lesen. Erst wenn man mit einem Bier oder so am Tisch sitzt, sagen sie: "Oh ja, das Papier ist einfach, man nimmt diese Idee, man nimmt jene Idee und probiert dieses Experiment aus und man probiert dieses Ding aus." Sie haben eine Art, es einfach konversationell perfekt zu formulieren. Warum ist das nicht der Abstract? Genau. Das kommt aus der Perspektive, wie jemand, der versucht, eine Idee zu erklären, sie besser formulieren sollte. Was ist Ihr Rat als Student an andere Studenten, wenn Sie keinen Karpathy haben, der die Darstellung einer Idee übernimmt? Wenn Sie ein Papier von jemandem lesen oder ein Buch lesen, welche Strategien wenden Sie an, um Material zu lernen, das Sie interessiert, in Bereichen, in denen Sie kein Experte sind? Ich weiß nicht, ob ich einzigartige Tipps und Tricks habe, um ehrlich zu sein. Es ist ein schmerzhafter Prozess. Eine Sache, die mir immer sehr geholfen hat – ich hatte einen kleinen Tweet dazu – Dinge auf Abruf zu lernen ist ziemlich gut. Tiefenweise lernen. Ich glaube, man braucht ein bisschen Abwechslung zwischen dem tiefen Lernen auf Abruf – man versucht, ein bestimmtes Projekt zu realisieren, für das man eine Belohnung erhält – und dem breiten Lernen, bei dem es einfach darum geht: "Oh, lass uns das 101 machen, und hier sind all die Dinge, die man vielleicht braucht." Das ist viel von der Schule – macht breites Lernen, wie: "Oh, vertrauen Sie mir, das werden Sie später brauchen", so etwas. Okay, ich vertraue Ihnen. Ich werde es lernen, weil ich denke, ich brauche es. Aber ich liebe die Art des Lernens, bei der man eine Belohnung für das Tun von etwas erhält und man auf Abruf lernt. Die andere Sache, die ich extrem hilfreich fand. Das ist ein Aspekt, bei dem Bildung ein bisschen selbstloser ist, aber Dinge Leuten zu erklären ist eine wunderschöne Art, etwas tiefer zu lernen. Das passiert mir ständig. Es passiert wahrscheinlich auch anderen Leuten, denn ich merke, wenn ich etwas nicht wirklich verstehe, kann ich es nicht erklären. Ich versuche es und denke: "Oh, ich verstehe das nicht." Es ist so ärgerlich, sich damit abzufinden. Man kann zurückgehen und sicherstellen, dass man es verstanden hat. Es füllt diese Lücken im Verständnis. Es zwingt einen, sich damit auseinanderzusetzen und sie zu versöhnen. Ich liebe es, Dinge neu zu erklären, und Leute sollten das auch öfter tun. Das zwingt einen, das Wissen zu manipulieren und sicherzustellen, dass man weiß, wovon man spricht, wenn man es erklärt. Das ist eine ausgezeichnete Anmerkung zum Abschluss. Andrej, das war großartig. Danke.