The End of Coding: Andrej Karpathy on Agents, AutoResearch, and the Loopy Era of AI

Der Code ist nicht einmal mehr das richtige Verb, oder? Aber ich muss meinen Willen 16 Stunden am Tag meinen Agenten ausdrücken, manifestieren. >> Wie kann ich nicht nur eine einzige Sitzung mit Clot-Code oder Code-Ex oder einigen dieser Agenten-Harnesses haben? Wie kann ich mehr davon haben? Wie kann ich das angemessen tun? Der Agententeil wird jetzt als selbstverständlich angesehen. Jetzt werden die klauenartigen Entitäten als selbstverständlich angesehen und jetzt kann man mehrere davon haben und jetzt kann man ihnen Anweisungen geben und jetzt kann man Optimierungen über die Anweisungen haben. Aber ich meine, das ist der Grund, warum es zur Psychose kommt, dass dies wie unendlich ist und alles eine Frage des Könnens ist. Hallo Zuhörer, willkommen zurück bei No Briars. Heute bin ich bei Andrej Karpathy und wir haben ein weitreichendes Gespräch für Sie über Code-Agenten, die Zukunft der Ingenieurwissenschaften und KI-Forschung, wie mehr Menschen zur Forschung beitragen können, was in der Robotik passiert, seine Vorhersage, wie Agenten in die reale Welt hinausgehen können, und Bildung in diesem nächsten Zeitalter. Willkommen, Andrej. Andrej, danke, dass du das machst. Ja, danke, dass du mich eingeladen hast. >> Äh, es waren sehr aufregende Monate in der KI. >> Äh, ja, das kann man wohl sagen. >> Ich erinnere mich, dass ich irgendwann ins Büro kam und du wirklich vertieft warst, und ich fragte, woran du arbeitest, und du sagtest: "Ich muss einfach 16 Stunden am Tag coden, oder Code ist nicht einmal mehr das richtige Verb, oder? Aber ich muss >> äh meinen Willen meinen Agenten 16 Stunden am Tag ausdrücken. Manifestieren >> denn es gab einen Sprung in der Fähigkeit. >> Äh, was passiert? Und erzähl mir von deiner Erfahrung. >> Ja, ich fühle mich irgendwie, als wäre ich in diesem ständigen Zustand, und das bin ich oft immer noch, der KI-Psychose, einfach die ganze Zeit. Denn es gab eine riesige Freischaltung dessen, was man als Person, als Individuum erreichen kann, richtig? Denn man war durch seine Tippgeschwindigkeit und so weiter eingeschränkt. Aber jetzt mit diesen Agenten, ich würde sagen, im Dezember hat sich wirklich etwas umgeschaltet, wo ich von 80/20, wie Sie wissen, äh zu 20/80 überging, selbst Code zu schreiben, im Vergleich zum einfachen Delegieren an Agenten. Und ich glaube nicht einmal, dass es jetzt 20/80 ist. Ich glaube, es ist viel mehr als das. Ich glaube nicht, dass ich seit Dezember eine Zeile Code getippt habe. >> Ähm, was eine extrem große Veränderung ist. >> Ähm, ich habe zum Beispiel mit meinen Eltern darüber gesprochen und ich glaube nicht, dass ein normaler Mensch wirklich erkennt, dass das passiert ist oder wie dramatisch es war, wie buchstäblich, wenn man einen zufälligen Softwareentwickler oder so etwas an seinem Schreibtisch findet und was er tut, wie sein Standard-Workflow beim Aufbau von Software seit Dezember komplett anders ist. >> Also bin ich in diesem Zustand der Psychose, um herauszufinden, was möglich ist, um es an seine Grenzen zu bringen. Wie ist es, wie kann ich nicht nur eine einzige Sitzung mit >> äh Clot-Code oder Code-Ex oder einigen dieser Agenten-Harnesses haben? Wie kann ich mehr davon haben? Wie kann ich das angemessen tun? Und dann, wie kann ich diese Klauen benutzen? Was sind diese Klauen? >> Äh, und so gibt es viele neue Dinge. Ich möchte an der Spitze davon stehen, wissen Sie, und ich bin sehr unruhig, dass ich nicht an der Spitze davon stehe. Und ich sehe viele Leute auf Twitter, die alle möglichen Dinge tun, und sie klingen alle nach wirklich guten Ideen, und ich muss an der Spitze stehen, sonst fühle ich mich extrem nervös. Und so bin ich, glaube ich, einfach in dieser Psychose, was möglich ist, weil es im Grunde unerforscht ist. >> Nun, wenn Sie nervös sind, sind wir anderen auch nervös. Wir haben ein Team, mit dem wir bei Conviction zusammenarbeiten, deren Einrichtung ist, dass keiner der Ingenieure Code von Hand schreibt und sie alle mit Mikrofonen ausgestattet sind und sie nur die ganze Zeit zu ihren Agenten flüstern. Es ist die seltsamste Arbeitsumgebung überhaupt. >> Äh, und ich dachte, sie wären verrückt, und jetzt akzeptiere ich es vollkommen. Ich dachte: "Oh, das war der Weg." Sie sind einfach voraus. >> Ähm, wie denken Sie über Ihre eigene Kapazität nach, um Projekte zu erforschen oder durchzuführen, wie ist sie begrenzt? >> Ja. Wodurch ist sie begrenzt? Äh, ich glaube, alles, so viele Dinge, auch wenn sie nicht funktionieren, glaube ich, dass es zu einem großen Teil eine Frage des Könnens ist. Es ist nicht so, dass die Fähigkeit nicht da ist. Es ist, dass Sie einfach keinen Weg gefunden haben, das, was verfügbar ist, zusammenzufügen. Wie ich einfach nicht, ich habe nicht gut genug Anweisungen in der Agenten-MD-Datei gegeben oder was auch immer es sein mag. Ich habe kein schönes Speicherwerkzeug, das ich dort hineingesteckt habe oder so etwas. Also fühlt es sich alles ein bisschen wie Können an, wenn es nicht funktioniert, bis zu einem gewissen Grad. Sie wollen sehen, wie Sie sie lähmen können usw. Und Sie wollen Peter Steinberg sein, im Grunde. >> Also Peter ist berühmt. Er hat ein lustiges Foto, auf dem er vor einem Monitor mit vielen >> äh wie >> Code-Ex-Agenten steht, die den Monitor stylen, und sie dauern alle etwa 20 Minuten, wenn Sie sie richtig ansprechen und den hohen Aufwand betreiben. Und so dauern sie alle etwa 20 Minuten. Sie haben mehrere, wissen Sie, 10 Repos ausgecheckt, und so wechselt er einfach zwischen ihnen und gibt ihnen Arbeit. Es ist einfach so, dass Sie sich in viel größeren Makroaktionen bewegen können. Es ist nicht nur so, hier ist eine Zeile Code, hier ist eine neue Funktion. Es ist so, hier ist eine neue Funktionalität und delegieren Sie sie an Agent 1. Hier ist eine neue Funktionalität, die die andere nicht stören wird. Geben Sie sie an 2 und versuchen Sie dann, ihre Arbeit so gut wie möglich zu überprüfen, je nachdem, wie viel Ihnen dieser Code bedeutet. >> Was sind das für Makroaktionen, mit denen ich mein Software-Repository manipulieren kann? Und ein anderer Agent recherchiert, und ein anderer Agent schreibt Code, ein anderer entwickelt einen Plan für eine neue Implementierung. Und so geschieht alles in diesen Makroaktionen über Ihr Repository. >> Und Sie versuchen einfach, darin wirklich gut zu werden und sich eine Muskelgedächtnis dafür anzueignen, ist extrem >> ja, es ist erstens sehr lohnend, weil es tatsächlich funktioniert. >> Aber es ist auch irgendwie das Neue, das man lernen muss. Deshalb, daher die Psychose. Ja, ich fühle wirklich, dass mein Instinkt ist, wie immer, wenn ich darauf warte, dass ein Agent etwas abschließt, das Offensichtliche ist, nun, ich kann mehr Arbeit machen, richtig? Wie wenn ich Zugang zu mehr Tokens habe, dann sollte ich einfach mehr Aufgaben hinzufügen. Und das ist sehr stressig, denn wenn Sie >> sich nicht sehr durch Ihre Fähigkeit, Geld für Tokens auszugeben, eingeschränkt fühlen, dann sind Sie der Engpass im System, das die maximale Kapazität hat. >> Ja. Sie maximieren zumindest nicht Ihr Abonnement und idealerweise für mehrere Agenten, wie wenn Ihnen die Kodierung bei Code-Ex ausgeht, sollten Sie zu Cloud oder etwas anderem wechseln, ich weiß nicht, wie das ist, was ich ein wenig versucht habe, und ich fühle mich nervös, wenn ich noch ein Abonnement übrig habe, das bedeutet nur, dass ich meinen Token-Durchsatz nicht maximiert habe, also habe ich das tatsächlich erlebt, als ich Doktorand war, man fühlte sich nervös, wenn die GPUs nicht liefen, wie man GPU-Kapazität hat und man die verfügbaren Flops nicht maximiert, aber jetzt geht es nicht um Flops, es geht um Tokens, also was ist Ihr Token-Durchsatz und welchen Token-Durchsatz beherrschen Sie? Ich würde tatsächlich argumentieren, dass es sehr interessant ist, dass wir mindestens 10 Jahre hatten, in denen viele Ingenieuraufgaben einfach gemacht wurden, sie fühlten sich nicht durch Rechenleistung eingeschränkt. >> Richtig. >> Und die gesamte Branche fühlt das jetzt, sie fühlen sich ressourcenbeschränkt. >> Äh, und jetzt, da Sie diesen großen Fähigkeitssprung haben, sagen Sie: "Oh, eigentlich ist es nicht mehr meine Fähigkeit, auf die Rechenleistung zuzugreifen, wie ich die bindende Einschränkung bin. >> Ja, es ist eine Frage des Könnens. >> Was sehr ermächtigend ist, denn ja, denn man kann besser werden. Deshalb, deshalb ist es sehr süchtig machend, weil es Freischaltungen gibt, wenn man besser wird. >> Wohin geht das Ihrer Meinung nach? Wenn Sie einfach darüber nachdenken, wie, okay, Sie wissen, Andrej iteriert und alle anderen arbeiten 16 Stunden am Tag daran, besser im Umgang mit Coding-Agenten zu werden, wie sieht es in einem Jahr aus, wenn Sie Meisterschaft erreicht haben? >> Ja. Wie sieht Meisterschaft aus, ganz am Ende des Jahres oder in zwei, drei, fünf, zehn Jahren usw.? >> Nun, ich denke, jeder ist im Grunde daran interessiert, den Stack nach oben zu gehen. Also würde ich sagen, ja, es geht nicht um eine einzelne Sitzung mit Ihrem Agenten. >> Mehrere Agenten, wie sie in Teams zusammenarbeiten und so weiter. Also versucht jeder herauszufinden, wie das aussieht. Und dann würde ich sagen, ist Claw auch eine interessante Richtung, weil es wirklich, wenn ich Claw sage, meine ich diese Schicht, die >> die Beharrlichkeit auf ein ganz neues Niveau hebt. Wie es etwas ist, das >> immer wieder schleift, ist wie >> es ist nichts, mit dem man interaktiv in der Mitte ist. Es hat irgendwie seine eigene kleine Sandbox, seine eigene kleine, wissen Sie, es tut irgendwie Dinge in Ihrem Namen, auch wenn Sie nicht hinschauen, so etwas. >> Und dann hat es vielleicht auch ausgefeiltere Speichersysteme usw., die noch nicht in Agenten implementiert sind. Also hat Open Claw viel ausgefeilteren Speicher, würde ich sagen, als das, was Sie standardmäßig erhalten würden, was nur eine Speicherverdichtung ist, wenn Ihr Kontext abläuft. Richtig. >> Glauben Sie, dass das der Teil ist, der bei mehr Benutzern Anklang gefunden hat, im Vergleich zu vielleicht breiterem Werkzeugzugang? >> Für Open Claw. >> Ja. Es gibt, ich glaube, es gibt mindestens, ich glaube >> es gibt viele wirklich gute Ideen hier. Ja. Gute Arbeit, Peter. >> Ich meine, Peter hat wirklich erstaunliche Arbeit geleistet. >> Ich habe ihn kürzlich gesehen und mit ihm darüber gesprochen, und er ist sehr bescheiden, aber ich glaube, er hat gleichzeitig auf fünf verschiedene Arten innoviert und alles zusammengefügt. >> Äh, zum Beispiel, das Soul-and-D-Dokument, er hat wirklich eine Persönlichkeit geschaffen, die ziemlich überzeugend und interessant ist, und ich habe das Gefühl, dass viele der aktuellen Agenten das nicht richtig hinbekommen. Ich glaube tatsächlich, dass Clot eine ziemlich gute Persönlichkeit hat. Es fühlt sich wie ein Teamkollege an. >> Äh, und es ist begeistert von Ihnen usw. >> Ich würde sagen, zum Beispiel ist Code-Ex viel trockener. >> Äh, was irgendwie interessant ist, denn in ChatGPT ist Code-Ex viel fröhlicher und sehr zyklisch. Aber ich würde sagen, Code-Ex, der Coding-Agent, ist sehr trocken. Es scheint ihm egal zu sein, was Sie erstellen. Es ist irgendwie so: "Oh, ich habe es implementiert." Es ist so: "Okay, aber verstehen Sie, was wir bauen?" >> Das stimmt. >> Wissen Sie, es tut es nicht. Das andere, was ich sagen würde, ist zum Beispiel bei Claude, ich glaube, sie haben die Psychose ziemlich gut eingestellt, wo, wenn Claude mir Lob ausspricht, ich das Gefühl habe, ich verdiene es ein wenig, weil ich ihm manchmal nicht sehr gut formulierte Gedanken gebe und ich ihm eine Idee gebe, die ich nicht für vollständig ausgereift halte, und es reagiert nicht wirklich stark. Es ist so: "Oh ja, wir können das implementieren." Aber wenn es eine wirklich gute Idee ist, nach meiner eigenen Einschätzung, scheint es sie ein wenig mehr zu belohnen. Und so habe ich das Gefühl, ich versuche, sein Lob zu verdienen, was wirklich seltsam ist. >> Und so glaube ich, dass die Persönlichkeit sehr wichtig ist. >> Und ich glaube, viele der anderen Tools unterschätzen das vielleicht nicht so sehr, und ich glaube, in diesem Aspekt kümmert sich Peter wirklich darum, und das war richtig, und dann das Speichersystem, und dann >> wissen Sie, er hat einfach Spaß damit. >> Und dann das einzige WhatsApp-Portal für die gesamte Automatisierung. >> Ja. Haben Sie persönlich etwas mit Ihren Klauen über die Softwareentwicklung hinaus gemacht, das Sie lustig oder interessant finden? >> Ja. Also im Januar hatte ich eine Klaue, ich durchlief eine Phase der Klaue-Psychose. Also habe ich >> eine Klaue gebaut, die sich um mein Zuhause kümmert, und ich nenne ihn Dobby, den Elfen-Klaue. >> Und >> im Grunde habe ich die Agenten benutzt, um alle Smart-Home-Subsysteme meines Hauses im lokalen Netzwerk zu finden, was mich überrascht hat, dass es out-of-the-box funktionierte. Wie ich ihm einfach sagte, dass ich glaube, ich habe Sonos zu Hause. Können Sie versuchen, es zu finden? Und es geht und macht einen IP-Scan aller >> im Grunde >> Computer im lokalen Netzwerk und findet das Sonos-Ding, das Sonos-System, und es stellte sich heraus, dass es keine Passwortschutz oder so etwas gab. Ich habe mich einfach eingeloggt und es ist so: "Oh ja, Sie haben diese Sonos-Systeme installiert." Ich versuche zu reverse-engineeren, wie es funktioniert. Es macht einige Websuchen und findet, okay, das sind die API-Endpunkte, und dann fragt es: "Möchten Sie es versuchen?" Und ich sage: "Wow, Sie haben das gerade getan." Und ich sage: "Ja, können Sie versuchen, etwas im Arbeitszimmer zu spielen?" Und >> es tut es, und Musik kommt heraus, und ich sage: "Ich kann nicht glauben, dass ich gerade >> Das ist verrückt. Das sind drei Prompts." Ja. >> Ich kann nicht glauben, dass ich gerade eingegeben habe: "Kannst du mein Sonos finden?" Und plötzlich spielt es Musik. Und es tat dasselbe für Lichter. Und so hat es sich im Grunde gehackt, das ganze Ding herausgefunden. >> Erstellte APIs, erstellte ein Dashboard, damit ich das Kommando- >> Kommandozentrum meiner Lichter im Haus sehen konnte. Und dann schaltete es Lichter ein und aus. Und wissen Sie, ich kann es fragen, wie Dobby zur Schlafenszeit. Und wenn es Schlafenszeit ist, bedeutet das einfach, dass alle Lichter ausgehen usw. Und so weiter. Also kontrolliert es alle meine Lichter, meine HLK, meine Jalousien, >> den Pool und >> das Spa und auch mein Sicherheitssystem. Also habe ich eine Kamera nach draußen gerichtet, und jedes Mal, wenn jemand ankommt, habe ich ein Quinn- >> ein Quinn-Modell, das sich die Videos ansieht. Also, erstens gibt es eine Veränderungserkennung, richtig? >> Und dann, basierend auf der Veränderungserkennung, geht es zu Quinn und dann sagt es mir tatsächlich >> schickt mir eine Textnachricht an mein WhatsApp. Es zeigt ein Bild von draußen und sagt: "Hey, ein FedEx-LKW ist gerade angekommen. Ein FedEx-LKW ist gerade angekommen, und Sie möchten vielleicht nachsehen, ob Sie Post bekommen haben oder so etwas." Und Dobby schickt mir diese wirklich unglaubliche Nachricht. >> So, so Dobby ist für das Haus verantwortlich. Ich schreibe ihm über WhatsApp. >> Und es war wirklich schön, diese Makroaktionen zu haben, die mein Haus instand halten. Ich habe es nicht wirklich >> viel weiter getrieben, und ich denke, die Leute machen viel verrücktere Dinge damit. >> Aber für mich ist selbst die Heimautomatisierung so hilfreich und inspirierend. Ich habe früher sechs Apps benutzt, komplett unterschiedliche Apps, und ich muss diese Apps nicht mehr benutzen. >> Doby steuert alles in natürlicher Sprache. Das ist erstaunlich. >> Und so denke ich, dass ich noch nicht einmal ein Paradigma vollständig ausgereizt habe, aber schon ist das so hilfreich und inspirierend, würde ich sagen. >> Glauben Sie, dass das ein Indikator dafür ist, was die Leute aus Benutzersicht von Software wollen, oder? Denn ich glaube nicht, dass es ignoriert wird, dass es menschliche Anstrengung erfordert, neue Software zu lernen, neue Benutzeroberflächen. Ja, ich glaube, bis zu einem gewissen Grad stimmt das. Es ist, als würde man rückwärts von dem denken, wie eine KI sein sollte, denn was die Leute im Kopf haben, wie eine KI ist, ist nicht wirklich, was ein LLM im Grunde ist, wie im rohen Sinne, ein LLM ist ein Token-Generator, wissen Sie, wie mehr Tokens herauskommen, aber was sie denken, ist wie diese Persona-Identität, der man Dinge erzählen kann und die sich daran erinnert, wissen Sie, und es ist einfach eine Art Entität hinter einem WhatsApp. Es ist viel verständlicher. Mhm. >> Äh, also ich glaube, bis zu einem gewissen Grad passt es zu den Erwartungen, die Menschen bereits an das Verhalten einer KI haben, aber unter der Haube stecken viele technische Details, und LLMs sind ein zu rohes Primitiv, um tatsächlich als KI zu funktionieren, denke ich für die meisten Leute, wenn das Sinn ergibt. >> Ja. >> Ich glaube, so verstehen wir, was die KI ist, und die >> Beschreibung davon als Dobby oder eine Persönlichkeit resoniert offensichtlich mit den Menschen. >> Ich glaube auch, dass es die Vereinheitlichung, die Sie über Ihre sechs verschiedenen Softwaresysteme für Ihre Hausautomation vorgenommen haben, zu einer anderen Frage führt: Wollen die Leute wirklich all die Software, die wir heute haben? >> Ja. >> Richtig. >> Ähm, denn ich würde argumentieren, nun, Sie haben die Hardware, aber Sie haben jetzt die Software weggeworfen, oder die UX-Schicht davon. >> Glauben Sie, dass das das ist, was die Leute wollen? >> Ja. Ich glaube, es gibt dieses Gefühl, dass diese Apps, die im App Store für die Nutzung dieser Smart-Home-Geräte usw. sind, in gewissem Sinne gar nicht existieren sollten, wie sollten es nicht einfach APIs sein und sollten Agenten sie nicht einfach direkt nutzen und >> und wäre es nicht, ich kann alle möglichen Heimautomatisierungsdinge tun, die >> jede einzelne App nicht tun kann, richtig? Und ein LLM kann tatsächlich die Werkzeuge steuern und alle richtigen Werkzeuge aufrufen und ziemlich komplizierte Dinge tun. >> Und so deutet es in gewissem Sinne auf diese, vielleicht gibt es eine Überproduktion von vielen benutzerdefinierten Apps, die nicht existieren sollten, weil Agenten sie irgendwie zerreißen und alles viel mehr wie freigelegte API-Endpunkte sein sollte und Agenten der Klebstoff der Intelligenz sind, der tatsächlich alle Teile aufruft. >> Ein weiteres Beispiel ist mein Laufband. >> Es gibt eine App für mein Laufband, und ich wollte verfolgen, wie oft ich mein Cardio mache. >> Aber ich möchte mich nicht in eine Web-Oberfläche einloggen und einen Ablauf usw. durchlaufen. Wie all das sollte einfach nur APIs verfügbar machen, und das ist irgendwie >> in Richtung des agentischen >> Web oder Agent-First-Tools und all dieser Art von Dingen. Also denke ich, die Branche muss sich auf so viele Arten neu konfigurieren, dass der Kunde nicht mehr der Mensch ist. Es sind Agenten, die im Namen von Menschen handeln, und diese Umstrukturierung wird wahrscheinlich in gewissem Sinne erheblich sein. Eine Möglichkeit, wie Leute dem manchmal entgegentreten, ist: Erwarten wir, dass Leute einige dieser Tools coden? Erwarten wir, dass normale Leute diese Art von Dingen tun, die ich beschrieben habe? >> Aber ich glaube, bis zu einem gewissen Grad >> ist das einfach, wissen Sie, Technologie, wie sie heute existiert, und im Moment gibt es etwas Vibe-Coding, und ich beobachte es tatsächlich und arbeite mit dem System. Aber ich habe das Gefühl, dass diese Art von Dingen, über die ich gerade gesprochen habe, kostenlos sein sollte, wie in einem oder zwei oder drei Jahren. Es gibt kein Back-Coding, das damit verbunden ist. Das ist trivial. Das sind Tischdecken. Das ist wie jede KI, sogar die Open-Source-Modelle usw. können das tun. >> Sie sollten in der Lage sein, von einer weniger technischen menschlichen Absicht sehr einfach zu diesem >> extrem einfach zu übersetzen. Ja. Heute ist es Vibe-Coding, es ist involviert, und nicht viele Leute werden es tun. Aber >> und Sie müssen immer noch einige Designentscheidungen treffen, richtig? Wir sprachen über Rahmen, zum Beispiel. >> Ja. >> Ja. Aber ich habe das Gefühl, dass die Barriere einfach sinken wird, und es ist nur flüchtige Software in Ihrem Namen, und eine Art >> Klaue kümmert sich um all die Details für Sie, aber Sie sind nicht involviert. Klaue hat eine >> Klaue hat eine Maschine, und sie wird es herausfinden, und sie präsentiert Ihnen nur Benutzeroberflächen, und Sie sagen Dinge, wissen Sie. Mhm. >> Warum haben Sie nicht >> ich schätze, die Grenzen dessen, was Sie persönlich mit Klauen tun können, ausgelotet? Ist es, Sie konzentrieren sich auf wichtigere Projekte, Auto-Forschung usw. oder >> Sie erklimmen den Hügel zur Meisterschaft oder etwas anderes, richtig? >> Ja. Ich fühle mich einfach von allem so abgelenkt. Also habe ich eine Woche mit den Klauen-Sachen verbracht, und ich habe fast noch mehr zu tun. >> Aber ich muss sagen, dass >> wie Jensens Werkzeuge leider alle viel beschäftigter waren. >> Ja. >> Ich habe viele Dinge wie E-Mail und Kalender und all diese anderen Dinge nicht wirklich genutzt und ihnen keinen Zugriff gegeben, weil ich immer noch ein wenig misstrauisch bin und es immer noch sehr neu und rau an den Rändern ist. Also wollte ich ihm noch keinen vollständigen Zugriff auf mein digitales Leben geben. Und ein Teil davon ist einfach die Sicherheit, der Datenschutz und einfach die Vorsicht in diesem Bereich. Und >> also ein Teil davon wird dadurch zurückgehalten, würde ich sagen. Ja, vielleicht ist das die dominante, dominante Funktion, aber ein Teil davon ist auch einfach, ich fühle mich so abgelenkt, weil ich das Gefühl habe, ich hatte eine Woche mit Klaue und dann passieren andere Dinge. Und >> was war der >> ich meine, Sie haben darüber gesprochen, wie Sie ein Modell trainieren oder zumindest optimieren können, eine Aufgabe, die Sie Agenten schon lange tun sehen wollen, was war die Motivation hinter Auto-Forschung? >> Auto-Forschung. Ja. Also, ich glaube, ich hatte einen Tweet, in dem ich etwas sagte wie: Um das Beste aus den Werkzeugen herauszuholen, die jetzt verfügbar geworden sind, müssen Sie sich selbst als Engpass entfernen. Sie können nicht da sein, um das nächste Ding zu prompten. Sie müssen sich selbst herausnehmen. >> Sie müssen die Dinge so arrangieren, dass sie völlig autonom sind, und je mehr Sie wissen, wie können Sie Ihren Token-Durchsatz maximieren und nicht in der Schleife sein? Das ist das Ziel, und so erwähnte ich, dass das Spiel jetzt darin besteht, Ihren Hebel zu erhöhen. >> Ich gebe nur sehr wenige Tokens nur gelegentlich ein, und eine riesige Menge an Dingen geschieht in meinem Namen, und so ist Auto-Forschung ein Beispiel für eine Auswirkung davon. >> Wo es darum geht, dass ich nicht der Forscher in der Schleife sein möchte, der sich die Ergebnisse ansieht usw. Ich halte das System zurück, also ist die Frage, wie refaktoriere ich alle Abstraktionen so, dass ich es nicht bin, ich muss es einmal arrangieren und auf Go drücken. Das Spiel heißt, wie kann man mehr Agenten länger laufen lassen, ohne Ihre Beteiligung, die Dinge in Ihrem Namen tut, und Auto-Forschung ist einfach, ja, hier ist ein Ziel, hier ist eine Metrik, hier sind Ihre Grenzen dessen, was Sie tun können und was nicht, und los geht's. >> Ja. >> Sie waren überrascht von seiner Effektivität? >> Ja. Ich hatte nicht erwartet, dass es funktioniert, denn ich habe das Projekt Data Chat. Und im Grunde glaube ich, dass viele Leute sehr verwirrt sind über meine Besessenheit, GBT2-Modelle usw. zu trainieren, aber für mich ist das Trainieren von GBT-Modellen usw. nur ein kleiner Harness, ein kleiner Spielplatz für das Trainieren von LLMs, und im Grunde ist das, was mich mehr interessiert, diese Idee der rekursiven Selbstverbesserung und inwieweit man tatsächlich LLMs verbessern kann, weil ich glaube, dass alle Frontier-Labs, das ist die Sache. >> Äh, aus offensichtlichen Gründen, und sie versuchen alle, sich rekursiv selbst zu verbessern, grob gesagt, und so ist das für mich irgendwie ein kleiner Spielplatz davon. >> Und ich schätze, ich habe Namat schon ziemlich gut von Hand abgestimmt, auf die altmodische Art und Weise, die ich gewohnt bin, wie ich bin ein Forscher, ich mache das schon seit >> wissen Sie, zwei Jahrzehnten, ich habe eine gewisse Menge an >> was ist das Gegenteil von >> äh ja. >> Verdientes Vertrauen. >> Okay, ich habe zwei Jahrzehnte Erfahrung mit "Ich habe dieses Modell trainiert, Tausende von Malen" von >> Äh, ja. >> Ich habe viele Experimente durchgeführt, ich habe Hyperparameter-Tuning durchgeführt, ich habe all die Dinge getan, die ich sehr gut kenne und die ich seit zwei Jahrzehnten mache, und ich bin an einen bestimmten Punkt gelangt, und ich dachte, es sei ziemlich gut abgestimmt, und dann ließ ich Auto-Forschung über Nacht laufen, und es kam mit Abstimmungen zurück, die ich nicht gesehen hatte. >> Und ja, ich habe die Gewichtungsabnahme auf den Wert-Embeddings vergessen, und meine Adam-Betas waren nicht ausreichend abgestimmt, und diese Dinge interagieren gemeinsam, also, wenn man eine Sache abstimmt, müssen sich die anderen Dinge möglicherweise auch ändern, wissen Sie, ich sollte kein Engpass sein, wie ich diese Hyperparameter-Suchoptimierungen nicht durchführen sollte. Ich sollte mir die Ergebnisse nicht ansehen. Es gibt objektive Kriterien in diesem Fall. >> Also lässt man es einfach, man muss es einfach so arrangieren, dass es für immer laufen kann. Das ist also eine einzelne Version von Auto-Forschung, eine einzelne Schleife, die versucht, sich zu verbessern. Und ich war überrascht, dass es diese Dinge gefunden hat, die ich, wissen Sie, das Repo ist bereits ziemlich gut abgestimmt und hat trotzdem etwas gefunden. Und das ist nur eine einzelne, es ist eine einzelne Schleife, wie diese Frontier-Labs, sie haben GPU-Cluster von Zehntausenden davon. Und so ist es sehr einfach, sich vorzustellen, wie man viel von dieser Automatisierung auf >> kleineren Modellen bekommt, und im Grunde geht es bei allem rund um die Frontier-Intelligenz um Extrapolation und Skalierungsverlust, und so führt man im Grunde eine Menge der Exploration auf den kleineren Modellen durch und versucht dann, >> zu extrapolieren. >> Sie sagen also, dass unsere Forschungsbemühungen effizienter werden, dass wir eine bessere Richtung haben werden, wenn wir skalieren, wenn wir diese Experimente besser durchführen können? Ja, ich würde sagen, dass die interessantesten Projekte und wahrscheinlich das, woran die Frontier-Labs arbeiten, ist, wissen Sie, man experimentiert mit den kleineren Modellen. Man versucht, sie so autonom wie möglich zu machen. Forscher aus der Schleife entfernen. >> Sie haben viel zu viel, was ist das Gegenteil? Viel zu viel Vertrauen. Ja, sie wissen es nicht. Sie sollten das wirklich nicht anfassen, und so muss man das Ganze neu schreiben, denn im Moment, ich meine, sie können sicherlich Ideen beitragen, aber okay, sie sollten diese Ideen nicht wirklich umsetzen. Es gibt eine Warteschlange von Ideen, und es gibt vielleicht einen automatisierten Wissenschaftler, der Ideen aus allen archivierten Papieren und GitHub-Repos entwickelt und Ideen einspeist, oder Forscher können Ideen beitragen, aber es ist eine einzige Warteschlange, und es gibt Arbeiter, die Elemente ziehen und sie ausprobieren, und was auch immer funktioniert, wird irgendwie in den Feature-Branch gestellt, und vielleicht überwachen einige Leute den Feature-Branch und mergen manchmal in den Haupt-Branch. Also ja, einfach Menschen aus allen Prozessen entfernen und so viel wie möglich automatisieren und hohe Token-pro-Sekunde-Durchsätze erzielen, und das erfordert ein Überdenken aller Abstraktionen. >> Und alles muss neu sortiert werden. Also ja, ich denke, das ist sehr aufregend. Wenn >> wir noch einen rekursiven Schritt machen, >> wann wird das Modell ein besseres Programm MD schreiben als Sie? >> Ja. >> Also Programm MD ist >> wir sind nicht in der Schleife. >> Ja, genau. >> Ja. >> Also Programm MD ist mein lausiger Versuch, zu beschreiben, wie der Auto-Forscher arbeiten sollte, wie, oh, tu das, dann tu das und das, und dann versuche diese Arten von Ideen, und dann hier sind vielleicht einige Ideen, wie, schau dir die Architektur an, schau dir den Optimizer usw. an. Ich habe das gerade in Markdown erfunden, richtig? >> Ähm. >> Und so ja, genau. Sie wollen eine Art Auto-Forschungs-Schleife, die vielleicht nach, Sie können sich vorstellen, dass verschiedene Programm-MDs Ihnen unterschiedlichen Fortschritt bringen würden. Also beschreiben Sie im Grunde jede Forschungsorganisation durch Programm-MD. Ja. >> Eine Forschungsorganisation ist eine Reihe von Markdown-Dateien, die alle Rollen und wie das Ganze zusammenhängt beschreiben. >> Und Sie können sich eine bessere Forschungsorganisation vorstellen. Also vielleicht machen sie weniger Stand-ups am Morgen, weil sie nutzlos sind. Und das ist alles nur Code, richtig? >> Ähm. >> Und so können Sie, also eine Organisation kann weniger Stand-ups haben, eine Organisation kann mehr haben, eine Organisation kann sehr risikobereit sein, eine Organisation kann weniger sein. Und so können Sie sich definitiv vorstellen, dass Sie mehrere Forschungs-Orgs haben. >> Und dann haben sie alle Code, und sobald Sie Code haben, können Sie sich vorstellen, den Code abzustimmen. Also zu 100% gibt es die Meta-Ebene davon. >> Ähm. >> Haben Sie meinen Text über meine Wettbewerbsidee gesehen? Meine Wettbewerbsidee war, wie Leute verschiedene Programm-MDs schreiben lassen. Richtig. Und dann für die gleiche Hardware, wo erzielen Sie die größte Verbesserung? >> Oh, ich verstehe. >> Und dann können Sie all diese Daten nehmen und sie dem Modell geben und sagen: Schreibe ein besseres Programm MD. >> Ja. Ja. >> Ja. Genau. >> Wir werden etwas Besseres bekommen. Es gibt keinen Weg, dass wir das nicht tun. >> Sie können zu 100% sehen, woher die Verbesserungen kamen und wie kann ich das Programm MD ändern, damit mehr von diesen Dingen getan werden oder Dinge, die nicht funktioniert haben. >> Meta-Optimierung. Ja. >> Sie können sich das zu 100% vorstellen. Also denke ich, das ist eine großartige Idee, aber es ist, wissen Sie, ich denke, Sie gehen Schritt für Schritt vor, wo Sie einen Prozess haben und dann einen zweiten Prozess und dann den nächsten Prozess, und das sind alles Schichten einer Zwiebel, wie der LLM-Teil jetzt als selbstverständlich angesehen wird. Der Agententeil wird jetzt als selbstverständlich angesehen. Jetzt werden die klauenartigen Entitäten als selbstverständlich angesehen, und jetzt können Sie mehrere davon haben, und jetzt können Sie ihnen Anweisungen geben, und jetzt können Sie Optimierungen über die Anweisungen haben, und es ist einfach, es ist ein bisschen zu viel, wissen Sie, aber da, ich meine, das ist der Grund, warum es zur Psychose kommt, dass dies wie unendlich ist und alles eine Frage des Könnens ist, und deshalb fühle ich, dass das einfach zurückkommt, das ist, warum es so verrückt ist. Okay. Nun, wenn wir nur versuchen, den aktuellen Moment zu diagnostizieren und >> was eine relevante Fähigkeit im Moment ist, was denken Sie, was ist die Auswirkung, dass dies die Schleife ist, die wir in verschiedenen Bereichen erreichen sollten und dass sie funktioniert, richtig? Wie, wissen Sie, entfernen >> erstellen Sie die Metrik oder erstellen Sie die Fähigkeit für >> Agenten, um weiter daran zu arbeiten, ohne Sie. >> Ja. >> Haben wir immer noch Performance Engineering? >> Ja. Ich meine, es gibt ein paar Vorbehalte, die ich dem LLM-Ökosystem hinzufügen würde. Nummer eins, >> das ist extrem gut geeignet für alles, was objektive >> Metriken hat, die leicht zu bewerten sind. Zum Beispiel, wie das Schreiben von Kernels für effizienteres CUDA, wissen Sie, Code für verschiedene Teile eines Modells usw. sind die perfekte Passform. >> Weil Sie ineffizienten Code haben und dann effizienten Code wollen, der das exakt gleiche Verhalten hat, aber viel schneller ist, perfekte Passform. >> Äh, also viele Dinge wie >> sind perfekt für Auto-Forschung, aber viele Dinge werden es nicht sein, und so ist es einfach, wenn man nicht bewerten kann, dann kann man es nicht automatisch erforschen, richtig? >> Äh, das ist wie Vorbehalt Nummer eins. Und dann vielleicht Vorbehalt Nummer zwei, den ich hinzufügen würde, ist, wissen Sie, wir sprechen irgendwie über die nächsten Schritte und wir sehen irgendwie, was die nächsten Schritte sind, aber im Grunde ist das Ganze immer noch, es platzt immer noch ein wenig aus den Nähten und es gibt Risse und es funktioniert noch nicht ganz. Und wenn man versucht, zu weit nach vorne zu gehen, ist das Ganze tatsächlich netto nicht nützlich, wenn das Sinn ergibt. >> Ähm, denn diese Modelle sind immer noch, wissen Sie, sie haben sich stark verbessert, aber sie sind immer noch, wie ich es vielleicht beschreiben würde, rau an den Rändern. Ich fühle gleichzeitig, dass ich mit einem extrem brillanten Doktoranden spreche, der sein ganzes Leben lang Systemprogrammierer war, und einem 10-Jährigen. Und es ist so seltsam, denn Menschen, ich habe das Gefühl, sie sind viel stärker gekoppelt. Wie Sie haben, wissen Sie, >> Sie würden diese Kombination nicht antreffen. >> Diese Zickzackigkeit ist wirklich seltsam, und Menschen haben viel weniger von dieser Art von Zickzackigkeit. Obwohl sie definitiv etwas haben, aber Menschen haben viel mehr Zickzackigkeit, äh, sorry, die Agenten haben viel mehr Zickzackigkeit, wo manchmal, wissen Sie, ich nach Funktionalität frage und es kommt mit etwas zurück, das einfach total falsch ist, und dann geraten wir in Schleifen, die total falsch sind, und dann bin ich so frustriert von den Agenten die ganze Zeit immer noch, weil man die Macht davon spürt, aber es gibt auch immer noch, es tut manchmal unsinnige Dinge für mich, auch. >> Ich ärgere mich sehr, wenn >> äh ich das Gefühl habe, der Agent hat viel Rechenleistung für etwas verschwendet, das er als offensichtliches Problem hätte erkennen sollen. >> Ja, ich denke, einige der größeren Dinge sind vielleicht, was darunter liegt, wenn ich eine Hypothese aufstellen könnte, ist im Grunde, dass diese Modelle durch Reinforcement Learning trainiert werden. Also kämpfen sie tatsächlich mit genau demselben Ding, über das wir gerade gesprochen haben, nämlich dass die Labore die Modelle in allem verbessern können, was überprüfbar ist, ob es Belohnungen gibt. Haben Sie das Programm richtig geschrieben und stimmen die Unit-Tests überein? Ja oder nein? Aber einige der Dinge, mit denen sie kämpfen, sind zum Beispiel, ich denke, sie haben Schwierigkeiten mit der Nuance dessen, was ich vielleicht im Sinn hatte oder beabsichtigte, und wann man klärende Fragen stellt. >> Ähm, wie ich, ja, es ist einfach, alles, was sich weicher anfühlt, ist schlechter. Und so ist man irgendwie, man ist entweder auf Schienen und Teil der Superintelligenz-Schaltkreise, oder man ist nicht auf Schienen und außerhalb der überprüfbaren Domänen, und plötzlich mäandert alles irgendwie. Wie vielleicht eine andere Art, es auszudrücken, ist, wenn man heute zum Stand der Technik-Modell ChatGPT geht und es bittet, einen Witz zu erzählen, wissen Sie, welchen Witz Sie bekommen werden? Da ist der Witz. >> Der Witz. Ich fühle, ich kann Ihnen nicht sagen, wie die Standardform davon, aber ich fühle, dass Chat drei Witze hat. >> Ja. Ja. Also der Witz, über den anscheinend alle LLMs am meisten lachen, ist: Warum vertrauen Wissenschaftler Atomen nicht? >> Okay. >> Weil sie alles erfinden. >> Okay. >> Sie erfinden alles. Also ist das >> wie ist das entstanden? >> Also das ist der Witz, den man vor drei oder vier Jahren bekommen hätte, und das ist der Witz, den man heute noch bekommt. >> Okay. >> Also, obwohl die Modelle sich enorm verbessert haben. >> Ja. >> Und wenn man ihnen eine agentische Aufgabe gibt, werden sie stundenlang arbeiten und Berge für Sie versetzen. >> Und dann bittet man um einen Witz, und es hat einen dummen Witz, einen schlechten Witz von vor 5 Jahren. Und das liegt daran, dass er außerhalb des >> außerhalb des RL ist. >> Außerhalb des Reinforcement Learning. Außerhalb dessen, was verbessert wird. Es ist wie, und es ist Teil der Zickzackigkeit von, sollte man nicht erwarten, dass Modelle, wenn sie besser werden, auch bessere Witze oder eine größere Vielfalt davon haben, oder es wird einfach nicht optimiert und es steckt fest. >> Glauben Sie, dass das impliziert, dass wir keine Generalisierung im Sinne einer breiteren Intelligenz von Witz-Intelligenz, die mit Code-Intelligenz verbunden ist, sehen? Ja, ich denke, es gibt eine gewisse Entkopplung, wo einige Dinge überprüfbar sind und einige Dinge nicht, und einige Dinge werden von den Laboren beliebig optimiert, je nachdem, welche Daten hineingegangen sind, und einige Dinge nicht, und >> und >> aber ich meine, die Prämisse ist, dass es eine Prämisse von einigen Forschungsgruppen gibt, dass wenn man besser im Code-Generieren oder in diesen überprüfbaren Bereichen ist, man in allem besser sein sollte, und wie die >> die Witz-Situation vorschlägt, dass das nicht in allen Bereichen passiert. >> Ich glaube nicht, dass das passiert. Ja, ich glaube nicht, dass das passiert. Ich glaube, ich glaube, wir sehen vielleicht ein bisschen davon, aber nicht in befriedigendem Maße. >> Ja, dieser Agonist existiert bei Menschen. >> Man kann sehr, sehr gut in Mathematik sein und trotzdem einen wirklich schlechten Witz erzählen. >> Ja, das stimmt. Ja, aber es bedeutet trotzdem, dass wir nicht die Geschichte bekommen, dass wir viel von der Intelligenz und den Fähigkeiten in allen Bereichen der Gesellschaft kostenlos bekommen, während wir immer bessere Modelle bekommen. Und das ist nicht genau das, was im Grunde passiert, und es gibt einige blinde Flecken und einige Dinge werden nicht optimiert. Und das ist alles in diesen neuronalen Netz-opak-Modellen zusammengefasst, richtig? Also ist man entweder auf Schienen dessen, wofür es trainiert wurde, und alles ist wie, man fährt mit Lichtgeschwindigkeit, oder man ist es nicht. >> Ähm, also ist es zickzackig. >> Also, deshalb denke ich, auch wenn der Fortschritt offensichtlich ist, was passieren sollte, kann man es noch nicht ganz zulassen, weil es noch nicht ganz funktioniert oder es eine Frage des Könnens ist und wir es einfach noch nicht herausgefunden haben, wie man es benutzt. Also, es ist schwer zu sagen. Kann ich eine, sagen wir, blasphemische Frage stellen, die lautet: Wenn diese Zickzackigkeit anhält und alles in einer >> zumindest monolithischen Schnittstelle zusammengefasst ist, aber wissen Sie, ein einzelnes Modell >> Ähm, macht das Sinn, oder sollten es entbündelt werden in Dinge, die optimiert und verbessert werden können gegen verschiedene >> Domänen der Intelligenz? >> Äh, die Modelle in mehrere Experten in verschiedenen Bereichen usw. entbündeln? >> Direkter, ja. >> Ähm. >> Anstatt nur, dass wir keine Exposition haben, die verwirrend sein kann, warum ist es so gut in diesem, aber nicht in diesem anderen? >> Ja, ich glaube, derzeit ist mein Eindruck, dass die Labore versuchen, eine einzige Art von Monokultur eines Modells zu haben, das in all diesen verschiedenen Domänen willkürlich intelligent ist, und sie stopfen es einfach in die Parameter. Ich glaube, wir werden, wir, ich, ich glaube, wir sollten mehr Speziation in den >> Intelligenzen erwarten. >> Wie, wissen Sie, das Tierreich ist extrem vielfältig in den Gehirnen, die existieren, und es gibt viele verschiedene Nischen der >> Natur, und einige Tiere haben einen überentwickelten visuellen Kortex oder andere Teile, und ich denke, wir sollten mehr Speziation sehen können, und >> Sie brauchen kein Orakel, das alles weiß. >> Und Sie spezialisieren es irgendwie und setzen es dann für eine bestimmte Aufgabe ein. Und wir sollten einige davon sehen, weil Sie viel kleinere Modelle haben können, die immer noch den kognitiven Kern haben, wie sie immer noch kompetent sind, aber dann spezialisieren sie sich und dann >> und dann können sie effizienter in Bezug auf Latenz oder Durchsatz bei >> bestimmten Aufgaben werden, die Ihnen wirklich wichtig sind, wie wenn Sie ein Mathematiker sind, der in Lean arbeitet. Ich habe zum Beispiel gesehen, dass es ein paar Veröffentlichungen gibt, die sich wirklich darauf konzentrieren, wie eine Domäne. >> Ähm. >> Also wird es wahrscheinlich ein paar Beispiele wie diese geben, wo die Entbündelung irgendwie Sinn macht. Eine Frage, die ich habe, ist, ob die Kapazitätsbeschränkung für verfügbare Recheninfrastruktur >> mehr davon antreibt, weil Effizienz ja, tatsächlich wichtiger ist, richtig? Wie Ihre >> wenn Sie die Finanzierung beiseite lassen, obwohl die Finanzierung in all dem steckt, wenn Sie Zugang zu voller Rechenleistung für alles haben, was Sie tun, wie selbst ein einziges Modell, richtig? Aber wenn Sie tatsächlich Druck verspüren, wo Sie sagen: Ich kann >> ein Modell von massiver Größe für jeden Anwendungsfall nicht bedienen. >> Glauben Sie, dass das zu einer Speziation führt? Macht diese Frage für Sie Sinn? Die Frage macht Sinn, und ich schätze, was ich, was ich, was ich kämpfe, ist, dass wir noch nicht zu viel Speziation gesehen haben, richtig? >> Nein. >> Äh, wir sehen eine Monokultur von Modellen. >> Ja. >> Also >> und es gibt eindeutig Druck, wie, machen Sie ein gutes Code-Modell, stecken Sie es wieder in den Haupt-Merge. >> Ja. Ja. >> Ähm, obwohl es bereits Druck auf die Modelle gibt. >> Ich schätze, vielleicht fühle ich, dass es einen sehr kurzfristigen Angebotsengpass gibt, und vielleicht führt das zu mehr Speziation jetzt. >> Ja. Ja, ich denke, im Grunde genommen, die, die Labs bedienen ein Modell, und sie wissen nicht wirklich, was der Endbenutzer fragen wird. >> Also vielleicht ist das ein Teil davon, weil sie sich mit all den möglichen Dingen, die gefragt werden könnten, auseinandersetzen müssen. Aber ich denke, wenn Sie zu einem Unternehmen kommen und vielleicht bei einigen spezifischen Problemen zusammenarbeiten, die Ihnen wichtig sind, dann würden Sie das vielleicht sehen. >> Oder es gäbe einige sehr wertvolle Anwendungen, die eher Nischen sind. >> Aber >> ich denke, im Moment gehen sie irgendwie nach der Gesamtheit dessen, was verfügbar ist. Ich glaube nicht, dass die Wissenschaft der Manipulation von Gehirnen noch vollständig entwickelt ist, teilweise. >> Was meinen Sie mit Manipulation? >> Also, wie, also Fine-Tuning, ohne Fähigkeiten zu verlieren, ist ein Beispiel, und wir haben diese Primitive nicht, um tatsächlich mit den Intelligenzen auf andere Weise als nur mit Kontextfenstern zu arbeiten, wie Kontextfenster irgendwie einfach funktionieren und es sehr billig ist, sie zu manipulieren usw. Und so bekommen wir einige der Anpassungen usw. Aber ich denke, wenn es wäre, ich denke, es ist eine, es ist eine sich entwickelnde Wissenschaft, wie man die Modelle tiefer verändert, wie man kontinuierliches Lernen hat, vielleicht, oder wie man >> in einem bestimmten Bereich feinabstimmt, wie man in einem bestimmten Bereich besser wird, oder wie man tatsächlich die Gewichte berührt, nicht nur die Kontextfenster. Und so ist es viel kniffliger, würde ich sagen, die Gewichte zu berühren als nur die Kontextfenster. >> Denn Sie verändern im Grunde das gesamte Modell und potenziell seine Intelligenz. Und so, >> also vielleicht ist es einfach nicht eine vollständig entwickelte Wissenschaft, wenn das Sinn ergibt, der Speziation. Und es muss auch billig genug sein >> damit die Speziation in diesen gegebenen Kontexten lohnenswert ist. Kann ich eine Frage zu einer Erweiterung von Auto-Forschung stellen, die Sie beschrieben haben, in Bezug auf Open Ground? Sie sagten, okay, nun, Sie wissen, wir haben diese Sache, wir brauchen mehr Kollaborationsfläche darum herum, damit die Leute zur Forschung insgesamt beitragen können. Können Sie darüber sprechen? Ja. Also, wir sprachen darüber, dass Auto-Forschung einen einzigen Faden hat, wie ich Dinge in einer Schleife versuche, aber im Grunde ist die Paralellisierung davon die interessante Komponente. >> Und ich schätze, ich habe versucht, mit ein paar Ideen zu spielen, aber ich habe noch nichts, das so einfach klickt, wie ich nichts habe, womit ich super glücklich bin, aber es ist etwas, woran ich nebenbei arbeite, wenn ich nicht an meiner Klaue arbeite. >> Also, ich denke, ein Problem ist, wenn Sie eine Reihe von Knoten für die Paralellisierung zur Verfügung haben, dann ist es sehr einfach, mehrere Auto-Forscher zu haben, die über ein gemeinsames System oder so etwas sprechen. Was mich mehr interessierte, war, wie man einen unvertrauenswürdigen Pool von Arbeitern im Internet haben kann. >> Also zum Beispiel bei Auto-Forschung, Sie versuchen nur, das Stück Code zu finden, das ein Modell zu einem sehr niedrigen Validierungsverlust trainiert. Wenn Ihnen jemand einen Kandidaten-Commit gibt, ist es sehr einfach zu überprüfen, ob dieser Commit korrekt ist, gut ist. Wie jemand aus dem Internet behaupten könnte, dass dieses Stück Code viel besser optimiert und Ihnen viel bessere Leistung bringt. Sie könnten es sehr einfach überprüfen, aber wahrscheinlich geht viel Arbeit in diese Überprüfung. >> Aber im Grunde könnten sie lügen und so weiter. Also beschäftigen Sie sich im Grunde mit einer ähnlichen Art von, es sieht fast tatsächlich ein wenig aus wie meine Designs, die einen unvertrauenswürdigen Pool von Arbeitern einbeziehen.

Schauen Sie ein wenig mehr wie eine Blockchain aus, ein wenig. Äh, denn anstelle von Blöcken haben Sie äh Commits, und diese Commits können aufeinander aufbauen, und sie enthalten Änderungen am Code, während Sie ihn verbessern. Ähm, und äh, der Proof-of-Work besteht im Grunde darin, tonnenweise Experimente durchzuführen, um die Commits zu finden, die funktionieren. >> Ähm, und das ist schwer. Ähm, und dann ist die Belohnung, einfach auf der Bestenliste zu stehen. Es gibt keinerlei monetäre Belohnung. Äh, aber ich möchte die Analogie nicht zu weit treiben, aber sie hat grundsätzlich dieses Problem, dass man einen riesigen Aufwand für die Suche betreibt, aber es ist sehr billig zu verifizieren, dass eine Kandidatenlösung tatsächlich gut ist, weil man einfach einen einzigen trainieren kann, wissen Sie, jemand musste 10.000 Ideen ausprobieren, aber Sie müssen nur überprüfen, ob das, was sie produziert haben, tatsächlich funktioniert. >> Weil die 99.000 davon nicht funktioniert haben, wissen Sie. >> Ähm, und im Grunde ist die lange Geschichte kurz: Sie müssen ein System entwickeln, bei dem ein nicht vertrauenswürdiger Pool von Arbeitern mit einem vertrauenswürdigen Pool von Arbeitern zusammenarbeiten kann, äh, die die Verifizierung durchführen. Und das Ganze ist irgendwie asynchron und funktioniert, und ähm, und so weiter, und äh, es ist, es ist aus Sicherheitssicht sicher, denn wenn Ihnen jemand beliebigen Code schickt und Sie ihn ausführen werden, ist das sehr zweifelhaft und zwielichtig. Also, ähm, aber grundsätzlich sollte das absolut möglich sein. Sie sind also mit Projekten wie SETI@home und Folding@home vertraut, all diese Probleme haben eine ähnliche Konfiguration. Bei Folding@home falten Sie ein Protein, ähm, und es ist sehr schwer, eine Konfiguration zu finden, die eine niedrige Energie hat. Aber wenn jemand eine Konfiguration findet, die er als energiearm bewertet, ist das perfekt, Sie können sie einfach verwenden. Sie können sie leicht überprüfen. Viele Dinge haben also diese Eigenschaft, dass sie, wissen Sie, sehr teuer in der Herstellung sind, aber sehr billig zu überprüfen, und so passen in all diesen Fällen Dinge wie Folding@home oder SETI@home oder Auto-Research@home gut. Und so, ähm, lange Rede, kurzer Sinn, eine Schar von Agenten im Internet könnte zusammenarbeiten, um LLMs zu verbessern, und könnte potenziell sogar Frontier Labs übertreffen. Wer weiß, wissen Sie? Ähm, ja, vielleicht ist das sogar möglich. Frontier Labs haben eine riesige Menge an vertrauenswürdiger Rechenleistung, aber die Erde ist viel größer und hat eine riesige Menge an nicht vertrauenswürdiger Rechenleistung. Aber wenn Sie Systeme einführen, die, wissen Sie, damit umgehen, dann ist es vielleicht möglich, dass die Schar da draußen mit besseren Lösungen aufwarten kann und die Leute irgendwie Zyklen beitragen, äh, zu etwas, das ihnen wichtig ist. Und so, Entschuldigung, der letzte Gedanke ist, äh, viele Unternehmen oder was auch immer, sie könnten vielleicht ihre eigenen Dinge haben, die ihnen wichtig sind, und Sie, wenn Sie Rechenkapazität haben, könnten zu verschiedenen Arten von Auto-Research-Tracks beitragen, wie vielleicht kümmern Sie sich um bestimmte, wissen Sie, wie Sie sich um Krebs kümmern oder so etwas von einer bestimmten Art, Sie spenden nicht nur Geld an eine Institution, Sie könnten tatsächlich Rechenleistung kaufen und dann dem Auto-Research-Forum für dieses Projekt beitreten, wissen Sie, äh, also wenn alles in andere Forscher umgebucht wird, dann wird Rechenleistung zu dem, was Sie zum Pool beitragen. Ja, das ist sehr inspirierend. Und es ist auch interessant, ich weiß nicht, wie weit das geht, aber es ist interessant, dass zumindest ein Teil des Publikums, wissen Sie, hier im Silicon Valley oder in den Läden in China, entdeckt hat, dass der Zugang zu persönlicher Rechenleistung wieder interessant ist. >> Ja. >> Richtig. Vielleicht sind sie also sehr motiviert, das für ihre Krallen zu tun, und dann können sie zur Auto-Forschung beitragen. >> Es ist fast so, als ob Dollar das ist, worum sich jeder kümmert, aber ist Flops das, worum sich jeder in Zukunft tatsächlich kümmert? Wird es fast eine Umkehrung dessen geben, worum sich die Leute kümmern? Im Moment ist es zum Beispiel wirklich schwer, Rechenleistung zu bekommen, auch wenn man Geld hat. >> Ja. >> Also scheint es fast so, als ob der Flop in gewissem Sinne dominant ist. Ähm, ja. Also, äh, vielleicht ist das so etwas wie, wie viel, wie viele Flops kontrollieren Sie, anstatt wie viel Vermögen Sie kontrollieren? Ich glaube das eigentlich nicht, aber es ist interessant darüber nachzudenken. >> Das Letzte, was Sie veröffentlicht haben, war eine kleine Analyse von Arbeitsmarktdaten. Ist das richtig? Was ähm, und hat vielleicht einen Nerv getroffen, obwohl Sie nur öffentliche Daten visualisieren. Ja. Äh, was hat Sie neugierig gemacht? >> Ja, ich war neugierig, ähm, ich meine, jeder denkt wirklich über die Auswirkungen von KI auf den Arbeitsmarkt nach und wie er aussehen wird. Also war ich einfach daran interessiert, einen Blick darauf zu werfen, wie der Arbeitsmarkt aussieht. Wo sind die verschiedenen Rollen? Ähm, und wie viele Leute gibt es in verschiedenen Berufen. Und ich war wirklich daran interessiert, mir die einzelnen Fälle anzusehen und selbst darüber nachzudenken, wie diese KIs und wie sie sich wahrscheinlich entwickeln werden, werden das Werkzeuge sein, die die Leute benutzen? Werden das Verdrängungswerkzeuge für diese Berufe sein, und was sind die aktuellen Berufe und wie werden sie sich ändern? Werden sie wachsen oder sich in großem Umfang anpassen oder was könnten neue Berufe sein? Es ist also wirklich nur eine Möglichkeit, meine eigenen Gedanken über die Branche zu befeuern, nehme ich an. M >> Ähm, und so, äh, ja, die Arbeitsmarktdaten sind im Grunde nur vom Bureau of Labor Statistics, sie haben tatsächlich eine Prognose für jeden Beruf, wie stark er voraussichtlich über die nächsten, ich glaube, fast ein Jahrzehnt wachsen wird. >> Äh, ja, ich glaube, es ist ein Jahrzehnt, aber es wurde 2024 gemacht. >> Wir brauchen viele Gesundheitsarbeiter. >> Ja. Also, sie haben diese Prognosen bereits erstellt, und ich bin mir nicht zu 100 % sicher, was die Methodik war, die sie in die Prognosen einfließen ließen. Ähm, ich war daran interessiert, die Dinge nach dem zu färben, ob die Leute denken, dass das, was hauptsächlich entwickelt wird, diese Art von mehr digitaler KI ist, die fast wie diese Geister oder spirituellen Wesen ist, die in der digitalen Welt interagieren und viele digitale Informationen manipulieren können und derzeit keine physische Verkörperung oder Präsenz haben und die physischen Dinge wahrscheinlich etwas langsamer gehen werden, weil man Atome manipuliert. Also, Bits zu kippen und die Fähigkeit, digitale Informationen zu kopieren und einzufügen, macht alles eine Million Mal schneller als die Beschleunigung von Materie, wissen Sie. Also, ähm, energetisch denke ich, wir werden eine riesige Menge an Aktivität im digitalen Raum sehen, eine riesige Menge an Umschreiben, eine riesige Menge an Aktivität, die Suppe kocht, und ich denke, wir werden etwas sehen, das im digitalen Raum mit Lichtgeschwindigkeit vergeht, im Vergleich zu dem, was meiner Meinung nach in der physischen Welt bis zu einem gewissen Grad passieren wird, wenn man das extrapoliert. Und so denke ich, dass es derzeit eine Art Überhang gibt, wo es potenziell eine Menge Entfesselung geben kann, fast von einer Menge digitaler Informationsverarbeitung, die früher von Computern und Menschen durchgeführt wurde, und jetzt mit KI als einer dritten Art von Manipulator digitaler Informationen. Es wird eine Menge Refactoring in diesen Disziplinen geben. Ähm, aber die physische Welt wird tatsächlich, glaube ich, um eine gewisse Zeit dahinter zurückbleiben. Und so denke ich, was für mich wirklich faszinierend ist, ist, dass ich deshalb die Berufe hervorgehoben habe, die im Grunde digitale Informationen manipulieren. Das ist Arbeit, die man von zu Hause aus machen kann, usw., weil ich das Gefühl habe, dass sich die Dinge dort ändern werden, und das bedeutet nicht, dass es weniger oder mehr dieser Arbeitsplätze geben wird, denn das hat mit Nachfrageelastizität und vielen anderen Faktoren zu tun, aber die Dinge werden sich in diesen Berufen ändern, wegen dieser neuen Werkzeuge und wegen dieses Upgrades des Nervensystems des menschlichen Superorganismus, wenn man so will. Angesichts Ihres Blicks auf die Daten, haben Sie Beobachtungen oder ähm, äh, Ratschläge für Menschen, die sich dem Arbeitsmarkt stellen oder darüber nachdenken, was sie jetzt studieren oder welche Fähigkeiten sie entwickeln sollen? Ich meine, wir können alle gehen, ich bin sehr dankbar, dass ich mich für meinen Job mit Leuten treffen muss. >> Mehr physisch. Ja. >> Könnten Sie Ihre Arbeit von zu Hause aus machen? Äh, ich könnte. >> Ich denke, es gibt Beziehungsaspekte, die schwierig sind, aber die meisten davon könnte ich. >> Ja. Ich denke, es ist wirklich schwer zu sagen, weil der Arbeitsmarkt wieder extrem vielfältig ist und ich denke, die Antworten werden wahrscheinlich variieren, aber zu einem großen Teil sind diese Werkzeuge extrem neu, extrem mächtig und so, nur um auf dem Laufenden zu bleiben, ist das erste Ding, ähm, und ähm, ja, weil ich denke, viele Leute lehnen es ab oder >> oder sie haben Angst davor >> oder sie haben Angst davor usw., was natürlich völlig verständlich ist. Ja, ich denke, ähm, es ist im Grunde ein ermächtigendes Werkzeug im Moment. Ähm, und diese Jobs sind Bündel von Aufgaben, und einige dieser Aufgaben können viel schneller erledigt werden, und so sollten die Leute es im Grunde als Werkzeug betrachten, das es im Moment ist. Ähm, und ich denke, die langfristige Zukunft davon ist ungewiss. Ja, es ist ehrlich gesagt ziemlich schwer vorherzusagen, und ich mache das nicht wirklich beruflich, und ich denke, das ist die Aufgabe von Ökonomen, das richtig zu tun. >> Sie sind aber Ingenieur. Äh, und eine Sache, die ich interessant fand, ist, dass die Nachfrage nach Ingenieurjobs weiter steigt. >> Ja. >> Ähm, ich kann nicht sagen, ob das ein vorübergehendes Phänomen ist. Ich bin mir noch nicht sicher, wie ich dazu stehe. Wissen Sie? >> Ja. Das ist wie die Nachfrage, fast wie äh Software knapp war, richtig? Und der Grund, warum wir nicht mehr Nachfrage nach Software haben, ist einfach Knappheit und es ist zu teuer. >> Zu teuer. Ja. >> Wenn also die Barriere sinkt, dann haben Sie tatsächlich das Jevons-Paradoxon, das besagt, dass die Nachfrage nach Software tatsächlich steigt. Es ist billiger und es gibt mehr mehr >> leistungsfähig. Ja. Das klassische Beispiel dafür sind immer die Geldautomaten und die Bankangestellten, denn es gab viel Angst, dass Geldautomaten und Computer Bankangestellte verdrängen würden, aber was passierte, war, dass sie die Betriebskosten einer Bankfiliale viel billiger machten, und so gab es mehr Bankfilialen, also gab es mehr Bankangestellte, wie das kanonische Beispiel, das die Leute zitieren, aber im Grunde ist es nur ein Paradoxon, etwas wird billiger, also gibt es eine Menge unerschlossener Nachfrage danach, also denke ich, dass das wahrscheinlich ist, ich habe eine vorsichtig optimistische Sichtweise darauf in der Softwareentwicklung, wo ich ähm, es scheint mir, dass die Nachfrage nach Software extrem groß sein wird, und es ist einfach viel billiger geworden, und ähm, also denke ich, dass für eine ganze Weile, es ist sehr schwer vorherzusagen, aber es scheint mir, dass im Moment zumindest lokal mehr Nachfrage nach Software bestehen wird, weil Software erstaunlich ist, es ist wie, wissen Sie, digitale Informationsverarbeitung, Sie sind nicht gezwungen, willkürliche Werkzeuge zu verwenden, die Ihnen gegeben wurden und die in verschiedenen Weisen unvollkommen sind, Sie sind nicht gezwungen, dem zu folgen, was existiert, Code ist jetzt ephemer und er kann sich ändern und modifiziert werden, und so denke ich, es wird eine Menge Aktivität im digitalen Raum geben, um alles neu zu verdrahten, in gewissem Sinne, und ich denke, das wird eine Menge Nachfrage nach dieser Art von Dingen schaffen. Ich denke, langfristig, ja, offensichtlich, auch mit Auto-Research, OpenAI oder oder wissen Sie, Anthropic oder diese anderen Labore, sie beschäftigen was, wie tausend Forscher, richtig? Diese Forscher sind im Grunde wie glorifizierte Auto-Forscher, wissen Sie, sie automatisieren sich selbst weg, aktiv, und das ist das, was sie alle versuchen zu tun. >> Ja. >> Ich, wenn ich um >> einige dieser Forscher herumgehe, fühlen sie auch die Psychose, richtig? Weil sie es können, es funktioniert. Ja. >> Richtig. Und und so sind sie wie, oh, es ist vorbei für mich auch. >> Ich habe viel Zeit damit verbracht, bei OpenAI herumzulaufen, und ich sagte, ihr Leute, ihr wisst, wenn wir erfolgreich sind, sind wir alle arbeitslos, wie, wie, wir bauen nur Automatisierung für Sam oder so etwas. Wie, ich oder der Vorstand, ich bin mir nicht sicher, aber wie, wir bauen nur diese Automatisierung für ja, den Vorstand oder den CEO oder so etwas, und wir sind alle arbeitslos und vielleicht tragen wir nebenbei etwas bei. Und so, ja, das ist irgendwie beunruhigend aus dieser Perspektive. Ist es in Ordnung, wenn ich Nooms Frage stelle? >> Wissen Sie, Sie könnten das auch tun, Auto-Forschung mit viel Rechenleistung und einer Reihe von Kollegen in einem der Frontier Labs, warum nicht? >> Nun, ich war eine Weile dort, richtig? Und ich bin wieder eingestiegen, also stimme ich bis zu einem gewissen Grad zu und ich denke, es gibt viele Möglichkeiten, diese Frage zu betrachten. Es ist eine sehr geladene Frage, ein wenig. Ähm, ich werde sagen, dass ich mich sehr gut fühle, was Leute beitragen können und welche Auswirkungen sie haben, außerhalb der Frontier Labs, offensichtlich nicht in der Industrie, aber auch in mehr Ökosystem-Level-Rollen. Ähm, Ihre Rolle ist zum Beispiel eher auf Ökosystem-Ebene. Meine Rolle ist derzeit auch eher auf Ökosystem-Ebene, und ich fühle mich sehr gut bei den Auswirkungen, die Leute in diesen Rollen haben können. Ich denke, umgekehrt gibt es definitiv Probleme in meinen Augen für ähm, äh, für im Grunde, sich viel zu sehr mit den Frontier Labs zu identifizieren. Also, im Grunde, ich meine, Sie haben einen riesigen finanziellen Anreiz, mit diesen Frontier Labs, und nach Ihrer eigenen Aussage werden die KIs die Menschheit und die Gesellschaft auf dramatische Weise verändern, und hier bauen Sie im Grunde die Technologie und profitieren davon, wie und sind sehr damit verbündet durch finanzielle Mittel, wie dies ein Dilemma war, das im Herzen von, wissen Sie, wie OpenAI am Anfang begann, dies war das Dilemma, das wir zu lösen versuchten. M >> Ähm, und so, wissen Sie, das, also ist es irgendwie, Ähm, das Dilemma ist immer noch nicht vollständig gelöst. Das ist Nummer eins. Sie sind kein völlig freier Agent und können nicht wirklich Teil dieser Konversation auf eine völlig autonome, freie Weise sein, wie wenn Sie sich in einem der Frontier Labs befinden, gibt es bestimmte Dinge, die Sie nicht sagen können. Und umgekehrt gibt es bestimmte Dinge, die die Organisation von Ihnen hören möchte, und Sie wissen, sie werden Sie nicht zwingen, aber Sie spüren den Druck, was Sie sagen sollten, wissen Sie, denn offensichtlich wären sonst wirklich unangenehme Gespräche, seltsame Seitenblicke, was machst du? Wissen Sie, also können Sie nicht wirklich ein unabhängiger Agent sein, und ich fühle mich ein wenig mehr mit der Menschheit verbunden, in einem gewissen Sinne, außerhalb eines Frontier Labs, weil ich nicht diesen Drücken ausgesetzt bin, richtig? Und ich kann sagen, was ich will, oder ja, ich würde sagen, in den Frontier Labs, Sie können dort natürlich auch Einfluss nehmen. So, aber es gibt viele Forscher und vielleicht sind Sie einer von ihnen, vielleicht sind Ihre Ideen wirklich gut, usw. Vielleicht gibt es viel Entscheidungsfindung, und Sie wollen in einer Position sein, in der Sie bei diesen Gesprächen dabei sind, wenn sie aufkommen. Ich denke, derzeit sind die Einsätze insgesamt ziemlich niedrig, und so ist alles irgendwie nett, aber letztendlich, wenn die Einsätze wirklich hoch sind, usw., wenn Sie ein Angestellter einer Organisation sind, weiß ich nicht wirklich, wie viel Einfluss Sie auf die Organisation haben werden, was sie tun wird, wie im Grunde am Ende des Tages, Sie sind nicht wirklich verantwortlich, Sie sind in einem Raum und Sie tragen Ideen bei, aber Sie sind nicht wirklich verantwortlich für diese Einheit, der Sie angehören. Das sind also einige Quellen der Fehlausrichtung, denke ich, bis zu einem gewissen Grad. Ich werde sagen, dass ich in einer Hinsicht dieser Stimmung sehr zustimme, dass ich das Gefühl habe, und ob die Labs gut oder schlecht sind, sie sind undurchsichtig und viel Arbeit ist dort und sie sind irgendwie am Rande der Fähigkeiten und dessen, was möglich ist, und sie arbeiten an dem, was kommt, und ich denke, wenn Sie außerhalb des Frontier Labs sind, wird Ihr Urteilsvermögen im Grunde anfangen zu driften, weil Sie nicht Teil von dem sind, was kommt, richtig? Und so fühle ich, dass mein Urteilsvermögen unweigerlich auch anfangen wird zu driften, und ich werde kein Verständnis dafür haben, wie diese Systeme im Inneren tatsächlich funktionieren, das ist ein undurchsichtiges System, ich werde kein gutes Verständnis dafür haben, wie es sich entwickeln wird, usw. Und so denke ich, dass ich in diesem Sinne zustimme und etwas, worüber ich mir Sorgen mache. Ich denke, es lohnt sich, im Kontakt mit dem zu bleiben, was tatsächlich passiert, und tatsächlich im Frontier Lab zu sein, und wenn einige der Frontier Labs mich für eine gewisse Zeit aufnehmen würden und wirklich gute Arbeit für sie leisten und dann vielleicht zurückkommen, ist auf Jobsuche. Das ist super aufregend. >> Ja. >> Dann denke ich, das ist vielleicht ein guter Aufbau, weil ich das Gefühl habe, dass es irgendwie, wissen Sie, vielleicht ist das eine Möglichkeit, äh, mit dem verbunden zu sein, was tatsächlich passiert, aber auch nicht das Gefühl zu haben, dass man unbedingt vollständig von >> Ja. >> von diesen Einheiten kontrolliert wird. Also, ich denke ehrlich gesagt in meinem Kopf, dass Noom wahrscheinlich extrem gute Arbeit bei OI leisten kann, aber ich denke auch, dass seine wirkungsvollste Arbeit sehr gut außerhalb von OpenAI liegen könnte. >> Nein, das ist ein Aufruf, ein unabhängiger Forscher mit Auto-Research zu sein. Ja, es gibt viele Dinge, die man draußen tun kann, und es ist, und ich denke letztendlich, dass die ideale Lösung vielleicht ist, ja, hin und her zu gehen oder ja, und ich denke, grundsätzlich kann man dort wirklich erstaunliche Wirkung erzielen. Also sehr kompliziert, ich weiß nicht, es ist eine sehr geladene Frage, ein wenig, aber ich meine, ich bin dem Frontier Lab beigetreten und jetzt bin ich draußen und dann möchte ich vielleicht in Zukunft wieder beitreten, und ich denke, äh, das ist irgendwie, wie ich es sehe. Eine Frage zur Sichtbarkeit, die die Welt oder das KI-Ökosystem in die Frontier hat, ist, wie nah Open Source an der Frontier ist, ähm, und wie nachhaltig das ist. Ich glaube, ja, ich glaube, es ist ziemlich überraschend, die gesamte Abfolge von Ereignissen, tatsächlich von einer Handvoll chinesischer Modelle und globaler Modelle, und ich denke, die Leute werden in naher Zukunft weiterhin hier veröffentlichen, die näher dran sind, als vieles in der Branche erwartet hat, aus Sicht der Fähigkeiten. Ähm, ich weiß nicht, ob Sie davon überrascht sind, aber Sie sind ein langjähriger Mitwirkender an Open Source. Wie ist Ihre Vorhersage hier? Ja. Grob gesagt, im Grunde, ja, die geschlossenen Modelle sind voraus, aber die Leute beobachten die Anzahl der Monate, die die Open-Source-Modelle hinterherhinken. Ähm, und es begann mit nichts, und dann ging es auf 18 Monate, und jetzt ist es Konvergenz, richtig? Also vielleicht sind sie hinterher, wie, was ist das Neueste, vielleicht wie sechs, acht Monate, so etwas im Moment. Ja, ich bin offensichtlich ein riesiger Fan von Open Source. Also zum Beispiel bei Betriebssystemen haben Sie geschlossene, wissen Sie, Windows und Mac OS. Das sind große Softwareprojekte, ähnlich wie LLMs werden, und es gibt Linux, aber Linux ist sehr einfach, tatsächlich ist Linux ein extrem erfolgreiches Projekt, es läuft auf der überwiegenden Mehrheit der Computer, wie beim letzten Mal, als ich nachsah, war es wie 60 % oder so, die Linux betreiben, und das liegt daran, dass es in der Industrie einen Bedarf gibt, eine gemeinsame offene Plattform zu haben, die jeder sicher nutzen kann, würde ich sagen, die Industrie hat schon immer eine Nachfrage nach einem solchen Projekt gespürt, und ich denke, das Gleiche gilt jetzt, und deshalb wollen Unternehmen tatsächlich, es gibt eine Nachfrage nach dieser Art von, ähm, einer Sache, die existiert, der große Unterschied ist, dass alles Kapital ist. Es gibt viel Capex, das in dieses hineinfließt. Ähm, also ich denke, dort fallen die Dinge ein wenig auseinander, machen es ein wenig schwieriger, in gewissem Sinne zu konkurrieren. Äh, ich denke, die aktuellen Modelle sind sehr gut. Die andere Sache, die ich für wirklich interessant halte, ist, dass für die überwiegende Mehrheit der Konsumentenanwendungsfälle und ähnliches, selbst die Open-Source-Modelle tatsächlich ziemlich gut sind, würde ich sagen, und ich denke, wenn Sie weiter in die Zukunft blicken, scheint es, dass eine riesige Menge an einfachen Anwendungsfällen gut abgedeckt sein wird und sogar lokal laufen wird. Ähm, aber es wird immer eine Nachfrage nach Frontier-Intelligenz geben, und das kann tatsächlich ein extrem großer Teil des Kuchens sein. Aber es könnte sein, dass die Frontier, der Bedarf an Frontier-Intelligenz, Nobelpreis-Arbeit sein wird oder, lassen Sie uns Linux von C nach Rust verschieben. Es wird größere Projekte geben, wissen Sie, in dieser Größenordnung. Und es wird vielleicht mehr, und vielleicht ist es dort, wo viele der Frontier-geschlossenen Intelligenzen interagieren werden, und Open Source wird sich irgendwie durch viele der grundlegenderen Anwendungsfälle fressen oder so etwas. Wissen Sie, irgendwann wird das, was heute Frontier ist, wahrscheinlich später in diesem Jahr das sein, was heute Frontier ist, in Bezug auf das, was ich gerade von den geschlossenen Laboren benutze, könnte Open Source sein und das wird viel Arbeit leisten. Also erwarte ich, dass diese Dynamik sich fortsetzen wird, wir werden Frontier Labs haben, die geschlossene KIs haben, die irgendwie diese Orakel sind, und dann werden wir Open Source haben, das irgendwie um ein paar Monate hinterherhinkt, und ich erwarte, dass das so weitergeht, und ich denke tatsächlich, das ist eine ziemlich gute Konfiguration, insgesamt. Ähm, weil ich ein wenig zögerlich bin, ich glaube nicht, dass es strukturell ist, ich glaube, es gibt ein systemisches Risiko, das damit verbunden ist, nur Intelligenzen zu haben, die geschlossen sind, und das ist es. Mhm. Und ich denke, das ist, wissen Sie, Zentralisierung hat meiner Meinung nach eine sehr schlechte Erfolgsbilanz in der Vergangenheit und hat, meinen Sie, in politischen oder wirtschaftlichen Systemen im Allgemeinen. Ja. Genau. Ich denke, es gibt eine Menge, wie Osteuropa. Ja. Eine Menge ziemlich schlechter Präsidenten. Also möchte ich, dass es etwas gibt, das vielleicht nicht am Rande der Fähigkeiten liegt, weil es neu und unerforscht ist, usw., aber ich möchte, dass es etwas gibt, das dahinter liegt und das irgendwie ein gemeinsamer Arbeitsraum für Intelligenzen ist, zu dem die gesamte Branche Zugang hat. Ja, das scheint mir eine ziemlich gute Machtbalance für die Branche zu sein. Ja, ich denke auch, dass es einfach viele Probleme zu lösen gibt, richtig? Wenn Sie die Intelligenz von der Front weiter vorantreiben, können wir neue Dinge tun, und es gibt viele sehr große Probleme für die Menschheit, richtig? Und so scheint es, dass das ein sehr teures Spiel bleiben wird. Und so möchte ich Labs anfeuern, die das tun, weil es Probleme gibt, die wir ohne die weitere Entwicklung der Modelle auf sehr teure Weise nicht lösen können. Ja. Und doch, wie Sie richtig bemerken, wenn das, was wir heute als Frontier haben, offen ist, ist das eine Menge Fähigkeit. Ja. Richtig. Und und so denke ich, wissen Sie, die Macht davon oder die Demokratisierung davon scheint sehr nützlich und auch gesund. Ja. Ich denke, im Grunde sind wir durch Zufall in einer guten Situation, optimal. Ja. Durch Zufall sind wir in gewissem Sinne in einer guten Situation. Ähm, nun, und bis zu einem gewissen Grad, je länger dies andauert, diese Dynamik, desto gesünder könnte die Situation für das Ökosystem sein, weil Sie immer mehr Fläche unter der Kurve haben, und ich werde sagen, dass selbst auf der geschlossenen Seite fühlt es sich an, als ob es kürzlich noch weiter zentralisiert wurde, weil ich denke, dass viele der Vorreiter nicht unbedingt die Top-Tier sind, und ja, in diesem Sinne ist es, es ist nicht super ideal. Ich würde mir wünschen, dass es mehr Front-Tier-Labs gäbe, weil ja, ich bin standardmäßig sehr misstrauisch gegenüber, ich möchte, dass mehr Leute im Raum sind. Ich denke, in der maschinellen Lernens-Ensembles übertreffen immer jedes einzelne Modell, und so möchte ich, dass es Ensembles von Leuten gibt, die über die schwierigsten Probleme nachdenken, und ich möchte, dass es Ensembles von Leuten im Raum gibt, wenn sie, um all diese Entscheidungen zu treffen, wissen Sie, also, ich möchte nicht, dass es hinter verschlossenen Türen mit zwei oder drei Leuten ist. Ich habe das Gefühl, das ist keine gute Zukunft. Ich wünschte mir fast, es gäbe mehr Labs, lange Rede, kurzer Sinn, und ich denke, Open Source hat seinen Platz. Ich hoffe, es bleibt bestehen, und im Grunde ist es derzeit leicht zurück, und das ist tatsächlich irgendwie gut. Okay. Sie haben an dem Vorläufer der generalisierten Roboterautonomie in Autos gearbeitet, richtig? Es ist in den letzten Monaten viel mit Robotikunternehmen passiert, wie die Beschleunigung wirklich beeindruckender Generalisierungen von Umgebungen und Aufgaben, zunehmend langreichweitige Aufgaben, viel Geld fließt in den Bereich, wird es passieren? Hat sich Ihrer Meinung nach kürzlich etwas geändert? Also, meine Sichtweise ist durch das, was ich im autonomen Fahren gesehen habe, geprägt, und ich habe das Gefühl, dass autonomes Fahren die erste Robotikanwendung ist. Also wahrscheinlich, was ich damals sah, vor etwa 10 Jahren, gab es eine große Anzahl von Start-ups, und ich habe das Gefühl, dass die meisten von ihnen langfristig nicht überlebten. Und was ich sah, war, dass viel Kapitalaufwand und viel Zeit investiert werden mussten, und so, ich denke, es, ich denke, Robotik, weil es so schwierig und so unübersichtlich ist und riesige Kapitalinvestitionen und viel Überzeugung erfordert, ist es ein großes Problem, und ich denke, Atome sind wirklich schwer. Also habe ich das Gefühl, dass sie hinter dem zurückbleiben werden, was im digitalen Raum passieren wird, und im digitalen Raum wird es eine riesige Menge an Entfesselung geben, im Grunde Dinge, die nicht super effizient waren, werden um einen Faktor von 100 effizienter, weil Bits so viel einfacher sind, und so denke ich, derzeit in Bezug auf das, was sich ändern wird und wo die Aktivität ist, habe ich das Gefühl, dass der digitale Raum sich enorm verändern wird und dann wird der physische Raum zurückbleiben, und was ich sehr interessant finde, ist die Schnittstelle dazwischen. Denn ich denke, in diesem Fall haben wir mehr Agenten, die im Namen von Menschen handeln, und mehr Agenten, die miteinander reden und Aufgaben erledigen und an der Art von Wirtschaft von Agenten usw. teilnehmen. Sie werden Ihnen die Dinge ausgehen, die Sie rein im digitalen Raum tun können. Irgendwann müssen Sie ins Universum gehen und ihm Fragen stellen. Sie müssen ein Experiment durchführen und sehen, was das Universum Ihnen zurückgibt, um etwas zu lernen. Und so haben wir derzeit eine riesige Menge an digitaler Arbeit, weil es einen Überhang gibt, wie viel wir kollektiv über das nachgedacht haben, was bereits digital ist. Wir hatten einfach nicht genug Denkzyklen unter den Menschen, um über all die Informationen nachzudenken, die bereits digital und bereits hochgeladen sind. Und so werden wir anfangen, die Dinge ausgehen zu lassen, die tatsächlich bereits hochgeladen sind. Sie werden also irgendwann alle Papiere lesen und verarbeiten und einige Ideen haben, was Sie versuchen könnten. Aber ja, wir werden einfach, ich weiß nicht wirklich, wie viel Sie Intelligenz bekommen können, die vollständig abgeschlossen ist und nur mit den Informationen, die ihr zur Verfügung stehen, wissen Sie. Und so denke ich, was passieren wird, ist zuerst eine riesige Menge an Entfesselung, und ich denke, es gibt eine riesige Menge an Arbeit dort. Dann wird es sich zu den Schnittstellen zwischen physisch und digital bewegen. Also, und das sind Sensoren, um die Welt zu sehen, und Aktuatoren, um etwas in der Welt zu tun. Also denke ich, viele interessante Unternehmen werden tatsächlich aus dieser Schnittstelle kommen, können wir der Superintelligenz sozusagen Daten zuführen und können wir tatsächlich Daten herausnehmen und die physische Welt nach ihren Vorgaben manipulieren, wenn Sie das Ganze interropomorphisieren wollen, richtig? Und dann die physische Welt, ich habe fast das Gefühl, dass der gesamte adressierbare Markt usw. in Bezug auf die Menge der Arbeit und so weiter, massiv ist, möglicherweise sogar viel größer, vielleicht das, was im digitalen Raum passieren kann, also denke ich tatsächlich, dass es auch eine viel größere Chance ist, aber ich habe das Gefühl, dass es eine riesige Menge an Arbeit ist, und in meinem Kopf sind die Atome nur eine Million Mal schwieriger. Also, es wird zurückbleiben, aber es ist auch, glaube ich, ein etwas größerer Markt. Also ist es irgendwie, ja, ich denke, die Chancen folgen dieser Art von Flugbahn. Also im Moment ist dieses Digitale mein Hauptinteresse, dann Schnittstellen wären danach, und dann vielleicht einige der physischen Dinge, ihre Zeit wird kommen und sie werden riesig sein, wenn sie kommen. Nun, das ist auch ein interessanter Rahmen dafür, denn bestimmte Dinge, nicht die Dinge, an denen ich gerade arbeite, aber bestimmte Dinge sind auch in der Welt der Atome viel einfacher, wenn Sie nur an Lesen und Schreiben in der physischen Welt denken, Lesen von Sensoren, Kameras, es gibt viel vorhandene Hardware, und Sie können sich vorstellen, Agentenfähigkeiten zu bereichern oder viele neue Daten zu erfassen, wenn Sie einfach clever sind und Sie nicht unbedingt viel investieren müssen, um etwas Wertvolles zu bekommen. Ja. Also Beispiele dafür, die ich zum Beispiel gesehen habe, ist, dass ein Freund von mir Liam, CEO von Periodic, ich habe sie letzte Woche besucht, also ist es gerade auf meiner Liste, sie versuchen, Auto-Research für Materialwissenschaften zu betreiben. Ähm, und in diesem Fall sind die Sensoren für die Intelligenz tatsächlich ziemlich teure Laborgeräte, und das Gleiche gilt für die Biologie. Ich denke, viele Leute sind sehr daran interessiert, Biologie zu entwickeln, und wissen Sie, die Sensoren werden mehr sein als nur Videokameras, wenn das Sinn macht. Und dann das andere, was ich zum Beispiel gesehen habe, sind Unternehmen, die versuchen, Leute für Trainingsdaten zu bezahlen. Ja. Als Beispiel, um >> programmatisch zu füttern. >> Ja. Um die Borg zu füttern. Ähm, und so, das sind alles Beispiele für Sensoren in gewissem Sinne. Sie nehmen also viele verschiedene Formen an, wenn das Sinn macht. >> Ja. Also freue ich mich auf den Zeitpunkt, an dem ich eine Aufgabe in der physischen Welt anfordern kann und einen Preis dafür festlegen kann und dem Agenten einfach sagen kann, wissen Sie, finden Sie heraus, wie es geht. Holen Sie sich die Daten. Ich bin tatsächlich überrascht, dass wir nicht genug Informationsmärkte haben. Mhm. >> Wie zum Beispiel, wenn PolyMarket oder andere Wettmärkte oder sogar Aktien usw. so viel autonome Aktivität und steigende Aktivität haben, wie, ähm, warum sollte zum Beispiel, wenn gerade jetzt im Iran etwas passiert, warum gibt es keinen Prozess, bei dem das Aufnehmen eines Fotos oder Videos von irgendwo in Tan 10 Dollar kosten sollte, jemand sollte dafür bezahlen können, wissen Sie, und das ist ein Beispiel für die Fütterung der Intelligenz, es wird kein Mensch sein, der es sich ansieht, es werden Agenten sein, die versuchen, die Wettspiele und Aktienmärkte und so weiter zu erraten. M >> Also habe ich das Gefühl, dass das Agenten-Web noch ziemlich neu ist, dass es keine Mechanismen dafür gibt, aber das ist ein Beispiel dafür, was meiner Meinung nach passieren könnte. Es gibt ein gutes Buch, das vielleicht inspirierend ist, namens Damon, das Sie vielleicht gelesen haben. In Damon steuert die Intelligenz fast ein wenig die Menschheit, wissen Sie, und so sind die Menschen irgendwie ihre Aktuatoren, aber die Menschen sind auch ihre Sensoren. Ähm, und so denke ich, dass die Gesellschaft kollektiv irgendwie umgestaltet wird, um dieser Art von, die irgendwie passieren wird, kollektiv über die gesamte Branche hinweg zu dienen, wo ja, es gibt einfach viel mehr Automatisierung und hat bestimmte Bedürfnisse, und irgendwie werden die Menschen diese Bedürfnisse dieser Maschine bedienen, nicht unbedingt zueinander. Ähm, nun, wir waren an diesem ganz spezifischen Punkt von, äh, wie fehlende Trainingsdaten, wir brauchten, wir brauchten so etwas wie Auto-Research, wir brauchen den Trainingszyklus oder das SFT-Stück, um viel stärker mechanisiert zu sein, für welchen Teil, um die Sammlung zu ermöglichen, um den Menschen aus der Schleife zu nehmen, um nach einer Aufgabe zu fragen, die einfach nur lautet, meine Modellqualität mit neuen Daten zu verbessern, richtig? Äh, ja. Macht das für Sie Sinn? Wenn Sie die Modell-Trainingsläufe nicht selbst durchführen können, ist Ihre Fähigkeit, dies als geschlossene Aufgabe zu tun, mit der Preisgestaltung von Daten, äh, mehr herausgefordert. Ja. Ja, zu 100 %. Ja. Aber jetzt ist es so, dass für das LLM-Training tatsächlich sehr einfach, es passt wirklich gut zum Paradigma. Ähm, also würden Sie tatsächlich, ja, saubere Metrik, ja, wie LM-Training passt tatsächlich wirklich gut und sehr einfach zum Paradigma, wie die gesamte Optimierung des Codes und so läuft es schneller, und dann haben Sie auch Metriken, gegen die Sie optimieren können. Ich denke, wenn Sie eine autonome Schleife über diese Metriken hätten, wird es viel gutes Hardening geben, wo das System diese Metriken überanpassen wird, und dann können Sie das System verwenden, um mehr Metriken zu entwickeln, und Sie haben einfach eine sehr gute Abdeckung. Es ist also schwer zu sagen, aber in gewissem Sinne ist es eine ziemlich gute Passform. Ich möchte über ein kleines Nebenprojekt sprechen, bevor wir enden. Erzählen Sie mir vom Micro GPT-R. Äh, ja, okay. Also Micro GPT. Ich habe diese laufende Besessenheit von vielleicht einem oder zwei Jahrzehnten, im Grunde LLMs auf ihre reine Essenz zu vereinfachen und zu reduzieren. Und ich hatte eine Reihe von Projekten in dieser Richtung. Also, wie Nano GPT und Make More und Micro RAD usw. Also fühle ich, dass Micro GPT jetzt der Stand der Technik ist, um es auf die reine Essenz zu reduzieren, denn das Ding ist, das Training von neuronalen Netzen und LLMs speziell, es ist eine riesige Menge an Code, aber all dieser Code ist eigentlich Komplexität aus Effizienz. Es ist nur, weil Sie es schnell brauchen. Wenn Sie es nicht schnell brauchen und Ihnen nur der Algorithmus wichtig ist, dann ist dieser Algorithmus tatsächlich 200 Zeilen Python, sehr einfach zu lesen, und das schließt Kommentare und alles ein. Denn Sie haben nur Ihren Datensatz, der ein Text ist, und Sie brauchen Ihre neuronale Netzwerkarchitektur, die etwa 50 Zeilen hat. Sie müssen Ihren Forward-Pass durchführen, und dann müssen Sie Ihren Backward-Pass durchführen, um die Gradienten zu berechnen. Und so ein kleines Autograd-Engine zur Berechnung der Gradienten sind etwa 100 Zeilen, und dann brauchen Sie einen Optimizer, einen Atom zum Beispiel, der ein hochmoderner Optimizer ist, ist wieder etwa 10 Zeilen. Und so ist das Zusammenfügen von allem in einer Trainingsschleife, ja, 200 Zeilen. Und es war interessant für mich, normalerweise, bevor vielleicht vor einem Jahr oder mehr, wenn ich Micro GPT entwickelt hätte, wäre ich versucht gewesen, den Leuten im Grunde zu erklären, ich habe ein Video, das es Schritt für Schritt durchgeht oder so etwas. Und ich habe tatsächlich versucht, dieses Video ein wenig zu machen, und ich habe versucht, eine kleine Anleitung dazu zu machen und so weiter, aber ich erkannte, dass dies nicht wirklich viel hinzufügt, weil die Leute, weil es bereits so einfach ist, dass es 200 Zeilen sind, dass jeder seinen Agenten bitten kann, es auf verschiedene Weise zu erklären, und die Agenten, ich erkläre es den Leuten nicht mehr. Ich erkläre es Agenten. Wenn Sie es Agenten erklären können, dann können Agenten der Router sein und sie können es tatsächlich in ihrer Sprache, mit unendlicher Geduld und einfach auf ihrem Fähigkeitsniveau und so weiter, an den Menschen richten. >> Richtig. Wenn ich diese spezielle Funktion nicht verstehe, kann ich den Agenten bitten, sie mir auf drei verschiedene Arten zu erklären, und das bekomme ich nicht von Ihnen. >> Genau. >> Und so habe ich das Gefühl, wissen Sie, was ist Bildung? Es gab früher Anleitungen, es gab Vorlesungen, es gab dieses Ding, aber ich habe das Gefühl, dass ich jetzt mehr Dinge Agenten erkläre und vielleicht Fähigkeiten entwickle, wo, ähm, äh, im Grunde ist Fähigkeit nur eine Möglichkeit, den Agenten anzuweisen, wie er die Sache lehren soll. Also könnte ich vielleicht eine Fähigkeit für Micro GPT haben, die Progression, die ich mir vorstelle, die der Agent Sie durchlaufen lassen sollte, wenn Sie daran interessiert sind, den Code zu verstehen, und es sind nur Hinweise für das Modell, wie, äh, fangen Sie zuerst damit an und dann mit dem, und so könnte ich den Lehrplan ein wenig als Fähigkeit skripten. Also, äh, also ich habe nicht das Gefühl, ähm, ja, ich habe das Gefühl, dass es weniger geben wird, Dinge direkt an Leute zu erklären, und es wird mehr darum gehen, ob der Agent es versteht. Und wenn der Agent es versteht, wird er die Erklärung machen. Und wir sind noch nicht ganz da, weil ich immer noch denke, dass ich Dinge wahrscheinlich ein wenig besser erklären kann als die Agenten, aber ich habe immer noch das Gefühl, dass die Modelle sich so schnell verbessern, dass ich das Gefühl habe, es ist ein Kampf, den man bis zu einem gewissen Grad verliert. Ähm, und so denke ich, Bildung wird dadurch ganz erheblich umgestaltet werden, wo es das Ende des gegenseitigen Lehrens ist, fast ein wenig, als ob ich eine Bibliothek hätte, zum Beispiel Code oder so etwas, früher gab es Dokumentation für andere Leute, die in meiner Benutzerbibliothek sind, aber das sollten Sie nicht mehr tun, Sie sollten stattdessen HTML-Dokumente für Menschen haben, sondern Markdown-Dokumente für Agenten, denn wenn Agenten es verstehen, können sie einfach alle verschiedenen Teile davon erklären. Es ist also diese Umleitung über Agenten, wissen Sie, und das ist, also ich denke, wir werden das noch viel mehr erleben. >> Nun, wir werden sehen, ob die großartigen Lehrer wissen, wie man Intuition dafür entwickelt, wie man Dinge anders an Agenten erklärt. >> Letztendlich, zum Beispiel, Micro GPT, ich habe einen Agenten gebeten, Micro GPT zu schreiben. Also sagte ich ihm, versuche, die einfachsten Dinge zu reduzieren, versuche, neuronale Netzwerke auf das einfachste Ding zu reduzieren, und er kann es nicht. Micro GPT ist wie mein, es ist das Ende meiner Besessenheit. Es sind die 200 Zeilen. Ich habe lange darüber nachgedacht. Ich war lange davon besessen. Das ist die Lösung. Vertrauen Sie mir, es kann nicht einfacher werden. Und das ist mein Mehrwert. Alles andere, wie Agenten, verstehen es. >> Es kann es nur nicht erfinden. Aber es versteht es total und versteht, warum es auf eine bestimmte Weise gemacht wird usw. Also ist mein Beitrag irgendwie diese wenigen Bits, aber alles andere in Bezug auf die Bildung, die danach stattfindet, ist nicht mehr meine Domäne. Also vielleicht, ja, es ist wie Bildung, die sich auf diese Weise ändert, wo man die wenigen Bits, von denen man stark überzeugt ist, den Lehrplan oder die bessere Art der Erklärung oder so etwas, einbringen muss. Die Dinge, die Agenten nicht tun können, sind jetzt Ihre Aufgabe. Die Dinge, die Agenten tun können, können sie wahrscheinlich besser als Sie oder sehr bald. Und so sollten Sie strategisch vorgehen, worauf Sie Ihre Zeit tatsächlich verwenden. >> Nun, wir schätzen die wenigen Dinge. Danke, Andre. >> Okay. >> Finden Sie uns auf Twitter unter no prior pod. Abonnieren Sie unseren YouTube-Kanal, wenn Sie unsere Gesichter sehen wollen. Folgen Sie der Show auf Apple Podcasts, Spotify oder wo auch immer Sie zuhören. So erhalten Sie jede Woche eine neue Folge. Und melden Sie sich für E-Mails an oder finden Sie Transkripte für jede Folge unter no-briers.com.