Selbstverbessernde KI ist jetzt da

Selbstverbessernd KI ist jetzt da, und das Ganze ist kein Witz. Andrew Carbaffi hat gerade dieses Open-Source-Projekt veröffentlicht. Falls du Andrew Carbaffi noch nicht kennst, der war Direktor vom KI bei Tesla, beim Gründungsteam von Opmi mit dabei, und er war auf Stanford, also einer der ganz Großen im KI-Bereich.

Das Projekt, das er veröffentlicht hat, kann selbstständige Experimente durchführen, messen, ob die Experimente was bringen, und falls sie was bringen, genau diese implementieren. Dementsprechend lernt KI selbst. Vor ein paar Tagen hat er also das Auto Research auf sein Nanochat losgelassen. Nanochat ist ein weiteres Projekt, das er hatte. Damit kann man ein KI-Modell trainieren, also genau das, was die großen Unternehmen machen, aber im kleineren Stil.

Er hat Auto für zwei Tage laufen lassen. Es hat 20 Veränderungen im Projekt gemacht und dadurch wurde es 11% besser, und eine 11% Verbesserung ist riesig in diesem Bereich. Normalerweise macht er das Ganze manuell. Das war Brot und Butter seiner Arbeit der letzten zwei Dekaden, und er sieht jetzt, wie ein KI-Agent seine komplette Arbeit end-to-end macht. 700 verschiedene Experimente wurden gemacht und 20 davon wurden wirklich implementiert, und das gesamte Projekt wurde um einiges effizienter.

Die meisten von uns werden wahrscheinlich kein LLM trainieren wollen, aber das Coolste daran ist, dieses Projekt lässt dich auf fast alles implementieren, was du möchtest. Falls du Skills in Cloud Code oder OpenCloud hast, kannst du diese verbessern. Du kannst das auch mit deinen Workflows probieren. Sogar Marketingkampagnen, E-Mail-Templates, YouTube-Titel, verschiedenste Prompt-Vorlagen und vieles mehr. Alles, was irgendwie eine messbare Baseline hat, kannst du mit diesem Projekt verbessern. Und genau das schauen wir uns heute an. Erst erkläre ich dir so einfach wie möglich, was das Projekt macht, und dann zeige ich dir fünf konkrete Use Cases, wie wir das Projekt verwenden können, ohne unser eigenes LLM zu trainieren. Wir werden höchstwahrscheinlich nicht in Konkurrenz mit Open AI gehen. Das Projekt ist zu 100% Open Source und auf GitHub. Ich werde dir den Link in die Beschreibung packen. Zieh dir das Projekt bitte an.

Die Idee vom Projekt ist, dass wir einen Agenten ein Setup geben und er experimentiert komplett autonom über Nacht. Er modifiziert alles, trainiert für 5 Minuten, sieht sich an, ob es besser geworden ist. Falls es besser wird, wird es beibehalten. Falls nicht, wird es rausgeschmissen. Und das wird immer wiederholt. Du wachst also am Morgen auf und hast einen Log von Experimenten und hoffentlich ein besseres Modell. Das Projekt macht also genau das, was ein echter Forscher machen würde. Es sieht sich die Basis an, stellt Thesen auf und testet die Thesen.

Insgesamt sind im Projekt nur drei Dateien, die man beachten sollte. Diese Datei ist für das Training und diese Datei weist dem Agenten dann, was er machen muss. Die Datei da oben können wir tatsächlich ignorieren, weil die speziell fürs LLM-Training ist. Und wie gesagt, wir müssen nicht nur LLMs trainieren, wir können das anwenden, um Skills zu verbessern. Sollten Skills für dich noch komplett neu sein, das sind nichts anderes als Anweisungen für KI-Agenten. Ein Skill in Cloud Code könnte z.B. so aussehen. Es wird in einem Marktanteil genau angegeben, was das Modell für uns machen muss. Man gibt dem KI-Agenten also Anweisungen, wie er z.B. E-Mails schreiben und versenden soll, oder wie er YouTube-Titel erstellt, oder wie er Workflows optimiert, wie er Dokumentationen durchsucht, oder wie er Bilder generiert.

Diese Skills sind super, aber diese Skills funktionieren nicht immer so, wie man sich das Ganze vorstellt. Manchmal machen sie Fehler, sie werden nicht richtig getriggert, und man kann diese Skills immer ein klein wenig verbessern. Und genau hier wird das Prinzip der Selbstverbesserung interessant. Stell dir das Ganze vor wie ein Experiment aus dem realen Leben. Sagen wir, die Ausgangsbasis bin in diesem Fall ich. Ich wiege 85 kg, esse 2500 Kalorien und mache dreimal pro Woche Sport. Mein Ziel wäre es z.B. ein paar Kilo abzuwerfen. Es wird also eine These aufgestellt. Die These könnte sein: die Kalorien um 500 zu senken. Danach wird das Ganze getestet. Es wird ausgewertet. Wahrscheinlich wird rausgefunden, dass ich dadurch Gewicht verliere, also wird die Änderung beibehalten. Danach machen wir die nächste These. Die nächste These könnte sein: Zitronenwasser am Morgen trinken. Das Ganze wird getestet, ausgewertet. Wahrscheinlich wird dabei rauskommen, dass sich nicht wirklich was verändert oder dass es schlechter wird, und die Änderung wird verworfen. Und genau das machen wir mit unseren Skills. Wir müssen die Baseline messen. Das KI-Modell wird danach Tests für uns machen, die Tests auswerten und die Tests implementieren, falls sie Sinn machen.

Also zeige ich dir jetzt fünf Beispiele, mit denen ich rumgespielt habe. Mein erster Test war an Skilling Cloud Code. Falls Cloud Code für dich noch komplett neu ist, dann blende ich dir hier irgendwo ein Video ein. Dieser Skill ist im Endeffekt genau dafür da, um die Dokumentation von OpenCL zu durchsuchen. Ich habe den Skill ursprünglich dafür gemacht, weil ein paar Leute Probleme hatten bei der Installation, und ich habe den Skill weitergegeben und genau diesen Skill wollte ich verbessern. Erstmal wurde die Ausgangsbasis gemessen, die waren 0,8, also 80% Genauigkeit. Danach wurden 23 verschiedene Tests gemacht und Tests, die was bringen, werden beibehalten. Die Summe der Auswertungen war am Ende, dass wir genau die erste Verbesserung mit einbauen und die anderen wurden alle verworfen. Mit einem URL-Fix konnten wir das Ding um 10 Basispunkte verbessern, also von 80% Genauigkeit auf 90%. Und hier sind die Dinge, die getestet worden sind.

Falls du dich fragst, wie das Ganze geloggt oder getestet wird, das funktioniert mit deinem Git-Commit. Hier auf der linken Seite, falls du dich mit Git auskennst, siehst du die ganzen Commits. Wir müssen hier jetzt aber nicht zu tief rein. Ich zeig dir später noch, wie du das selbst implementieren kannst. Ich will dir aber erst die Beispiele aufzeigen. Die restlichen Tests habe ich über OpenCLore gemacht. Falls OpenCLore für dich noch komplett neu ist, das ist ein persönlicher KI-Assistent, der Dinge für dich macht, ähnlich wie Cloud Code. Du kannst das Ding aber über Telegram erreichen und es ist super anpassungsfähig und kann sich auch selbst ein klein wenig modifizieren. Und auch OpenCL kann man durch Fähigkeiten oder Skills erweitern. Falls du OpenCL im Detail verstehen willst, blende ich dir auch hier noch mal ein Video mit ein. Aber ich kann dich auch jetzt ganz kurz durch die Installation begleiten, falls du es noch nicht laufen hast.

Du kannst OpenCL lokal installieren. Das solltest du am besten machen auf einem separaten Computer, damit es auf deinem Computer nichts kaputt macht. Also kannst du dir eventuell einen separaten Computer kaufen. Einige Leute mögen MCMIS, aber auch ein Raspberry Pi reicht komplett aus, oder du installierst es auf einem virtuellen privaten Server. Das Setup, das ich verwende, läuft über Hostinger. Hostinger macht es mittlerweile auch unglaublich einfach. Sie haben eine Ein-Klick-Installation und zwar auch auf Deutsch. In meinem anderen Video habe ich dir das gezeigt, wie du es direkt über den Docker-Manager machen kannst. Mittlerweile kannst du nur noch klicken, OpenCL erhalten, OpenCL sichern. Dann landest du genau auf dieser Checkout-Page und du kannst auch den Rabattcode Arni verwenden, um zwischen 10 und 20% zu sparen, falls du auf Anwenden gehst. Sobald du hier auf weiter klickst, gibst du deine Informationen an und das Ganze war's. Dann läuft der OpenCL bereits für dich. Hostinger ist übrigens mein einziger Sponsor auf diesem Kanal und ich baue die nur mit ein, weil ich die auch selbst verwende, auch bevor sie Sponsor war.

In Hostinger sollte das Ganze dann auch so aussehen, dass du auf der linken Seite OpenCL bekommst. Und falls du das noch nie gemacht hast, dann bekommst du auch hier fünf kostenlose Credits, die über Nexosial laufen. Du musst aber nicht genau diese Credits verwenden, aber zum Starten ist es natürlich perfekt und du kannst weitere kaufen, falls du hier auf Topup klickst. Danach kannst du bei OpenCL nur noch auf Setup klicken. Hier hast du jetzt auch die Möglichkeit, andere API-Keys zu hinterlegen, z.B. von Open AI, von Tropic oder von XII, oder du bekommst hier 5 € Startguthaben. Teste das Ganze am besten mit diesen Nexus. Falls du schon ein Abo bei Open hast, kannst du dich auch mit einem Off-Token anmelden. Das habe ich dir im letzten OpenCL-Video gezeigt. Wenn du hier weitergehst, wirst du gefragt, womit du dich verbinden möchtest. Ich würde dir empfehlen, Telegram zu verwenden, also einfach auf Select. Diesen paar Anweisungen kannst du folgen. Auch das habe ich generell schon im Detail erklärt. Du brauchst einfach nur den Token vom Botfather. Der muss hier rein. Danach verbindest du dich und das ganze Ding läuft sofort.

Danach wirst du in einem Interface landen, das so aussieht. Auf der linken Seite hast du Chat. Damit kannst du sprechen, aber du kannst auch über Telegram sprechen. Und da unten siehst du auch Fähigkeiten, also diese Skills. Und hier kannst du verschiedenste Skills anlegen. Das Anlegen der Skills ist unglaublich einfach. Generell gesprochen kannst du einfach nur in OpenCLore reingehen und sagen, was der Skill für dich machen soll, und der Skill wird für dich angelegt. Schau dir auch gerne dieses Beispiel an, falls du tief in OpenCL Skills rein willst.

In OpenCL habe ich einen Skill, der Bitcoin traden kann. Ich mache das Gan Ganze nur zum Spaß, weil ich es spannend finde, das Ganze zu tracken. Der Skill analysiert den Bitcoin-Preis. Er verfolgt eine Momentum-Strategie und er steigt long oder short ein bei gewissen Signalen. Und ich dachte mir, das ist das perfekte Ding, um eine Selbstverbesserung mit einzubauen, denn die Baseline war eine Gewinnrate von 53% und das Risiko war 1,51. Natürlich nur mit den begrenzten Daten, die man sammeln kann durch Backtesting. Also habe ich die Selbstverbesserung drauf losgejagt und ich habe mir angesehen, was passiert ist. Es wurden immer wieder gute Dinge gefunden, die wurden danach später aber wieder verworfen. Also war das für mich ein Experiment, das nicht perfekt war. Ich denke generell, es ist schwierig mit solchen Scripts einen Edge im Markt zu finden. Das Buying-Script sieht im Endeffekt so aus. Es ist aktuell die Version 6. Ja, ein sehr, sehr simples Buying-Script und die ganzen größeren Dinge konnten nicht wirklich viel verbessern. Das Problem bei solchen Scripts ist übrigens oft auch der Spread, also der Unterschied zwischen Ankauf und Verkaufskurs. Das macht immer eine kleine Gebühr aus. Ab und zu bezahlt man sogar Handelsgebühren, wobei die im Krypto-Trading sehr gering ausfallen. Nichtsdestotrotz fressen solche Gebühren gerade bei ganz kurzen Trades die Gewinnmarge ziemlich auf. Automatisiertes Trading war also nicht wirklich cool, aber das Konzept hat auf alle Fälle funktioniert. Die Tests liefen für eine ganze Weile und wurden wieder und wieder implementiert.

Der dritte Skill, den ich versucht habe zu verbessern, war ein Titelgenerator für YouTube. Dieser Skill sollte mir dabei helfen, in meinem Stil gute Titel zu schreiben. Um dir so schnell wie möglich zu erklären, was hier im Detail passiert, habe ich OpenCLow nach einer Zusammenfassung gefragt. Also erstmal wurde natürlich der YouTube-Titelgenerator gebaut. Danach wurde ein gesamte Skill-App angelegt mit den Walls, wo die Tests laufen können. Eine Create-Umgebung wurde gebaut, damit wir auch irgendwo messen können. Bewertet wurde danach über Hook, Lesbarkeit, emotionale Klarheit, Curiosity, Themenklarheit, Audience Fit und es sollte nicht cringe sein. Der Skill erzeugt erstmal echte Titellisten, die werden danach automatisch gebarst und gescort. Danach läuft der Auto Research Loop. Die Dinge werden optimiert, vor allem kürzer gemacht, stärkere Hooks und die ganzen obgenannten Dinge. Und das Ergebnis war: der aktuelle Skill ist die beste gefundene Version aus dem Lauf und ist direkt einsetzbar. Im Endeffekt sieht das Ganze so aus, dass ich mittlerweile ein solche Skill-App hier mit dabei habe. Da sieht man die Runs vom YouTube-Titelgenerator und bei den Resultaten sieht man die ganzen Logs. Hier sieht man, was alles beibehalten wurde und was rausgeflogen ist. Dementsprechend siehst du, es wurde viel getestet und implementiert. Es bleibt natürlich abzuwarten und zu schauen, ob der Skill auch performt. Mal sehen, wie dieser YouTube-Titel abschneidet. Aber zumindest in der Testumgebung war das Ganze vielversprechend. Jetzt müsste ich natürlich noch die echten YouTube-Daten auswerten.

Falls du dich übrigens fragst, wie du dieses Auto Research in OpenCL implementieren kannst, das ist wirklich unglaublich einfach. Du kopierst genau diesen Link von GitHub. Du schmeißt den in OpenCLow und sagst, du willst das implementieren. OpenCLow macht den ganzen Rest für dich. Für mich war es tatsächlich nur der Prompt: "Nimm mal Git und Clone das Repo irgendwohin, wo du es später gut lesen kannst und auch eventuell über Skills triggern kannst." Der Repo-Link dazu. Alles wurde danach geklont und dann habe ich OpenCL gesagt, dass ich ein paar Ideen hatte und wir diskutieren etwas und nach etwas diskutieren kamen die ganzen Use Cases raus und damit wollen wir auch auf Use Case Nummer 4 wechseln.

Anwendungszweck Nummer 4 war für mich das Verbessern von diesem Skill. Dieser Skill kann Confui triggern und zwar auf meiner lokalen Maschine und das Ziel war, die Generation ein klein wenig schneller zu machen. Eine Generation mit diesem Full-Modell braucht auf meiner Maschine in etwa 50 Sekunden, nachdem die Modelle geladen sind. Und OpenCLow hat nur die Aufgabe bekommen, mit diesem Repo den Skill so zu verbessern, dass es schneller wird. Im Endeffekt wurde die Generation um 4 Sekunden verschnellert und sogar mein Confui wurde ein klein wenig umgeschrieben. Auch hier wurden einige Experimente gemacht. Den größten Einfluss macht es natürlich, die Auflösung runterzupacken. Das habe ich aber nicht mit akzeptiert. Ich wollte immer noch die gleiche Auflösung haben. Also wurden tatsächlich in Confi 2.1 minimal umgeschrieben und danach ging es ein klein wenig schneller.

Und der fünfte Anwendungszweck war das Verbessern vom System Prompt von genau diesem Renacht Agent. Dieser Ren8 Agent, der hat ganz ganz viele verschiedene Tools und falls man viele verschiedene Tools hat, passiert es ab und zu, dass die Tools nicht in der richtigen Reihenfolge aufgelistet werden, nicht richtig verwendet werden oder teilweise irgendetwas nicht so funktioniert, wie man sich das Ganze wünscht. Das ist eigentlich schon ein ziemlich alter Agent, aber ab und zu verwende ich den tatsächlich noch und ich war nicht ganz zufrieden damit, wer Kurati Tools aufgerufen worden sind. Also habe ich ganz einfach versucht, diesen Agent so zu verbessern und auch das hat einigermaßen gut geklappt.

Insgesamt gibt es also hunderte Beispiele, die du einsetzen kannst. Alles, was du irgendwie messen kannst, wo du Evaluierungen hast, wo du eine messbare Verbesserung haben kannst, wie z.B. eine höhere Clickthrough-Rate bei YouTube-Titeln, meinetwegen höhere Öffnungsraten bei E-Mail-Kampagnen, höhere Conversion-Rate auf einer Webseite, Anpassungen, damit sein Skill besser funktioniert. Auch das Beispiel von Confio ist perfekt. Eine Generation dauerte zuerst 50 Sekunden und ging danach runter auf ca. 46 Sekunden. Überall dort, wo du etwas testen kannst und wirklich mit messbaren Erfolgen, kannst du dem Ding einfach mal eine Chance geben.

Und falls das Ganze für dich noch zu abstrakt ist, dann zeige ich dir jetzt vielleicht in einem Code-Editor noch mal Schritt für Schritt, wie du das implementieren kannst. Prompt für Prompt. Wie gesagt, das einfachste wäre wahrscheinlich OpenCL das Repo zu geben und einfach nur Open Cloud zu sagen, ich will das implementieren und Skill XY Z verbessern. Falls du aber mit nichts startest und das einfach mal testen möchtest, dann machst du dir einen Ordner, z.B. auf deinem Desktop. Ich habe das Ganze jetzt YouTube Research genannt. Genau diesen Ordner öffne ich jetzt mit VS Code und ich mache ein neues Terminal und dort starte ich Cloud oder Codex. Du kannst auch hier verwenden, was du willst und ich schmeiße das Ding ganz gerne auf die rechte Seite und das da schmeiße ich raus.

Jetzt gehen wir auf das GitHub Repo von Andrew Carbaffi und wir kopieren den Link und wir sagen: clone das Repo. Hier wird jetzt Git verwendet und es wird dann Git Clone gemacht. Das kannst du auch händisch machen, falls du dich damit auskennst. Ja, das soll hier rein. Jetzt hast du sofort Auto Research hier mit dabei und da sind alle Dateien, die du brauchst. Das Gitignore kannst du ignorieren. Das ist nur, falls du es auch auf GitHub pushen wollen würdest. Hier ist die Python-Version, die du installiert haben musst, 3.10. Hier ist die Analyse, das Pre-Packt bei. Das ist tatsächlich nur zum LLM-Training. Das ist nicht relevant für uns. Relevant für uns ist nur dieses Programm. Hier ist nur ein Bild, das Andrew noch dabei hatte. Da haben wir das Projekt, das Readme, wo alles beschrieben wird. Hier das Training an sich und UVlog.

Nachdem also alles da ist, brauchst du natürlich erstmal einen Skill. Du kannst verwenden, welchen Skill du auch immer möchtest. Wir verwenden dafür erstmal ein neues Terminal und starten noch mal Cloud und wir erstellen uns irgendeinen Skill. Ich nehme das Beispiel, dass die Open Cloud Dokumentation durchsuchen soll. Also kopiere ich den Link. Bitte erstelle einen Skill, der diese Docs durchsuchen kann. Wir implementieren den Link. Der Skill soll in diesem Projekt angelegt werden. Dementsprechend machen wir jetzt selbst einen Skill, natürlich mit Cloud Code. Hier kannst du jetzt auch noch händisch alles akzeptieren. Später müssen wir in den YOLO-Mode rein. Cloud Code sagt mir, der Skill ist jetzt komplett, also können wir runter Cloud bei den Skills rein. Und hier sehen wir den OpenCL Skill. Dieser Skill ist jetzt speziell dafür da, die OpenCL Dokumentation zu durchsuchen.

Und falls du diesen Skill jetzt verbessern möchtest mit genau diesem Auto Research, dann kannst du folgendes machen. Wir öffnen jetzt noch mal ein neues Terminal und wir starten wieder Cloud. Aber diesmal starten wir Cloud im gefährlichen Modus. Dafür geben wir rein Cloud das --dangerously-skip-permissions und schicken das Ganze los. Erst wird sich Cloud Code starten und es wird andauernd Befehle ausführen, ohne dass du jemals okay klicken musst. Als allererstes gehen wir jetzt in den Plan-Modus rein, dafür Shift und Tab, bis eben der Plan-Modus da ist, genau hier. Und jetzt beschreibst du, was du machen möchtest. Schau dir mal das Repo an. Ich will das einsetzen, aber nicht um ein LLM zu trainieren, sondern um meinen Skill zu verbessern, der die Docs durchsucht. Passe alles optimal an und wir lassen den Rest einfach Cloud Code machen. Cloud Code wird jetzt einen Plan erstellen. Wir sehen uns an, ob der Plan Sinn macht. Falls nicht, passen wir den Plan noch mal an und danach lassen wir Cloud Code einfach laufen. Wie gesagt, in OpenCLow ist das etwas einfacher, aber mir ist es relativ egal, wo du das umsetzt. Falls du Cloud Code verwendest, hast du etwas mehr Kontrolle und du siehst einfacher, was passiert. Falls du es in OpenCL machst, wird das Ganze einfacher sein, aber du kannst von beiden Tools die Skills verbessern. Das ist hier das Mächtige. Und ich bin mir auch sicher, du findest noch die besseren Anwendungszeuge für dich als die Beispiele, die ich gegeben habe.

Und Cloud Code antwortet uns hier: "Ich verstehe das Repo und deinen Skill, aber ich muss verstehen, was genau du meinst." Ja, ganz genau. Autonome Verbesserung, das Auto Research Prinzip adaptieren. Ein Agent modifiziert interaktiv den OpenCL Doc Skill, testet ihn mit Queries, misst die Qualität und behält nur Verbesserungen. Also wählen wir das aus. Jetzt haben wir hier den kompletten Plan zum Auto-Skill. Autonome Verbesserung des OpenCL Doc Skills. Das da ist der Kontext. Das Concept Mapping. Wir haben natürlich das Train. Das ist die einzige editierbare Datei. Wir haben das Program.py, das die Agenten-Anweisungen macht und das einzig andere wichtige ist eigentlich das results.csv. Das sind die Resultate und wir verwenden Git, um den neuesten Status immer zu loggen. Beim Auto-Skill werden die Dinge in etwa so angepasst. Ich werde jetzt nicht alles vorlesen. Wir haben zehn fixierte Deskies, z.B. Suche nach der Docker-Installation oder nach einem Raspberry Pi und spezifischere Dinge wie Crosscutting. Danach wird das Ganze ausgewertet, ob es relevant ist, ob es komplett ist, ob es effizient war. Die Voraussetzungen sind in diesem Fall Git. Settings-Änderungen nicht wirklich nötig. Den Rest überspringen wir.

So, dementsprechend klicke ich jetzt einfach mal ja. Wir klären den Kontext, geben Permissions und werden das Ganze jetzt genauso anpassen, wie wir es haben wollen. Dementsprechend wird jetzt das Auto Research von Andrew Carbathy für uns so umgeschrieben, dass es für uns höchstwahrscheinlich gut funktioniert. Und danach können wir das Ding laufen lassen und testen und uns ansehen, ob es klappt oder nicht. Sieht so aus, als ob wir jetzt alles umgesetzt haben und wir haben auch eine Baseline von 55 bis 65 von 100. Jetzt geht es natürlich darum, diese Baseline zu verbessern. Dafür sollten wir eine neue Cloud Code Session starten und danach sollte das Ganze laufen. Aber bevor wir das noch machen, mache ich ganz gerne /init, denn /init legt uns ein Cloud.md an und das Cloud.md wird Cloud Code sozusagen durch dieses ganze Projekt durchbegleiten, damit es versteht, was überall abgeht.

Sollte Cloud Code für dich generell noch ein Rätsel sein, dann empfehle ich dir auch in der Krievolution vorbeizuschauen. Da haben wir im Classroom komplette Kurse dazu, z.B. Bankurus Vibe Coding haben wir alle Basics mit dabei, wie man die ganzen Sachen installiert, wie du auch Git und GitHub verstehst und jedes einzelne Kommando zu Cloud Code mit vielen verschiedenen Projekten. Sogar ums Hosting kümmern wir uns, wie du wirklich komplette Apps damit machen kannst. Natürlich ist auch der komplette OpenCL-Kurs mit dabei und eigentlich alles, was im KI-Bereich wichtig ist. Zusammen mit über 300 anderen Leuten, die alle in diesem Bereich tätig sind, tauschen wir uns hier aus, lernen zusammen und quatschen auch in Live-Calls.

Das Cloud.md wurde jetzt erstellt. Dementsprechend haben wir hier alles mit dabei, damit sich Cloud Code in diesem Projekt besser zurechtfindet, besonders falls wir eine neue Cloud Code Sitzung starten und natürlich wieder mit --dangerously-skip-permissions. Und los geht's. Nimm Auto Research und verbessere unseren Skill. Hier unter Autoskill haben wir übrigens alles mit dabei. Hier die Dinge zur Evaluierung, das Programm an sich. Dementsprechend muss Cloud Code den OpenCL Skill lesen, den Autoskill-Tester lesen, den Autoskill-File lesen und die Resultate lesen und alles verbessern. Hier unter Testsuite sieht man die Tests, die durchlaufen müssen. Erstmal die einfachen wie z.B. lockere Installation, das Raspberry Pi und so weiter, bis wir runter zu den schwereren Fragen kommen. Alles wird letztendlich geloggt unter genau diesen Resultaten. Hier sollten jetzt die Dinge reinflattern, sobald Cloud Code die ersten brauchbaren Resultate hat. Das wird jetzt natürlich eine Weile dauern. Im Optimalfall lässt man das wirklich ein paar Stunden, weil Cloud Code natürlich nur alle 5 Minuten einmal einen vernünftigen Test machen kann. Ich werde jetzt ein, zwei Resultate reinflattern lassen, damit du vielleicht siehst, was hier generell so abgeht.

Mittlerweile haben wir die Baseline mit dabei. Wir sind bei 60 und das lassen wir natürlich so. Jetzt wird Cloud Code den ersten Test machen und versuchen den Skill so umzuschreiben, dass wir im Optimalfall einen besseren Wert als 60 erreichen. Falls wir mehr als 60 erreichen, wird das beibehalten. Falls wir weniger als 60 erreichen, wird das nicht beibehalten. Und so geht das Ganze weiter und weiter. Die ersten Tests flattern rein und hiermit punkten wir tatsächlich 76 von 100. Das sind dementsprechend +16 Basispunkte und das wird behalten. Und der nächste Test macht das Ganze noch besser. Hier geht es jetzt um Cross-Referenzen auf mehrere Seiten und damit kommen wir auf 98. Dementsprechend wurde der Skill um 22 Basispunkte verbessert. Wir werden niemals auf die 100% kommen. Deshalb gehe ich davon aus, dass das Ding jetzt entweder aufhört oder noch weiter versucht und nichts mehr wirklich implementieren kann. Das kannst du jetzt auch mit Handy spenden. Dieser Skill ist natürlich relativ einfach zu verbessern, weil alle LLMs dazu recht einfach in der Lage sind. Aber gerade das Ding mit den YouTube-Titeln, das braucht mindestens 20 Durchläufe. Falls du ein LLM trainieren möchtest, dann brauchst du natürlich tausende Durchläufe.

Jetzt siehst du hier: Fertig. Hier die Zusammenfassung der Ergebnisse. Die Baseline ist 60 von 100. Mit Keyword Alias bekommen wir 76 von 100 und mit Cross-Referenzen auf mehrere Seiten bekommen wir 98 von 100. Dementsprechend schon +38 Punkte in nur zwei Experimenten. Falls du jetzt auf die linke Seite kommst, dann haben wir hier unsere Git-Commits. Du kannst dementsprechend auch auf ältere Versionen zurückrollen, falls du magst. Und du kannst natürlich auch Cloud Code fragen, was hier abgeht. Danke. Wir behalten den neuesten Commit bei, die 98 sind schon top. Dementsprechend haben wir jetzt dank Auto Research unseren Skill verbessert. Wir haben Keyword Alias mit eingebaut und Cross-Referenzen. Das kannst du dir so vorstellen: Falls wir unserem Programm Dinge testen, die z.B. etwas schwerer sind, z.B. wie wir den System Prompt und die Identität verbessern können, dann werden jetzt erstmal zusätzliche Keywords gemacht, die wahrscheinlich in der Nähe vom richtigen Resultat sind und mit diesen ganzen Keywords können wir eine bessere Suche machen. Das hat dementsprechend schon 16 zusätzliche Punkte gebracht und die Cross-Referenzen haben den Rest gemacht und du siehst jetzt bei Cloud Code: Perfekt. 98 von 100 steht. Der Skill ist auf dieser Branch committed und ready. Dementsprechend haben wir in unseren Skill jetzt die neueste Version, den neuesten Commit. Ganz unten in unserem Skill siehst du jetzt, dass Cross-Referenzen mit eingebaut sind. Also falls eine Anfrage mehrere Sektionen hat, dann sollen alle Dinge gefetcht werden. Und hier wird noch detailliert gezeigt, was genau gemacht werden soll.

So oder so ähnlich kannst du wirklich alles verbessern, was irgendeine Baseline hat und wo du messen kannst, ob die Resultate besser werden oder nicht. Lass mich in den Kommentaren wissen, was du damit machst. Lass mich wissen, ob ich noch tiefer einsteigen soll in die Architektur, aber ich denke, wir haben das relativ gut abgehandelt. Das einfachste ist, wie gesagt, du installierst OpenCL, du gibst ihm den Link zum Repo und du sagst, du möchtest das implementieren und OpenCLore wird so gut wie alles für dich machen nach einigen Prompts. Falls du das anschaulicher haben möchtest und auch den Code sehen willst, dann kannst du das gerne über Cloud Code machen. Lass gerne einen Daumen da, falls dir das Video gefallen hat und wir sehen uns natürlich im nächsten Video und mal sehen, wie die neuen YouTube-Titel so performen. Als nächstes Video solltest du dir entweder die Use Cases von OpenCLow ansehen, falls du die von OpenCLow rein möchtest, oder aber die komplett neue Architektur von Rack, die Google gebaut hat. Das ist super spannend für dich.