Transcription
OpenAI hat schon wieder bahnbrechende neue Modelle veröffentlicht: O3 und O4 Mini, und letzteres ist sogar gratis verfügbar. Na, kommt ihr auch allmählich durcheinander, welches Modell man jetzt wofür wählen soll? Somit GPT 4.5 und übrigens auch GPT 4.1, GPT 4.1 Mini und GPT 4.1 Nano, die alle in den letzten zwei Monaten veröffentlicht wurden. Denn nicht jedes Modell ist gut für alles. Also neuer Plan für dieses Video: Zusätzlich dazu, dass ich diese Modelle mal für euch zusammenfasse, was die so können, habe ich alle Modelle getestet, auch die von gestern Abend. Und es stellt sich raus: Für alles, wo man ein bisschen „hier braucht ist hier“, ist ein neuer Meilenstein erreicht worden. Aber ich kläre euch auch mal auf über die Modelle an sich, was das alles heißt, und auch über eine gewisse, ziemlich unschöne Kontroverse, die in diesen neuen Modellen mit dabei ist. Ja, lasst uns loslegen! Ich will euch erstmal einen Überblick über die ganzen Modelle geben, damit ihr wisst, was eigentlich gerade passiert und wo wir eigentlich stehen. Sonst ist das, glaube ich, sehr, sehr schwer zu greifen.
Das Standardmodell, vor allem für die Gratis-Benutzer, ist immer noch GPT 4. Das ist eigentlich ein relativ altes Modell und gar nicht mal so schlau im Vergleich zu den heutigen, neuen Modellen. Ist trotzdem immer noch das Standard-Gratis-Modell, aber es ist auch das Modell, dass ihr verwendet, wenn ihr beispielsweise Ghibli-Bilder erstellt. Denn die Modelle können – oder dieses Modell kann – ganz speziell auch Bilder generieren. Es gibt aber auch Mini-Varianten von diesem Modell, die sind eigentlich hauptsächlich dazu da, um günstiger zu sein. Die sind aber vor allem kleiner als Modell an sich, das heißt, die haben weniger Parameter und können deswegen weniger Wissen speichern. Und diese Minimodelle wurden auch benutzt, weil sie besonders schnell sind. Das heißt, ihr könnt sie als Realtime-Modelle verwenden. Das heißt, wenn ihr euch mit ChatGPT live unterhaltet, muss ja eine Antwort sofort da sein, und man darf nicht erst ein paar Stunden warten oder auch nur ein paar Sekunden warten, sondern man braucht direkt eine Antwort. Dazu sind die Realtime-Modelle, die natürlich schnell sein müssen. Search und Audio müssen auch relativ schnell sein, deswegen gibt es die auch in Miniform. So, jetzt sind das aber natürlich nur kleine Teile von alldem. Aber was wir hier schon mitnehmen können, grundsätzlich mal für die Architekturen: Je größer das Modell ist, also sprich nicht Mini, das Modell ist, desto mehr Weltverständnis hat es, weil es einfach mehr Wissen speichern kann. Je größer die Modelle, desto mehr Informationen sind drin. Dementsprechend ist es besser bei allgemeinen Fragen. Einfach, aber sie sind selbstverständlich auch teurer, denn sie brauchen mehr Rechenleistung. Man braucht größere Grafikkarten, man braucht mehr Berechnungszeit, und dementsprechend sind sie nicht mehr so schnell im Antworten. Gut, das ist der erste Takeaway.
Jetzt sind wir in der Timeline erstmal einen Schritt weitergegangen als was wir zwischenzeitlich hatten, und zwar kam am 27.02. dieses Jahres das neue Modell GPT 4.5 raus. Das war kein Banger in Sachen neues Wissen, aber es war ein Banger in Sachen neues Weltverständnis. Das heißt, es hat einfach mehr Wissen gespeichert und konnte da drauf zurückgreifen. Lustigerweise ist das aber ein Schritt weiter, und jetzt diese Woche kam tatsächlich noch eine neue Modellfamilie raus: GPT 4.1. Von der habt ihr wahrscheinlich noch gar nichts mitbekommen, denn die ist nicht mal über ChatGPT verfügbar. Die reiht sich aber da so schön zwischen rein. GPT 4.1 ist zwischen 4 und 4.5, dementsprechend mittelteuer und nur für Entwickler über die API, also über die Programmierschnittstelle verfügbar. Gleichzeitig gibt es aber davon eine Mini-Version und sogar eine Nano-Version. Die Nano-Version ist unfassbar billig, also wirklich cheap, aber halt auch leider echt schlecht für die allermeisten Aufgaben. Die Mini-Version hingegen ist ziemlich okayisch, wenn man keine komplexen Anfragen stellt. Also günstig vor allem, und die 4.1 Version ist halt tatsächlich einfach zwischen 4 und 4.5. Gut, das heißt, das ist so unsere grobe Liste an Modellen, die wir haben. Man merkt hier: Je größer das Modell ist und je mehr man in die aktuelle Zeit geht – also das 4.5 Modell ist sozusagen das Neueste –, desto höher ist verhältnismäßig die emotionale Intelligenz. Das heißt, das Modell versteht eher, was eigentlich gerade gemeint ist, was gedacht wird von uns, ohne dass es dieses Reasoning hat. Und beim Reasoning da müssen wir noch mal separat drüber sprechen.
Das sind also die normalen Modelle. Jetzt schauen wir uns noch die Reasoning, also die denkenden und argumentierenden Modelle an. Ihr könnt euch das so vorstellen: Reasoning-Modelle sind wie normale Modelle, geben euch einfach eine ganz normale Textausgabe oder eine Bildausgabe, je nachdem, aber sie sind noch mal fein trainiert auf Logik, auf Denken, auf noch mal drüber nachdenken, was man eigentlich gerade sagt. Stellt euch so vor, ihr habt ein Gespräch mit mir, ein Live-Gespräch mit mir. Da denkt ihr nicht unbedingt über jeden Satz nach, den ihr sagt, während wenn wir einen Chat haben, wo ich wirklich dann eine auch durchdachte E-Mail habe oder ein wissenschaftliches Paper habe, dann denke ich über jeden Satz noch mal nach: Stimmt das auch wirklich? Macht das Sinn? So könnt ihr euch das vorstellen. Das heißt, die normalen Modelle sind eigentlich eher so das, was wir halt so zwischenmenschlich kennen, während die Reasoning-Modelle die denken einmal zusätzlich nach. Und hier kommen jetzt diese O-irgendwas-Modelle. Lasst euch nicht verwirren von 4. Das O hier steht für Multimodal, das hier, während bei den Reasoning-Modellen steht’s für Reasoning, ovi Reasoning. Man kennt das wirklich Naming bei OpenAI – ist schlimmer als bei Microsoft, das ist der Wahnsinn. Aber nun gut, es ist auch mittlerweile ein Meme geworden, deswegen ist es ganz lustig irgendwie so.
Es wird komplex, ich führe euch dadurch. Nicht verzweifeln, es ist eigentlich gar nicht so schwierig. Ähm, die ersten Reasoning-Modelle waren O1, das heißt, wir haben zunächst einmal O1 bzw. O1 Mini bekommen. Ihr könnt euch O1 Mini exakt so vorstellen, als hätte man GPT4O genommen und hätte hier gesagt: „Aha, aber du lernst jetzt noch mal ein bisschen denken, du gehst noch mal zur Schule oder gehst studieren.“ So ungefähr in die Richtung ist O1 Mini. Jetzt ist es aber trotzdem ein Minimodell, das heißt, es hat weniger Weltverständnis, und dementsprechend besser war O1, weil es einfach ein größeres Modell ist, das zusätzlich noch mal drüber nachdenkt, was es eigentlich gerade sagt. Ja, diese Modelle kamen ähm im September raus. Das Minimodell war früher da, wahrscheinlich weil es einfach schneller fertig trainiert war, und das fertige große O1 Modell kam diesen Dezember raus. Gleichzeitig kam noch eine O1 Pro Version raus. Auch diese Pro-Version – bzw. bei O3 Mini kennen wir das auch mit low, medium und high – will ich euch ganz kurz erklären: Pro ist nichts anderes wie High, und sowohl Pro als auch High heißt einfach: Man lässt das Modell länger noch mal drüber nachdenken, was es da eigentlich sagen möchte. Also man gibt ihm sozusagen noch mal extra Bedenkapazitäten, während Medium einfach das normale Reasoning-Modell ist, und Low ist einfach: Du denkst ein bisschen kürzer nach als normal. Im Grunde genommen ist das hier also einfach nur O1 und denkt ein bisschen länger nach. Das hier ist ein echt anderes Modell. Also O1 Mini denkt einfach normal lange nach wie O1 auch, es basiert aber einfach auf einem Minimodell. Und bei O3 Mini ist das ähnlich: Wir haben low, medium und high, und je nachdem, wie lange es nachdenkt, ist das eben medium oder high. So wichtig für euch ist jetzt allerdings: Das Gratis-Modell hierbei war Medium. Das ist tatsächlich ähm gratis dabei gewesen, wenn ihr diesen Denknachmodus in eurem Interface drückt. Die Bezahlnutzer in ChatGPT wählen, welches Modell sie wollen. Die Gratis können nur sagen: „Denk bitte nach.“ Das bedeutet für euch: Wenn ihr irgendwelche logischen Aufgaben habt, dann ist es immer besser, diesen Denknachmodus zu verwenden, weil es dann extra auf Logik, auf Mathe, auf Programmieren optimiert ist. Es benutzt faktisch aber ein völlig anderes Modell im Hintergrund. Also es nimmt einfach O3 Mini, zumindest bis gerade gestern, und dann haben wir noch was anderes bekommen. Die Research – ich hatte ja auch ein Video dazu gemacht, müsst ihr nicht gesehen haben – für dieses Video. Das ist ein Tool, das geht online und geht recherchieren, und zwar sehr, sehr lange. Und wie wir auch schon vermutet hatten, es basiert nicht auf irgendeinem Modell, dass wir zu diesem Zeitpunkt kannten. Das Modell, auf dem es basiert, das haben wir erst gestern kennengelernt, nämlich O3. Wir haben es vermutet, dass es auf O3 basiert, aber es war bislang nicht so genannt. So, das heißt, gestern haben wir jetzt zwei neue Modelle bekommen, und zwar einmal O3 und einmal O4 Mini. Und O3 ist das große neue Modell, und ja, O2 wurde übersprungen, und es ist tatsächlich Absicht gewesen, weil man sich nicht mit O2, dem Telefonanbieter, verwechseln wollte. Ich schätze mal, man hat erst danach drüber nachgedacht, dass es nach O1 ein O2 braucht und man dann vielleicht Verwechslung haben könnte. Keine Ahnung, fragt mich bitte nicht, ich bin – ich bin nicht von der Firma, okay? Die Namensgebung mache ich nicht, versuch sie nur zu erklären. Anyways, O3 ist jetzt also ein großes neues Reasoning-Modell. Es basiert wahrscheinlich auf einem anderen Grundmodell, wir sind uns nicht ganz sicher, auf was es basiert, aber vermutlich basiert es auf 4.1, ähm und es ist sozusagen die große, na ja, das – das große Ding zu den Minimodellen. Ich vermute, dass O3 Mini ein extra trainiertes GPT 4.1 Mini ist. Das heißt, da kommt sozusagen noch der Denknachprozess oben drauf. Und das hier ist jetzt das 4.1 Modell und hat hier seinen Denknachprozess.
Jetzt würde man sich ja fragen: Ja, aber warte mal, also wenn jetzt O3 Mini schon im Januar rauskam und jetzt haben wir eigentlich schon fast drei Monate später, ähm warum – warum launche ich O3 nicht früher? Warum launche ich O4 Mini mit O3 und nicht O4 mit O4 Mini? Das macht ja gar keinen Sinn. Und ich sag euch, warum das durchaus Sinn macht, von einer Unternehmensperspektive, von einer Geldperspektive. Denn ich glaube, dass O4 Mini wiederum auf einem GPT 4.5 Mini basiert und da noch mal neu trainiert wurde. Und ich zeige euch gleich, warum das durchaus Sinn machen kann. Wichtig für euch an der Stelle: Das neue Gratis-Nachdenkmodell ist jetzt nicht mehr O3 Mini Medium, sondern ab heute – für den Fall, dass ihr es schon freigeschaltet habt, es kann bei manchen noch ein bisschen dauern, aber ab relativ jetzt zeitnah – wird es O4 Mini Medium sein. Für die Bezahlnutzer: O4 Mini High ist noch mal ein bisschen besser, das könnt ihr aber nur auswählen, wenn ihr eben bezahlt. So, GPT 4.5 ist übrigens auch nur in der Bezahlversion dabei. Das heißt, die Gratisnutzer haben gar keine Möglichkeit, das zu bekommen. Zumindest ist das der aktuelle Stand, den ich kenne. Okay, das ist wahnsinnig kompliziert gewesen. Nehmen wir noch eine Sache da draus: Mit O4 Mini wird irgendwann kommen, und wahrscheinlich kriegen wir auch ein O5 Mini und so weiter und so fort. Aber wichtig ist: Je größer und neuer das Modell ist, desto besser ist die Logik. Das heißt, O3 und O4 Mini sind ähnlich. O1 und O3 Mini waren ungefähr ähnlich von dem logischen Nachdenkprozessen, und natürlich geht’s da noch weiter. Das heißt, im Grunde für euch rausgekommen ist ein neues Flaggschiff-Logic-Modell O3, das ein hohes Weltverständnis hat, und ein günstigeres Modell, nämlich O4 Mini, das schnellere Automatisierung hat und weniger lange nachdenkt. Es antwortet euch schneller, es ist trotzdem aber ähnlich gut in vielen Aufgaben wie das große Modell O3 und ist halt viel, viel günstiger.
Jetzt hatte ich ja ganz kurz gesagt, dass eventuell noch nicht alle von euch das Modell zur Verfügung haben, und das liegt einfach daran, dass ihr EU-Nutzer seid. Und hier kommt unser heutiger Partner NordVPN ins Spiel. Dürfte klar sein, vor allem nach letzten Video haben sie mich direkt angeschrieben. Aber anyways, ähm es geht darum, dass wir EU-Nutzer einfach Sachen sehr viel später bekommen, teilweise Wochen, Monate später. Bei OpenAI geht’s mittlerweile einigermaßen, wir bekommen sie relativ schnell. Der große Punkt ist einfach, dass bei uns der AI Act einiges an Vorschriften regelt, der DSA regelt einiges an Vorschriften, und natürlich die DSGVO bzw. GDPR regelt in der EU auch einiges an Vorschriften. Und das, na ja, dauert. Falls wir manche Sachen überhaupt bekommen. Bei Sora waren es mehrere Monate, glaube ich, sogar. NordVPN hingegen verschleiert euren Standort. Das heißt, ihr könnt ganz einfach euch einen virtuellen Standort besorgen und sagen: „Hey, ich gehe jetzt einmal ganz kurz über einen Server in die USA.“ Das ist übrigens völlig legal und überhaupt kein Problem, aber ihr zählt dann als US-User, ganz kurz zumindest, solange ihr da seid. Könnt das einfach aktivieren und wieder deaktivieren, und schon bekommt ihr ziemlich schnell die neuen Versionen freigeschaltet, auch wenn ihr nur einmal dort wart. Die bleiben dann für euch einfach freigeschaltet, zumindest ist das meine Erfahrung gewesen. Und natürlich gibt es nicht nur ein paar wenige Standorte, nein, NordVPN hat quasi jedes Land der gesamten Welt. Ihr seht hier eine kleine Auswahl davon, und man kann sich einfach aussuchen, wo man gerade sein möchte. Und es gibt einige Spezialserver, die ich euch auch ganz kurz nennen möchte, und zwar: Ihr habt die Möglichkeit, Onion over VPN zu machen. Da geht ihr quasi über das Tor-Netzwerk, was super anonym ist, oder sogar Double VPN, dass ihr über einen VPN und dann einen anderen VPN geht, und das ist einfach super. Ähm, ihr könnt einfach auswählen: „Hey, ich möchte jetzt gerade zwar über VPN ins Tor-Netzwerk gehen, und dann bin ich trotzdem im Tor-Netzwerk drin, wo mein Standort komplett verschleiert wird.“ Ich will euch aber auch ganz kurz den Bedrohungsschutz Pro vorstellen, der dabei ist. Einfach den kriegt ihr einfach mit, ähm wonach sie echt viele Betrugsversuche blockiert haben, einfach dadurch, dass sie bösartige Websites rausfiltern. Das heißt, wenn ihr einen Fake-Shop, einen bekannten Fake-Shop ansurft, dann sagt NordVPN: „Nee, warte mal, das sperren wir lieber, das wollen wir gar nicht.“ Das könnt ihr anschalten oder ausschalten, aber in der Praxis zeigt sich: Wenn man es anschalten möchte, dann kann man sich durchaus so vor vielen, vielen Fake-Shops schützen. Und es werden leider immer mehr, deswegen schnappt euch super gerne NordVPN mit meinem Link hier an der Seite bzw. QR-Code natürlich, und ihr bekommt vier Bonusmonate zusätzlich zu einem fetten Rabatt und natürlich ein VPN zu über 7000 Servern, den ihr installieren könnt auf eurem System, auf eurem Smartphone oder auch direkt im Browser, so dass nur dieser eine Browser über den VPN geht. Und ihr bekommt einen Passwort-Manager, Tracking-Blocker und noch so viel mehr dazu. Danke an NordVPN fürs Unterstützen dieses Videos.
Und damit wollen wir die Frage klären: Warum werden jetzt eigentlich O3 und O4 Mini gleichzeitig veröffentlicht, und was heißt das eigentlich? Was genau bringen uns diese neuen Modelle? Es stellt sich raus, dass sie in Mathe natürlich noch mal besser sind als O3 Mini High, klar, oder sonst hätten wir keine Verbesserung. Sie sind aber gleichzeitig – wenn ihr mal O4 Mini, also das kleine Modell anguckt – ist das an der Spitze. Das ist so gut wie Grok 3, das ist besser als Gemini 2.5 Pro, das ist besser als Claude 3.7, thinking übrigens besser als DeepSeek. Es ist das beste Modell in Mathe, das wir aktuell auf dem Markt haben. Also es kann wirklich Mathe-Fragen – wir hatten uns das letztes Mal schon kurz angeguckt, was so eine Mathefrage ist – die sind wirklich kompliziert. Interessanterweise ist aber O4 Mini, also das kleine neuere Modell, besser darin als O3, das große Modell. Und jetzt – natürlich nicht viel besser, es ist ein 1%-Punkt – und jetzt denkt man sich aber als Benutzer: „Ey, dann kann ich auch gleich O4 Mini benutzen.“ Und hier haben wir schon unsere Antwort, warum die beiden Modelle gleichzeitig veröffentlicht wurden. Für OpenAI ist das O3 Modell, das große, vollwertige Modell, deutlich, deutlich teurer. Also, wenn ihr als Benutzer nicht gratis seid, habt ihr Zugriff auf beide Modelle. Ihr könnt auswählen, welches von beiden ihr benutzt. Hätte man euch direkt O3 und O3 Mini gegeben, hättet ihr die ganze Zeit O3 benutzt. O3 ist lächerlich teuer, das will OpenAI natürlich nicht, während wenn man euch O3 und O4 Mini, die beide ungefähr gleich sind, aber O4 Mini einfach schnell im Antworten ist, dann wählt ihr natürlich eher O4 Mini, und das ist für OpenAI viel, viel günstiger auszuführen. Also da habt ihr eure Antwort, warum sie gleichzeitig kommen. So, es geht natürlich wie immer um Geld, klar, ne? Aber O3 ist trotzdem manchmal besser. Und hier sehen wir die Antwort auf das, was ich vorhin gesagt habe, nämlich GPTQA Diamond. Das ist ein Test, der testet das Fachwissen von Experten. Also, wenn ich Doktorand bin oder sogar ein Postdoc bin und an der Uni arbeite, habe ich im Normalfall in meinem Fachgebiet einen Wert von ca. 60. Wenn man es bereinigt und Leichtensfehler rausrechnet, ist das ein bisschen höher, aber trotzdem ist jedes Modell hier in der Liste besser als jeder Experte in seinem – oder besser als die meisten Experten im Durchschnitt in ihrem Fachgebiet. Aber hier die Modelle alle Fachgebiete. Ja, wir sehen hier, dass O4 Mini natürlich ein bisschen schlechter ist als O3, klar, weniger Weltverständnis, das ist logisch, aber es ist nicht viel. Während wenn man hier einfach auf einem – auf einem gewissen Plateau angekommen ist und mehr geht einfach gerade zumindest nicht. Ich bin gespannt, wo wir da noch hinkommen. Führend ist hier allerdings immer noch Gemini 2.5 Pro, aber es ist, wie gesagt, nur ein 1%-Punkt. Und auch der Fortschritt von O3 Mini auf O4 Mini war nicht wirklich groß. Ich rechne hier nicht mehr mit besonders viel, wo wir nach oben können, weil einfach irgendwann kommt man an die Grenze. Diese Grenze, die sagt einfach, dass so ein Benchmark quasi ausgelutscht ist, und deswegen gibt es immer wieder neue Tests, die man so haben könnte. Und hier haben wir ganz populär eigentlich Humanity Last Exam und Simple QA 8. Diese beiden Sachen testen eigentlich Dinge, wo eigentlich die ähm Modelle, also KI-Modelle, nicht für gedacht sind, wo sie einfach nicht so gut sind wie in anderen Aufgaben. KI-Modelle sind nicht so super im einfachen Fragen beantworten, wo man sich ganz, ganz speziell ein Wissen rauspicken muss. Da hat man normalerweise eine Google-Suche bislang genutzt und hat dann gesagt: „Hey, hier ist die Antwort.“ Man möchte aber jetzt trotzdem, dass auch solches kleine Nischenwissen in den KI-Modellen drin ist, und das testen Simple QA, wo man einfach wirklich zum Beispiel zum Regisseur von Titanic fragt, oder Humanities Last Exam – drastischer Name, aber meint eigentlich eher: Was sind spezielle Schwachstellen von KI? Wie kann man die testen? Lustigerweise – und jetzt das deswegen das Meme hier drin – lustigerweise Simple QA ist ein Test, ein Benchmark, den OpenAI selber entwickelt hat, und sie haben ihre Modelle nicht damit getestet. Ich habe keine Zahlen für O4 Mini, und für O3 habe ich euch keine Zahlen, weil sie sie einfach nicht getestet haben. Niemand anders kann das testen außer OpenAI, weil die haben die Modelle und den Benchmark gemacht. Niemand hat die anderen Benchmark-Daten. Ist irgendwie ein bisschen witzlos, wenn man das macht. Aber Humanity Last Exam wurde getestet, und siehe da, die Modelle werden besser, klar, wie immer. Ähm, man hat hier tatsächlich ein – also Gemini 2.5 Pro war aktuell das beste Modell dabei. Jetzt ist es O3. O3 – also fairerweise, die Research ist noch mal ein Stückchen besser, das bei 24% ist, aber an sich kein Modell, deswegen ist es hier nicht aufgeführt. O3 ist das beste Modell, wenn es um die Schwachstellen von KI geht, die wir damit ausmerzen wollen, sowas wie Halluzination, sowas wie Falschaussagen, ganz speziell versucht auszulösen über diesen Benchmark. Interessanterweise O4 Mini ist kein Stück besser geworden als O3 Mini High, die beiden sind exakt gleich geblieben auf 14%-Punkten und damit einfach gecutet, ähm und ja, das ist auch eine Aussage, die man mitnehmen kann für die Programmierer und Entwickler und Software- und IT-Menschen unter euch. Und ich weiß, das sind viele dabei. Ich werde ein separates Video für euch machen zu diesen beiden Modellen, denn sie sind natürlich die neuen Flaggschiff-Modelle fürs Programmieren. Es sind Reasoning-Modelle. Reasoning-Modelle sind klassischerweise wahnsinnig gut im Programmieren, und diese Modelle sind drastisch günstiger als das, was wir bislang benutzt haben. Ich für meinen Teil habe alles, was ich mit IT momentan mache, über Claude 3.7 so nett thinking laufen. Das ist dieses Modell hier. Ihr seht, das hat vor den anderen Modellen eigentlich alles abgehängt, außer vielleicht Gemini 2.5 Pro, wobei fairerweise das einfach nur rumgezickt hat bei mir und z.B. Eingaben einfach nicht akzeptiert hat, deswegen konnte ich das nicht benutzen. Also Claude 3.7 war so ziemlich das Beste, was wir zur Verfügung hatten, sehr, sehr lange. Es ist aber auch gleichzeitig lächerlich teuer. Claude 3.7 – ich habe so viele Hunderte von Euro einfach nur in Programmierung eingesteckt, weil ich über die – über die Software geschrieben habe – und jetzt haben wir neue Modelle. O4 Mini ist ein Drittel so teuer wie Claude 3.7 so nett, und ja, es ist nicht so gut im Polyglot-Test – Polyglot ist Code editieren –, aber es ist fast so gut im Software Engineering Benchmark, und na ja, über die Weboberfläche kann ich sowohl O4 Mini als auch O3, O3 verwenden, so viel ich möchte. Das heißt, wir haben jetzt zumindest eine Auswahl, wenn es ums Programmieren geht, und wir haben halt eine günstigere Auswahl. Das muss man einfach an der Stelle gesagt haben. Aber sie sind deutlich, deutlich besser – alle Modelle, also O4 Mini und O3 sind deutlich besser als O3 Mini, und das war das, was man davor hatte. Und diesen Unterschied hier von 49 auf 70 bei Claude, den hat man derart gespürt. Ich bin froh, dass wir jetzt mit den OpenAI-Modellen auf einem ähnlichen Stand sind.
Und damit kommen wir zu der großen Kontroverse: Ähm, es gibt einen weiteren Benchmark, den ich euch vorstellen möchte, und zwar der hat einen drastischen Namen, er heißt AR AGI Test. Ähm, es geht darum, dass man auswerten möchte: Wie autonom ist eigentlich so ein Modell? Wie gut kann es wirklich auch die Aufgaben lösen, die allgemein gestellt sind? Also wirklich zu sagen: „Hey, mach mal diese Aufgabe.“ Eine Art Agent-Test. Und das heißt: Wie autonom kann eigentlich so ein Modell selbst agieren? Also selbst entscheiden: Ich möchte beispielsweise das hier lösen, ich möchte beispielsweise eine Software programmieren, beispielsweise möchte ich recherchieren: Wie ist denn eigentlich das Wetter? Möchte dir eine Zusammenfassung erstellen, möchte dir eine Recherche erstellen, ein Dokument erstellen und so weiter und so fort. Das ist an sich nicht AGI, das ist an sich eigentlich hauptsächlich agentisches Arbeiten, Agentic Use oder auch Benutzen von Tools. Und das misst dieser Benchmark hier. Und sie schreiben: „Wir haben vier Jahre gebraucht, um von 0% GPT3 im Jahr 2020 von diesem Benchmark auf 5% im Jahr 2024 zu kommen mit GPT4O. Und jetzt haben wir O3 bekommen, nicht mal ein Jahr später bzw. ungefähr ein Jahr später jetzt dann nach GPT4.“ Das ist übrigens – lasst euch das mal ganz kurz auf der Zunge zergehen, ne? 4 ist ein Jahr alt, ich sag die ganze Zeit, das ist ein altes Modell. Das ist eigentlich ein nicht ganz so altes Modell. Und sie schreiben: „Alle Intuitionen über KI-Möglichkeiten, was man damit machen kann, müssen überdacht werden, jetzt wo wir O3 haben.“ Es ist ein – ich zitiere – „Nordlicht in Richtung AGI“. Ähm, das ist vielleicht ein bisschen drastisch formuliert, aber es ist schon noch mal ein ganz anderes Level. Wenn ihr euch das mal anguckt: Wir haben mit GPT4O, hatten wir 5% von diesem Benchmark erledigt. Das heißt, GPT4O hat in 5% der Fälle gesagt: „Hey, wir – wir können das schaffen, wir können das schaffen“, und hat fast nichts davon hinbekommen. Mittlerweile mit dem O3 – sind wir bei – also mit O3 High bedeutet viel Reasoning effort, also viel Nachdenkzeit gegeben –, da sind wir bei 88% von diesem Benchmark, die hier gelöst werden können. Und das ist natürlich deutlich mehr, vor allem wenn man den Schritt sieht von O1 in Richtung O3, sind das einfach über 50% der Aufgaben jetzt mehr gelöst. Diese Aufgaben sind nicht einfach, das sind logische Aufgaben, abstrakte Aufgaben, Nachdenkaufgaben, ähm und natürlich: Wie kann ich eigentlich Dinge lösen? Das sind sehr untrainierbare Aufgaben, die uns auch vor eine Frage stellen würden. Aber – und das ist die Kontroverse hier dran – OpenAI hat jetzt zugegeben, dass sie O3, also das – das neue große Modell, das hier so gut abgeschnitten hat, mit 75% der Trainingsdaten trainiert haben. Das heißt, das, was man eigentlich gemacht hat oder was man evaluiert in diesem Test, wurde im Training von OpenAI O3 Modell verwendet. Das ist no-go, never ever macht man sowas. Das heißt, sowas wie: Wenn ich euch in der Universität eine Prüfung stelle, ja, ihr müsst mir einen Aufsatz oder ein Programm schreiben, und ihr kennt aber bevor ihr in die Prüfung reingeht schon die Aufgabenstellung von 75% der öffentlichen Aufgaben. Ähm, es gibt noch ein paar geheime Aufgaben, die wurden dann nicht mit reingezählt, aber ihr kennt von dem Großteil, kennt ihr die Fragestellung. Dann könnt ihr euch natürlich auf diese Fragestellung vorbereiten. Wenn ihr wisst, dass der ganze Test genau dieselbe Art von Fragen ist, ja, das heißt, ihr seid vorbereitet, ihr könnt darauf trainieren. Das testet jetzt plötzlich nicht mehr das eigentliche, die eigentliche Fähigkeit, diese Aufgaben zu verstehen und zu lösen, sondern es testet eher: Wie gut hat es diese Aufgaben in ihrem Trainingsdatensatz eigentlich verarbeitet? Und dementsprechend ist der Benchmark dadurch einfach für mich unsinnig geworden. Klar, es waren nicht alle Daten, die damit trainiert wurden, aber es hat einen gewissen Beigeschmack. Es führt nicht mehr zu dem Ergebnis, dass wir eigentlich haben wollen, nämlich eine echte, faire Auswertung. Und als die größte KI-Firma, die wir eigentlich auf dem Planeten gerade haben, sollte man wissen, dass man das nicht macht. Und fairerweise Meta mit ihrem LLaMA hatte eine ähnliche Diskussion gerade an der Backe. Das ist nicht, wie wir AI auswerten sollten. Das – m gut. Aber wir wollen wieder zu dem positiven Ding zurückkommen. Ich habe natürlich das Ganze auch sehr, sehr ausführlich getestet, und ich weiß nicht, ob ihr meinen Morpher kennt, aber ihr solltet den unbedingt benutzen. Ist eine Nachrichten-App, und ich würde sagen, eine der angenehmsten Nachrichten-Apps, die ich jemals benutzt habe. Kleines Sitelobe an mich. Anyways, ich arbeite gerade an einer neuen Version, und ich arbeite sehr hart dran. Die ist gerade bei uns im Test, und…
Ich versuche rauszufinden, was kann ich noch besser machen? So, und jetzt neu dazu gekommen ist tatsächlich die Fähigkeit, dass die Modelle nicht nur Reasoning betreiben, also das heißt, sie überlegen – sie, man kann sich das anzeigen lassen, deswegen das habe ich hier ausgeklackt – ähm, sondern sie überlegen nicht nur mit Text, sondern eben auch mit Bildern. Sie argumentieren mit Bildern, sie analysieren einzelne Bereiche des Bildes, sie können damit dann argumentieren, sagen: „Das gehört da rein, das gehört dazu.“ Und das ist neu, das hatten wir bei den alten Modellen nicht. Das heißt, wenn ihr ein Bild reingebt, kann man das jetzt auch logisch verarbeiten. Also man kann argumentieren, basierend auf dem Bild, und das ist für mich tatsächlich, was UI angeht, also was die Benutzeroberfläche von meiner App angeht, beispielsweise ein Gamechanger. Das macht alles anders, da kann ich mir Feedback holen, das konnte ich davor nicht wirklich, oder nur mit den, nur mit den halt nicht ganz so modernen Modellen. Die anderen Modelle haben zwar Reasoning betrieben, aber haben dann das, das Bild an sich immer noch nicht im Reasoning verarbeitet.
Heißt einmal kurz Zusammenfassung: Was ist wirklich neu? Was haben wir wirklich neu? Es gab tatsächlich eine Überschrift, ähm, die ich hier nur kurz zitieren möchte, weil ich sie selber nicht verifizieren konnte, ähm, dass O3 jetzt plötzlich auch neue wissenschaftliche Hypothesen aufstellt. Das ist die Grundlage für Forschung. Das heißt, wenn ich so eine Hypothese habe, die sinnvoll ist, basierend auf Daten, z.B., dann kann ich damit überhaupt erst in eine Forschungsarbeit reingehen. Z.B.: Ich habe diesen Datensatz, dann kommt die KI und sagt: „Hey, ähm, basierend auf dem Datensatz eine Hypothese könnte sein, dass Menschen mit Brille und Bart und langen Haaren irgendwie häufiger Informatiker sind.“ Das wäre eine Hypothese, das müsste man natürlich dann erstmal verifizieren und schauen, dass es nicht vielleicht ein schlechter Stereotyp ist. Aber ähm, das ist eine Hypothese und Grundlage für vieles, was in der Forschung gerade passiert. Medikamentenforschung ist da ganz ganz krass dabei, aber auch alle, alle Bereiche der Forschung eigentlich. Das ist wichtig, ähm, und soll wohl möglich sein mit O3, was ich krass finde.
Das nächste ist Reasoning von Bildern, das was wir gerade gesehen haben. Es denkt mit Bildern. Ihr könnt euch das wirklich so vorstellen: Wenn ihr nur mit Text denkt, jetzt plötzlich habt ihr auch die Möglichkeit, euch an Bilder zu erinnern und damit nachzudenken, was da passiert ist. Das nächste ist: O4 Mini ist für Programmierer und alle Leute, die es eigentlich in der Programmierschnittstelle benutzen, ein wahnsinnig starkes Modell, deutlich besser als O3 Mini und gleichzeitig gleich günstig. Es ist lächerlich günstig, wenn man es vergleicht mit anderen Reasoning Modellen wie Geminite 2.5 Pro oder auch Cloud 3.7 Sonet Thinking. Die sind deutlich, deutlich teurer im Vergleich zu Sonel der Kosten, was die Softwareentwicklung für mich ein Drittel günstiger macht, wenn ich das benutze. Dafür ist das, das ist gut, und es ist gleich, ungefähr gleich gut, zumindest in meinem Test bisher. Ich muss das noch genau testen. Ihr kriegt auf dem anderen Kanal ein Video, und die Modelle sind optimiert für agentisches Benutzen. Das heißt, die sind optimiert dafür, Tools zu verwenden, also z.B. zu sagen: „Hey, ich will Wetter nachlesen, wo kann ich das machen?“ Und dann habt ihr ein bisschen Code, und da steht dann drin: „So kannst du Wetter nachlesen.“ Das können natürlich jetzt Entwickler verwenden. Auf dem anderen Kanal bereite ich gerade ein Video speziell dafür vor, ähm, und das sollte auch relativ bald kommen.
Alles in allem ist das also ein beeindruckendes Modell, und um es mal so zu sagen: Es ist durchaus ein neuer Schritt Richtung AGI. Ich würde es jetzt allerdings nicht als einen so drastisch neuen Schritt sehen, eher als den logischen nächsten neuen Schritt, aber es ist durchaus mächtig, und ihr solltet es verwenden, wenn ihr logische Fragen habt, wenn ihr programmieren wollt oder sonst irgendwas mit Nachdenken, mit Mathe machen wollt, Hausarbeiten schreiben wollt. Dann solltet ihr nicht einfach nur das Modell fragen, auch in der Gratis Version, sondern ihr solltet eben auf jeden Fall den Thinking Bereich nutzen. Falls ihr Bezahlnutzer seid, auf jeden Fall O4 Mini High oder O3 verwenden. In dem Sinne, hier einmal noch kurz die Links zum Morpia, damit ihr es nicht vergesst, ihn runterzuladen. Wie gesagt, da bleibt ihr auf dem neuesten Stand mit euren Nachrichten, und ich habe versucht, alles was irgendwie an Clickbait oder an Doomscrolling oder an FOMO anfällt, rauszuwerfen. Und gleichzeitig habe ich in der neuen Version und in der alten Version sowas von alle Tracker, die man irgendwie kriegen kann, versucht rauszuwerfen. Und ich bin sogar noch mal einen Schritt weitergegangen: In der alten Version musstet ihr mir sagen oder mir übermitteln, sozusagen an den Server, welche Bereiche von Nachrichten interessant finden, also z.B. KI auf Level 7. In der neuen Version ist selbst das nichts mehr, was ich bekomme. In der neuen Version ist einfach nur noch drin: „Hey, ihr wollt Nachrichten lesen, fertig.“ Und das ist alles. Ähm, das sind jetzt, wie gesagt, keine sensiblen Daten oder sowas, die will ich sowieso nicht haben, aber ich versuche alles rauszuwerfen, was ich irgendwie wissen könnte. Und ja, selbverständlich das Ganze gibt’s auch bei Apple. Nicht wundern, Kevin macht das Ganze für mich, weil man für Apple einen Apple Rechner braucht, und ich habe keinen, und Kevin hat einen, und deswegen veröffentlicht er die App. Ich programmiere sie aber trotzdem. Sind dieselben Apps, nur eben bei anderen App Stores. App ist bisschen eigen, und ja, an der Stelle ich danke euch, dass ihr dabei wart. Bis zum nächsten Mal im Cyberspace, ciao! [Musik]