GPT & Co. blamieren sich... liefert Apple wirklich die Beweise?

Diese Ergebnisse stellen die Frage, ob LMs tatsächlich so schlau sind, und sie deuten darauf hin, dass wir auf grundsätzliche Grenzen stoßen, wenn es um allgemeines logisches Denken geht, mit LMS.

Für jeden, der es nicht mitbekommen hat: Apple hat ein Papier, das in Frage stellt, dass alle LMs anständig nachdenken können. Und dieses Papier ist komplett viral gegangen. Es hat hier z.B. 13,9 Millionen Aufrufe. Das Papier nennt sich „Die Illusion von Denken“, und sie wollten einfach nur herausfinden, wie schlau Modelle mit der Desktime Compute sind, Rätsel zu lösen und tatsächlich logisch zu denken, an Problemen, an denen sie nicht trainiert worden sind.

Hier z.B. muss Cloud 3,7 Millionen Probleme lösen, und eines der Probleme war z.B. dieses Rätsel. Dieses Rätsel nennt sich z.B. „Turm von Hanoi“. Habe ich auch nicht gekannt. Das ist der Ausgangspunkt. Jetzt müssen die Klötze so bewegt werden, dass niemals ein größerer Klotz über einem kleineren Klotz steht, und am Ende sollen eigentlich wieder alle Klötze so stehen, wie sie am Anfang waren. Ähnliches kann man hier mit diesem Rätsel machen. Es ging darum, die zwei blauen Bälle nach rechts zu verfrachten. Und bei solchen und ähnlichen Rätseln hat sich herausgestellt, dass Modelle mit der Desktime Compute zwar besser sind als Modelle ohne Desktime Compute, aber immer noch kläglich scheitern, sobald die Rätsel etwas komplexer werden.

Und jetzt flippen im Internet tatsächlich einige ziemlich aus, dass Large Language Models nicht wirklich denken können, und auch die Conclusions von diesem Apple Paper sagen uns hier, dass wir eventuell gegen eine Wand fahren. Allerdings ist dieses Papier viel, viel weniger dramatisch und tragisch, als es einige darstellen. Man muss sich einfach genau ansehen, was Apple hier getestet hat.

Erstmal: Dieses Modell Cloud 3,7 Sonnet Plus Thinking hat schon mal nicht die volle Testtime Compute wie z.B. ein O3 Modell. Außerdem hätte Cloud von Anthropic natürlich auch die Opus Modelle, mittlerweile natürlich auch die Vereihe, und eigentlich sind da diese Modelle gedacht, gut in der Desktime Compute zu sein, und weniger die Sonnet Modelle. Und das zweite, eigentlich das Wichtigste ist, dieses Modell hat kein Douus, kein Function Calling. Das heißt, dieses Modell kann keinen Taschenrechner verwenden, keinen Debugger-Interpreter, keine Internetsuche, was auch immer. Sie verwenden reines Chain of Thought und haben keine erweiterte Inferenz. Sie haben keine Agentensysteme mit eingebaut, das reine Basismodell über die API. Und um ehrlich zu sein, ist es da auch relativ logisch, dass das Modell scheitert. Stell dir einfach mal vor, du musst in eine Matheprüfung gehen. Du hast keinen Bleistift dabei, keinen Taschenrechner. Deine Zeit zum Nachdenken ist stark begrenzt, und natürlich darfst du auch das Internet nicht benutzen. Die Chance ist relativ groß, dass du bei diesem Mathetest nicht wirklich gut abschneidest. Und jetzt darfst du den Mathetest noch mal machen, und du hast alles dabei. Zumindest hast du deinen Bleistift und deinen Taschenrechner. Die Chance ist wieder relativ groß, dass du etwas besser abschneidest.

Und das ist halt auch die Realität. Die neuesten Modelle, z.B. die neue Gemini 2.5 Familie, die erst vor ein paar Tagen online gegangen ist, die O3 Pro Serie von OpenAI, die aktuell nur im 200er Plan von OpenAI vorhanden ist, aber auch das normale O3 Modell. Diese ganzen Modelle können sich eben Tools zur Hilfe suchen. Die verwenden einen Debugger-Interpreter, einen Taschenrechner, Internetsuche, was auch immer, und dann können sie diese Rätsel sehr wohl lösen. Außerdem kann so gut wie jedes Modell Function Calling machen, und mit solchen Dingen wie z.B. Langchain, LangFlow, bei der Anthropic kann man natürlich gute Agentensysteme bauen, die auch sehr wohl längere Desktime Compute verwenden können, die andere Modelle zur Unterstützung verwenden können, wo man Tools einstöpseln kann, und dann kann man solche Rätsel ohne Problem lösen.

Das Ganze ist sogar so weit ausgeartet, dass ein weiterer Typ „Die Illusion der Illusion of Thinking“ geschrieben hat. Ein Papier, das die Fehler vom originalen Apple Papier aufzeigt. Und hier ist der Co-Autor Cloud Opus. Das heißt ja, sie haben ein LM verwendet, um zu zeigen, was die Lücken von diesem Papier hier sind. Und das LM hat die Lücken recht gut rausgefunden. Das gleiche hat man übrigens auch bei anderen Modellen gesehen und auch in verschiedenen Tests. Modelle mit Testtime Compute sind stärker als Modelle ohne Testtime Compute. Hier wurde auch z.B. Daig R1 gegen V3 verglichen. V3 ist das Standardmodell, und das R1 ist das Modell mit der Desktime Compute. Und man sieht, dass Modelle mit der Testtime Compute klar besser abschneiden. Allerdings auch hier im Allgemeinen Dulius.

Was kann man also generell alles von diesem Paper rauslesen? Zumindest lese ich die Dinge raus: Modelle mit der Testtime Compute sind besser als Modelle ohne der Testtime Compute. Und falls man komplexe Dinge lösen muss, dann sollte man natürlich auch die Dinge wie Function Calling mit integrieren. Das machen ja mittlerweile die ganzen Basismodelle schon recht gut, und sonst kann man gerne ein KI-Agentensystem basteln. Zusätzlich haben sie bei diesen denkenden Modellen auch nicht maximale Desktime Compute hinzugefügt. Mehr Desktime Compute bringt wieder mehr Rechenleistung. Diese Modelle haben ein Kontextfenster. Cloud 3,7 Sonnet z.B. 128.000 Token bzw. 200.000 Token Kontextfenster. Aber ein Gemini Modell hätte z.B. eine Million Token, und in einer Million Token hat Gemini natürlich mehr Chancen, die richtige Antwort zu finden. Apple hat hier in diesem Paper so aufgezeigt, dass wir für komplexe Probleme große Modelle mit viel Testtime Compute und zusätzlich noch das Function Calling brauchen.

Wir lernen also daraus: Wir müssen LMs einfach nur zeigen, wann sie sich Hilfe holen müssen. Wenn sie bei einem Problem scheitern, müssen sie sich Hilfe von einem anderen LM oder von einem Tool holen. Wenn man sich etwas bastelt, einen guten Systemprompt schreibt, man eventuell mehrere LMs mit einbaut und Tools integriert, dann kann man sehr wohl komplexe Probleme lösen. Ein Problem ist vielleicht, wenn man nicht die Zeit dafür hat. Stellen wir uns vor, wir bauen einen sogenannten Voice Agenten, die sind ja aktuell ziemlich im Hype. Das sind die Agenten, die beim Telefonieren antworten können. Da kann es ein Problem sein, weil man natürlich nicht ewig in der Leitung hängen möchte. Dennoch könnte man sich auch da im Vorfeld oder nachträglich ein System aufbauen, und wenn jemand etwas fragt, das relativ komplex ist, könnte z.B. ein LM immer noch mit der Person sprechen, und im Hintergrund läuft einfach ein weiteres LM, das inzwischen das Problem löst. Spezielle Anwendungsfälle, wo man nicht Zeit hat nachzudenken, die stehen auf einem anderen Blatt Papier. Hier muss man sich tatsächlich was überlegen.

Generell sagt uns dieses Paper meiner Meinung nach einfach nur, wir müssen uns überlegen, wann ein LM Hilfe holen soll, und wir müssen uns, wenn wir mit KI basteln, überlegen, wie wir diese Zeit überbrücken können, besonders wenn geringe Wartezeiten nötig sind. Also beweist dieses Papier meiner Meinung nach einfach nur, dass Modelle manchmal bei komplexen Dingen scheitern, genauso wie es Menschen tun. Heißt das, dass die Modelle nicht denken können? Das lasse ich dich selbst entscheiden. Lass es mich gern in den Kommentaren wissen. Zumindest ich sehe in diesen Charts sehr wohl, dass die zusätzliche Desktime Compute das zusätzliche Denken verbessert, und lediglich erst später, sobald wahrscheinlich das Kontextfenster überfüllt ist, werden die Modelle nicht mehr wirklich brauchbar. Und wie gesagt, mit zusätzlichem Tool-Use und längerer Inferenz wie z.B. für den ChatGPT mit dem O3 Pro Mode oder Dingen wie die Research, die ja teilweise 10, 20 Minuten arbeiten, könnte man diese Grafik bestimmt noch viel weiter nach rechts schieben.

Entstanden ist dieses Video übrigens als weiterlaufende Erklärung für diesen Post, wo ich nach den Meinungen der Community-Mitglieder gefragt habe, ob Apple hier einfach nur den Fortschritt der KI-Modelle kleiner machen möchte, weil sie KI nicht gut integriert haben und weil sie auf der Entwicklerkonferenz nicht viel mehr vorgestellt haben als durchsichtige Knöpfe. Да.