7 Gründe, warum lokale KI MASSIV unterschätzt wird! (und wie du davon profitierst)

Das hier sind sieben Gründe, wieso lokale und offene KI Modelle gerade massiv unterschätzt werden und wieso das deine große Chance sein kann.

Egal, ob du angestellt bist und dir die Frage stellst, [musik] wie du von KI profitieren kannst, beispielsweise um deine Karriere zu fördern, um Geld zu verdienen, oder ob du deine KI Agentur und Selbständigkeit gerade aufbaust und nach den besten Use Cases suchst, die in Zukunft für viele Unternehmen gefragt sind, oder ob du Unternehmer, Geschäftsführer bist, ja, und dir jetzt überlegst, ob es sich denn lohnt mit lokaler KI zu arbeiten, ob man dann doch eher ChatGPT und Cloud abschließen sollte, oder was jetzt alles in allem der richtige Weg ist, um KI nachhaltig ins Unternehmen zu integrieren.

Und wie gesagt, meine persönliche These ist, dass lokale und offene KI unterschätzt wird. Ja, wir sprechen jetzt über sieben Gründe dafür und das hat nicht mal etwas mit dem offensichtlichsten, also dem Datenschutz Argument zu tun, sondern übergeordnete Trends, weshalb ich persönlich nicht ganz unbegründet bullish auf lokale KI Modelle bin und natürlich, was am Ende die konkrete Strategie ist, die daraus jetzt resultiert.

Ja, der erste ganz wesentliche Trend ist zunächst, dass der Abstand zwischen lokalen und offenen KI Modellen und Cloudmodellen systematisch immer weiter schrumpft. Offene KI Modelle liegen heute schon nur noch vier Monate hinter den geschlossenen Frontiermodellen laut Epoch AI, die es regelmäßig messen, zuletzt mit Stand Mai 2026. Jens Nöang nannte das auf der CES 2026 grob 6 Monate. Auch er ist bullish auf lokale KI, baut ja auch mit Nurodron eigene lokale KI Modelle und der Verlauf dabei ist vorhin aber interessant, denn 2024 lag der Rückstand noch bei einem Jahr. Jetzt muss man fairerweise sagen, Oktober 2025 waren es nur 3 Monate, jetzt heute sind wir einfach bei vier Monaten, aber jetzt gab's ja schon wieder neue Durchbrüche von offenen KI Modellen, die du selbst betreiben kannst. Wir liegen also bei ungefähr drei bis vier Monaten Abstand nur noch und das ist brutal, wenn man sich das überlegt, wie dieser Abstand in zwei Jahren jetzt nur geschmolzen ist. Das sieht man übrigens auf dem Artificial Analysis Index. Das ist so eine der vertrauenswürdigsten Benchmarks überhaupt, weil die eben viele dieser Benchmarks bündelt, einfach gesagt und dort sieht man eben den Abstand zwischen Cloud und offenen KI Modellen, der lag im Frühjahr 2025 noch bei etwa 13 Punkten und im Mai 2026 sind es nur noch sechs Punkte. Also bereits heute sieht man in den Zahlen, dass lokale KI Modelle eben immer weiter aufholen und nur noch wenige Monate hinterher hängen.

Der zweite und vielleicht sogar der wesentlichste Punkt, das sind die Kosten, denn das ist ja bis heute eine der größten Hürden, lokale KI zu betreiben, da die Kosten dafür, also die Hardwarekosten ganz speziell eben schlicht enorm sind, wenn man denn mithalten wollte mit den Cloud KI Modellen und zudem wird es ja auch von der AI-Szene gerade immer mehr und mehr kritisiert, dass die Tokenkosten ja allzu sehr steigen würden. Doch hier gibt es einige Gesetzmäßigkeiten, die genau den gegenteiligen Trend zeigen und zwar zunächst die Tokenkosten, die fallen dramatisch. Der Stanford AI Index 2025, die haben das gemessen und zwar mit der GPT 3.5 Qualität Ende 2022. Dort lagen wir nämlich bei 20 US-Dollar pro Millionen Token. Das muss man sich mal vor Augen führen, weil für die gleichen Kosten bekommen wir heute in etwa die führenden, absolut führenden Reasoning Modelle für 20 US-Dollar pro Millionen Token. Ja, manche wie Opus beispielsweise sind ja sogar noch günstiger heute und da sprechen wir von der GPT 3.5 Qualität und diese GPT 3.5 Qualität, die kann ich mir im Oktober 2024 schon für 7 Cent einkaufen. Ist also ein Faktor von 280 Kostenreduktion in nur 18 Monaten für die gleiche Qualität und das wird gleich noch wichtig. AI-Forscher sprechen von LLM-Inflation und zwar von einem Faktor 10, also einem 10X Kostenfall pro Jahr für die gleiche Qualität und zwar schneller als Moores Law, schneller als die PC und die Datenbandbreiten-Revolution und die wesentlichen Treiber dafür, das sind Gesetze, die niemand von uns aufhalten kann. Unter anderem der algorithmische Fortschritt, der halbiert den Computer, also den Rechenleistungsbedarf alle 8 Monate in etwa. Dazu kommen dann die Durchbrüche in der Modellarchitektur, wie beispielsweise Mixture of Experts, wie Quantisierung. All das sind ja relativ neue Dinge, die lokale KI immer effizienter machen, sodass ich jetzt hier auf meinem MacBook mit etwa 48 GB ein ja super solides Gammer 26B Modell mit Mixture of Experts Architektur mit irgendwie 80 Token pro Sekunde in etwa laufen lassen kann. Das ist schon vergleichbar für einige Use Cases mit den Cloud Use Modellen und das ist ganz normale ja Konsumenten-Hardware. Das bedeutet, die besseren Modelle, die laufen auf immer billigere Hardware und dieser Rückenwind, der hilft strukturell beim Betrieb von lokalen und offenen KI Modellen.

Und die härteste Quelle, die ich hier mal in aller Deutlichkeit unterstreichen möchte, die kommt von Professor Dr. Markus Hutter. Wir hatten ja auf dem Hauptkanal schon ein ausführliches Interview bezüglich AI, also der Formel, die die bestmögliche maximale Superintelligenz berechnet schon Anfang der 2000er Jahre, der ja Shane Lake, also den Google DeepMind Mitgründer ausgebildet hat, gemeinsam mit Jürgen Schwibber und die haben ein neues Paper veröffentlicht. Dieses lautet "From HI to ASI", also von der allgemeinen künstlichen Intelligenz zu allgemeiner Superintelligenz. Und ein ganz wesentlicher interessanter Punkt für dieses Video hier, es gibt ganz viele davon in diesem Paper, aber das ist die Konstatierung, also die effektive Rechenleistung, die steigt um etwa das Zehnfache pro Jahr, also eine Größenordnung Order of Magnitude pro Jahr. Und das kommt aus zwei Hebeln. Das ist einmal Hardware, also Moores Law und Investitionen. Sie stellen fest, dass die Fortschritte in der Hardware die Rechenleistung pro Dollar über 6 Jahrzehnte hinweg um etwa das 1,5-fache pro Jahr gesteigert haben. Dazu kommen die wachsenden Investitionen, die wir am Fließband natürlich sehen in der KI-Investition in Rechenhardware rund um das 2,5-fache pro Jahr im letzten Jahrzehnt. Die Algorithmik hierbei ist der eigentliche Hebel für lokale KI Modelle und zwar die algorithmische Effizienz, die steigt um den Faktor 3 bis 6 pro Jahr. Das bedeutet dieselbe Fähigkeit, also dieselben KI Modelle brauchen jedes Jahr ein Vielfaches weniger Rechenleistung. Genau das, was wir gerade ja schon festgestellt haben, ganz ohne neue Hardware.

Und nehmen wir jetzt nur mal bewusst den konservativen Wert vom Faktor 3, dass man sich das mal vor Augen führen kann. Sagen wir, wir stehen heute für die gleiche Fähigkeit von einem Opus 4.6 oder Opus 4.8 Modell meinetwegen auf dem Faktor 1. Das läuft natürlich nur via Cloud, das äh kannst du sind ja sowieso nicht offen, die kannst du natürlich nicht lokal betreiben. Nach nur einem Jahr, nach dieser Logik, kannst du das exakt gleiche Modell, also das Opus 4.8 Modell beispielsweise mit nur einem Drittel der Ressourcen betreiben, also vielleicht schon auf einer High-End Workstation. Nach nur 2 Jahren zu einem Neuntel der Ressourcen, also ein starkes MacBook reicht dann schon aus. In 3 Jahren zu einem 27stel, also auf einem ganz normalen Laptop. Nach 4 Jahren mit nur einem 81stel der Ressourcen kann dieses Modell mit den exakt gleichen Fähigkeiten, die auf einem Handy betrieben werden und das sehen wir heute schon. Also ein Gammer 4 Modell hat die gleichen Fähigkeiten, die gleiche Qualität wie damals ein GPT 4O Modell beispielsweise. Und das ist das, was mich persönlich bullish macht, was lokale KI betrifft, denn natürlich ist lokale KI nicht heute auf dem exakt gleichen Level wie diese Cloudmodelle, aber das ist ja auch gar nicht die Wette, dass wir heute schon ja diese Cloudmodelle schlagen können, sondern dass diese Kurve, die ja nicht zuletzt hier wieder von Google DeepMind erst beschrieben wurde, die Frontiermodelle von Jahr zu Jahr bis auf mein Handy hervorschiebt und der Abstand zwischen Frontier und Local Models eben immer weiter sinkt.

Hinzu kommt Trend 3 aus China. Da kann man ganz eigenes Video zu machen. Habe ich ja zum Teil auch schon mit einigen China-Experten zugesprochen. Aus Wesentliche herunterkomprimiert, China hat ein riesen Interesse daran, die Preise für Open-Weights-Modelle bis ins Bodenlose zu drücken. Und das hat mehrere Hintergründe. Einerseits machen sie auch am laufenden Band algorithmische und architektonische Durchbrüche mit den KI Modellen, wie beispielsweise den Deepsc-Modellen. Haben wir das ja zuletzt gesehen. Viele echt gute Modelle wie Qwen beispielsweise wird an vielen deutschen Universitäten und Hochschulen auf eigenen Servern betrieben. Davon weiß ich beispielsweise, aber auch die Kimi Modelle und so weiter. Also es gibt eine riesige Open-Weights-Industrie aus China und einer der Gründe, halt man diese Preise für die Open-Weights-Modelle so dermaßen in den Keller treibt, ist unter anderem, weil man dadurch den Absatz von der Hardware fördern möchte. China hat nämlich gerade auch ein Trend, übrigens, der extrem spannend zu verfolgen ist. Die Huawei Chips, die haben nämlich ein riesen Interesse daran, den Absatz von Huawei Chips massiv zu fördern. Natürlich zunächst mal innerhalb des Landes, weil der Ausbau der nationalen Chipindustrie, was ein gigantisches und klar erklärtes Ziel in China schon seit Jahrzehnten im übrigen ist, das kann man nicht selbst finanziert stemmen, aber wenn man jetzt die Nachfrage nach KI Modellen einfach der Art galaktisch in die Höhe katapultiert, so wie man es ja jetzt heute schon sieht, sogar US-Startups Open Router hat das jetzt zuletzt gemessen, routen zu 61% ihre Tokens an Deepsc-Modelle. Also 61% der Token-Anfragen an Open Router aus den USA wird nahtlos an chinesische Open-Weights-Modelle weitergeleitet. Auch wir nutzen teilweise in automatisierten Workflows, macht es einfach mehr Sinn, ein chinesisches Open-Weights-Modell auch auf EU-Servern zu hosten. Wenn man sich jetzt beispielsweise nur ein Meeting zusammenfassen lassen möchte, ja, innerhalb von einem automatisierten Workflow beispielsweise, da brauche ich kein großes US-Cloud-Frontiermodell für. Also hier kommen lokale KI Modelle und offene KI Modelle heute schon zur Anwendung und das ist eben auch wieder so ein struktureller Trend, den wir sehen aus China, welcher die Weiterentwicklung von Open-Weights-Modellen und lokalen Modellen natürlich noch einmal mehr beflügeln wird.

Der vierte Punkt ist, es läuft ja heute schon, ich hat es jetzt eh schon erwähnt, auf deinem Laptop. Also nehmen wir du eine Gammer 4 Modelle beispielsweise, ja, aber vor allem die Apple KI Strategie, die muss man sich auch auf der Zunge zergehen lassen. Sie haben jetzt auch Apple Foundation Modelle lanciert mit den M5 Chips, mit den weiterführenden M6 Chips wird jeder auf einem ganz normalen MacBook. Lokale KI Modelle auf wie gesagt dem Niveau von von Opus 4.6, was für die meisten Arbeitsabläufe ja schon völlig ausreicht. Ja, kostenlos, unlimitiert, ohne Einschränkung, ohne dass es jemand wegnehmen kann, offline betreiben können. Ja, also auch die Bestrebung von Apple mit MLX, mit Unified Memory, die machen mich persönlich bullish, was lokale KI Modelle betrifft.

Das fünfte Argument, das mich bullish macht, das ist das Ende der subventionierten Tokens. Also noch mal, du kannst in dem Cloud Plan für 200 Dollar im Monat etwa 8000 Euro an Tokens verbraten. Das ist offensichtlich, dass das nicht wirtschaftlich ist. Und spätestens mit dem IPO wird man hier einschlagen müssen und Kurswechsel fahren müssen und das wird wiederum auch dafür sorgen, dass immer mehr Unternehmen verstehen werden, okay, ich kann nicht alles einfach jetzt auf Cloud und Chat und Copilot Pläne setzen. Ich brauche eine Local AI Strategie, weil es sonst einfach zu teuer ist. Also, ich kann mir die gleichen Workflows, stell dir vor, du kaufst dir einen Entwickler ein, der eine Aufgabe für dich für 200 Euro im Monat erledigt und auf einmal sagt er von heute auf morgen: "Ja, jetzt zahlst du mir bitte 8000 Euro." Den würdest du doch auch erstmal ein Vogel zeigen und dir die Frage stellen, nee, ich suche mir jetzt zunächst mal eine Alternative. Und genauso werden es die meisten Unternehmen natürlich tun und dann werden sie in die Hände und die Arme von lokaler KI und offenen KI Modellen getrieben werden.

Ja, das ist eben auch der sechste Trend. Ja, immer weniger Unternehmen, insbesondere im DACH-Raum. Wir wollen in einer Abhängigkeit sein. Peter Steinberger von OpenCL, der hat das gut auf den Punkt gebracht. Jede E-Mail, jedes Dokument, welche dein Agent anfasst, verlassen heute deine Maschine. Ja, du willst deine Daten selbst besitzen und nicht abhängig sein in geschäftskritischen Prozessen, in denen KI logischerweise heute laufen muss. Nehmen wir jetzt nur mal wieder dieses E-Mail-Beispiel, das machen ja viele Unternehmen schon, aber wie viele haben Copilot, wie viele haben Cloud Code beispielsweise in ihren E-Mails einfach drin sitzen, ja, das ist nachhaltig einfach schwierig, weil dir jederzeit der Hahn abgedreht werden kann und dann stehen auf einmal all deine Prozesse still.

Ja, der siebte Punkt, der geht jetzt schon etwas weiter in die Zukunft. Dazu will ich jetzt mal Ray Kurzweil in die Singularitäten zitieren. Ja, Ray Kurzweil ist ja vor allem dafür bekannt, dass er diese physikalischen Gesetzmäßigkeiten einfach radikal in die Zukunft denkt und dadurch Schlussfolgerung getroffen hat, die schon 2050 als richtig erwiesen haben, wo er damals ja noch als verrückt erklärt wurde und genauso ein Trend. Das wie gesagt, das das Buch aus 2005, den er hier beschreibt, ich zitiere das jetzt mal. Ja, bisher haben wir die physikalischen Grenzen der Rechenleistung eines Computers im heute üblichen Laptopformat betrachtet. Im zweiten Jahrzehnt dieses Jahrhunderts wird Berechnung jedoch größtenteils nicht mehr in rechteckigen Gehäusen stattfinden, sondern überall in unserer Umwelt verteilt sein. Also in Wänden, in Möbeln, in Kleidung und in unseren Körpern und Gehirnen. So Ray Kurzweil denkt im Prinzip den Trend, den wir gerade eben auch behandelt haben aus dem neuesten DeepMind Paper unter anderem dahingehend zu Ende, dass er sagt, es wird natürlich nicht aufhören, dass wir Intelligenz jetzt in so einem Handy oder nur in so einem Laptop laufen haben werden, sondern Intelligenz wird überall verankert sein und was heute die Science Fiction ist, ist oftmals die Realität von morgen. Er ist im übrigen auch nicht der einzige, der solche Gedanken hat und äußert. Also, es gibt viele Bücher und Zukunftsforscher, die exakt genau diesen Trend konstatieren.

Und diese sieben Gründe, die machen mich persönlich bullish, was lokale und offene KI betrifft. Und führt mich zu dem Schluss, dass es jetzt entscheidend ist, eine lokale KI Strategie zu haben, lokale KI zu nutzen, die ersten Tests damit zu machen, lokale KI zu lernen, denn das ist das Tolle und Besondere an lokaler KI. Sie ist aktuell noch nicht so trivial und einfach, aber diese Einstiegshöhe, die ermöglicht es, als KI Agentur unter anderem auch jetzt gerade einen echt höchst gefragten Use Case umsetzen zu können, bei denen du wenig Konkurrenz hast. Da die wenigsten Agenturen, die jetzt KI Agenturen sind, die vorher Marketing oder Webdesign gemacht haben, ja, die werden sich jetzt nicht auf einmal mit lokaler KI auseinandersetzen. Das heißt, wenn du lokale KI jetzt lernst, wenn du damit umgehen kannst, wenn du es vor allem realen Unternehmen integrieren kannst, dann hast du echt einen Wettbewerbsvorteil und bedienst die Nachfrage, die aktuell kaum mit dem am Markt vorhandenen Angebot von KI Agenturen gestillt wird.

Also, wir setzen bei Everlast laufen solche Projekte um. Das ist ja auch genau der Grund, weshalb wir Corporate LLM überhaupt erst ins Leben berufen haben, weil wir gesehen haben, es gibt einfach gar keine gute Lösung. Ja, also Unternehmen brauchen Corporate LLM Systeme. Mit den US Cloud Providern können sie nicht arbeiten. Mit deutschen Lösungen, mit irgendwelchen europäischen Lösungen haben sie auch ein Vendor Lock oder haben nicht die Möglichkeit, lokale KI einzubinden. Mit Tools wie Open Web UI sind Unternehmen maßlos überfordert, also allein das Ganze mal vernünftig aufzusetzen. Und genau diesen Sweet Spot bedient ja Corporate LM. Also, du kannst solche Corporate LLMs in deinem Unternehmen nutzen. Du kannst Corporate LLM für Unternehmen implementieren und von diesem Local AI Trend maßgeblich profitieren und vor allem diesen hybriden Ansatz, denn natürlich, so ehrlich müssen wir sein, man wird immer die neuesten Modelle wie Opus 4.8, wie Fable 5 und so weiter, die wirst du natürlich nutzen, gerade im Coding, um vorne mit dabei zu sein, weil Agentic Coding mit lokaler KI, es gibt schon erste Ansätze, das funktioniert aber stand heute noch nicht so gut. Wir müssen nur den Trend fortsetzen. In 6 bis 12 Monaten wird das kein Problem mehr sein. Dann kannst du auch Agentic Coding mit deiner eigenen Hardware umsetzen und mit lokaler KI umsetzen. Aber so wird es natürlich immer diesen hybriden Ansatz in Zukunft geben, dass du auf die Frontier Modelle zugreifen möchtest und auch auf lokale Modelle und man eben je nach Anwendungsfall abwägt. Ich brauche nicht immer diese großen US Cloud Modelle. Manchmal reichen mir kleine lokale KI Modelle ja auch völlig aus, um wie gesagt z.B. E-Mail zusammenzufassen, da brauche ich eben kein Opus oder Fable Modell drauf senden.

Ja, und deswegen bin ich persönlich bullish, was lokale KI betrifft und kann nur jeden befürworten, der sich dieser Bewegung und diesem Trend anschließt. Ich werde im übrigen in der Videobeschreibung mal einen kostenfreien Guide verlinken. Also dort lernst du noch mal [musik] von A bis Z, kannst du dir downloaden, alles über lokale KI, wie du es integrierst, wie du es im Corporate LLM einsetzt. Also dort habe ich noch mal alles von A bis Z erklärt und wenn dich mehr darüber interessiert, wie du KI jetzt wirklich gewinnbringend in der Praxis einsetzen kannst, welche Geschäftsmodelle die besten sind, dann schau gerne mal in dieses Video hier rein. Ich freue mich dich dort wiederzusehen. Bis. Mach's gut, dein Leo.