Transcription
De grote Techshow wordt mede mogelijk gemaakt door Orange Cyberdefense. Van strategie tot uitvoer. Jouw cyburity in vertrouwde handen.
Ja, want al dat AI modellen draaien en alle andere dingen daarmee ontwikkelen, dat kost bakken energie. Of zoals Nvidia tegen Ben zei, energie erin, smart tokens eruit. Maar hoe kan het toch efficiënter? In elk geval als het gaat om klein ontwikkelaars van AI toepassingen en wat die daar allemaal mee doen.
Nou, daar heeft een best wel jonge techneut uit ons eigen land iets op bedacht en die is daarmee een hit op ontwikkelaarsplatform GitHub. En dat is niemand dan Julius Brussete. En Julius is nu bij ons in de studio. Welkom Julius. Dankjewel. Voordat je er bent. Jij hebt Caveman ontwikkeld. Ja. En dat is geen game. Nee. Wat is het wel? Vertel het eens.
Dus Caveman is een kleine extensie voor AI agents en chatbots dat het het maakt zeg maar dat die typisch AI sloptaal van natuurlijk ik ga dit doen, dat gaat allemaal weg. AI zegt alleen maar de essentiële dingen van ik ga dit doen, ik ga dit zo doen. En ehm ja, dat kwam een beetje door Ja, dus hij haalt zeg maar lidwoorden weg of tussenwoorden. Dat haalt hij allemaal weg. Alle. En dat noem jij slop. Dat vind ik ook wel mooi dat jij een lidwoord slop noemt. Nou ja, goed. Je hebt natuurlijke categorisaties, hè. Je kan zeggen dat hele de psychophentic speech van ChatGPT, dat is heel erg hè, dat verboeze manier van praten. Dan heb je gewoon normaal mensen praten zoals wij nu een gesprek voeren. Maar Caveman is eigenlijk gewoon ik naar huis. Ja, want ik moe. Ja, toch? Ja, want de rest van de woorden, de agents rest woorden agents niet. Gaan we nu zo praten. Nee, en de AI je zelf heeft het niet nodig, hè.
Ja, want ehm kijk, het het kwam vanwege ik programmeer nu eh best vaak en ja, elke week was ik bezig met cloud schrijven, een project aan het maken. Maar dan was ik door mijn weeksbudget in een dag. Elke week. Ja, dan waren je tokens op. Waren mijn tokens op en dan moest je bijbaan nemen. Je bent 19 jaar en dat had je precies. Dat had ik helemaal geen zin in. En ehm dus ja, ik begon die die chats te lezen en zoveel van het, want het was programmeren agent. Hm hm. Ehm zoveel van het was niet echt de code, maar het was dit soort verhaal eromheen. Dus ik dacht: "Hey, oké, hoe kan ik dit beter maken?" En toen zag ik een post op het internet van: "Hey, eh ik heb Claud laten spreken als een caveman." Hm hm. En het gebruikt minder woorden. En ik dacht er meteen aan van: "Hey, als het minder woorden gebruikt, gebruikt het minder tokens. Kan ik het financieel nu de beste modellen gebruiken?" Ja. En ja, diezelfde avond heb ik een benchmark geschreven, mijn eigen versie van het geschreven. Ook omdat ja, soms zijn die korte woorden wel beter, maar als er een error is of er een bug, ja, dan moet het wel gewoon normaal Engels spreken, want dan moeten wij het ook verstaan. Dus toen eh die avond heb ik heb ik het geschreven en ook een benchmark gedraaid van hey, in deze gevallen spaart het zoveel tokens. En eh ja, ik ging naar bed en eh volgende morgen morgen eh ging ik was ik wakker geworden. Ja. En mijn telefoon had 1000 notificaties. Oh. En het was nummer één op Hacker News. Oh. Ehm, want je had het op GitHub gedeeld. Ik had het op GitHub gedeeld. Niks anders gezet. Iemand anders heeft gevonden. Op Hacker News gezet. En ja, dit was van de tijd van de Artemis 2 launch. Oh. En het zat net boven de Artemis 2 launch. Wow. Jij ging nog harder dan de raket richting de maan. Ja.
Hoe hoe hoe weet jij dat cavemen zo hoor praten? Hm. Het zeg maar caveman. Jij zegt caveman praat zonder lidwoorden en zo. Hoe weet je dat? Ehm kijk zeg zeg maar caveman is een is een extensie voor chatbots. Dus het geeft een minimale instructie van eh hier of zo moet je gaan spreken en ehm in deze gevallen niet. en geeft wat voorbeelden enzo. En dan volgt het model dat eh als beste. Want het is eigenlijk gewoon een prompt. Dus niet super technisch of zoiets. Ja. Oké. Ik kan een ik kan een huistuin en keuken gebruiken van ChatGPT. Die kan het kan dat die prompt in zijn systeem zetten. Ja. Ja. Ja. Oké. Maar dan kan toch ook iedereen dat namaken? Waarom gaat dat dan ineens hard? Waarom jij? He. Dat is een hele goede vraag want ja, op zich eh had iedereen niet kunnen maken. Nee, ik ik totaal. Het is technisch gezien niet complex, maar de ding is zoveel mensen hebben deze probleem nu van ze ze kunnen geen tokens. Ehm ja, een budget is op. Budget is op. Bedrijven hebben dit. En vaak wat we doen is we kijken naar onderzoek van hé, kunnen we een betere architectuur maken om dit beter te maken. Een andere agent, een andere model. Hele nieuwe chips die energiezuiniger zijn. Hele nieuwe chips. Maar niemand dacht aan de meest simpele oplossing. Hey, we kunnen gewoon de taal veranderen. Ja, want even voor de goede orde hebben we het over natural language. Dus de manier waarop wij ook praten. Nou, kijk toegeven als als een AI toepassing in Caveman speak om het zo te zeggen, met ons gaat praten, vinden we dat een beetje gek. Misschien ook grappig, maar ja, weet je, dat dat haalt een beetje het idee van praten met een AI chatbot eh onderuit. Maar dit is vooral effectief in het AI tijdperk waarin AI's met elkaar praten. Dat gaat ook nog steeds vaak via natural language. Maar dan heeft het zin om dat met Caveman speak te doen omdat het gewoon minder energie consumeert. En daar zit de grote winst volgens jou. Hoeveel winst is het? Precies. 65% minder tokens van de output. Zo, dat is een korting. Dat is een grote korting. Dat is eh verschil tussen eh winst maken en verlies gaan. Nou, dat het Denam zou ik zeggen. Ik bedoel bij 5% waren mensen blij geweest, maar 65% Ja. Ja.
En hoe hoe ga je dit eventjes snel grootmaken, commercialiseren, uitnutten, al die dingen? Nou, maar dat is de vraag aan jou. Ja. Eh kijk, waar komt die IPO? Ja. Nou, voor mij is Caveman geen bedrijf. Het is meer een idee, een filosofie van hoe kunnen we anders naar deze soort eh agents kijken. Want zo vaak doen ze dingen, want ze zijn getraind om naar mensen te praten van en en een mens zegt: "Is dit een goede output of nee." Hè, maar ehm ze hoeft dat helemaal niet meer te doen. In Enterprise AI systemen heb je 10 agents of een 1000 agents. Die spreken allemaal Engels met elkaar, maar dat hoeft geeneens. Ehm eigenlijk was één van de meest interessante dingen. Ehm nadat het eh online ging had iemand eh een PR request gestuurd van dus wat code eh toegevoegd aan aan het. Ja. En hij zei van ik heb deze eh onderzoek dat zegt dat klassiek Chinees veel meer token efficiënt is dan Nederlands of Engels of zoiets. Oh, dit zal Donald Trump niet leuk vinden. Nee. Hè? Maar dit is ook een taal dat niemand spreekt voor 2000 jaar. Oké. Goed. Maar toch dus het is niet zeg maar de Chinees wat we normaal spreken. Nee, maar dus ik had het idee van heyé ik ga dat even aan de Caveman toevoegen. En toen heb ik nog een benchmark gedraaid van heyé ik lees helemaal geen Chinees. Maar als agents met elkaar spreken hoef ik dat niet te lezen tot aan de uiteindelijk output. Ja. En het spaart nog meer. Oh, dat Uiteindelijk vertaal je het weer dan. Ja. Dus er zijn nog meer optimalisatieslagen mogelijk door gewoon eigenlijk in de taalwetenschap te duiken en te zien wat is de meest efficiënte manier qua tekens en dus tokens om te communiceren. Ja, dus 65% besparing. Maar is de output ook echt even goed? Want hij haalt Nou, ik moet heel erg denken aan Feline Hermans eh die hier vaak komt hoogleraren computerwetenschappen en zij zegt van het nadeel van Large Language Models is dat wij dat haal je eruit is niet van belang. Ik hou h even stil. We spreken het op een andere manier uit. Dus heel veel zit daar in communicatie wat niet in LLM zitten. En ze zegt daardoor is het niet zo goed. Hoe kijk jij daarnaar?
Nou kijk ehm ik snap het en ik was er ook zorgen over aan het maken. Maar ehm ik één ehm ik had een paar weken geleden een meeting met iemand van Nvidia. Hoe en mooi. Ja, ik eh ik vond het superleuk en hij had me verteld dat ze intern een select channel hebben van honderden ingenieurs die aan het praten zijn over Caveman, over de ding dat ik heb gebouwd. Dus ik denk van wauw, als de ingenieurs bij de grootste bedrijven in de wereld, het meest technische gebruik eh bedrijf in de wereld, dit gebruiken, ben ik denk ik wel juist. Ja, maar wacht even, wat Ben net ook al vroeg, waarom is niet iemand anders hierop gekomen? Want dit klinkt zo simpel. En en en wat wat is het aan jouw bedenksel, laat ik het zo zeggen, waar andere mensen nog zo over gefascineerd zijn of zijn ze er ze hebben ze die bal opgepakt en zijn ze er al veel verder mee aan het rennen. Kun je daar een in heb je daar een idee over? Ja, ik denk dat het vooral komt omdat ik een student ben, hè. Ik ben 19. Ik ik heb het budget niet voor dit. En onder een budget werk je veel harder en Je hebt een creatieve oplossing bedacht vanwege beperkte middelen. Ja. Ja, klopt. Goed hebben. Ja. Nee, maar ik zit nog Ja, jij leuk dit hè. Ja. Nee, maar kijk je jij trots? Ja, ik heel trots. Nee, Soestdijk hè. Daar woon je. Dus nog belangrijker. Leuk. Leuk. Mooie plek. Mooie plek. Nou, nu Den Haag. Mooie plek. Nu nu Den Haag. Oh, omdat je natuurlijk in Leiden studeert. Ja. Ja. Je studeert data en AI toch? Ja. Hoe gaat dat dan in de klas als jij doe iedereen kijkt naar jou? Hallo, ik heb werk gedaan. Wow. Nou, en die docenten? Vertel. Eh, ik heb niet veel met mijn docenten geoverhad, maar ja, mijn mijn medestudenten vinden het wel allemaal fantastisch. Leer jij nog iets daar? Nou, ik ben eerstejaars dus eh vaak heb ik het wel eerder. Ik heb gewoon idee. Ja. Ja. Je bent het hele tijd voor dat is stap voor. Ja. Ja. En ja, Caveman is technisch gezien niet heel eh Nee, dat is meer een idee, een filosofie wat je zei. Maar even terug naar Want jouw argument is het ik kwam met Feline Hermans dat hij zei van he eh LLM's die zijn soms niet goed, want niet alle woorden eh worden meegenomen. Alle communicatie wordt wordt meegenomen. Jou het tegenargument was: "Ja, als honderden Nvidia engineers het gebruiken, dan is het echt wel goed." Hm. Dat argument, ik kan hem gelijk accepteren, maar ik heb ook een beetje van ja, dat zegt mij niet zoveel. Ik wil zeg maar data hebben. Ja. Zonder Caveman, met Caveman of een halve Caveman wanneer de output voor heel veel mensen beter is of niet beter. Nou, daar heb ik een grappig verhaal over, want met Caveman, oké, niet heel technisch, maar dit soort door dit soort filosofie van eh stop the agent van dingen doen voor ons heb ik naar andere vlakken ook gebracht. Daar onder andere Caveman Memory, Caveman Code en nog wat anders. En Caveman Code is zeg maar een een lichtere versie van de ding eh cloud code dat ik was eh aan het gebruiken om projecten te maken. En tijdens de schrijven van Caveman Code kwam ik steeds op een probleem en ik was het beste model van cloud aan het gebruiken om dit op te lossen. En kon niet echt vijf keer opnieuw helemaal niet. Maar toen had het gelezen in de repo van Caveman dat de Caveman code meer efficiënt was eh en ook hetzelfde output had in een benchmark. Dus Claud had Caveman code gekald ehm om dit probleem te eh oplossen en het deed het in één keer. Dus wat? Ja, ook oké. Ja. Ehm ja, en zelfde model daarachter, maar de harness daaromheen was anders. Ja. Ja. Dus soms soms zitten de oplossingen voor moeilijke problemen in simpele dingen. Dat blijkt. Heyé. En jij werkt ook nog heb ik me laten vertellen aan Cave Kit en Stacklink. Je bent een hele aan efficiënte AI tools aanwikkelen. Enic Google kunnen wel inpakken. Nee, maar hoe hoe moet ik dit zien? Ja, ik zou ik zou zeggen die Caveman spul dat is dat is geen bedrijf. Stacklink is wel een bedrijf en daar kom ik. Maar ook dat zeg jij nu maar we hebben nog steeds deep sick als het Chinese AI spoeding moment in het achterhoofd. Ehm moet je niet nu al door de impact die je gemaakt hebt op noteben Nvidia Caveman gewoon omarmen als jouw brand van hyper efficiënte AI of heb ik je nu op een idee gebracht? Zou kunnen. Nou eigenlijk eh IPO IPO dit weekend heb ik mijn eigen AI model getraind. Oh eh de Google Gemma eh versie had ik zeg maar een hele grote dataset gemaakt van allemaal caveman eh taal. En daar heb ik die Google model op laten trainen. Ja. Duurde dagje of ofzo. En eh ja, dus je hebt nu wel een Caveman AI model die iedereen kan gebruiken. Ah, ik vind dit echt Ik weet dat jij even op de koffie gaat bij de familie Brusson Ben. Die wonen toch eh een deurtje verder. Ja, zie om he Dario Amodei al gebeld eh dus van Ja, van ja, van Anthropic. Ja, jij wordt toch weggehaald? Maar als als Nvidia dit ontdekt heeft, heeft en Tropic dit toch ook in de s? Ja. Nou, ik eh ik was last op de Hackathon bij Punk. Ja. En dat was heel leuk. Ja, daar was en Tropic ook had ik begrepen. Ja. En toen werd je nog niet aangesproken door Dirt Kingma. Nee. Nee. Maar misschien is het omdat het hun eh minder geld geeft. Ja. Ja. Ja. Zelfde probleem is Google. Eh even snap je? Hoe zie jij je carrièrepad nu verder? Ja, want het is echt heel je bent 19 en het is heel erg gevaarlijk dat iemand met zoveel talent die zo groot nu al is, weet je dat dat ontspoort bijna altijd. Dat zijn die jonge mensen die dan laat aan de drugs gaan enzo, want ze kunnen de wilden niet aan. Nieuwe Mark Zuckerbergs ze kunnen de wilden niet aan. Kijk, ik ehm ik heb allemaal ideeën en er zijn mensen die mij nu offers geven dat echt ridiculous zijn. En je hebt al 5 miljoen geboden gekregen. Nou dat niet. Nou dat niet. Maar wel vier. Maar ga maar door. Ga maar door. Eh maar ja, al een paar maanden lang ben ik bezig met iets stacklink. Ja. En dat is een bedrijf dat ik en één van mijn vrienden Lucas, hij zit op Eindhoven, eh hebben gemaakt. En ik ik heb 10 jaar in Amerika gewoond en ik heb die heel omgeving meegemaakt. Ja. Maar ik vind wonen in Europa leuk. Ik vind het Europees zijn ook leuk. Ja, maar met deze modellen en allemaal van de infrastructuur eromheen, het is allemaal Amerikaans of Chinees. Ja. Ja, nog wel. Dus wat we doen daar is we maken zeg maar AI infrastructuur voor bedrijven. Ja. Dat allemaal van hun geheugen en hersenen of eh documenten allemaal in één plek brengt. Ehm en dat kan dat is alleen maar in Europa. Het stuurt nooit naar Amerika. Digitaal soeverein. Ja, precies. En ehm en dat is ook toegankelijk voor mensen en agents. Dus in hetzelfde plek waar je dan zeg maar vraagt van: "Hey, ik heb een probleem met dit." Kan je dit fixen in de codebase? Kan je ook dus vragen voor ehm want het is geconnect met je bedrijf. Ja. Ehm hey, wie moet ik mee praten om dit te fixen? Ja. En dan allemaal van dat sensitieve documenten. Dat eh dat hoeft nooit weggestuurd. En ehm ja, dat gaat best wel lekker. Nu nu heeft het best wat aandacht. Wij zijn nu met Kennen jullie Process? Ja, tuurlijk. Ja, tuurlijk. Ja, dat zijn onze eerste pilot customer. Ah, kijk eens aan. Ja, we kennen Process heel goed. Wel dat Sebastian Vasi een paar weken geleden nog te gast. Oh, gaaf. Ja. Ja. Nou, het is eh derde grootste bedrijf in Europa, dus dat Ja, we weten we daarom weten we ze te vinden en jij ook zo te horen. Dat is mooi. Wat wat ik uit nou ben. Ja. Dus het blijft Europees, je blijft in Nederland, je gaat IPO Amsterdam. Dus we kunnen trots zijn. Eh ja. En wat ik nu nog even wil zeggen hè, want had onlangs jouw vader Arjan Brusset de gast in de technoloog toen Ben en Daniel Mol met hem gepraat hebben over voor zijn werk aan de UN Engine bij Epic Games. En belangrijker zijn nieuws dat jij en ik vermoed dat jij er ook al zeilings bij betrokken bent, de immense engine hè, ook met hulp van AI van een hele nieuwe engine. Ja. Ja. Dat dat da daar doe jij dus ook aan mee. Of of zeg je nou pappa ik ben veel te druk met Caveman stink. Ik laat hem maar zijn eigen ding doen. Ja, ik laat hem rommelen. Ik laat mijn vader rommelen. Hey nee, nee. Ik vind dit heel gaaf en ik vind het echt nodig, want ik begon ook eh hij heeft mij leren op hoog. Ik wou zeggen hij moet dat bij jou met de paplepel ingegoten hebben terwijl j was ik was negen toen ik eerst Ja, toen je eerste scriptje schreef. Ja, precies. En eh en voor een lange tijd dacht ik ook ik ga de gamesindustrie in. Ja. Ja. En toen kwam AI uit en dacht ik: "Oké, nou niet meer." Er zijn belangrijke problemen om op te lossen in de wereld. Ja, maar met die game engine van een mens, ik vind het ook zo gaaf dat er ook die hele ecosysteem van ja, Unreal Engine is niet alleen een game engine. Ehm er zijn ja, zeg maar je car dashboard draait vaak op Unreal Engine. Ja. En omdat die development makkelijker te maken, dat spaart veel meer geld ik denk uiteindelijk dan Caveman. Oké. Nou ja, goed, dan gaan we dat toch waarschijnlijk nog wel een keertje merken en hou ons ook op de hoogte. Ja, en ik verwacht wel dat je niet straks te groot bent voor ons hè, dat je de komende 20 30 jaar gewoon hier blijft komen. Als jullie jou blijven om eh je nieuwe hyper efficiënte AI innovatie maar de eerste die wij hebben ontdekt. Soort van min of goed we zullen er altijd aan terugdenken. En dank voor nu Julius Brusset ontwikkelaar van Caveman en Stacklink.