Gary Marcus on the Massive Problems Facing AI & LLM Scaling | The Real Eisman Playbook Episode 42

Hvis folk begynte å trekke penger fra Open AI og de ikke kunne hente inn penger, ville det vært en kaskadeeffekt for hele økosystemet. >> Akkurat. Det er akkurat det jeg tror kommer til å skje.

Vår gjest i dag er Gary Marcus. Han er en ekte kritiker av store språkmodeller og hva de er i stand til.

>> Verden har satset alt på nevrale nettverk og investert massivt i det, basert på en idé som for meg aldri ga mening. Store språkmodeller kommer ikke til å bringe oss til den hellige gral av såkalt kunstig generell intelligens. I investeringsmiljøet begynner folk å si: «Hei, jeg ser all denne sirkulære finansieringen. Resultatene på avkastning er ikke så gode. Kanskje dette ikke gir mening.» Hei, dette er Steve Eisman, og velkommen til en ny utgave av The Real Eisman. Og i dag har vi en annen type gjest. I dag er vår gjest Gary Marcus, som noen av dere kanskje har hørt om fordi jeg har diskutert ham på podcasten min mange, mange ganger. Han er en ekte kritiker av store språkmodeller og hva de er i stand til, noe som egentlig er grunnlaget for hele AI-historien. Og så skal Gary diskutere sin teori, hva LLM-modeller handler om. Gary, velkommen til The Real Eisman.

>> Takk for at jeg fikk komme. Og også, takk for den utrolige omtalen du ga meg på CNBC for en måned eller to siden.

>> Å, du er hjertelig velkommen. Vel, det var velfortjent. Før vi begynner, hvorfor gir du ikke publikummet mitt, de fleste av dem kjenner deg ikke, så hvorfor gir du ikke bare folk bakgrunnen din slik at de forstår at du faktisk har rett til å ha en mening om dette emnet.

>> Så jeg har studert intelligens på en måte hele livet mitt. Jeg begynte å jobbe med AI da jeg var 10 år gammel, så snart jeg lærte å kode. Og jeg tilbrakte mye av karrieren min med å studere naturlig intelligens, mennesker, hvordan barn lærer språk og lignende. Men avhandlingen min, som jeg gjorde ved MIT, handlet om to ting. Den handlet om hvordan barn lærer språk, men den handlet også om nevrale nettverk. Ehm, som er en spesiell tilnærming til kunstig intelligens eller til modellering av det menneskelige sinn som jeg vil si er løst inspirert av hjernen. Det er et veldig fint stykke markedsføring. Det får deg til å tro at det virkelig er basert på hjernen. Det er ikke egentlig, ehm, det har en løs tilknytning, men disse tingene kalt nevrale nettverk var populære. Jeg så på dem på 90-tallet, og de var egentlig ikke så gode modeller for hvordan menneskelige sinn fungerer. Men jeg ble involvert i å prøve å forstå hva de faktisk gjorde. Og så da dyp læring kom tilbake på moten i 2012, tenkte jeg, vent litt, jeg har sett dette før. Det ligner mye på det de gjorde avhandlingen min om. Og jeg hadde skrevet en bok i 2001 kalt The Algebraic Mind hvor jeg faktisk forutså problemet med hallusinasjoner og noen av resonnementsproblemene vi ser >> som vi skal snakke om >> og vi kommer dit. Eh, og så var mange av problemene kjent for meg da denne nye tingen kom tilbake på moten, og jeg visste umiddelbart at den kom til å ha problemer med visse ting. Så jeg skrev en artikkel i The New Yorker i 2012 kalt «Er dyp læring en revolusjon innen kunstig intelligens?» Og jeg sa: «Se, dette er veldig interessant. Jeg beundrer Jeff Hinton for å ha holdt fast ved sitt standpunkt i lang tid.»

>> Hvem er det?

>> Jeff Hinton. Han vant nettopp Nobelprisen i fjor, og han er en av hovedaktørene innen dyp læring. Jeg forstår.

Ehm, som også hans studenter, som er noen som nylig kom over på min side. Så han var en stor aktør på dette feltet. Han holdt på en måte fakkelen i gang da nevrale nettverk ikke var veldig populære, til hans ære. Ehm, men du vet, ikke alt går til hans ære. Vi trenger ikke å gå inn på alt, men ehm, han holdt fakkelen i gang. Han gjenopplivet dette, ehm, og relevant for lytterne dine. Det som virkelig gjenopplivet det, var studenten hans Ilaskever og kanskje et par andre som fant ut hvordan de skulle ta disse systemene de hadde bygget i lang tid. Jeg mener, de går virkelig tilbake til 1940-tallet, og Hinton gjorde viktig arbeid på midten av 80-tallet. De viste at du kunne gjøre det samme, men med GPU-er, grafikkprosessorer som Nvidia bygde. Og på den tiden bygde Nvidia dem stort sett bare for videospill.

>> Og så eksisterte disse tingene for videospill.

Og studenten hadde den smarte ideen om at det de var veldig gode på, var parallell databehandling, det vil si å beregne noe, ehm, i mange små biter samtidig i stedet for én om gangen. Så det klassiske paradigmet er trinn for trinn. Du vet, den sentrale prosessoren går gjennom et program linje for linje. Det er ikke helt sant lenger, men det er en slags forenkling som folk kanskje lærer hvis de tok informatikk 101. Og det GPU-er gjorde, var at de lot deg bryte opp et problem i en haug med små biter som du gjør samtidig. De ble bygget for å gjøre dette for datagrafikk. Du ville se på en skjerm, eller du ville gjengi en skjerm. Du ville si: «Hva er neste bilde i dette videospillet?» I stedet for å gjøre én ting om gangen, noe som ville tatt evig, ville du gjøre hele scenen på en gang. Så du ville ha en liten underprosessor som gjorde denne pikselen og en annen som gjorde den pikselen og så videre. Og jeg mener, de fungerer utmerket til det. Jeg har av og til spilt videospill, og det grafikkprosessorer kan gjøre, er utrolig. Ehm, så Sover og ehm, jeg glemmer den andre, ehm, fyren som var medforfatter på artikkelen, viste en god måte å kjøre disse såkalte nevrale nettverkene på, og vi kan snakke om hva de egentlig er og hva det betyr, men de fant en måte å kjøre dem på grafikkprosessorer, og det betydde at de kunne gjøre to ting: de kunne gå mye raskere og de kunne bruke mye mer data. Alt folk hadde gjort på det feltet på det tidspunktet, jeg vet ikke, 60 år gammelt eller hva det var, var på en måte en leketøysmodell, og de viste at du kunne gjøre det på ekte hvis du gjorde det på en GPU. Du kunne gjøre det i mye større skala. Og så ble alt vi ser på, på en måte født i det øyeblikket i 2012.

Og så snart det skjedde, skjedde to ting. New York Times skrev en artikkel om hvor fantastisk dette var. Og dagen etter skrev jeg en artikkel i The New Yorker. Jeg skrev mye for The New Yorker den gangen, for bloggen deres. Jeg skrev en artikkel i The New Yorker der jeg sa: «Det er flott, men det har disse problemene.» Det kommer alltid til å være bra på noen ting, men ikke bra på andre ting. Det kommer alltid til å være bra på mønstergjenkjenning og statistisk analyse, og det er flott, men vi gjør også mye abstraksjon. Så vi vet hvordan et slektstre fungerer, slik at vi kan resonnere om ting i verden. Og det kommer aldri til å være veldig bra på det. Det er ikke egentlig egnet til det. Og dette var åpenbart for meg fra arbeidet jeg hadde gjort med disse systemene i deres tidligere inkarnasjoner, og også fra arbeidet jeg hadde gjort med menneskelig kognisjon, for å forstå hvordan menneskelige sinn fungerer. Hvis du kjenner Daniel Kahnemans berømte bok «Tenke, fort og langsomt», >> Jeg har lest den. >> Du vet, han argumenterer for det han kaller system én og system to kognisjon. System én er raskt, det er automatisk, det er statistisk, det er refleksivt. Og system to er tregere. Det er mer overveiende. Det handler mer om resonnement. Nevrale nettverk er i bunn og grunn som system én. Og det er greit. Det er en del av det vi gjør som mennesker. Men en del av det vi gjør, er system to-tingene. Spesielt på en god dag gjør vi de tregere tingene. Vi er mer overveiende. Vi er mer rasjonelle om det. Og disse systemene har aldri vært gode på det, og de er fortsatt ikke gode på det. Og det jeg sa i 2012 er, du vet, de gjør det ene, men ikke det andre. Og på ett abstraksjonsnivå, det som har skjedd i de 14 årene siden, er at verden har satset alt på nevrale nettverk, og når du sier nevrale nettverk, er dette det som kalles store språkmodeller.

>> Så store språkmodeller er en form for nevrale nettverk. Beklager, jeg utdypet ikke det. Ehm, og faktisk eksisterte de ikke i 2012. Så noen ting skjedde, men i utgangspunktet siden 2012 utviklet folk de store språkmodellene, opprinnelsen til det er egentlig transformer-artikkelen som kom ut i 2017, og investerte massivt i det, trillioner av dollar på dette tidspunktet. En eller to billioner dollar ville være mitt grove anslag på en idé som for meg aldri ga mening. Du vet, deres idé var at vi skulle komme til alt vi trenger for intelligens, kunstig generell intelligens, men de var ikke forsiktige med system 2-tingene. Først behandlet de det bare som en gigantisk svart boks. Og fortsatt gjør mange mennesker det. Det er som om vi kaster all denne dataen inn der, og vi får dette systemet som vil gjøre det vi trenger for intelligens uten noen sofistikering fra et slags vitenskapelig perspektiv om hvordan det egentlig ville se ut. Jeg tror disse menneskene var veldig naive, og jeg prøvde å påpeke dette, og dette går til ensom ulv og sånt. Lenge var folk bare avvisende. De er som om vi har denne tingen kalt >> de var mer enn avvisende overfor deg. De var foraktfulle. Jeg mener, virkelig foraktfulle.

>> Ehm, vi kunne nok finne på noe annet. Jeg var desillusjonert med dem. Vi kunne snakket om det en stund. Ehm, og de var åpent fiendtlige mot meg, som at Open AI har en emoji for Gary Marcus. Jeg leste dette her nå.

>> Vel, det er smigrende på en måte.

>> Det er smigrende og neste nivå samtidig, ikke sant? Jeg prøvde å ta det med humor, som du kan se. Men, ehm, du vet, det er et mål. Og, du vet, Sam Altman kalte meg en troll på Twitter eller hva som helst. Ehm, du vet, de ville virkelig ikke høre hva jeg hadde å si. Kjernen i det jeg hadde å si var at i 2022 skrev jeg en artikkel kalt «Dyp læring treffer en vegg». Og det jeg sa i den artikkelen er at du kan fortsette å skalere dette, noe som var ideen som allerede begynte å bli populær. Kanskje jeg burde pause et øyeblikk. Ideen om skalering var at vi bare kunne helle inn mer data og flere GPU-er >> og gjøre modellen større, større, større, større.

>> Gjør modellen større og større, og den ville bli fantastisk. Og de hadde noen data som støttet dette, men det var også naivt. Ehm, jeg kaller det «trillion pund baby-feilslutningen». Ikke sant? Så babyen din veier, du vet, 8 pund ved fødselen, en måned senere er den 16 pund. Det betyr ikke at den kommer til å være 32 og 64 og så kommer den til å være en billion pund når den begynner på college, ikke sant? De gjorde denne veldig naive typen slutning, som jeg er sikker på at du ser hele tiden. Ehm, i forretningsverdenen gjorde mange mennesker, mange smarte mennesker med mye penger, denne typen veddemål. De sa: «Vi ser disse lovene, og vi anslår at vi vil oppnå intelligens ved å legge inn så og så mye data.» Og det er >> bare en liten pause et øyeblikk. La oss bare spole tilbake et øyeblikk. Så, store språkmodeller, hva gjør de egentlig? Og hva tror disse menneskene de skal gjøre? Men jeg vil virkelig bryte det ned. Det er en veldig god måte å stille spørsmålet på. Så, det de fundamentalt gjør, er å forutsi neste ting i en sekvens. Så, tenk på autokorrektur på iPhone-en din hvis du har en iPhone, ikke sant? Lignende, >> som noen ganger driver meg helt til vanvidd, men fortsett. Det fungerer ikke alltid, men ideen er at du skriver en setning, og den forutsier hva som kan komme deretter. Så du sier: «Møt meg på», og restauranter er en ganske god gjetning, ikke sant? Så du gjør en statistisk analyse av hva folk sier. Og du vet, du gjør det ok, ikke perfekt, og noen ganger gjør det feil, og det er irriterende, men det er det vi kaller autokomplettering. Og jeg kaller LLM-er autokomplettering på steroider. De er en spesiell måte å utføre den prediksjonsprosessen på. Det er fundamentalt det de gjør. Og det er noen interessante ting med hvordan de gjør det. En av dem er at de bryter alt ned i små biter og deretter rekonstruerer ting, noe som betyr at de faktisk mister forbindelser mellom informasjon, noe som betyr at de noen ganger hallusinerer. De finner på ting.

>> Vel, la oss komme tilbake til hallusinasjonen.

>> Så tilbake til hallusinasjoner. Det er en av de karakteristiske feilene, og det er en jeg påpekte i 2001, før LLM-er i det hele tatt ble oppfunnet. Jeg sa at hvis du fortsetter å følge denne tilnærmingen til dens logiske destinasjon, kommer du til å få dette problemet. Og det viste seg at vi hadde det problemet. Så LLM-er bryter ting opp i små biter, og de lager forutsigelser om hva som kan komme deretter. Det fungerer overraskende bra hvis det du trener dem på, det du utsetter dem for, er hele internett, fordi nesten ethvert spørsmål – men nesten er et kritisk ord der. Nesten ethvert spørsmål du kan tenke deg, har noen stilt før og noen har svart på før.

>> Og på et visst nivå er disse som glorifiserte memoriseringsmaskiner. Ehm,

det var en artikkel i The Atlantic om dette her om dagen, og det er massevis av bevis for dette hele veien. Så, for eksempel, hvis du skriver inn en del av Harry Potter, vil den bare fullføre, du vet, avsnittet eller noe sånt, fordi den i utgangspunktet har memorisert ting. Og hvis du i utgangspunktet memoriserer hele internett, er det ganske spesielt. Som, fordi når du går og stiller et spørsmål som, du vet, hvor spilte Dodgers, ehm, du vet, før de var i Los Angeles, er det mange setninger. De vil fortelle deg at de ble født i Brooklyn. Og så har du en ganske god sjanse til å komme opp med svaret. Men å bare gjøre det gir deg ikke abstrakte konsepter og ideer. Og noen ganger har du problemer der disse små bitene blir brutt opp og deretter satt sammen feil.

>> Så, kan vi snakke om hallusinasjoner et øyeblikk? Det er hva hallusinasjoner.

>> Definer hallusinasjon, som, gi meg, gi oss et eksempel på en hallusinasjon og hvorfor skjer det?

>> Hallusinasjoner er når den finner på noe, presenterer det med perfekt selvtillit, og det er rett og slett ikke sant.

>> Så gi oss et eksempel. Mitt favoritteksempel involverer en fyr du kanskje kjenner, Harry Shearer. Jeg vet ikke om du noen gang så Spinal Tap.

>> Å, jada.

>> Så, han spiller bass i Spinal Tap. Ok. Og han er, som det viser seg, en venn av meg. Så, han spiller bass i Spinal Tap. Og også, og det er viktig for historien at han er rimelig kjent. Så, han, ehm, han spilte bass og Spinal Tap. Han var med i en haug med de filmene med Christopher J. Guest. Han var med i The Truman Show. Og han gjør stemmene til Mr. Burns og The Simpsons og noen andre karakterer. >> Ok. Ehm, så dette er det som gjør denne historien interessant. Så jeg skal spole tilbake et sekund, det vil si at mitt gamle favoritteksempel på hallusinasjoner involverer meg. Noen sendte meg en biografi om meg som sa at jeg eide en kjæledyrhøne ved navn Henrietta, noe jeg ikke gjør. Så det er et ganske godt eksempel på hallusinasjon. Det er bare oppdiktet. Det viser seg at det var en forfatter eller en illustratør ved navn Gary Oswald eller noe som skrev en bok om Henrietta som går på skolen, eller, og det er bare som å tygge sammen alle disse små bitene av informasjon. Hvorfor hallusinerer den?

>> Så, dette har å gjøre med oppdelingen av små biter av informasjon. Så, la meg lede deg gjennom Harry Shearer-eksemplet. Så jeg fortsatte å bruke kjæledyrhønen Henrietta-tingen. Så, en dag skriver han til meg og sier: «Nei, Henrietta, men så gir han et eksempel der hallusinasjonen handler om ham.» Han er mye mer kjent enn jeg er, eller i det minste pleide jeg å være det. Jeg begynte å bli litt kjent. Ehm, og og ehm, det står at han er en britisk stemmeskuespiller og komiker, bare at han ikke er britisk. Hvis du gikk til Wikipedia i to sekunder, ville du sett at han ble født i Los Angeles. Og fordi han er kjent, kunne du også gå til Rotten Tomatoes eller IMDb, og han har gjort mange intervjuer og snakket om hvor han vokste opp. Han var barnestjerne på Jack Benny Show i Los Angeles. Det er ikke vanskelig å finne riktig informasjon. Vi forestiller oss feilaktig at store språkmodeller er intelligente vesener som oss, men egentlig er alt de gjør å rekonstruere statistisk sannsynlige forhold mellom informasjonsbiter >> og så kan de ta feil >> og de kan ta feil. Noen ganger er disse rekonstruksjonene feil, og i dette tilfellet var det feil. På en måte bygger den en klynge av ting som statistisk forutsier andre ting. Og det viser seg at det er mange britiske stemmeskuespillere og komikere. Det er, du vet, Ricky Gervais og og ehm ehm Don Cleese og osv., osv., ikke sant? Ehm, og så visker den bare ut alt det der. Og uskarphetsprosessen fungerer stort sett rimelig bra, men du kan aldri stole på at noe spesifikt kommer til å være riktig. Og så skjer disse hallusinasjonene hele tiden. Det var en fyr som sporet rettssaker der advokater publiserte, eller ikke publiserte, men sendte inn innlegg der de hadde funnet på referanser, sitater til saker som ikke eksisterte. Første gang jeg så, hadde han funnet rundt 300 saker. Neste gang, rundt 3 måneder senere, fant han 600 tilfeller av advokater som ikke bare gjorde dette, men ble tatt, ble avslørt av dommere som gjorde dette. De bruker disse verktøyene som ChatGPT til å gjøre jobben for dem. Men den gjør feil, og disse feilene, dette er den lumske delen, sniker seg forbi. Folk legger ikke merke til det. Et annet eksempel er at CNET var et av de første stedene som brukte AI til å skrive artiklene sine. Og i den første batchen på 75, hadde omtrent halvparten av dem feil. Redaktørene la ikke merke til dem fordi alt er grammatisk og velformet, og det er ingen skrivefeil, og folk kobler av. Jeg kaller det «ser bra ut for meg»-effekten. LLM-er gir deg «ser bra ut for meg»-effekten, som har ført til et annet nytt begrep som jeg skulle ønske jeg hadde funnet på, kalt «arbeidslapp». Så «arbeidslapp», som et par professorer visstnok fant opp i fjor, er et begrep for folk som skriver disse rapportene, de sender dem inn, du vet, til arbeidsgiveren sin, de ser overfladisk bra ut, men de er feil. De inneholder feil fordi LLM-er ikke egentlig forstår.

>> Og det du sier er at LLM-er ikke tenker.

>> De tenker virkelig ikke. De bare slår ting sammen som statistisk sett normalt gir mening å slå sammen.

>> De de de slår Akkurat. Eller «glommer» er et annet verb jeg liker der. De glommer ting sammen. Og du vet, mange av dem er riktige statistisk sett, og noen av dem er feil, og systemene kjenner ikke forskjellen. De kan ikke fortelle deg forskjellen. De sier aldri som, vel, det virker for meg at, du vet, alt som Wikipedia sier at Harry Shearer ble født i, ehm, Los Angeles, men jeg har følelsen som en LLM at det er London, og kanskje du burde sjekke det. Jeg mener, de gir deg aldri noe av det. De presenterer bare alt som om de var et leksikon, uansett om det er sant eller ikke, noe som er en av grunnene til at disse systemene er lumske. I min Substack som kommer ut før dette sendes, som jeg allerede har skrevet i min neste abonnent, ehm, takk for at du abonnerer. Ehm, jeg skal snakke om en ny artikkel jeg så i morges som blåste meg av banen, som handlet om hvordan LLM-er undergraver samfunnets institusjoner, inkludert ting som demokrati og samfunnsorden og så videre, ikke minst på grunn av denne tendensen til feil, >> ikke sant?

Så de undergraver kvaliteten på nesten alle institusjoner i livet ved å lage falsk informasjon og i bunn og grunn undergrave informasjonsøkosfæren. Jeg mener, bare tenk på demokrati. Demokrati fungerer bare hvis velgerne faktisk forstår hva som foregår, ikke sant? Hele poenget er at velgerne reflekterer over verden og deretter bringer sitt perspektiv fra, du vet, sin religion, sin barndom, sitt nabolag eller hva som helst. Men hvis alle får søppel hele tiden, fungerer det ikke lenger. Vel, jeg leste den dagen Maduro ble tatt av USA. Du skrev her at vi alle så på at han ble tatt, som om hele landet sitter der og ser på CNN eller hvem som helst, og vi ser bokstavelig talt denne fyren bli tatt ut av Venezuela, og ChatGPT forteller deg at det ikke har skjedd.

>> Det stemmer. At det er og >> at det er falske nyheter at vi ser det på TV, og de forteller deg at det er falske nyheter.

>> Ja. Jeg mener, det er mange problemer, det er et annet problem, men det er ikke urelatert, det er hva er det problemet >> det problemet er at disse tingene alle har en avskjæringsdato, så de blir trent på et bestemt tidspunkt, og det er en slags kjernemodell som bare vet hva som har skjedd frem til da. De setter forskjellige «plaster» på det, som at de får det til å gjøre nettsøk og hva som helst, men ingen av «plastrene» er veldig godt integrert, og du vet, noen av systemene gjør det bedre enn andre, har et problem med nyhet, noe nytt.

Det er det dypeste problemet, faktisk, du vet, går tilbake til mitt arbeid i 1998, innså jeg veldig tidlig at det var det dypeste problemet med disse systemene: hvis du i bunn og grunn er en glorifisert memoriseringsmaskin, og jeg gir deg noe som er langt nok unna det du har sett før, er du i trøbbel. Fantastisk eksempel på dette. Jeg kjenner ikke de underliggende detaljene, men ehm, Tesla, ehm, gjør mye av denne typen memorisering, men AI-systemene deres er ikke så sofistikerte. Og en dag brukte noen «summon»-funksjonen. Du husker hvordan Elon sa at du skulle kunne kalle bilen din fra Los Angeles til New York. Du kan ikke egentlig gjøre det, men du kan visstnok kalle den over en parkeringsplass. Så, noen gjorde dette på en flymesse. Du kan finne videoen på YouTube. De kaller bilen sin. De vil være sånn: «Kult, jeg er på en flymesse, og jeg skal få Teslaen min til å komme bort til meg.» Og den kjørte rett inn i et jetfly til tre og en halv million dollar, ikke sant? Systemet hadde ikke i treningsdataene sine hva det skulle gjøre med et jetfly, for hvem trener en bil til å unngå et jetfly? >> Og så hadde den ikke en generell forståelse av verden, som «ikke kjør inn i ting som er dyre eller store eller fysiske objekter i veien din». Forsto ingenting av det. Bare som å lete etter ting som matcher sykler og fotgjengere og så videre. De hadde ingen kategori for jetfly, og så kjørte vi inn i det.

La meg, la meg stille et spørsmål. Så,

>> Hei, Steve Eisman her. Du lytter til programmet mitt fordi jeg prøver å gi deg fakta om markedet og min mening. Men det er ikke alltid lett å filtrere gjennom all informasjonen og hypen der ute, spesielt når det gjelder å finne ut hvordan man skal investere. Og hvis du har hatt litt suksess i livet, blir du sannsynligvis bombardert med investeringsråd. Plutselig har alle en flott ny idé eller et produkt for deg, et nytt fond, en skatteordning, en enestående privat avtale. Hvordan vet du hva som er ekte? Ved å bli med i et fellesskap av mennesker som står overfor de samme bekymringene som deg. Det er derfor jeg anbefaler deg å ta en titt på Longle. Longle er ikke en formuesforvalter. De prøver ikke å selge deg et produkt. Det er et privat, kvalitetssikret fellesskap av formuende investorer, entreprenører, ledere og fagfolk. Det er et fellesskap fylt med mennesker som deg. Medlemmer bruker det til å utveksle erfaringer om alt fra investeringsideer til due diligence på private avtaler, til å navigere komplekse skatteregler, til personlige ting som hvordan man oppdrar jordnære barn når man har penger. Jeg snakker mye om gammeldags due diligence, og det er det dette handler om. Det er 6500 kvalitetssikrede medlemmer som deler upartisk intelligens. Ingen selgere tillatt. Hvis du leter etter et sted å stille spørsmål og få svar fra folk som ikke prøver å tjene provisjon på deg, er dette det. Gå til longangle.com/isman. Medlemskap er gratis, men du må kvalifisere deg. Igjen, det er longangle.com/isman for å søke.

Disse disse modellene har skalert. Du vet, det var ChatGPT1, ChatGPT2, 3, 4, 5, og nå skal Gemini være bedre. Når folk sier at den nye Gemini er bedre enn, la oss si, ChatGPT5, hva betyr det i praksis? Det er faktisk et veldig interessant spørsmål, for det finnes ikke et enkelt svar på det. Det de egentlig sier er at for de tingene jeg gjør, får jeg tilfeldigvis bedre resultater. De fleste som sier det, sier det intuitivt uten eng engang kvantitative data. Og det som er med disse systemene, er at vi presser dem inn i en veldig bred tjeneste, ulikt nesten alt annet. Som om du har en bil, kan du teste den. Hvordan går den i snøen? Hvordan går den i, du vet, i regnet osv. Det er en slags regime du kan teste, og det er ganske velkjent. Hvis du hadde en kalkulator, trenger vi egentlig ikke å gjøre dette fordi vi vet nesten ved bevis ved, ehm, konstruksjon. Vi vet at kalkulatoren vil være korrekt. Da Intel-brikken gjorde en feil i flytende komma-tall, tror jeg dette var for rundt 20 år siden. Det var en stor skandale at den ikke var 100 % korrekt, men den var som 99,9999 % korrekt. Ehm, men det er bare så mange ting du kan be en kalkulator om å gjøre før du i bunn og grunn kan bevise at den er korrekt. Vi kan ikke gjøre det med LLM-er, med store språkmodeller, fordi de kan bli bedt om å gjøre hva som helst, og forskjellige mennesker ber dem om å gjøre forskjellige ting, og så har alle sin egen mening om hvilken modell som er bedre, som nesten helt sikkert på nesten alt, med en viss kvalifikasjon, kommer GPT5 til å være bedre enn GPT4 og kommer til å være bedre enn tre. Og det er et spørsmål om hvor mye bedre, men det er et vanskelig spørsmål å svare på. Det avhenger veldig av hva du tester den på. Så når folk sier, du vet, Gemini er bedre enn GPT 5.2 eller hva som helst, mener de egentlig for de tingene jeg gjør, og folk gjør veldig forskjellige ting. Så noen mennesker bruker disse systemene, for eksempel, for å hjelpe dem med koding. Andre mennesker bruker dem for å hjelpe dem med idémyldring. Noen mennesker kan gjøre finansielle analyser og så videre. Det er på en måte uendelig, og det gjør det veldig vanskelig å komme med en definitiv uttalelse. I stedet, du vet, folk prøver det ut og de har intuisjonen. Jeg har faktisk ikke lekt så mye med Gemini. Jeg lekte med mange av disse modellene og fortsatte å se de samme mønstrene om og om igjen. Og for meg er det kjedelig. Som jeg kommer til alt dette fra et vitenskapelig perspektiv. Jeg vil se noe som fungerer annerledes. Og når jeg ser noe som fungerer annerledes, kommer jeg til å bruke mye tid på å teste det.

>> Så du har sagt at disse modellene når avtagende avkastning. Så med andre ord, to var mye bedre enn én. Tre var mye bedre enn to. Fem var bedre enn fire, men mindre enn fire var bedre enn tre. Som mitt spørsmål til deg er først og fremst, hvordan vet du det? Som basert på hva gjorde du, føler du deg trygg på at du kunne si det? Du kan se på referansepunkter og si hvor mye bedre de gjør det på disse standardiserte målene. Du kan prøve dem ut intuitivt. Med de tidligere modellene var sprangene virkelig så dramatiske at du ikke engang trengte formelle mål. Det var bare åpenbart hvis du lekte med den originale GPT1, den var forferdelig. Som det var som den gamle vitsen om at den i det hele tatt kunne svare på spørsmålene dine var ganske imponerende, men som du vet, den var nesten alltid feil. Den var ubrukelig. GPT2 var legitimt bedre. Du ville stille den spørsmål. Den ville være mer grammatisk. Den ville ikke være helt på bærtur. Som du gjorde ikke, det er som, du vet, du går til en synstest og de viser deg de to forskjellige linsene, og du tenker, jeg er ikke helt sikker. Er denne bedre? Du trengte ikke det for GPT2 versus GPT1. Den var bare bedre. Samme med GPT3 versus GPT2. Nesten alt du ville teste den på, ville den gi deg et bedre, fyldigere, mer grammatisk svar, osv. Samme med GPT4 versus GPT3. Du trengte ikke å komme til en eller annen, du vet, obskur test. Du bare lekte med den i en halvtime. Åpenbart, bare å gjøre alt bedre. GPT5 versus GPT4 er mer subtil. Det er det det betyr å nå avtagende avkastning. Ja, den vil sannsynligvis gi deg et bedre svar på mange ting, men det er ikke det samme gigantiske spranget fremover. Det er en der du trenger å ha mål for å indikere fremgangen.

Så, la oss, la oss presse det et øyeblikk, for la oss ta det fra min side, forretningssiden. Jeg mener, disse selskapene, disse hyperskalererne, Microsoft, de har kjøpt, du vet, GPU-brikker som om de har gått av moten. Og du vet at mengden penger som alle disse hyperskalererne brukte i 2025, bare de rene hyperskalererne, var sannsynligvis noe sånt som 500 milliarder dollar mer eller mindre, noe som ikke akkurat er småpenger. >> Det stemmer. >> Og ingen vet egentlig, for jeg har spurt så mange jeg kan, du vet, hvor mye av alle GPU-ene som Nvidia selger, går til selskaper som lager LLM-er. Men det er åpenbart ikke et lite tall. Antagelig mye, spesielt de høyere endene. Ja, det er ingen tvil om at det er mye. Er det 30, 40, 60, 70? Ingen. Det er ingen, det er ikke, jeg har bokstavelig talt ikke engang funnet et tall, men det er helt klart en veldig høy prosentandel. Det er veldig viktig. Så hvis ditt syn plutselig i morgen skulle bli det dominerende synet, og du vet, la oss si at jeg er i Microsoft eller jeg er i Meta, og jeg er i avdelingen som utvikler dette, og jeg plutselig ble omvendt til Gary Marcus-religionen. Jeg måtte si til meg selv: «Jeg må ta et skritt tilbake, for vi har i bunn og grunn kommet mer eller mindre dit vi kommer til å komme ved å gjøre det vi har gjort.» Og du vet, Ilas ga oss ting vi må tilbake til tegnebrettet med, som vi skal snakke om hva det betyr. Jeg er ikke sikker på nøyaktig hva det betyr. Og derfor ville mengden GPU-er folk kjøper måtte avta dramatisk når folk tok et skritt tilbake og fant ut, ok, hva gjør vi nå? Hvor er samfunnet, du vet, hele det datavitenskapelige forskningsmiljøet, tror du, akkurat nå i denne debatten, for du er ikke lenger den ensomme ulven, men bare du og dine folk som er enige med deg, dere er fortsatt i mindretall. Hva skjer? Hva hører du om hva som skjer i samfunnet?

>> Jeg er sikker på at vi ikke er i mindretall lenger. Jeg tror ting har endret seg ganske dramatisk de siste seks månedene. Så, vi var definitivt i det minste i mindretall i visse samtaler. Jeg tror blant langvarige AI-forskere var jeg aldri i mindretall. Jeg var i mindretall når det gjaldt hvordan media rapporterte ting, og jeg var i mindretall med hensyn til folkene som drev disse selskapene.

>> Ja.

>> Men du vet, det ble gjort en undersøkelse av Triple AI, som er den amerikanske, eller hva er det, foreningen for fremme av kunstig intelligens. Det er uten tvil den største og mest langvarige AI-organisasjonen. De gjorde en undersøkelse, en presidentundersøkelse, tror jeg den ble kalt for omtrent et år siden, og 85 % av personene i den undersøkelsen, som for det meste var høyskoleprofessorer, industriforskere, men ikke nødvendigvis de store selskapene, 85 % av dem sa at store språkmodeller ikke kommer til å bringe oss til den hellige gral av såkalt kunstig generell intelligens. Så, jeg mener, mange mennesker har sett skriften på veggen en stund. Jeg har alltid vært den mest vokale. Jeg tror jeg har vært minst redd for å, du vet, ta kritikken. Og jeg tror jeg har vært artikulert om det fordi jeg har tenkt på disse problemene i veldig lang tid, og de var på en måte veldig sentrale i mitt akademiske arbeid. Men det er mange andre mennesker som har sett, tror jeg, det jeg så. Ehm, det som er virkelig bemerkelsesverdig med de siste månedene, og jeg skal fortelle deg hva jeg tror vendepunktet var, er hvor mange andre mennesker som har begynt å se det. Så du nevnte nettopp Ilaskever. Det er virkelig en stor >> og bare så folk vet, han var en av grunnleggerne av Open AI, men han har sluttet og starter sitt >> egen grunnlegger av Open AI, men han var også medforfatter på denne artikkelen om bruk av GPU-er for, ikke store språkmodeller, men deres forgjenger for >> så han var der i begynnelsen >> han var der i begynnelsen av det vi kan kalle gjenfødelsen, en gjenfødelse i 2012 som var en så stor sak, så for ham å gi et intervju på denne podcasten av Doresh og si at vi må tilbake til forskningens tidsalder, dette fungerer ikke egentlig. Det er en stor sak. Ehm, nå tror jeg ikke han sa noe jeg ikke sa hele tiden, men du vet, når det kommer fra ham, bærer det en viss vekt. Ehm, så det var det, men jeg tror det virkelige vendepunktet faktisk var i august. Så hvis du spoler tilbake, går du tilbake og ser på intervjuer og ting fra 2023-2024, Sam Altman fortsatte i bunn og grunn å hinte om at GPT5 skulle bli kunstig generell intelligens eller nær det. For eksempel, i januar, for bare et år siden, skrev han i bloggen sin at vi nå vet hvordan vi lager kunstig generell intelligens i konvensjonell forstand. Og folk snakket i årevis om når GPT5 skulle slippes? Det var litt som å vente på Godot eller noe sånt. Du er, du er på en måte min æra. Husker du Airplane?

>> Selvfølgelig.

>> Du husker den siste scenen hvor de lander og det er «nå ankommer gate åtte, nå ankommer gate ni» >> Ja, jeg husker. Jeg husker. Så jeg skrev i min >> Dette er en dårlig dag å slutte å sniffe lim. >> Dårlig dag å slutte å sniffe lim. Så jeg skrev i min Substack om det fenomenet anvendt på GPT5, fordi i januar 2024 var de som, jeg tror det kommer til å slippes etter Super Bowl. Det kommer til å bli så fantastisk som de to, og så, du vet, så skjedde det ikke. De var som i juli, jeg, du vet, jeg leste på Twitter at denne fyren som heter Strawberry sa at alt kom til å skje, og han har innsideinformasjon, og det kom aldri. Det var alltid en løgn, ikke sant? Og så skrev jeg dette, jeg tror det faktisk var godt over et år siden, om «nå ankommer gate 8, nå, du vet, GPT5, nå ankommer gate 8, nå ankommer gate 9» og så videre. Den ble bare forsinket og skjøvet tilbake og skjøvet tilbake. Men Sam fortsatte hele tiden å antyde at det kom til å bli denne fantastiske tingen. Og faktisk, da han introduserte den, som jeg tilfeldigvis vet nøyaktig datoen for, 7. august 2025, introduserte han den endelig. Det er en digresjon om en tidligere modell som ble kalt GPT4 og en halv som skulle være fem. De ville ikke engang kalle det det fordi det ikke var godt nok. Men bestemte seg til slutt for å slippe noe. Kall det GPT5. Og han er som om den kan gjøre alt en doktorgrad kan gjøre. Men de slapp den til publikum, og det tok publikum omtrent en time å innse at dette ikke var sant. At den fortsatt laget disse hallusinasjonene og dumme problemene.

>> Samme problemer, du vet, færre av dem. Som det var, det var legitimt bedre, men ikke så mye bedre, ikke sant? Han solgte det som om det skulle være et kvantesprang fremover, slik fire var sammenlignet med tre, og tre var sammenlignet med to. Og det var bare ikke det. Og samfunnet som hadde håpet det skulle bli det, ble skuffet. Og bokstavelig talt den dagen begynte folk å skrive ting på Twitter som fikk meg til å le. De ville være som: «Jeg hater å si det, men Gary Marcus >> Gary Marcus har rett.»

Jeg husker, jeg husker jeg leste det, det var som: «Å, Gary Marcus er ikke bare en ensom ulv lenger.» Akkurat. Noen skrev en bok, sannsynligvis ved hjelp av ChatGPT, kalt «Gary Marcus hadde rett», du vet, kort tid etter at disse hendelsene, ehm, fant sted, ehm, som om det ble en ting at jeg hadde rett etter all denne tiden, og det er virkelig skuffelsen over ChatGPT-5 som forvandlet det. Men hvor tror du >> hvis jeg ikke vet om du vet at du, du, du koblet dette på denne måten. Har du hørt noe om hva som skjer i selskapene nå som denne tonen i debatten endrer seg?

>> Jeg mener, jeg antar at noen ting skjer. Så en ting er at jeg har sagt hele tiden at du ikke kan bruke rene store språkmodeller. Du må bruke klassisk symbolsk AI. Og de bare hånet og sa at det er skummelt. Vi trenger ikke dette. Vi vet ikke hvordan det fungerer i hjernen. Og nå har de alle stille begynt å gjøre det til en viss grad. Så de bruker ting kalt kodefortolkere som kjører Python-kode, som er klassiske symbolske verktøy. Ehm, og så sniker de system 2-tingene inn. De gjør ikke et stort nummer ut av det, men det utgjør faktisk en stor forskjell. Dette var veldig tydelig på presentasjonen av Grok 4, ehm, hvor Elon Musk viste en graf, og jeg skrev om dette i et essay kalt «Hvordan 03 og Grok 4 ved et uhell rettferdiggjorde nevrosymbolsk AI». Jeg har denne grafen der, og det den viser er egentlig tillegget av symbolske verktøy som de ikke egentlig snakker om, som får systemene til å fungere bedre. Du vet, de forbedrer seg fortsatt litt, og det er der de får mesteparten av forbedringen. En del av det er at de stille har sluttet å bare bruke LLM-er. Men for din verden er det betydelig, fordi de symbolske tingene ikke kjører på GPU-ene, de kjører på CPU-er.

>> Ah, ok.

>> Og jeg mener for meg, for de tekniske problemene, er det en bekreftelse på tilnærmingen jeg snakket om. Så det er en ting som skjer. En annen ting som skjer er at alle drar for å starte sin egen startup. Tenk deg nå. Hvis du var hos OpenAI og de virkelig skulle slippe AGI neste uke, ville du da ønske å dra rett før denne kataklysmiske hendelsen som skulle revolusjonere verden, og starte et lite selskap som kommer til å ta, du vet, fire år for utvikleren, hva som helst? Selvfølgelig ville du ikke det. Du ville ønske å være der for den magiske koordineringen. Så, det faktum at alle drar, forteller deg at de ikke egentlig har det de tror. Og så, ehm, hva annet skjer? Du vet, Google tar igjen, for som jeg forutså i min Substack for et par år siden, fordi alle gjør stort sett det samme. Det er ingen vollgrav her. Det er ingen teknisk modus,

>> ikke sant? Alt jeg tror du og noen andre har argumentert for, er at hvis alt du gjør er å konstant skalere en LLM, er vinneren den som har råd til å skalere LLM-en. Og hvem har råd til mer enn Google? Ingen.

>> Ja. Ja, jeg mener, jeg laget en litt annen versjon av det argumentet, selv om den versjonen sannsynligvis er korrekt, som var at du kom til å få en opphopning nær toppen, og at du kom til å få en priskrig, ehm, når disse tingene ble varer, ville prisene falle. Og faktisk har prisene falt med 100, en faktor på 100, ehm, og hvor mye du betaler for et token. Så, vi har hatt den priskrigen. Jeg tror det også er sant at det til syvende og sist favoriserer Google. Jeg formulerte egentlig ikke argumentet på den måten opprinnelig, men da jeg begynte å skrive om det, tror jeg det var mars 24 eller kanskje august 23, sa jeg: «Se, alle følger den samme oppskriften her.» Ingen har en hemmelig saus.

>> Og det betyr at du kommer til å få en konvergens på toppen.

>> Det er en vare på toppen >> hvor alle kommer til å lage modeller som er litt bedre enn fjorårets, men ikke så mye bedre. Og så kommer det ikke til å spille noen rolle lenger. Og hva har, hva har det betydd? Det har betydd at Google har tatt igjen, og det har betydd at Kina har tatt igjen, og det har betydd at Anthropic har tatt igjen. Og så har det også drevet, som du sier, det er en vare. Det har drevet prisene ned. Ehm, noe som er bra for sluttbrukeren, men ikke bra for forretningsmodellen der jeg skal betale deg masse penger for GPU-er fordi jeg skal tjene masse penger.

>> Kan vi gå videre til inferensmodeller et øyeblikk? Bare forklar for publikummet mitt hva forskjellen er mellom en inferensmodell og en LLM-modell? Og er inferensmodeller basert på LLM-modeller? Inferensmodeller fungerer over LLM-er, men i stedet for å spytte ut det første svaret, itererer de. De bruker tid på å prøve å komme opp med det beste svaret. Folk har ikke vært super, ehm, imøtekommende med hensyn til nøyaktig hvordan de gjør det. Men den opprinnelige ideen med de fleste av disse nevrale nettverkene var på en måte «oneshot» i en viss forstand, selv om folk bruker det begrepet på en annen måte, i den forstand at du ville mate noe inn, og det ville umiddelbart gjøre en gjennomgang gjennom det nevrale nettverket, noe som betyr at hver node i det nevrale nettverket, grovt sett, ehm, jeg forenkler litt, ville se noe og generere sitt svar, og nå det de gjorde er å si la oss gjøre flere gjennomganger, noe som er veldig annerledes, ikke sant, det første er det en venn av meg kalte konstant tidsinferens. Du vet hvor lang tid det tar å beregne svaret ditt, alt tar i utgangspunktet samme tid. Du mater det gjennom mønstergjenkjenneren din. Den gir deg det beste svaret basert på mønsteret i scenen før. Dette nye paradigmet for inferenstid, som jeg skal snakke om hvor det har fungert og hvor det ikke har fungert, betyr at du bruker lengre tid på noen problemer enn andre. Nå har ingen funnet ut helt hvordan man får alt til å fungere bra, men det er noen tilfeller hvor det fungerer ganske bra. Så vidt jeg kan se, er en del av det de gjør at de får mennesker til å snakke gjennom problemer, og den prøver å etterligne det, ikke sant? Dette er etterligningssystemer. Nå, det du gjør er å prøve å etterligne hva et menneske ville gjort når de løser dette geometriproblemet eller dette algebraproblemet eller noe sånt. Den prøver å etterligne den prosessen. Og den prosessen for mennesker tar en haug med trinn, og for det nevrale nettverket, ehm, som inkluderer dette, tar det en haug med trinn.

>> Så hva er dette bra for? Hva har dette vist seg å ikke være så bra for?

>> Så før jeg svarer på det spørsmålet, vil jeg legge til en annen ting. Det er i seg selv dyrere. Du bruker mer tid på GPU-ene dine for å generere >> svaret ditt.

>> Ehm, ok, så hva er det bra for og ikke bra for? Det det ser ut til å være best for, er steder hvor du kan generere formelt korrekte, verifiserbare data for å trene modellen din på. Så et godt eksempel på dette er matematikk eller dataprogrammering, hvor du kan skrive et program for å generere forskjellige mulige kodestykker for å lære systemet ditt, eller forskjellige mulige geometriske bevis og lignende. Ehm, og du kan gjøre det i disse domenene fordi de er en slags lukkede domener. Det er grenser for >> mener grenser for hvor mye kunnskap som er i databasen.

>> Akkurat. Hvor mye og hvor mye kunnskap som er relevant.

>> Ikke sant.

>> Ikke sant. Ehm, og det er det de har vært best på, er ting som geometri og ting som datakoding. Det de ikke har vært gode på, er den åpne, virkelige verden. Jeg tenker alltid fra din verden, selv om du ville kjenne eksemplet bedre enn jeg gjør, om da Long-Term Capital Management gikk konkurs fordi ingen egentlig hadde tenkt, det var en annen type modell, men ingen hadde tenkt på hva som skjer hvis det russiske obligasjonsmarkedet, du vet, gjør noe >> og så, du vet, var det et stort kollaps i amerikanske finansmarkeder på grunn av det som skjedde i det russiske obligasjonsmarkedet. Ehm, så det var utenfor hvordan parameterne for hvordan disse modellene, som fungerte på forskjellige prinsipper, ble bygget. Vi ser noe lignende her, som er at systemet faktisk ikke vet hvordan det skal tenke på obligasjoner eller noe annet. Og hvis det den er trent på er, eller unnskyld, det den er testet på eller brukt til, er veldig likt det den er trent på, er alt i skjønneste orden. Men hvis du presser den utenfor komfortsonen, og vi snakket om Tesla-eksemplet også, da har de en tendens til å bryte sammen.

>> Så den har en

problem med nyhet. Og hvis noe ikke er i databasen, er det virkelig kjerneproblemet selv med de nye inferensmodellene. Det er en litt annen variasjon, men det er fortsatt fundamentalt et spørsmål om nyhet. Og her er saken: de fleste ting som er interessante i verden, innebærer et visst mål av nyhet. Ikke alle av dem.

Og det viser seg at du kan bruke teknikker som ikke er så gode på nyhet, til å gjøre noe i et smalt domene som sjakk eller go, der reglene ikke har variert betydelig. Det er en viss variasjon i løpet av de siste tusen eller, du vet, 2000 årene. Så du har mye data. Du kan drive selvspill, generere mer data for deg selv og så videre. Men når du snakker om den åpne, virkelige verden, hvis du snakker om politikk eller militær strategi, eller, du vet, kommer det alltid til å være ting som ikke er der inne, som: hvordan håndterer du forestillingen om at du har en president som ser ut til å være villig til å ha fly forkledd som sivile fly, du vet, angripe folk i et annet land? Slikt har ikke skjedd før. Hvordan resonnerer du rundt det?

Vel, du kan ikke bare se på tidligere data lenger. Du må begynne å tenke på konsepter som, jeg vet ikke, makt og diplomati og hvordan ting er konstruert, som du vet andre typer forskere ville vært bedre på enn meg, men du vet, du må ha riktig trening og de riktige abstraksjonene og så videre. Du kan ikke bare stole på dataene lenger. Og det som har skjedd i forretningsbruk, tror jeg, er at selv når du gjør noe som kundeservice som virker relativt lett å håndtere, stiller folk alltid et spørsmål litt annerledes enn før, og det er da systemene har en tendens til å bryte sammen i møte med nyhet.

Så la oss si at jeg utnevnte deg til AI-TSAR, og du hadde kontroll over alle disse selskapene, og du skulle lede dem. Hvis du skulle samle alle disse menneskene i et rom, hva ville du fortelle dem at de må gjøre for å komme til neste nivå? Virkelig komme til neste nivå.

Jeg vil si at de trenger mye mer intellektuell mangfold. Så i din verden forteller du folk at de ikke skal legge alle pengene sine i én aksje, ikke sant, diversifisere, du vet, aksjer og obligasjoner og gull og eiendom, ikke sant? I bunn og grunn satset feltet alt på én idé de siste årene: å skalere LLM-en. Å skalere LLM-en var den ene ideen, og du vet, de fikk litt ut av det, det er ikke ubrukelig, det er ting vi faktisk kan bruke dem til, men det brakte oss ikke til den hellige gral av kunstig generell intelligens, og det viste seg også å være en veldig dyr og veldig ineffektiv tilnærming. Hvis du sammenligner hvor mye data barna mine har trengt for å forstå verden versus å trenge hele internett, er det nesten komisk hvor ineffektive disse systemene er. Så de laget disse ineffektive og upålitelige systemene som har en viss nytte for mye penger. Vi må ha andre tilnærminger som er mer effektive, som er mer økonomiske, som er mer pålitelige, og de burde legge penger i å prøve å tenke på det.

Men problemet kommer delvis fra din verden, nemlig at venturekapitalister får, du vet, 2 % av investeringene på ordninger som høres plausible ut, ikke sant? Så hvis du er en venturekapitalist, og jeg er nysgjerrig på din mening om min mening, fordi det er mer din verden enn min, hvis du er en venturekapitalist og du har en historie om hvordan jeg kan investere dine tusen milliarder dollar og jeg får mine 2 %, trenger jeg ikke å bry meg så mye om hvordan det hele vil utspille seg, for 2 % av tusen milliarder dollar ville gjort meg til en veldig rik person.

Og så jeg sier ikke at hver venturekapitalist tenker slik. Jeg tror, du vet, jeg har møtt mange, og noen av dem tror jeg virkelig ønsker å fremme teknologi og så videre. Men mange av dem er kyniske, slik du kan finne i ethvert yrke. Og det som lønner seg hvis du er en kynisk venturekapitalist, er å finne en idé som høres plausibel ut, ikke trenger å fungere, som er veldig dyr, og som du kan ta din 2 % andel av. Og jeg tror det er det som har skjedd, folk har satset alt på skaleringen fordi de får en andel, og andelen er ganske stor. Men det har ikke vært det intellektuelt riktige å gjøre, og det har ikke ført til gode resultater, noe som betyr at mye penger har blitt sløst bort. VC-ene fikk sin 2 % andel. De begrensede partnerne kommer til å tape mye penger til slutt.

Tror du vi er nær at det skjer, eller er det umulig å si?

Jeg mener, du kjenner ordtaket like godt som meg om shorting, ikke sant? Markedet kan forbli irrasjonelt lenger enn du kan forbli solvent. Korrekt. Men metaforen jeg brukte i fjor, var Wile E. Coyote på kanten av et stup, ikke sant? I Bugs Bunny, ikke sant? Han faller ikke ned før han ser ned, noe som selvfølgelig ikke er slik fysikken faktisk fungerer, men det gjør det morsomt.

Jeg tror folk har begynt å se ned i din verden. I din verden, i investeringsmiljøet, begynte folk, tror jeg, virkelig i november å si: "Hei, jeg ser all denne sirkulære finansieringen, resultatene på avkastning er ikke så gode, systemene fungerer fortsatt ikke så bra for meg, kanskje dette ikke gir mening, ikke sant?" Jeg personlig mener at Nvidia lager et fantastisk produkt, økosystemet deres er fantastisk, brikken er, og det er ikke engang bare brikken, det er programvaren rundt den, alt.

Jeg har møtt Jensen. Jeg er imponert over ham. Det er et flott produkt. Men spørsmålet er, hvor mange av dem kommer de til å selge til slutt? Og jeg tror de har solgt dem alle på spekulasjon. Folk spekulerer. Og jeg kommer tilbake til hvordan andre folk tenker om et øyeblikk. Folk spekulerer i at det kommer til å være i hovedsak uendelig etterspørsel etter dette. Men den spekulasjonen er basert på forestillingen om at disse tingene faktisk kommer til å gi oss kunstig generell intelligens. Ekte kunstig generell intelligens som kunne gjøre hva som helst et menneske kunne gjøre, ville vært verdt en enorm mengde penger, absolutt tusenvis av milliarder dollar hvert år.

Men det er en annen studie som nettopp ble rapportert i Washington Post for et par dager siden, ble gjort en måned tidligere, som viser at bare to og en halv prosent av jobbene som folk gjør, er AI-systemene faktisk i stand til å gjøre, du vet. Så de fleste ting folk fantaserer om at AI skal gjøre for dem, gjør de ikke, de gjør det egentlig ikke. Og det betyr til syvende og sist at alle disse investeringene i brikker ikke gir mening.

Det betyr på et tidspunkt at jeg tror OpenAI sannsynligvis er det mest sårbare selskapet her. OpenAI har, du vet, tusen milliarder pluss dollar i utestående forpliktelser, har aldri gått med overskudd. De er nå i et råvaremarked. Deres største konkurrent, Google, tok dem igjen. Og ikke bare tok de dem igjen, men ja, de overgikk dem. Fikk Apple-avtalen, som er en veldig stor avtale, du vet, og så jeg tror de sliter. Jeg ser ikke hvordan de skal forsvare verdsettelsen sin.

Vel, hvis OpenAI, jeg mener, for min verden, hvis OpenAI, hvis folk begynte å trekke penger fra OpenAI og de ikke kunne skaffe penger, ville det vært en kaskadeeffekt for hele...

Akkurat det jeg tror kommer til å skje. Jeg tror til slutt at OpenAI kanskje blir absorbert av Microsoft eller noe sånt. Jeg har sagt i et par år at jeg tror de kommer til å bli sett på som AI-ens WeWork. Folk kommer til å spørre: "Hvordan ble de verdsatt til det?" Det ga bare ikke mening, ikke sant? OpenAIs inntekter er noen få milliarder dollar, men de taper milliarder av dollar hver måned. De har alle disse konkurrentene. Det gir bare ikke mening. Og hvis folk trekker seg ut av OpenAI eller bare ikke legger inn mer penger, da er de i dype problemer, ikke sant? Så de taper hva det nå er, 3 milliarder dollar i måneden, du vet, 30-ish milliarder dollar i året, noe sånt, ikke sant? Og de fikk nettopp en finansieringsrunde på 40 milliarder dollar. Det gir dem omtrent ett års "runway", ikke sant?

Stemmer.

Men det er det. Og mange står sannsynligvis på sidelinjen og sier: "Hei, vent. Google er bedre egnet til å spille dette spillet. De tok faktisk igjen."

Hvis det bare handler om skala, da vinner Google. Hvis det bare handler om skala, vinner Google. Utvilsomt. Hvordan kunne de ikke?

Google kan forplikte seg. Google trenger ikke engang Nvidia fordi de lager sine egne tensorbehandlingsenheter som gjør omtrent det samme arbeidet. Og så er de mindre sårbare. De har en, du vet, finansiell rørledning. De kommer til å vinne. Ikke sant.

Stemmer. Og det skal ikke mange til for å tenke at OpenAI er i en posisjon der sjekkstørrelsen de trenger for å holde seg flytende, er massiv, ikke sant? De kommer til å trenge en sjekk på hundre milliarder dollar neste gang. Ikke mange kan skrive deg en sjekk på hundre milliarder dollar. Du vet, kanskje fem mennesker i verden kan gjøre det. Og hvis fire av dem sier nei, er du ok. Men i det øyeblikket fem av dem sier nei, er du ute av drift, eller du går til Microsoft og sier: "Hva kan dere gi oss?" Ikke sant.

Så, Gary, før vi går, er det noe jeg burde ha spurt deg om som jeg ikke har spurt deg om?

Jeg syntes dette var et flott intervju. Eh, jeg vet ikke. Jeg mener, eh, jeg antar det er én ting vi ikke snakket om som er viktig. Eh, som er denne forestillingen om en verdensmodell.

Ja. Jeg ville snakke om det. Du har diskutert at vi trenger verdensmodeller som er så utenfor, du vet, mitt ekspertiseområde. Hvorfor forklarer du ikke bare hva du snakker om?

Så, så en verdensmodell er i bunn og grunn noe inne i en datamaskin. Jeg mener, forskjellige folk har definisjoner, men jeg skal fortelle deg hva jeg tror vi trenger. Du trenger noe inne i programvaren din som representerer tingene utenfor i verden. Så, hvis du er et GPS-navigasjonssystem, trenger du for eksempel å kunne representere hva veiene er og hvordan de kobles sammen, hvor lang tid tar trafikken på dem. I klassisk kunstig intelligens er verdensmodeller utgangspunktet. Alle har dem. Nei, ingen ville engang tenke på å ikke bruke dem. Herb Simon, som var en av grunnleggerne av kunstig intelligens på 1950-tallet, skrev en biografi som jeg tror het "Models of My Mind". Han tenkte på modeller, verdensmodeller hele tiden. Og han innså at den riktige måten å drive AI på var å ha den riktige verdensmodellen.

Store språkmodeller prøver å klare seg uten det. Du vet, det er mye arbeid å bygge en modell av en bestemt ting, spesielt en komplisert ting. Som da folk bygde ekspertsystemer, ville de bygge en modell av hvordan en lege tenkte om ting, en modell av hvordan pasienten fungerte, hva fysiologien var. Det er en pine å gjøre det. Det er et helt felt som heter kunnskapsingeniørfag. Det var dyrt. Ingen ville gjøre det. Og så kom språkmodeller og andre typer nevrale nettverk inn og sa: "Du trenger ikke å gjøre det. Vi skal bare la alt sive opp fra dataene." Det fungerer egentlig ikke. Så når den store språkmodellen forteller deg at Harry Sheer ble født i London når han faktisk ble født i Los Angeles, er det fordi den ikke har en skikkelig verdensmodell, den kan ikke bare slå det opp slik en riktig designet programvare ville gjort. Og så vi trenger å få verdensmodeller inn her et sted for å unngå hallusinasjonene.

Jeg forstår fortsatt ikke hva en verdensmodell er.

Så en verdensmodell er – det er vanskelig å gjøre dette i ikke-tekniske termer – en representasjon av verden, av verden, og den trenger ikke engang å være den virkelige verden.

Så for eksempel har vi verdensmodeller av fiktive domener som Star Trek-universet eller Star Wars eller Harry Potter-universet, ikke sant? Så når du går på kino, og dette er det fantastiske for meg med mennesker sammenlignet med nåværende systemer. Når du går på kino, leser en bok, bygger du en modell av hvordan den verden fungerer i hodet ditt, og du kan stille spørsmål som: "Var det plausibelt i denne virkelige verden, eller jukset filmskaperne?" Eller, du vet, hvis du ser Harry Potter, forstår du at folk kan fly rundt på sopelimer, men du forveksler ikke det med din verden og, du vet, hopper på en sopelime, og når du kommer hjem, kommer vinduet faktisk til å fly, ikke sant?

Så vi vedlikeholder faktisk mange av disse, og vi bygger dem veldig raskt. Du ser en episode av en ny science fiction-serie, og du vet, etter 20 minutter begynner du å forstå en annen verden. Så vi er veldig gode på dette.

Innen AI er ingen av tilnærmingene så gode på det. Så klassisk AI er veldig god på å gjøre det manuelt. Så du kan betale en haug med filosofer for å bruke seks uker på å beskrive problemet ditt. En stor forsker som nylig gikk bort, Doug Lenat, gjorde dette med Romeo og Julie. Han viste at systemet hans kunne, du kunne "handwire" Romeo og Julie, og så kunne det forstå, du vet, viktige plottpunkter, og det var veldig imponerende, og det kunne gjøre det uten, du vet, å lese annenhåndsrapporter fra "cliff notes" som var på internett, det kunne bare faktisk forstå, det var fantastisk, men vi vet ikke hvordan vi får klassisk AI til å tilegne seg disse modellene, og store språkmodeller gjør det egentlig ikke i det hele tatt, de forfalsker det.

Mitt favoritteksempel på dette er hvis du, vel, ikke hvis du, man trener dem på hele internett, så de får tilgang til mange skrevne sjakkregler og mange sjakkpartier, og de gjør fortsatt ulovlige trekk. De abstraherer aldri virkelig modellen for hvordan sjakk fungerer. Det er bare så fordømmende. Du ville ikke kunne lære sjakk etter å ha sett en million partier, lest reglene på Wikipedia og chess.com, lest bøker som, eh, som Bobby Fischer spiller sjakk og alt dette, og det får det bare aldri riktig. Så vi trenger systemer som kan indusere – det er ordet jeg ville brukt – verdensmodeller som kan se på et sett med data, prøve å forstå de kausale prinsippene, entitetene som er involvert. Dette er et vanskelig spørsmål. Det er ikke et sånt "åh, noen skal dra hjem i morgen og fikse det"-spørsmål. Det er et spørsmål som begge tilnærmingene har unngått lenge, og som vi må møte nå.

Vel, det kommer til å ta tid.

Det kommer til å ta tid. For å gå tilbake til din verden, tror jeg poenget er at kunstig intelligens virkelig kommer til å transformere verden på måter vi ikke engang kan forestille oss. Men det kommer ikke til å gjøre det nå. Ikke med denne teknologien.

Og vi må, liksom, ta det med i betraktningen og gjøre investeringer. Gjør vi forskningsinvesteringer? Gjør vi skaleringsinvesteringer på teknologi som allerede fungerer? Nei. Det vi stort sett gjør, er å spekulere i at noe som ikke fungerer, på magisk vis kommer til å fungere hvis vi gjør det større. Bare å gjøre det større kommer ikke til å løse disse problemene. Vi må drive grunnforskning. Det er det jeg har sagt de siste 5 årene, og det er det SSG sa i november. Og når Skever sier det også, når vi liksom kommer fra motsatte ender og konvergerer på det, burde folk faktisk lytte.

Gary, det var fantastisk. Takk. Det var utrolig lærerikt, og jeg setter stor pris på at du kom på showet mitt.

Tusen takk for at du hadde meg.

Takk. Denne podcasten er kun for informasjonsformål og utgjør ikke investeringsråd. En vert og gjester kan inneha posisjoner i diskuterte aksjer, men uttrykte meninger er deres egne og ikke anbefalinger. Vennligst utfør din egen due diligence og konsulter en lisensiert finansiell rådgiver før du tar investeringsbeslutninger.