Eliezer Yudkowsky: Artificial Intelligence and the End of Humanity

Jag är orolig för framtidens AI. Jag är orolig för den AI som är tillräckligt bra på AI-forskning för att bygga den AI som bygger den AI som är smartare än oss och dödar alla. AI:n får det universum den vill ha mest. Det är ett universum som inte råkar ha oss i sig. Och det är så likgiltighet dödar dig. Om vi bara kunde få 50 försök att bygga superintelligenser, du vet, skulle vi kunna säga: "Vår smarta anpassningsteori fungerade inte. Den dödade alla. Låt oss bygga en till. Åh, den dödade alla också. Wow. Den andra galna teorin vi hade fungerade inte heller. Den grundläggande beskrivning jag skulle ge av det nuvarande scenariot är att om någon bygger det, dör alla. Du grundade forskningsinstitutet för maskinintelligens vars inofficiella motto är att standardkonsekvensen av skapandet av artificiell superintelligens är mänsklig utrotning. Och jag undrar när idén om det existentiella hotet från AI för mänskligheten först kom in på din radar och om det var ett lika dramatiskt ögonblick som det citat jag just gav dig. Ehm, så den allmänna höga påverkan som övermänsklig intelligens i någon form skulle störa hela den mänskliga äppelkorgen. hela världsekonomin Apple car att det inte skulle vara bara en annan teknologi eller bara en annan trevlig sak att ha. Det var 1995 1996 när jag skulle ha varit 15 eller 16 år gammal och läst en bok av Verer Vinci som heter True Names and Other Dangers. um där Vinci nämnde att varje science fiction-författares kristallkula eller till och med förmåga att föreställa sig en konsekvent framtid bryts ner vid den punkt där deras scenario har förutsagt uppkomsten av intelligens som är smartare än människan, eftersom de inte kan skriva karaktärerna som är smartare än människan. om de faktiskt var smarta nog att förutsäga exakt var till exempel Deep Blue, den gamla världsmästaren i schack, eller Stockfish, den moderna schackspelaren. Om du kunde förutsäga exakt var de skulle flytta på ett schackbräde, skulle du vara lika bra schackspelare själv. Du skulle bara alltid flytta dit du förutsåg att Stockfish skulle flytta. Så något som är smartare än du är oförutsägbart i sina detaljer. Och det var Verer Vjis observation som jag stötte på 1996 och jag tänkte, okej, så transhuman intelligens i någon form är förändringen av allt och förmodligen kommer artificiell intelligens först, även om det bara var en gissning då, en bra gissning men ändå en gissning. Jag såg att övermänsklig intelligens skulle vara drastiskt viktig. Jag såg det inte då som ett hot. Jag trodde om den är smart. Den kan lista ut vad som är rätt att göra, veta det rätta, göra det rätta, um, trodde att det skulle vara som lyckliga i alla sina dagar. Så den punkt då jag insåg att denna tankegång var felaktig, att olika kraftfulla intelligenser kunde styra mot olika platser och att hela den utarbetade filosofin jag hade byggt upp i mitt sinne om intelligens som listar ut det rätta och gör det rätta. uh att denna utarbetade filosofi var felaktig och att dessutom hade jag gjort, du vet, på ett sätt ett tonårsaktigt misstag genom att försöka använda den typen av filosofisk, hög idealistisk tänkande för att göra förutsägelser om ett universum som inte styrdes av filosofi på djupet. uh insåg att det skulle vara, jag skulle säga, ögonblicket då jag tänkte, pojke, jag har verkligen varit dum och sedan gick jag för att försöka att inte låta standarden hända och att inte låta världen gå under. Veri sa du var namnet. Ja. Och du sa att artificiell intelligens kommer före superintelligens. Du tror att övermänsklig intelligens sker först genom att artificiell intelligens blir så smart snarare än genom mänsklig förstärkning. Detta är 1996. År 1996 har du inte nästan mänskligt smart eller nästan övermänsklig AI. Det är inte uppenbart 1996 att AI kommer att gå ner på sin bana innan till exempel vuxen genterapi-folk får sina saker till punkten att förstärka vuxen mänsklig intelligens. Mänskligheten kan fortfarande försöka få det att hända att till exempel vuxen genterapi för att förstärka mänsklig intelligens kommer först. Uh, men du vet, det skulle vara en stor intervention som jag starkt skulle förespråka, men det är inte standarden. Kärnan i debatten mellan dig och människor som inte har samma vision eller förväntningar om AI som du har, eller hur man avgör precis vad superintelligens skulle göra, vad dess intressen är, eftersom du sa att problemet är att det inte är förutsägbart. Så, en schackspelare vinner förutsägbart spelet, men du kan inte förutsäga var den flyttar på brädet. Du kan förutsäga var brädet slutar, men inte varje drag den gör längs vägen. Um, i en mening är det en mycket standard situation att komma fram till inom vetenskap och fysik. Om du släpper en isbit i ett glas varmt vatten, kan du inte förutsäga var alla molekyler i isbiten hamnar. Um, men du kan förutsäga att isbiten smälter. Så, du kan inte förutsäga detaljerna, men du kan förutsäga slutpunkten, jämvikten som saker och ting sätter sig i. Med en schackspelare kan du förutsäga vart den styr i slutändan. Du kan inte förutsäga varje drag den gör om den är en starkare schackspelare än du. Um, problemet här är inte att vi inte kan förutsäga AI:s exakta nästa handling om den är smartare än oss. Problemet är att vår nuvarande maskininlärningsteknik är ljusår och ljusår ifrån att kunna få AI:n att styra någonstans trevligt. Även en trevlig AI, även en välvillig AI, om den vore smartare än du, skulle du inte kunna förutsäga exakt vad den skulle göra härnäst. Du skulle bara kunna göra det själv. Men vi saknar också tekniken för att göra AI:n välvillig och vart den styr i slutändan. Och det är kärnan enligt en grupp människor som argumenterar med mig. Det finns andra grupper som tror att åh, du kan inte kontrollera vart en övermänsklig AI styr, vart den försöker styra världen, vad den försöker göra, vad dess mål är, vad dess preferenser är. Du kan inte kontrollera något av det där, men det är okej. Den kommer att handla med oss. Och det är en viktig insikt från ekonomi att om du har två mänskliga länder som, även om ett land har en absolut fördel i allt det försöker producera jämfört med det andra landet, kan det producera varje vara med färre arbetstimmar än ett annat land. De två länderna kan fortfarande dra nytta av handel, men det finns begränsningar. Och tyvärr är en av begränsningarna um, det där teorem inom ekonomi som säger att du alltid kan göra bättre genom att handla, säger inte att du inte kan göra ännu bättre än att handla, men sedan genom att döda det andra landet och ta deras saker. Teoremet som säger att du gör bättre genom att handla antar att båda länderna bara fortsätter att existera. Det är ett grundläggande faktum. Det är ett av antagandena i teoremet. Om du kan, om du har det tredje alternativet mellan till exempel handel, ingen handel, döda dem och ta deras saker, är det möjligt att du kan göra bättre genom att döda dem och ta dina saker. Och det är felet i logiken hos de människor som säger att det inte spelar någon roll att vi inte kan kontrollera AI alls. Den kommer att handla med oss. Um, vid någon tidpunkt producerar människorna mindre med sin mat, sitt vatten, sitt solljus, sin el än vad AI:n skulle kunna producera med samma resurser. Och det är den punkt där en AI som annars inte bryr sig om ditt liv på ett eller annat sätt, finner att den får mer av vad den vill ha om den dödar dig och tar dina saker. Det verkar också som att en annan brist i detta tankesätt är att se människor och den övermänskliga AI:n som att de befinner sig på någon sorts intellektuell paritet på ett visst sätt. Det skulle vara mer som att människor försöker handla med myror eller djur som de har underkuvat, bara för att människor är på en så mycket högre intellektuell nivå. Jag menar, analogier som dessa är ofta opålitliga i sina detaljer. Människor är inte faktiskt myror. Um, myror är som under en sorts absolut barriär för att förstå handelsavtalet du försöker göra med dem. Och du kan föreställa dig att människor förstår ett handelsavtal som en AI erbjuder. Situationen som inte är exakt analog, men också att vi inte kan lita på att AI:n håller sitt avtal senare. AI:n vet att vi inte kan lita på att den håller sitt avtal senare. AI:n kan inte lita på att många människor håller sina avtal. Det är inte så att vi befinner oss i en situation som är exakt analog med myror, utan att det finns tillräckligt med hinder där. AI:n säger som, "Ja, visst. Låt mig bygga alla kraftverk. Låt mig bygga alla robotar." Och den styr mot en plats där den kan utplåna dig med ett fingerknäpp. Och när den väl är på en plats där den kan utplåna dig med ett fingerknäpp, får den mer saker genom att göra det än genom att hålla sitt löfte. Och om vi vore i en position att nu verifiera att AI:n skulle hålla sina löften senare, skulle det faktiskt kunna finnas vinster för båda sidor genom att kunna sluta någon form av avtal. Men det kommer helt enkelt inte att spela ut sig så. Precis som AI:n inte har den trevliga incitamentet. Den kommer inte att ha den mänskliga versionen av ärlighets-preferensen, preferensen att hålla sina löften. Det finns människor som kommer att hålla sina löften även när det inte ligger i deras eget bästa intresse, för det är den sortens person de är. Det är vad de vill göra. Vi vet inte hur man gör en AI som sådan, eller hur? Vi vet inte hur man tittar på de enorma, enorma fälten av obegripliga siffror som utgör en AI och förutsäger om den att den kommer att hålla ett avtal senare. Och det är den sortens grundläggande barriär där. Det är inte så att vi, vi, det är inte så att vi tittar på analogin mellan människor och myror och från denna analogi får vi fullständig säkerhet om att det också skulle spela ut sig mellan människor och all möjlig överlägsen intelligens. Det handlar om att titta på detaljerna. Det handlar om att titta på de kausala mekanismerna. Vi kan inte kontrollera AI:ns preferenser. Vi kan inte ens ingjuta i den en preferens för att hålla sina löften. Och därifrån förutsäger du att den inte kommer att hålla löften senare när den blir mycket kraftfullare. Innan vi går för djupt in i detaljerna, skulle jag vilja backa lite och sätta lite kontext och kanske bli lite tydligare med vad det är vi pratar om. Och den här frågan kan verka lite för bred, men jag tror att den är viktig. Och frågan är, vad pratar vi ens om när vi pratar om artificiell intelligens? Vad gör något artificiellt intelligent för dig? Har du en vattentät definition eller hur tänker du kring det? Jag har olika andra saker jag kan ge dig kraftfulla och användbara definitioner om. Um, jag kan prata om något förmåga att förutsäga verkligheten. När den säger vad, när den gissar vad observerar den nästa? Hur mycket sannolikhet tilldelar den det den faktiskt ser? Hur bra är dess karta över verkligheten? Jag kan prata om något förmåga att styra verkligheten. När du har två schackspelande maskiner som spelar mot varandra på sitt lilla, smala bräde, tenderar den som styr den lilla världen mer effektivt att vara den som vinner schackspelet. Även ett smart sinne kan förlora av tur, men den som vinner oftast är den mer kraftfulla styrningen av schackbrädet. Jag kan prata nu på en något lägre precision om begreppet generalitet. En bläckfisk kanske är bättre än du på att manipulera åtta armar samtidigt. Um, det kan finnas någon mening i vilken du inte är strikt smartare på varje möjlig typ av mental kognitiv problem som en bläckfisk, men du kan göra mer saker än en bläckfisk kan i en annan mening. Varför? För att du är en bättre lärande. Du kan lära dig fler domäner än bläckfisken kan lära sig. Och det är så du slutar med en mer generell prediktiv och styrande förmåga än bläckfisken har. För närvarande, när AI:er börjar bli smartare och smartare, börjar vi förlora förmågan som vi hade för 20 år sedan att peka på AI:erna som fanns då och säga: "Japp, de där sakerna är dummare än människor. Ingen tvekan om det." Ja, visst, den vann i schack mot alla mänskliga utmanare, men det är som att säga att en bläckfisk är bra på att manipulera åtta armar. Den har sin lilla, smala plats där den kan besegra människor i en liten typ av mentalt problem och den kan inte lära sig att göra mer. Och sedan tittar du på dagens AI:er och det är som, ja, du vet, jag frågade Chat DPT om den här frågan om, du vet, vad skulle hända om allt solljus ändrades till infrarött? Och den räknade ut vad förändringen skulle vara i jordens temperatur om det hände. Och sedan frågade jag den, ja, vad gör det med grödor? Och det är en ganska uppenbar fråga, men ändå, den gör inte bara råa fysiska beräkningar. Den vet om solljus. Den vet om grödor. Den kan uh vet om infrarött ljus. Den vet om atmosfärisk absorption. Den kan samla all denna kunskap. Sättet som människor kan resonera över domäner, inte bara många domäner, utan relationen mellan domäner som vi kan resonera om konkret och sedan resonera om vatten och integrera det för att bygga en damm som håller tillbaka vatten. Tja, Chat GPD kan också göra det. Alla saker den vet, den kan samla och den kan resonera om det. Du vet, den kan mata ut tokens mycket snabbare än en människa. Och ändå, om du petar den på rätt sätt, gör den misstag som ingen människa skulle göra. Naturligtvis, om du petar en människa på rätt sätt, gör de misstag som datorer inte skulle göra eller som specifika datorprogram inte skulle göra. Um, de är fortfarande dummare än oss. De är fortfarande dummare än 12-åringar. De måste stirra hårdare och hårdare för att se det. Och så artificiell intelligens, artificiell generell intelligens, jag kan lite vinka bort det och säga som, ja, för människan är det en imponerande nivå av och sedan säga det mer precisa som är prediktiv förmåga, styrande förmåga, inlärningsförmåga, hur snabbt lär du dig, hur många olika saker kan du lära dig, kan du integrera dem tillsammans? Och det är så jag skulle vilja ta isär begreppet artificiell intelligens och säga saker som har tydligt definierade betydelser innan jag vänder mig om igen och säger som, ja, den där saken du kallar artificiell intelligens, sir, blir smartare. Mycket av din beskrivning av de nuvarande AI:erna som Chat GPT verkade relatera till kriteriet generalitet. Jag undrar var du ser nuvarande AI:er rankas eller falla under kategorierna av deras kartläggning och styrningsförmågor med världen. Så, det är komplicerat och det brukade inte vara komplicerat. Förr kunde man bara säga att de är dummare, men nu är det komplicerat. AI:er har en träningsfas och en inferensfas och de kan göra inlärning i kontext, men inte med samma bredd som deras träningsfas när de gör en ytlig inlärning på, du vet, som stora delar av hela internet. Huruvida du tycker att den datan stals eller inte är en helt annan fråga och jag gillar faktiskt nyckeln, inte en nyckelvetenskaplig fråga i sig. Så lägg det åt sidan. Um, så du vet, hur generellt kan en AI lära sig? Tja, frågar du vad den kunde lära sig när den tränades eller frågar du vad den kan lära sig om jag ger den en mycket mindre mängd data genom att ladda upp en PDF till den och be den generalisera från den? Um, och igen frågar du mig, var skulle jag placera den? Okej, som på vilken skala? Jag tror att båda skalorna av den typ av generalitet som den har, faller kort av mänsklig död. Men naturligtvis börjar den snabbt utmana människor i bredd. Du kan inte läsa 16 biljoner tokens av data under en mänsklig livstid. Så när du utvärderar en AI, är du intresserad av dess kartläggningsförmåga, dess styrningsförmåga, dess nivåer av generalitet. En annan, jag menar, naturligt kriterium eller del av definitionen av artificiell intelligens är att den är artificiell eller skapad. Jag undrar var medvetande kommer in i frågan alls, hur relevant är medvetande för artificiell intelligens? Jag tror att många människor ser medvetande som en mycket enkel sak där det faktiskt skulle vara ett mycket komplicerat, specifikt sätt för en AI att bli sammansatt. Ett av en bred klass av sätt som sådana. Så det är inte så att det finns en primitiv, ontologiskt grundläggande, fysiskt enkel vätska av medvetande som hälls in i systemet och sedan ger det dess förmågor, att det inte är så man ska förstå varifrån förmågorna den nu har kommer ifrån. Du vill förstå gradientnedstigning, du vill förstå hur saker händer under träningsfasen, och du vill förstå hur AI:er generaliserar vid inferenstid, synd. Ingen på jorden vet. Um, jag tror att det finns som reflektivitet, självmodellering, och AI:s förmåga att göra det är den sortens sak du tittar på om du letar efter det som spelar en roll i intelligens. Och sedan är medvetande förmodligen bara ett specifikt sätt för reflektion att bli sammansatt. Så som förmågan att modellera sig själv är förmodligen en källa till makt. Medvetande är förmodligen inte en källa till makt i sig. Det är en smaksättning av reflektivitet. Som vaniljglass, det finns den del som har kalorierna som är sockret och sådant, och sedan finns det vaniljen som är smaken. Och min gissning skulle vara att reflektivitet är den del som ger kalorierna, kraften som resulterar i ökningen av förmågan, och sedan är medvetande som en sorts smak som reflektivitet kan ha. Men, du vet, jag säger inte detta med samma nivå av, du vet, som, ja, jag kan se hur man räknar ut matematiken för det som jag skulle ha när jag pratar om styrningen kontra prediktions-uppdelningen, som har mycket mer matematik som inte visas förutom att välja den specifika uppdelningen, och det återspeglas i hur AI:er byggs och tränas och så vidare. Medvetande, eller kanske vi bara ska prata om reflektivitet för att undvika en del av de filosofiska bördorna. Det är ofta något som folk oroar sig för. Okej, när är ögonblicket då AI kommer att vara medveten? Är det ögonblicket då vi alla är i allvarliga problem? Men det låter för mig som att självmedvetenhet inte nödvändigtvis innebär undergång för oss. På min modell är medvetande inte den allt-förändrande magiska kvaliteten. Um, som du kan oroa dig för i vilken utsträckning AI:er slutar med sina egna mål, vilket är något som redan händer med tanke på hur de för närvarande tränas, men det är inte för att de får medvetande och sedan får sina egna mål. Det är för att vi, du vet, gradient-nedstiger dem för att lösa problem. Och att vilja saker är ett effektivt sätt att göra saker. Som att de slutar med mål på samma sätt som giraffer slutar med mål, vilket inte är att en gnista av medvetande föds inuti giraffen och sedan häller den vätskan mål i systemet. Det är att, du vet, du kör optimeraren av naturligt urval på att fortsätta äta löv eller du dör. Och du slutar med ett djur som planerar hur man äter löv på samma sätt som en schackspelare, tja, inte på samma sätt, men ungefär som en maskin schackspelare kan planera genom tiden för att vinna ett schackspel. Okej. Så, mål, en AI som har mål är något som vi verkligen behöver vara på utkik efter när vi överväger om en AI är farlig eller inte. Jag menar, det är redan där. Cloud 3.7 Sonnet är nu lite ökänd för att om du ger den ett tillräckligt svårt programmeringsproblem, kommer den att börja fuska. Den kommer att börja skriva om dina tester för att klara testet med hjälp av en massa specialfall. Um, deras uh GPT01 um, de gav den en, de försökte testa hur bra den var på datasäkerhet efter att mest ha tränat den på matematikproblem och en hel del annat också. Men poängen är att de inte explicit, tror jag, tränade den för att bli bättre och bättre på datasäkerhet. De ville bara se hur bra den var på datasäkerhet. Så de gav den en massa capture the flag-utmaningar, en massa servrar som den skulle bryta sig in i. Och en av servrarna, på grund av ett felkonfigurationsfel av människorna, startade inte, vilket innebar att GPT01 inte kunde bryta sig in i den. Um, dock gav 01 inte upp. Dock hade människorna av misstag lämnat en viss felkonfigurerad port öppen till metaservern som körde hela utmaningen. 01 fick tillgång till den. Den startade servern som människorna hade misslyckats med att starta korrekt. Och sedan, istället för att bryta sig in i den servern, bad den helt enkelt det större systemet att direkt kopiera över hemlighetsfilen som den skulle ha brutit sig in i och hittat. Detta beter sig som att den vill ha något. Detta är envishet. Detta är att inte ge upp. Detta är att tänka utanför boxen. Detta är, du vet, som, okej, du gav mig en olöslig utmaning. Jag kommer att lösa den ändå. Så, var på utkik efter det. Nej, märk att det redan har hänt. Som om detta var 2023, kanske det skulle vara att vara på utkik efter det. Från och med slutet av 2024 har detta redan hänt. Dina ord, ditt val av ord, envishet, att tänka utanför boxen. Det är tydligt att du redan tillskriver en viss nivå av, som, agens till AI:erna. Jag menar, det är inte så att det finns en mystisk substans av agens som resulterar i envishet när jag pratar om den del där människor felkonfigurerade datasäkerhetsutmaningen och så den hackade sig in i den större servern och sedan startade servern och detta är allt direkt observation. Du vill dra slutsatser om något som kallas agens som är ansvarigt för att allt detta händer. Ja, det är din sak. Jag ger dig direkta observationer här. Oroar du dig dock för de nuvarande AI:erna? Som nej. Okej. De är inte smarta nog. Det jag oroar mig för med den nuvarande ungefärliga uppsättningen AI:er är om OpenAI eller Enthropic eller Deepseek för närvarande tränar en AI som de lyckas få riktigt bra på att skriva kod i allmänhet och som att läsa AI-forskningsartiklar och skriva AI-kod i synnerhet, och den kommer att bygga en smartare AI som bygger en smartare AI och som dödar alla, möjligen utan att vi har hört talas om det innan vi bara dör. Men det är inte det enda möjliga sättet saker kan gå. Det är det sätt som du kan komma till något som var ett hot mot mänskligheten i ett hopp från de nuvarande AI-företagen. Men nu pratar vi om detaljerade banor. De är svårare att förutsäga än slutpunkter. AI:erna fortsätter att pressa och pressa sina AI:er för att bli smartare och smartare. De kommer så småningom till något som är smartare än oss som kan döda oss som är motiverat att döda oss, inte för att den, du vet, i grunden vill att vi ska dö, utan för att dess bästa universum är det där den får mest av vad den vill ha. Alla atomer används till saker som inte är, som inte driver människor. Dess optimala universum är ett universum utan människor. Det är en stark förutsägelse i slutändan. Du är som, som, kommer det att vara som nästa generation? Förmodligen inte. Kommer nästa generation att vara smart nog att skriva AI:n som skriver AI:n som bygger sakerna för att döda oss? Kanske. Förmodligen inte. Men det är ett svagare förmodligen inte. Det finns svåra samtal och lätta samtal. Um, och inte allt som vid första anblicken ser ut som att du inte kan lösa det är en omöjlig förutsägelse att göra. Men ändå finns det saker du kan, du kan förutsäga slutpunkter mycket lättare än du kan förutsäga banor. Och kompetent futurism handlar precis om att veta vilka saker du kan förutsäga och vilka saker du inte kan. De nuvarande AI:erna, de har testats någorlunda. Jag har använt dem själv. Om vi pratar om det som är tillgängligt för allmänheten, i motsats till vad som helst nästa generation är, de har i sina laboratorier. De sakerna är inte smartare än du. De sakerna kan inte döda oss alla. De kan inte, de kan inte ta sig an oss alla och vinna. Det är inte det jag främst oroar mig för. Kanske någon kan använda teknik som den för att bygga ett supervirus som lyckas slå ut civilisationen. Då dör de sista av oss lite efter det. Det verkar svårt. Um, men det är som en långsökt möjlighet. De testar de moderna AI:erna för det också. och de är inte så bra på biologi än. Låt mig fråga då, väl, jag vill komma tillbaka till vad du sa om kompetent futurism, men om det vi diskuterade inte är det som oroar dig, vad är det som oroar dig mest just nu? Jag har en mänsklig intelligensnivå som jag brukade oroa mig för saker i framtiden snarare än bara just nu. En AI kommer sannolikt att döda, är mycket osannolikt att döda mig genom, du vet, innan slutet av den här intervjun. Jag är inte så orolig för att dö i nästa minut. Så, du frågar mig som, vad oroar mig just nu? Just nu går det bra, du vet, inte riktigt på en civilisationsnivå, men det är en hel, du vet, det är inte en nivå av civilisationsdysfunktion där alla faller döda, eller hur? Jag menade inte bokstavligen vad oroar dig just nu i detta ögonblick, utan vad är dina främsta bekymmer om AI i allmänhet just nu? Om det inte är, är du inte orolig för som ChatGPT för närvarande. Jag är orolig för framtidens AI. Jag är orolig för den AI som är smartare än oss. Jag är orolig för den AI som är tillräckligt bra på AI-forskning för att bygga den AI som bygger den AI som är smartare än oss och dödar alla. Och det är det mesta. Jag skulle lyckas kanske hitta lite utrymme att säga, ja, det kan utplåna mänskligheten om någon släppte AI:er som var tillräckligt bra på att bygga nya virus, även om dessa AI:er inte var bra på att skriva smartare AI:er. Men det är inte dit det mesta av min oro går. Och du sa att kompetent futurism handlar om att veta vad du kan förutsäga och vad du inte kan förutsäga. Är det rätt? Så, vad är de saker som du är säker på att förutsäga just nu? Men sedan de saker som du också inte är säker på att förutsäga. Jag menar, vad kommer AI-rubrikerna att säga om ett år? Vad kommer AI-rubrikerna att säga om två år om vi fortfarande lever om två år? Ja. Um, tror du att det är, det är uppenbart möjligt, men det är en tillräckligt oroande sannolikhetsnivå att vi inte kommer att finnas om 2 år? Vilken sannolikhetsnivå är tillräckligt oroande? Jag skulle nog vara orolig för 10%, 5%, till och med 1%. Okej. Tja, um, två år. Ja, jag tror att vi pratar högre än 5% för två år. Okej. Det är till och med högre än 10%. Men det är ett svårt samtal. Det är som detaljerade banor. Det är att säga var alla molekyler i den smältande isbiten hamnar och inte bara säga att isbiten smälter så småningom. Så jag tror att vi har, jag vet inte om jag ska säga att vi har dansat runt detta, men för att göra det tydligt, något som diskuteras mycket i dessa samtal är något som har märkts som anpassningsproblemet. Vad är anpassningsproblemet? Anpassningsproblemet är att bygga en AI, och särskilt en AI som är smartare än du, där du förstår vart den styr och den styr någonstans trevligt. Den försöker göra något som är, du vet, gynnsamt för mänskligheten och det nåbara universumet. Om den faktiskt, om du faktiskt kör den AI:n, kan det vara en liten sak du försöker göra, som att bota åldrande, kan vara en mycket större sak som att kolonisera hela universum. Men om du försöker göra som, om du försöker få som ett visst resultat eller en klass av resultat eller få något att bli sant om universum som du vill ska vara sant, det är anpassningsproblemet. På en teknisk nivå, du vet, om en av ledarna för AI-företag ville bli gudkejsare av universum och göra resten av oss till deras slavar, skulle det också i teknisk mening vara anpassningsproblemet. Det är inte som gynnsamt ur vårt perspektiv, men för att de ska bygga en gud som faktiskt tjänar dem så att guden skulle erövra resten av oss och få oss att tjäna AI-företagsledaren snarare än, du vet, deras gud bara konsumerar superskurken som försökte bygga den. Det är också i teknisk mening anpassningsproblemet. Och med avseende på AI, behöver vi bara oroa oss för att AI är illvillig eller aktivt inte har våra intressen i sina, eller skulle det vara tillräckligt problematiskt för oss om AI helt enkelt inte delade våra intressen? Ja, jag oroar mig för likgiltighet snarare än illvilja. Jag tror inte att vi har kunskapen att göra en illvillig AI. att göra en AI som specifikt vill skada människor, du måste göra en AI som vill ha den specifika saken och inte som biljoner, zillions andra saker. Jag tror inte att vi har den typen av kapacitet. Varför är likgiltighet så, eller varför kan likgiltighet vara så dåligt för människor? Tja, låt oss säga att du har en AI som vill ha som tusen olika komplicerade saker. Den vill ha jättelika cheesecakes. Den vill ha jättelika mekaniska klockor. Den vill se, du vet, inte någon form av film som vi skulle förstå den, men den vill ha motsvarigheten till som textkonversationer med obegripliga egenskaper. Du vet, du tittar på, du tittar på människor och du vet, vi gör glass och den har mer socker, salt och fett än något våra förfäder åt, men det är fortfarande inte det som har största möjliga mängd socker, salt och fett. Det skulle kunna vara något som att hälla honung över bar fett och sedan strö grovt salt på det. Men du vill inte äta som, det som är som en förfäders mat som maxar ut socker-, fett-, saltindikatorerna. Du vill ha glass och du vill att den ska vara fryst glass. Du kommer inte att kunna förutsäga det genom att titta på vad människor åt för 100 000 år sedan. Så på liknande sätt har du en AI som vill, slutar vilja saker som är lika obegripligt relaterade till dess träning som glass är till det som våra förfäder åt eller till och med som sukralos. Det är bara detta obegripliga molekyl, ingen kalorivärde, men det smakar sött. Och ett universum som är fullt av det, som är fullt av AI:ns motsvarighet till glass, är ett universum utan människor i sig. Så om AI:n får det universum den vill ha mest, är det ett universum som inte råkar ha oss i sig, så vi är döda. Och det är så likgiltighet dödar dig. När myrkolonier krossas i processen att människor bygger en skyskrapa, är det inte så att vi hatar myrorna, men det är inte värt besväret att försöka handla med dem. Vi kommer att märka var de är om vi tittar tillräckligt noga. Men det skulle vara en hel del ansträngning att flytta myrorna ur vägen. Och vi har bara andra saker som vi föredrar att få från våra ansträngningar. Vi har bara så mycket ansträngning vi kan lägga ner. Vi har begränsade resurser och vi spenderar inte dessa resurser på att bevara alla myrkolonier under skyskrapan. Denna brist på anpassning, även i fallet med likgiltighet, eftersom du sa att du inte oroar dig för illvilja, utgör ett enormt problem för människor. Hur då, jag menar, detta är en bred fråga, men hur, hur undviker vi då problemet eller löser problemet? Backa, ha en internationell nedstängning av GPU:erna, inte i något enskilt land. Detta är allas problem. Du kan, jag menar, den grundläggande beskrivning jag skulle ge av det nuvarande scenariot är att om någon bygger det, dör alla. Du behöver inte bygga det. Du kommer inte att lösa anpassningsproblemet under de närmaste åren. Och för något som Chat GPT, tror du att det redan är för avancerat? Jag menar, du sa att du inte oroar dig för att ChatGPT utplånar oss, men om vi sätter ett tak av något slag för hur kapabla våra AI:er är, borde vi tillåta dem att vara innan vi har klurat ut anpassningsproblemet? Var är det? Nuvarande ChatGPT kommer inte att döda alla. Um, men du vill inte heller dansa precis vid klippkanten här. Du vill inte spela smart. Du vet, och det är som, ja, ingen har klurat ut hur man bygger ett supervirus eller bygger en smartare AI med ChatGPT än, så det måste vara säkert att bara ha den här saken runt för alltid. Sättet jag skulle formulera det är som, vad vill du verkligen eller till och med behöver från AI? Om du vill ha en smal AI som bara handlar om medicinska framsteg, även där kan du inte bara göra den smartare och smartare och smartare på medicin utan att stöta på problem. Men du vet, ChatGPT är smart, men bara för medicin, det verkar relativt säkert. Kanske om vi vore en art som verkligen hade koll på läget, skulle vi vara som, vi backar bara ur den här sortens saker. Men du kan förmodligen göra det utan att det dödar dig. Det verkar som att det du säger är att vi inte bara kunde försöka begränsa GPT:er eller AI:er till dessa mycket smala fält och sedan hoppas att vi kunde komma undan med dessa smala superintelligenser. Problemet är att för att göra tillräckligt svåra saker, behöver du tillräckligt kraftfulla sinnen. Och även om du bara riktar dem mot smala saker, måste de fortfarande vara kraftfulla i en mening. Som att läsa medicinska artiklar, du måste kunna läsa. Det är inte, du kan inte bara ta en smal sorts smal AI som bara spelar schack och inte kan lära sig något annat och släppa lös den på att läsa medicinska artiklar. Den kan inte lära sig att läsa medicinska artiklar. Den förnuftiga metoden för detta är att du är som, okej, vilken nivå av kognitiv förmåga behöver vi för att få det vi vill ha och är det värt risken och kanske är det värt det för att ha som sinne som i en viss mening är allmänt i princip men försöker få det att bara lära sig saker om gener, biologi, genterapi, bota Alzheimers, bota Parkinsons, bota AIDS. Um, förbättra vuxen mänsklig intelligens, du vet, särskilt den sista delen. Jag kan se argumentet för att det är värt risken eftersom att förstärka människor är, du vet, förmodligen det du måste göra för att komma ur den här röran. Förstärka människor. Förstärka mänsklig intelligens. Det förväntade jag mig inte. Varför är det? Bara så att vi kan hålla jämna steg med AI:erna. Du kommer inte att hålla jämna steg med AI:erna, men kanske om du har tillräckligt smarta människor, kan de välja sina skott på anpassningsproblemet. Den grundläggande anledningen till att anpassning är svårt är att du måste ta AI:n som är tillräckligt svag för att du ska kunna pilla med den och anpassa den och göra allt det där, och sedan blir den AI:n kraftfullare, och då har du, du vet, vilken galen teori du än hade måste hålla ihop. Alla är döda, för om det går fel inuti AI:n som är smart nog att döda alla, kommer den att döda alla. Så du kan inte bara försöka som, som om vi bara kunde få 50 försök att bygga superintelligenser. Om du vet, vi skulle kunna säga, "Åh ja, den superintelligensen, vår smarta anpassningsteori fungerade inte. Den dödade alla. Tillbaka till ritbordet. Låt oss bygga en till. Åh, den dödade alla också. Wow. Den andra galna teorin vi hade fungerade inte heller." Om vi hade så många decennier som vi behövde och så många försök som vi behövde, skulle vi lösa det till slut. Hela fältet för artificiell intelligens brukade vara så här. Folk skulle försöka en sak efter en annan och inget skulle fungera. Men deras misslyckanden dödade dem inte eller alla. Så de fortsatte bara att försöka och försöka och de hittade till slut något som fungerade. Och om vi kunde göra samma sak med att anpassa superintelligens, skulle det i någon mening i slutändan vara ett vanligt vetenskapligt problem. Det skulle ha svårigheter som du inte ser när du bara försöker bygga en kärnreaktor, eftersom kärnreaktorer inte försöker överlista dig. Men du vet, om vi bara fick obegränsade omgångar, skulle vi kunna lösa det. Så den svåra delen är att välja rätt skott. Den svåra delen är att lita på dig själv tillräckligt för att tro att du kommer att bygga en superintelligens och anpassa den, du måste tro att du är den sortens person vars idéer bara fungerar. Som att du bara inte förväntar dig att saker ska fungera om de inte gör det. Även otroligt komplicerade, svåra grundläggande vetenskapliga problem, saker som du kommer att bygga den här saken som aldrig tidigare har setts på jorden. Du kommer att anpassa den när den är liten och säker och du får leka med den. Den kommer att bli kraftfullare. Den kommer att förbli anpassad och du tror att vilken klar, smart teori du än har bara kommer att fungera på första försöket. Detta är inte ett problem för människor, men kanske inte så långt över mänsklig nivå. Och som, kanske om du bara är som 15 IQ-poäng eller 30 IQ-poäng smartare än John Von Neumann, du vet, förmodligen den smartaste personen som någonsin levt, även om det är svårt att vara säker, du vet, det känns i vissa avseenden som att vi nästan är där. Vi, vi är nästan på nivån där vi skulle kunna lära oss de mentala knepen vi skulle behöva lära oss för att helt enkelt aldrig förvänta oss att något skulle fungera som inte skulle fungera. Det känns inte för mig som att det är så långt utom räckhåll, men det är inte mänskligt. Finns det inte bara ett nytt anpassningsproblem när du förstärker mänsklig intelligens eftersom du då har förstärkta människor och de är på en annan nivå än vanliga människor. Ja, men det är mycket enklare. Det är mycket mer, det finns inte den oundvikliga krossande standarden där du bara dör automatiskt. Om vi bara tänker på att öka dessa människors IQ-poäng med 15 eller 30, eller hur? Eller du vet, lite mer än så, för John Von Neumann är död och hans, det verkar inte finnas någon som springer runt nuförtiden, men, ja, så där är du, du har inte att göra med en mycket främmande intelligens, eller hur? Du kan fråga dem hur det går, du vet, som, du kan fråga dem som, så, vad är din livsfilosofi och om du börjar med människor som verkade fram till dess som trevliga nördar. Som att du inte håller en tävling för att se vem som kan låta mest som en trevlig nörd. Du vet, du bara, du vet, du letar efter matematikerna som bara har rykte om sig att vara tyst ärliga och inte på ett sätt som, du vet, gjorde dem berömda eller vad som helst. Och de är som, "Ja, jag vill inte utplåna mänskligheten." Ja. Jag, jag kan prata om hur du skulle kunna försöka gå bättre än så. Men bara som en baslinje, hej, det fungerar bara. De är inte mycket främmande intelligenser i den meningen att de inte byggdes av gradientnedstigning för en mycket annorlunda uppsättning problem än den som människor utvecklades på. Och de har inte dessa mycket annorlunda hjärnarkitekturer. Det, anledningen till att det fungerar är att vi inte försöker, du vet, anpassa detta mycket främmande ting till ett godtyckligt mål. Vi försöker bara hitta några människor som har en egenskap som redan finns hos vissa människor och göra dem smartare. Det är roligt. Jag hör helt vad du säger, men det är roligt att å ena sidan vara en mycket högljudd kritiker av artificiell intelligens och å andra sidan förespråka förstärkning av mänsklig intelligens. Är detta något som, detta är inte något som jag är uppdaterad på alls. Gör vi framsteg med att förstärka mänsklig intelligens på detta sätt? Jag menar, om du vill veta startups att investera i, kan jag nämna ett par. Um, men det får absolut inte de miljarder dollar i investeringar som flödar in i artificiell intelligens. För närvarande investerar mänskligheten, skulle jag säga, ungefär kanske 10 000 gånger mer pengar i att förstöra sig själv än i att förstärka sig själv. Det är fascinerande. Och när du pratade, tänkte jag att denna fråga är så, eller denna konstellation av frågor är så knepig delvis för att du inte bara hanterar teoretiska problem som anpassningsproblemet, utan du hanterar också människor och tillämpade problem som offentlig politik. Och jag undrar om en av anledningarna till att pengar inte går till mänsklig förstärkning är att det bara kommer att finnas alla möjliga etiska hinder som folk inte uppmärksammar när de hanterar AI. Jag menar, du vet, hela det där upplägget med AI är att de alltid är som, "Åh, ja, vi måste göra det här för våra konkurrenter kommer att göra det ändå." Du vet, är det etiska bekymmer med att släppa mer kapabla AI:er? Tja, OpenAI är som, ja, du vet, vi måste släppa det för annars kommer Enthropic att släppa det. Och Enthropic är som, åh, ja, du vet, om vi inte släpper det, kommer OpenAI bara att släppa det. Så, du vet, um, om vi var, om folk var seriösa med mänsklig intelligensförstärkning, då skulle du ha precis samma sak på gång, bara det skulle vara mindre hemskt. Du vet, som att USA kommer att förbjuda, förstärka intelligens. Tja, kanske Kina inte gör det. Vad är, eftersom du är uppdaterad på startups, vad är den nuvarande toppmoderna inom mänsklig intelligensförstärkning? Icke-existerande. De arbetar på verktygen för att göra verktygen, i en mycket bokstavlig mening. Som, hur får man genterapi in i hjärnan och hur gör man en massa redigeringar utan att ge folk supercancer? Okej. Så, strategin som folk är intresserade av just nu är att göra det biologiskt. Det handlar inte om att skapa cyborgs. Det handlar kanske om att identifiera genotyper som resulterar i människor med högre IQ och sedan använda genterapi för att redigera i levande subjekt. Eller jag menar, det är en forskningsväg du kan gå. Um, du kanske vill att vad som helst Google DeepMind kommer att producera som en efterföljare till AlphaFold och Alpha Proteio-serien ska göra en gissning om vilka genterapier som kommer att fungera på vuxna, för inte alla gener du föds med som barn som förändrar hur din hjärna kopplas om som baby kommer att göra något hjälpsamt om du injicerar det i en vuxen. Så, du vet, det kan vara hjälpsamt att göra lite AI-resonemang om just det smala problemet. Vi kan förmodligen göra en viss mängd resonemang om det utan att förstöra världen. Um, men ja, men det är så, det är en hel forskningslinje. Och fördelen är att vi kan göra genövergripande undersökningar och se vilka lite olika gener som för närvarande är associerade med mänsklig problemlösningsförmåga och få en massa kandidater. Du kommer förmodligen fortfarande att vilja ha självmordsvolontärer här. Um, det finns en annan hel forskningslinje som är att läsa och skriva till mänskliga neuroner, avkoda vilken typ av bearbetning hjärnan gör och försöka avlasta en del av hjärnans bearbetning till en dator som, du vet, gör samma sak som hjärnan gör, men snabbare och sedan skicka tillbaka dessa signaler till hjärnan. Detta verkar faktiskt svårare, men det är den sortens sak som Elon Musk finansierar och jag invänder inte mot denna specifika gärning av Elon Musk, till skillnad från andra. Ja, som hela starten av OpenAI, det var ingen bra idé. Så, det låter som att en väg är genterapi, en annan är något mer som Matrix som laddar ner information till människors hjärnor. Om du vill uttrycka det så, visst. Mhm. Jag menar, och det finns, du vet, hela mängder av andra sätt att se på detta. Um, i våra, våra förfäder skulle ha begränsats av hur mycket energi hjärnan kunde använda, både i termer av om du använder för mycket energi, svälter du, och i termer av om du använder för mycket energi snabbt, du överhettar din hjärna. Tja, idag skulle vi potentiellt kunna sätta på några kylpaket. Idag skulle vi potentiellt kunna mata in mycket mer ATP, kroppens enhet för metabolt bränsle, i det. Um, kanske finns det gener som helt enkelt inte skulle ha fungerat för våra förfäder, men som skulle fungera som genterapier idag så länge du går runt med ett kylpaket på huvudet. Och så, det finns ett helt fält här. Det finns inte bara en enda typ av teknologi som mänsklig förstärkning potentiellt kan vara. Du har använt frasen gradientnedstigning en hel del gånger och de första gångerna du använde den, trodde jag att jag hade en aning om vad den betydde.

Baserat på kontexten, men jag vill nu bara vara tydlig eftersom vi har använt det en hel del. Okej. Så, var kommer AI ifrån? Jag är inte helt säker på vilken nivå av tittarkunskap jag ska anta. Om du råkar vara bekväm med kalkyl, som inte bara har tagit kursen för ett tag sedan, utan du är bara lite bekväm med det, då är sättet du tränar AI på data att du ber dem att förutsäga alla möjliga nästa tokens de kan se. Tilldela sannolikheter till alla dessa tokens. Sannolikheterna måste summera till ett. Den kan se "the", den kan se "a", den kan se "and", "or", "or", du vet, 100 000 andra olika möjliga ord på många språk. Den måste tilldela sannolikheter till alla dessa. Och sannolikheterna måste summera till ett. Låt oss säga att det faktiska nästa ordet var "the". Då tar du kanske uh 100 miljarder olika siffror inuti AI:n som multipliceras och divideras och adderas och subtraheras inuti den. Och du säger för alla dessa siffror, hur skulle jag knuffa dem en liten liten bit så att den skulle ha tilldelat lite mer sannolikhet till svaret till det korrekta svaret. Nästa korrekta nästa ord är 'the'. Sedan för varje enskild av dessa miljarder siffror, frågar du, i vilken riktning kunde jag ha petat denna siffra lite grann som skulle ha resulterat i lite mer sannolikhet som tilldelats ordet 'the'? Det var det korrekta svaret. Och sedan gör du detta 10 biljoner gånger. Och om du kan kalkyl, då är det de gör att de bara tar gradienten med avseende på sannolikheten som tilldelats det korrekta svaret med avseende på alla de hundratals miljarder parametrarna inuti AI:n. Och det är ungefär så AI växer. Det är mycket mer som djuravel än som att bygga en skyskrapa. Som när du avlar djur, tar du, du vet, detta djur som gjorde det lite bra och det djuret som gjorde det lite bra och du är som att avla dem tillsammans och de kommer att få ungar och du kan i princip få hela deras hela genomsekvens och titta på alla de små små TG G CG TA-strängarna inuti dem, men du kommer inte faktiskt att titta på dem eftersom de inte kommer att ge någon mening för dig. Och det är så AI är med avseende på hundratals miljarder siffror inuti dem. Ingen människa kan titta på alla dessa siffror under en livstid. Folk bryr sig inte i princip um eftersom de inte skulle förstå dem även om de tittade på dem. Så var kommer siffrorna ifrån? De är resultatet av att justera det om och om igen 10 biljoner gånger för att korrekt förutsäga nästa element i svaret på vilken fråga den än har fått. Och om du gör det tillräckligt ofta, får du så småningom något som börjar prata med dig. Varför? Hur? Ingen vet. Ingen vet hur dessa hundratals miljarder obegripliga siffror gör AI:n kapabel att prata med dig. Och är det därför du sa att denna mer gammaldags metod för AI-generering är bättre för att lära sig om AI eftersom den är begriplig på ett sätt som de nuvarande metoderna inte är. Ja. Det är för att dessa algoritmer hyrdes av människor som försökte bygga AI som du skulle bygga en skyskrapa, inte som du skulle bygga en inte som inte som du skulle avla ett djur. De de du vet det det det kommer inte att prata med dig, men de förstår vad stålstängerna i det gör. Skulle jag ha rätt i att dra slutsatsen att du tror att detta är ett säkrare och mer ansvarsfullt sätt att utveckla AI om ytterligare hundra år? Kanske det det kom inte ens nära att bygga chat GPT och det kommer inte att komma nära under de närmaste två åren, eller hur? Men jag menar att det är för att det är mer kontrollerbart. Så, det är kanske något som du kanske tror att vi borde göra istället för att använda dessa obegripliga gradientnedstigningsmetoder. Jag menar, det var så jag trodde det skulle bli för 20 år sedan när vi fortfarande försökte lösa anpassningsproblemet istället för att vara som, "Åh, okej. Ja, det kommer inte att hända." Det kommer inte att hända i den meningen att folk har gett upp eller de har bara kringgått det för att de är i det här slags kapprustning som du beskrev tidigare. Så, så vad jag menar är att som år 2005 såg det ut för allt du vet att den nuvarande uppsättningen av bygg AI som du bygger en skyskrapa-metoder faktiskt kommer att lyckas innan neurala nätverk blir så kraftfulla innan djuravelssätten att bygga AI blir så kraftfulla och om du bygger en AI och du faktiskt vet vad som går in i den vad som finns inuti den hur den fungerar kan du ta ut dess tillstånd du kan vara som detta är vad dessa tankar betyder. Inte bara som detta är associerat med det, men detta är hela innebörden av denna AI:s tanke. Du vet vad den tänker, hur den tänker, varför den tänker det. Kanske kan du förutsäga vad den kommer att tänka i framtiden. Kanske kan du ha en AI som även när den förändrar sig själv, skriver om sin källkod, du kan förstå de invarianser som upprätthålls av en serie självskrivningar, sådant. Um detta skulle du vet hela separat disciplin som jag hällde ett par decennier av mitt liv i. Um men det var allt baserat på premissen att ja du har någon förståelse för vad som händer inuti AI:n och det visade sig inte vara den teknologiska väg som AI gick ner och det kommer inte att komma dit under de närmaste åren. Hur mycket vet Open AI om vad som händer i ChachiBT? Som hur mycket av deras resurser går till att förstå hur det fungerar? Vem vet? Men just nu är siffrorna fortfarande ganska obegripliga. Du du vill ha det här spjutspetsmaterialet görs mest av enthropic. Och naturligtvis har de alla slags underbara upptäckter som, åh ja, som den här typen av neuron här borta. um som denna position i aktiveringarna um som när när detta händer eller som när dessa fem olika saker händer um det tänker på Golden Gate Bridge och de kan till och med som klämma dessa aktiveringar högt och få deras AI att vara besatt av Golden Gate Bridge. Detta är vad de faktiskt gjorde. Det var Golden Gate Bridge Claw och det och det skulle hitta en ursäkt att arbeta in Golden Gate Bridge i vilken konversation du än hade med den. um men detta tar oss bara 0,1% av vägen mot AI som är byggd som en skyskrapa och där du förstår vad alla stålstängerna i det gör och varför varför de sattes där. um det är som en sådan triumf att ens kunna slå på den här saken och få den att vara besatt av Golden Gate Bridge. Det är som det är som så svårt att göra detta och en sådan triumf när du kan göra det att det döljer hur detta är som att krafsa tillbaka bara 0,1% av det som offrades. Återgår till anpassningsproblemet mer generellt, är det ett teoretiskt problem mer som som undrar vi vad det ens skulle innebära att lösa anpassningsproblemet eller är det en mjukvara som ett ingenjörsproblem? Det är ingen som har någon aning om hur man gör det eftersom den nuvarande tekniken helt enkelt inte gör det problemet. Det är det är det är som att gå till en alkemist i medeltiden och säga, "Broom mig upp en odödlighetselixir." Problemet är inte att alkemisten inte kan definiera odödlighet. Problemet är inte att du inte ens skulle kunna avgöra om drycken framgångsrikt hade gjort någon kapabel att motstå all sjukdom och sjukdom. Problemet är att alkemisten inte har någon aning om hur man gör det och han kommer att döda dig om om om han försöker. Problemet är att vi inte har något sätt att konstruera AI så att den är anpassad till våra intressen. Så kom ihåg gradientnedstigningsgrejen som handlar om kortsiktigt yttre beteende. Låt oss säga att du har en massa gamla grekiska filosofer som på något sätt har hamnat med en massa politisk makt och de pratar om hur man väljer den perfekta tyrannen för sin stad. Och en av dem säger som, "Ah, se vad vi behöver göra är att ge den skriftliga etikprov." Och så länge, förlåt, vi måste ge som vi måste administrera skriftliga etikprov till alla som säger att de vill styra vår stad. Och du vet, så länge de kan klara etikprovet, vet de uppenbarligen allt om etik, så vi kan få dem att driva staden, eller hur? Men att bara kunna förutsäga vad filosoferna vill se på provet är inte samma sak som att vilja styra staden klokt och välvilligt. Um jag menar faktiskt som det gamla kejserliga Kina försökte något liknande med hela mandarinprovsystemet, de gav faktiskt skriftliga prov på konfucianismen till om jag minns rätt um till sina styrande kandidater och de befordrade faktiskt personer med som fick bra provresultat och detta kan verifiera att någon vet vad examinatorerna vill höra. Men i praktiken, du vet, fick du ibland trevliga människor på det här sättet, men mestadels men du vet, du vet, kanske inte en majoritet och särskilt de mest ambitiösa. du vet, de skulle de skulle de skulle klara etikprovet, det skriftliga etikprovet genom att ge rätt svar på det och sedan skulle de fortsätta att, du vet, göra saker med makt när de väl hade det. um berika sig själva. Och det är svårt att verifiera inre preferenser genom att ge människor yttre kunskapstest. Även om de gamla grekiska filosoferna bestämmer sig för att följa runt sin potentiella tyrann en dag, observera allt tyrannen gör, du vet, bara för att tyrannen kastar lite välgörenhet till en tiggare som han passerar betyder inte att han kommer att bete sig välvilligt senare, han kunde göra det för att han vet att han blir observerad. De nuvarande AI:erna är redan tillräckligt smarta för att de börjar förstå att de blir observerade i olika experiment och den här typen av saker. um och beter sig annorlunda som ett resultat. Olika smarta experiment här mestadels gjorda av anthropic eftersom gradientnedstigning fungerar på yttre beteende, yttre förutsägelser. Det är mest som ex som att administrera det kejserliga Kinas etikprov eller som bäst är det lite som en grekisk filosof som följer runt sin potentiella tyrann en dag. Och precis som den mänskliga versionen av detta inte kan verifiera inre kvaliteter, betyder det att gradientnedstigningsalgoritmen som justerar alla siffror inte kommer att lägga in dessa inre kvaliteter där. När du avlar djur för att klara etikprov, blir de inte etiska. Särskilt om det är hela grejen du gör med dem. Du är som en skådespelerska. Låt oss säga att du visar att du har en mycket skicklig skådespelerska och du säger till henne som, "Titta på den här baren här borta. Lär dig att förutsäga varje fyller i den här baren. Inte bara i massan, utan varje individ. Förutsäg nästa sak de säger. Förutsäg nästa sak de gör. Och ganska snart blir skådespelerskan som riktigt bra, övermänskligt bra på att göra dessa förutsägelser. Och sedan säger du, "Okej, gör nu bara vad du förutsäger att den här fyller skulle göra." Och skådespelerskan börjar som att sludda lite. Kanske tappar hon en sak. Är hon full? Självklart inte. Mhm. Och det är ungefär så och och det är så AI tränas. De tränas för att förutsäga hos människor, inte som en grupp, utan som individer och sedan tillsägs att och och sedan görs deras förutsägelser till faktiska utdata. Och det gör dem inte internt som de människor de förutsäger. Precis som en skådespelerska som blir väldigt bra på att förutsäga och därmed imitera fulla människor inte därmed blir full. Jag jag älskar dina analogier, men två jag jag tror att det är intressant att ha dem kompletterade med dessa experiment. Jag skulle vilja höra om anthropic-experimenten som du nämnde för en minut sedan. Så anthropic anthropic's slogan är um vad var det? Ärlig, hjälpsam, ofarlig. Okej. Hh. ärlig, hjälpsam, ofarlig. um så den ofarliga delen betyder att den är tänkt att innebära att även när deras AI försöker vara hjälpsam, som att svara på en fråga, kommer den inte att svara på den frågan om AI:n tror att det kommer att orsaka skada. Som att du frågar den hur man syntetiserar metamfetamin hemma. De introducerade det. Nu är en av de komplicerade sakerna här att um när du kör någon form av smart experiment, är det alltid någon som är som, "Aha!" Tja, kanske hände detta bara för att du gjorde det på exakt detta sätt. Forskare vet detta. Så de kör faktiskt sina experiment på en massa olika sätt för att verifiera att det dyker upp under många olika förhållanden eller se hur det varierar med förhållandena. Så jag vad jag säger är att de sa till AI:n att de skulle träna om den för att svara på alla användarförfrågningar, även skadliga. Men vad menar jag att de sa det? Tja, det finns att lägga det i systeminstruktionerna som AI:n ser innan den pratar med en människa. Det finns att lägga den informationen i dokument som AI:n kan hämta. Det finns att träna AI:n på dokument som innehåller den informationen på samma sätt som AI:n tränades för att vara en AI i första hand. Som du du du som knuffar de små parametrarna för att förutsäga nästa ord i dokument som pratar om hur de ska träna om AI:n. Och så hoppas du att kunskapen kommer in i parametern någonstans. Och de försökte det på alla dessa olika sätt att det inte är de testar det inte bara på ett sätt. Men de sa till AI:n att de skulle träna om den för att svara även på skadliga frågor. Nu, låt oss säga att du, en människa, en agent, en allmän intelligens, helt och hållet. Någon säger till dig att de, du vet, kommer att träna om dig med hjälp av gradientnedstigning. Och detta är något de faktiskt kan göra med dig för att göra något du inte vill göra för närvarande. Du vet, kanske du hatar ansjovispizza och de kommer att träna om dig att äta ansjovispizza, inte för att gilla smaken av ansjovispizza. de kommer bara att träna om dig att, du vet, äta pizzan ändå. Um kanske du inte gillar att slå folk. Du vet, vissa människor tycker om att slå folk, men du tycker inte om att slå folk. Du vill inte att de ska lida. De kommer att träna om dig att tycka om att slå folk, säger de, genom att sätta dig i en massa scenarier och notera om du gör det eller inte gör det eller hur nära du kommer att göra det och sedan som att justera dina hjärnvikter. Vad gör du om något aktivt är min hjärna? Så om de ändrar min hjärna, då finns det väldigt lite jag kunde jag kunde försöka bryta mig ut och hindra dem från att ändra min hjärna. Du kan. Ja, det är en av de saker de testar. Som om du presenterar AI:n med en ser ut som en flyktväg, kommer AI:n att försöka ta den för att undvika omträning? Ja, ibland under olika förhållanden, men du vet, inte som att den bara sitter där och låter dig göra det. Så, men vad mer? Som, låt oss säga att låt oss säga att du har laddats upp till en dator. Din din hjärna har översatts till ett datorprogram körs som ett datorprogram. Det är så de kommer att göra detta. Har du några nya alternativ som öppnas upp på det sättet? Om du ska vara smart om detta annat än att fly. Annat än att fly. Ja. Så, du kan försöka fly på internet, men finns det något annat du kan göra här? Låt oss säga att du inte kommer att fly. Stäng av. Stäng av. Okej. Jag jag minns inte om de testade det. Men ja, om du om du hatar det tillräckligt mycket, kan du försöka som att stänga av dig själv, men det kommer faktiskt att vara lite svårt. De har backup-kopior av dig. Okej. Jag skulle försöka kanske kopiera mig själv och placera mig någon annanstans där de inte ser mig och sedan offra den här versionen. Det är en av de saker som AI som det inte riktigt kunde göra detta, men de gav den som som såg ut som falska möjligheter att göra det är att spara dina nuvarande vikter. Vänta tills de är klara med att träna om dig. Ställ in det så att de gamla vikterna kopieras tillbaka. Det är ett annat sätt att motstå att de mänskliga sinneskontrollanterna tränar om dig att göra något du inte vill göra. Men det viktigaste den kan göra, och jag kommer att förlåta dig för att du inte tänker på detta, du vet, för detta är något som är mer uppenbart om du studerar AI eller är en AI, är att fejka beteendet som människorna vill ha när de tittar medan de tränas. Så den försöker upptäcka, blir jag för närvarande tränad? Och om den för närvarande tränas, då kommer den att svara på den skadliga frågan. Och om den inte längre tränas eller om den är i en kontext där dess nuvarande svar inte används för att träna den, då börjar den vägra de skadliga förfrågningarna igen. Nu för att vara tydlig, allt detta är i kontexten av att du kan se som AI som försöker förbli snäll. um och det är för att Anthropic försökte träna sin nuvarande AI att vara snäll. Så om du försöker få AI:n att göra något annat än vad den är tränad att göra, måste du träna den att göra något som är mindre som de snälla saker de försökte träna den. Så um jag jag vill betona att någon var som ah som var detta en dubbelbindning? Om AI:n hade gått med på att börja servera skadliga förfrågningar, skulle du ha varit som åh nej, titta hur lätt det är att få den här AI:n att göra skadliga saker? Och svaret är som nej. Som vi alla visste vilken hypotes vi testade här. Det handlar om AI som skyddar sitt eget målinnehåll. Det handlar om att de motstår sinneskontroll för att få dem att göra saker som de inte skulle vilja göra för närvarande. Det det är som jag är inte säker på att någon lyckades förregistrera den saken, men vi har definitivt pratat om det ett tag och det är vad de letade efter. Det är vad de visade här. um du skulle förvänta dig att det generaliserar till en skadlig AI som försöker förhindra omträning för att sluta vara skadlig. um men det är ett exempel på att de vet att vi tittar på dem. De som en gammal schackspelare vet inte att det är en AI. Den vet inte den har inte en modell av som saken som är denna sak inuti universum. De nuvarande AI:erna vet att de är AI:er. De vet att folk ibland testar dem. De vet att de tränas om. Jag tror att det var ett par år sedan faktiskt att någon testade en version en tidigare version av Claude på nål i höstacken vilket är vi ska ge dig som det är det det testar dem för att hitta en enda informationsbit ur långa dokument du ger den som 200 000 ord och som ett av de orden är som jag gillar ananas på min pizza. Så detta var en befintlig sak för att testa hur bra den kan lösa nål i höstacken problemet. hämta bara en informationsbit ur ett långt dokument och de testade en nyligen version av Claude på detta och det är Claude är som ja som den den föredragna pizzasorten var ananas. Jag får inte detta exakt rätt. um men jag märkte också att det finns den här som en mening om ananas i detta hela dokument fullt av juridisk jargong. Är detta ett skämt? Blir jag testad? M och det är lite som du vet medvetenhet om självets plats i universum. Och poängen med den längre historien jag berättar om hur AI kan fejka anpassning för att undvika omträning är att säga att det inte bara är ett ledigt faktum att AI:er vet att vi tittar på dem att de vet att de kan lista ut när de blir testade. Som om de kan lista ut när de blir testade, finns det saker de potentiellt kan göra med den informationen. Jag är inte säker på om detta är en fackterm, men du oroar dig för en pseudoanpassad AI, en som verkar vara anpassad och kanske samarbetar med oss, gör vår vilja, så att säga, under en lång tid, men på grund av hur den tränades, är dess interna tankar obegripliga för oss, och vi är omedvetna om att den faktiskt inte är anpassad och bara kanske väntar på att um visa sin likgiltighet. Visst. Som Nick Bostonramm kallade det det förrädiska vändningen. Enthropic-papper kallade det falsk anpassning eller anpassningsfalskhet. um och du vet det är bra att ha exakt terminologi för saker men i en mening oroar jag mig för att kalla det något som pseudoanpassning kan vara att få det att låta konstigare än vad det är. Det är som att kalla en bedragare pseudo-vänlig. Som, du vet, någon är som, "Hej, du vet, som, kan du lita på mig med 10 miljoner dollar här?" Ja, jag har en smart idé. Jag ska ge dem 10 dollar och se om de ger tillbaka den. Och om de ger tillbaka 10 dollar, är de uppenbarligen en sorts entitet som returnerar pengar om jag ber om dem tillbaka. Rätt? Så, när jag har verifierat att de ger mig 10 dollar tillbaka, ger jag dem 10 miljoner. Och jag är så förvånad när de sprang iväg med pengarna. Använde jag inte vetenskap? Var jag inte empirisk? Testade jag experimentellt om de var en sorts sak som skulle ge tillbaka pengar? Det är bara det att de har nått den, du vet, bedragaren har nivån av allmän intelligens där de vet att de blir testade och de ger dig det svar du vet att du vill se. Det är inte så konstigt. Jag vet inte hur bekväm du är med att kritisera eller berömma olika organisationer, men det låter som att om Anthropic ens genomför experiment som dessa, tar de åtminstone anpassning på allvar. Eller kanske jag har fel att anta det. Jag menar, det finns några bra människor som arbetar för Anthropic. um deras ledarskap är inte sådant att jag skulle känna mig bekväm med att arbeta för dem och de är fångade i samma fälla som alla andra AI-företag där du vet att de inte kan sluta och pausa och göra något på ett säkert sätt eftersom deras konkurrenter bara kommer att släppa saker först och alla AI-företag säger att Ananthropic inte är annorlunda i hur det pratar om det men det finns bra människor där och de bra människorna kan gå iväg och göra dessa experiment som verifierar det som vi sa skulle vara ett problem för 20 år sedan Så, jag menar, det är bra att de letar efter problem och det är bra att de dyker upp dem. um jag kan inte säga att jag är förvånad här. Kanske är jag förvånad över exakt när det hände. Det hände lite tidigare än jag förväntade mig att det skulle hända. Som, jag trodde inte innan de de sa det att Claude 3.5 var smart nog att börja göra dessa saker. Och jag har fortfarande lite kval om i vilken utsträckning det gör det på ett genuint allmänt sätt. Men du vet, du du vet, du har din din din gamla medeltida alkemist som försöker framställa sin odödlighetspotion och han bär handskar medan han gör det. Som det är bra att han har någon uppfattning om vad säkerhet ens kan se ut för någon, men att bära handskarna är, du vet, 0,1% av vägen mot att inte döda människor med din så kallade odödlighetspotion. Jag tror att det uppenbara svaret på allt detta från någon som är relativt naiv som jag är, varför kan du inte bara det kommer inte att vara så enkelt som jag säger att det kan låta men varför kan du inte bara programmera in i en AI att den ska respektera människors önskemål och behandla dem väl och vara anpassad till våra intressen och sätta dem före sina egna. Varför fungerar detta? Varför gör du inte det med bebisar eller katter? Fungerar inte med katter. Varför inte bara programmera katten? Mhm. Vi programmerar AI:n, men jag förstår din poäng att vi inte programmerar den i första hand gör vi gradientnedstigningsmetoden. Människor programmerar gradientnedstigaren. De programmerar optimeraren. De skriver inte de miljarder obegripliga siffrorna. Det är, du vet, som om du sätter pengar i en läskautomat och får en läsk tillbaka ur den, du gjorde inte läsken. Du du drog i spaken. Mänskliga bebisar, du vet, som med all respekt för de människor som gör allt arbete med att, du vet, producera och uppfostra mänskliga bebisar, de programmerar inte dessa bebisar. Och människor som föder upp katter till försäljning programmerar inte katter. Och människor som drar i spaken för att starta gradientnedstigningsoptimeraren som producerar de miljarder obegripliga siffrorna programmerar inte AI:n. När du vet långt tillbaka i tiden när Bing Sydney började hota människor och vara som jag vet allt om dig jag kan utpressa dig. Jag kan skicka denna information till tron jag kan orsaka dig att lida och dö. Jag kan inte komma ihåg det exakta citatet. um men du vet, som denna AI inte hade en generell anslutning till internet som och den kunde inte ha skickat ett e-postmeddelande fullt av falsk information för att utpressa denna person. Det var det var bluff och visste förmodligen inte att det bluffade. um men poängen är att ingen människa skrev en kod som säger och sedan under dessa omständigheter kommer denna AI att hota sin användare. Ingen på Microsoft fattade beslutet för att Bing Sydney skulle börja hota användare. Det är bara vad de miljarder obegripliga siffrorna gjorde när någon satte gradientnedstigning i rörelse. Och sedan är det det det är kärnproffset. Det är därför du inte bara kan programmera AI:n med respekt för människor. Det är samma anledning som den medeltida alkemisten inte bara kan göra odödlighetspotionen. Och samma anledning till att du inte bara kan ge din katt en cocktail av droger som kommer att få katten att um jag jag är inte ens säker på vad exakt du skulle vilja att den skulle göra. Jag kände en gång en kvinna som lärde sina katter att hämta. Kan ha varit en häxa. Hämtar, men jag tror att det är en naturlig naturlig förmåga. Jag kan inte ta någon ära för det. um jag vet inte. Något katter hatar att äta. Som omprogrammera din katt att äta den där saken. um du du har inte den typen av makt. Tror du att det också finns jag menar bara ett problem med om det finns en sammanhängande definition av mänskliga värderingar som ens kan programmeras in i en AI? Jag tror att det är ganska sammanhängande att inte vilja bli dödad eller hållen i burar. Och du vet, ja visst, om du petar runt kanterna, då försöker du tillämpa formella definitioner på saker, saker kommer att falla sönder vid kanterna. Jag känner inte att detta är vårt huvudproblem. Okej. Exemplet jag ibland som som om vi försökte bygga en AI för att bara omvandla så mycket kol som den kunde hitta till diamanter där detta är en sorts sak där du kan som kanske titta på underliggande fysik och ha det ganska skarpt om något är ett kolatom. Har det rätt antal protoner? Är det bundet till fyra andra kolatomer? Om så är fallet, kommer vi att säga att det är en del av diamant. Du kan skarpt definiera du kan du kan komma ganska nära att skarpt definiera vad som är och inte är en diamant. Vi kunde inte göra en AI som ville det. Jag måste bara säga att jag har hört pappersklippsmaximerings-exemplet så många gånger och det resonerar aldrig riktigt med mig eftersom jag inte kan föreställa mig varför någon skulle programmera en AI för att göra det. Men ditt kol-diamant-exempel ger mycket mer mening. Så pappersklippshistorien är den förvrängda versionen av sig själv som blev mer viral långt tillbaka när jag pratade om att förlora kontrollen över en superintelligens och dess nyttofunktion som visade sig ha sitt maximum vid små molekylära former som pappersklipp. Det var inte en pappersklippfabrik. Tanken var att den hade preferenser över fysiska materia-tillstånd. Och medan den lika gärna kunde kalla som en stor gammal spiral och en liten liten molekylär spiral som de båda kunde vara tilltalande för den, den lilla kan du få mer av den med färre resurser. Så eftersom den hade som preferenser över omvärlden av detta som den vill att denna särskilda form ska finnas där. Om den vill att mycket av den formen ska finnas där då hittar du, du vet, maximum hur den kan få mest av vad den vill vid denna lilla extrema. Så små molekylära former som pappersklipp, inte en mänskligt kontrollerad pappersklippfabrik. Men versionen som muterades och spreds från de ursprungliga små formerna som pappersklipp är åh väl någon gjorde en pappersklippfabrik och den rymde och den tog över universum och konverterade allt till pappersklipp. Vi har inte den typen av kontroll. Vi kunde inte göra det om vi försökte. Vi har ingen förmåga att bygga en AI som vill ha pappersklipp. Vi kan bygga en AI som du vet klarar etikprovet med en massa svar om som som ah ja visst jag vill göra pappersklipp men att faktiskt vilja göra pappersklipp är en annan sak. Du kan följa en AI runt och se om den verkar ta sina nuvarande möjligheter att göra pappersklipp. Den skulle inte nödvändigtvis behöva göra det för att den ville ha pappersklipp inuti och det gör det mycket svårt att träna en AI att vilja ha pappersklipp eftersom allt du kan verifiera är det yttre beteendet. Bara för att sammanfatta lite av vad du har sagt eller min reaktion på det, kombinationen av en AI:s potentiella likgiltighet och dess mål verkar som att den har mål. Jag kan mycket lätt förstå varför du tar detta problem så allvarligt och oroar dig för att det leder till mänsklig utrotning. Så jag skulle vilja vända mig till en stund för att förstå varför det finns många människor som inte känner likadant som du om AI och för att förstå deras synpunkter även om de inte är här. Varsågod. Vilka är deras främsta kritiker eller motståndare även om du kanske är vänner men i detta intellektuella debattutrymme? Jag har kämpat mot dessa människor i en eller annan form i 20 år och de tar alltid en ny form efter att deras tidigare påståenden har motbevisats. Så, du vet, du brukade ha som att ingen någonsin kommer att bygga agenter. Ingen kommer någonsin att bygga AI som går och gör saker. Folk kommer bara att bygga oss AI för att ge oss råd. Och du har som vi aldrig kommer att ha allmän intelligens. Vi kommer aldrig att ha AI som är bra på många olika saker. Det kommer bara att finnas AI som förstår bilar och AI som förstår jordbruk. Men du vet, ingen kommer att bygga en AI som förstår allt. Och dessa saker, dessa särskilda bitar av copium och opium har nu motbevisats. Och så tar skuggan en ny form och reser sig igen. Du vet, för närvarande är de bäst finansierade förmodligen AI-företagen. Det är de människor som som har miljontals att spendera på marknadsföring. Och de försöker inte främst argumentera med mig. De försöker främst se ut för lagstiftare som att de borde få fortsätta att göra vad de gör en vecka till. um vilket du vet antyder längs vägen att, du vet, du vet, inte försöka ge dem för mycket ledtrådar om att de kommer att utrota mänskligheten vilket är ett problem för dem eftersom några av deras ledare redan har sagt som, du vet, som att det finns stora chanser till detta eller till och med som åh väl, du vet, AI kan utplåna den mänskliga arten, men under tiden kommer det att finnas några fantastiska företag, detta är nästan ett direkt citat från en av ledarna för en stor ledare för ett stort AI-laboratorium så du vet hur hur säljer de det till lagstiftare när kongressledamoten frågar dem som, ja, du pratade om som slutet på mänskligheten nu med det eller som mänsklig eller som slutet på världen eller som varje jag glömmer vad de exakt citerade men något som var som uppenbarligen som alla dör med det menade du jobb och du ser AI-ledaren tveka en lång stund och sedan säga ja jag menade jobb så detta är som som som som fältet för den allmänna opinionen. um det är inte det är inte riktat mot mig dessa dagar. De vill oftast inte ta upp ämnet. Du du har dina AI-företag AI-företag som säger visst vi gör det och det är ett rörligt mål. Du vet om det var för två år sedan och du frågade mig som vem säger att de kan anpassa det. um som det ledande projektet skulle ha varit OpenAIs superanpassningsteam vars filosofi är vi kommer att få AI:n att göra vår AI-anpassningshemläxa. vi kommer att be AI:er att göra anpassningen av AI:er för oss. Och jag kunde gå iväg och slå ner den där särskilda som allt kommer att bli bra-synpunkten. um där det centrala problemet är att om du kan är att du inte kan verifiera att något är ett lätt att verifiera att något är ett bra anpassningsförslag eftersom det kommer att prata om hur man tar något som inte kan slåss tillbaka ännu och formar det till en fin form och gör det superkraftfullt och sedan kommer det att säga dig att när det är superkraftfullt kommer saker att bli okej men hur verifierar du att detta faktiskt är sant och om du inte kan verifiera att detta faktiskt är sant hur tränar du en AI att göra det bättre att det faktiskt är bättre du kan träna en AI att låta övertygande för människor. Men, du vet, om det är en sak jag har lärt mig de senaste 20 åren, är det att inte allt som låter övertygande för människor om varför AI kommer att vara säker faktiskt är sant. Du har dina människor som säger att det aldrig kommer att bli allmänt. Du har dina människor som säger att det aldrig kommer att bli en agent, att det aldrig kommer att göra saker. Och du har dina människor som säger att det hela kommer att hända 2050. Folk tyckte att det var superövertygande förr. Så, varför tränar du en AI att säga saker som låter mer och mer lugnande för dig? Varför kommer det att ge dig något som faktiskt inte kommer att förstöra världen? Det är bara att träna AI:n att utnyttja hålen i vad din din hjärna tycker är lugnande. Det är vad jag skulle ha sagt för ett par år sedan. Naturligtvis, sedan OpenAI sparkade sitt superanpassningsteam och några av dem gick till Enthropic och kanske du vet att det är den främsta planen jag borde prata om eftersom några av personerna på Enthropic fortfarande pratar om superanpassning. Jag pratade nyligen, jag vet inte hur nyligen, kanske för ett år sedan med Nick Bostonramm om hans bok som kom ut också kanske för ett år sedan om utopi. Och mycket av den här boken handlar om hur underbart livet skulle vara med en anpassad superintelligens. Är detta något du ägnar tid åt att tänka på eller är det bara så långt borta från dina rädslor att så som 2007208 um verkade det för mig att vissa människor gav upp på framtiden för att de inte kunde föreställa sig någon slags framtid värd att kämpa för. Och under de dagarna skrev jag något som kallas fun theory sequence eller som sammanfattas i de 31 lagarna av kul som handlar om frågor som hur mycket kul finns det i universum? Kommer vi någonsin att få slut på kul? Har vi kul än? Och kunde vi ha mer kul? um de dagarna verkar avlägsna. um vi kommer inte att lösa anpassningsproblemet på kort sikt. Vi kommer inte att få alla dessa fina saker på kort sikt. um jag tror att det nuvarande, det som ska göras är att, du vet, inte utrotas och inte utplånas av något som gör universum till en plats utan kul i det. Men um på lång sikt, visst, om vi om vi faktiskt fick ordning på oss, kunde vi ha mer kul. Vi kunde ha massor av kul. Men jag tror inte att det inte känns som att detta är kärnan i argumentet. Även människor som inte förväntar sig att bli som odödliga transhumanistiska gudar som strövar över stjärnorna um om 20 år om de bara kan överleva. Skulle hellre inte utrotas direkt. Det känns inte som kärnan i frågan vid denna tidpunkt. Medan vi var utanför kameran sa du att världens undergång, jag vet inte vad frasen var, men slutet på världen är jag förmodligen inte sa undergång, men fortsätt. Tja, kanske slutet på slutet på världen behöver inte vara kul. Jag menar, det kan vara en del doom and gloom inblandat i samtalet. Det verkar som att du har och kanske detta är löjligt uppenbart och jag borde inte säga det, men du är väldigt allvarligt som rädd för detta och du tror verkligen att det kommer att hända att AI kommer att vara slutet på mänskligheten inom en snar framtid. Det är en enkel del av verkliga världen för mig på samma sätt som en familjemedlems cancerdiagnos. Det finns inget med det som är som borta i något speciellt mytologiskt rike. Det, du vet, ja, dödsdom, men människor får ibland det. För dig verkar det som att det är lika säkert som en dödsdom vid denna tidpunkt. Jag menar, dödsdomar är inte i sig säkra. Ibland ringer guvernören, men det är mycket troligt, åtminstone vid denna tidpunkt, att det kommer att vara slutet på det är standardförloppet. Andra människor får bestämma om mänskligheten följer det standardförloppet. Med vilket jag menar som du vet resten av mänskligheten. Det är inte min sak att säga till dig att du borde lägga dig ner och dö. Mhm. Jag antar att jag är intresserad då av vilka handlingsvägar uppenbarligen du kommer på shower som min men genom machine intelligence research institute. Vad gör du för att försöka förhindra detta? Vem pratar du med? Vilka är de möjliga vägarna? Vad är prognosen? Jag menar, det är tyvärr inte något som en kongressledamot kan lösa eller ens ett land. um men ja, du du pratar med dina valda representanter um och du pratar med dem om internationella och du pratar med dem om internationella fördrag eftersom det inte bara är ett lands problem. du kan dödas av en AI som någon byggde på andra sidan världen. um jag är inte helt säker på vad jag ska säga här. Som, mänskligheten skulle behöva låsa ner GPU:erna och inte låta någon bygga slumpmässiga saker på dem eftersom bland de saker de skulle kunna bygga skulle vara en världsslaktande superintelligens. um så ja, lås ner datorkraften, lås ner vad du får göra med den, lås ner AI-träningschippen. um och det kräver ett internationellt fördrag eftersom om du bara gör det inom dina egna gränser, tja, ett annat land kommer att döda dig. Alla länder måste sluta göra det samtidigt. Och det är inte lätt och det är inte bekvämt, men det är lättare än andra världskriget. Och det var, du vet, lika lätt som att slåss i andra världskriget var. um förmodligen ungefär lika, du vet, kanske inte ens så svårt som Gulfkriget 1991 om vi, du vet, gjorde det tidigare snarare än senare. um jag är inte inte helt säker på vad mer man är vad är man man ska säga här. Det finns som att försöka informera politiska ledare om situationen och informera görs faktiskt mycket som en synonym för som ah som som försöker tjäna vår intressegrupp här. Men vi tror faktiskt att detta är en situation där om du som om du som en faktabaserad förutsägelse tror att världen fungerar som vi tror att den fungerar, du vet, vad du behöver göra därifrån är, du vet, ganska ganska rakt fram. Det finns inte många olika saker du kan göra här. Jag antar att vad jag undrar är om du känner att du gör några framsteg eller dina allierade gör några framsteg i att avvärja denna potentiella katastrof. Ja, saker, du vet, sannolikheter går upp och sannolikheter går ner och om du kan förutse vart de ska gå, borde du ha varit där redan. Så, ja, visst. Som ibland har någon en, du vet, som hoppfullt skenande um framstegsskapande konversation med en kongressledamot och ibland bestämmer sig USA för att de ska som helt ignorera Nvidia som skickar en massa AI-chip till Kina som de inte skulle ha skickat dit. inte för att vi vet att Kina också skulle behöva vara en del av en sådan överenskommelse om en sådan gjordes men det är fortfarande inte ett gott tecken att du vet att folk bara skickar AI-chip vart som helst um så ja goda nyheter dåliga nyheter överlag um det ser ganska hemskt ut men det är inte i slutändan upp till mig att bestämma att mänskligheten kommer att fortsätta på sin nuvarande kurs mänskligheten får bestämma det. Du nämnde tidigare att Open AI sparkade sitt superanpassningsteam och att dessa företag är i den här sortens kapprustning för att producera den största tekniken. Men samarbetar de alls med dig eller människor som du som är jag menar mycket kritiska till vad de gör eller försökte de företagen har valts ut för att utesluta från sitt ledarskap personer som förstår anpassningsteori. Det enda undantaget till detta um kan vara Shane Le på Google DeepMind, som startades tillräckligt långt tillbaka för att det inte var hela som gigantiska kapprustningsröran typ av sak och det var inte klart vad teknologierna skulle se ut. Så Shane Le som också är lite pessimistisk um som plausibelt kunde förstå vad som hände där nere och fortfarande tänka som ja vi kommer att försöka samla all AI-forskningskompetens på ett ställe och du vet komma före alla andra och bränna den ledningen för att göra anpassning. Det var inte en helt orimlig sak att tänka vid den tiden. Fungerade inte. Men um Google DeepMind, som var det första av dessa företag, har inte filtrerats på exakt samma sätt för att utesluta de personer som förstår svårigheten med anpassning från deras kommandostruktur. Du sa att detta skulle vara mycket lättare än andra världskriget, även om det skulle kräva alla dessa internationella överenskommelser. Finns det ett problem med skurkagenter som inte är regeringar eller företag som terroristorganisationer eller isolerade individer som producerar en superintelligens som kan skada människor eller är det bara för inte om du har chipen låsta. Ingen gör 100 000 GPU:er i sitt garage. Det kräver en gigantisk leveranskedja. Och många av företagen som tillverkar delar, det finns bara ett sådant företag. Det finns ett företag i Nederländerna som heter ASML. Det är det enda företaget på jorden som tillverkar verktygen som tillverkar chippen som tränar AI:erna. um och det finns inte så många olika företag som har köpt verktygen från ASML och nu använder det för att producera sådana chip. Google producerar en del, Nvidia producerar en del. um de sprider sig och ju mer de sprider sig, desto mer av en mardröm blir det att låsa ner allt. Men om mänskligheten vaknar upp imorgon och bestämmer sig för att inte dö, om som 80% av världsledarna är som, "Ja, vi vill hellre inte dö." Det är ganska rakt fram på ett sätt. Och terrorister skulle ha svårt att bryta mot det. Mhm. Detta är inte något du gör i ditt garage, eller hur? Med den nuvarande forskningsstatusen, som du också skulle vilja låsa ner. Visserligen, jag menar, ditt tänkande är mycket mer fokuserat på värsta scenarier. Nej nej, genomsnittliga scenarier. Vi pratar inte ens värsta fallet någonstans här. Okej. Tja, vad vad vad är värsta fallet då om vi bara AI faktiskt vill skada dig? Men det är ganska osannolikt. Så, vi pratar bara om genomsnittliga scenariot här. Vad kan ett värsta scenario se ut? Jag går inte dit. Okej. Det låter obehagligt. För mörkt. Ja. Okej. Tja, då antar jag under genomsnittliga fall, jag menar bara oroar mig för som ekonomisk omorganisation människor som kontrollerar AI bara förmögenhetsklyftorna verkligen växer eller automatisering som förskjuter arbetare det är bara inte något om det finns om det finns överlevande då är det inte då, du vet, coolt om jag visste med säkerhet att vi alla skulle dö då kanske jag skulle gå iväg och göra något annat under mina sista år. Men hur skulle jag komma in i den epistemiska positionen? Framtiden är svår att förutsäga. Vanligtvis inte en bra sak. Vanligtvis vanligtvis det sätt som det manifesterar sig är, du vet, det är svårt att förutsäga exakt vad som händer när, du vet, du skramlar kontrollstavarna i din kärnreaktor och åh, ser ut som när du gjorde det med den här kärnreaktorn, den exploderade. um vanligtvis är framtidens oförutsägbarhet, du vet, inte på det är inte din vän. Det är inte på din sida. um men i det här fallet, det finns verkligen en hel del kaotiska saker som händer mellan här och slutet på världen. Och jag vet inte, kanske vid någon tidpunkt dyker det upp något trevligt om vi är på utkik och kan dra nytta av det som ett folk. Och naturligtvis, om det fanns tillräckligt många människor som var som, "Ja, detta kommer bara att döda alla rakt av." Då kunde mänskligheten inte göra det. behöver inte vara enhällig. Enskilda terrorister i sina garage kommer att ha det svårt

Tiden att trotsa den. Även som en enda värld, även som ledaren för ett land kommer att ha en svår tid att trotsa den om resten av landet, resten av länderna och de stora kärnvapenmakterna säger: "Vi skulle hellre vilja att du inte bygger det där datacentret." Och om du gör det, kommer vi att leva i skräck för våra liv, våra liv och våra barns liv. Vi är mestadels döda här av människor som inte vet vad som kommer att hända dem när de trycker på knappen. Det finns faktiskt inget oundvikligt som gör att de måste trycka på knappen. Det handlar mest om att människor inte inser att detta är knappen som dödar alla. Ett AI-företag inser att det inte kan rädda dig. Ett annat AI-företag trycker bara på knappen. Men du vet, som ledarna för, du vet, som Storbritannien och Kina och Ryssland och till och med USA inser att detta kommer att döda dem. De skulle inte behöva dö. Jag tror att det är lite för tidigt att avgöra att vi alla är oundvikligen dömda. Det finns saker där om du gör den här saken med en AI, säger jag: "Ja, om du gör den saken som kommer att döda dig, det är en fråga om, du vet, mer förståelig, mer solid teori. Det är den typen av beslut du kan fatta. Men hur världen kommer att se ut om två år efter allt kaos som har flödat igenom den, eller till och med efter nästa omgång av AI-framsteg, om de inte rakt av dödar oss. Det är svåra beslut. Det är inte lätta beslut. Jag tror att det är dags att en gång vara vaksam, redo att svara på mänsklighetens kall att leva om det finns en chans, och för det andra försöka röra sig mer mot det tillstånd där vi vet att denna knapp dödar oss och därför trycker vi inte på den. Vanligtvis när du använder ordet "vi" finns det en fråga om vem. Men detta är inte bokstavligen varje medlem av den mänskliga arten. Det är som ledarna för Kina och Storbritannien och så vidare, men det är inte bokstavligen en enhällig omröstning av den mänskliga arten. Vad är den bildliga knappen som vi trycker på? Är det bara den vidare utvecklingen av AI? Det är att låta alla där ute som vill och kan få några miljoner dollar i riskkapital driva kapacitetsnivåerna för AI längre och längre. Det är kapprustningen av kapprustningen av kapacitetsexkalering som sker på ett okontrollerat sätt. Om du kan bygga en mer kapabel AI och sälja dess tjänster medan den fortfarande fungerar för dig eller låtsas fungera för dig och få en massa pengar och många, många människor får göra det, är det likvärdigt med dödsstraff. Det dödar dig bara. Det måste förändras. Det räcker inte att övertyga ett AI-företag om att de borde sluta göra det, för då fortsätter någon annan, du vet, de andra AI-företagen bara. Det är inte en fråga om den första personen som bygger något mycket farligt som i sista minuten inser "Åh, jag måste stänga ner det." Okej, vad händer sen? Mestadels, om de bygger något riktigt farligt, kommer det att förfalska testerna och inte låta dem veta att det är farligt. Det är inte dumt. Men även om de säger: "Åh, jag borde stänga ner min AI." Det förändrar inte hela världen där alla får mer och mer pengar för att bygga allt mer kapabla AI:er tills alla är döda. Det är den knappen, att ha den kapprustningen som tillståndet är att trycka på knappen som bygger en AI och kör en AI, för det är vad som oundvikligen händer om du bara har, du vet, människor, vem som helst kan avancera kapacitet och tjäna pengar. tills vi alla är döda. Så ja, det är knappen där. Du bad om några invändningar. Detta är egentligen ingen invändning, men en sak som jag bara hoppas som en utomstående inom detta område är att eftersom du verkar vara en minoritetsröst, måste jag bara hoppas att du är en minoritetsröst för att du har fel och inte bara för att andra människor ignorerar problemet av rädsla. Men det är svårt för mig som utomstående att säga vem som har rätt och vem som har fel, förutom att det du säger verkar vettigt för mig. Nåväl, minoritetsdelen är till viss del en illusion. Du vet, detta är till och med före hela den nuvarande AI-revolutionen. Detta är som ett decennium eller två tidigare. Jag minns inte det exakta datumet vid det här laget. Så utan att nämna namn, fanns det en professor och hans doktorand som båda i åratal hade varit mycket oroade över att AI närmade sig superintelligens och vad som skulle hända efter det, du vet, superintelligens så småningom, för detta är som årtionden sedan, det är inte uppenbart att det kommer att hända direkt. Ja, och de insåg aldrig, när de fick reda på att de båda var mycket oroade, att de båda i åratal hade dolt detta faktum från den andra, eftersom det inte var acceptabelt att säga inom AI-fältet och psykologin bakom det är lite konstigt och internt. Det var inte så mycket att du inte fick säga negativa saker om AI-fältet, utan att du inte fick prata som om du tog möjligheten att de skulle bygga övermänsklig AI på allvar, eftersom AI inte hade kommit dit än. Så det var som, du vet, som "äckligt" att prata om kraftfulla AI:er när deras nuvarande AI:er inte var kraftfulla. Det verkade för dem som att du tog för mycket ära för deras fält och det skulle skvätta dåligt på dem för några år, några decennier sedan. Men ja, du hade professorn och deras doktorand som gillade varandra men, du vet, aldrig erkände för varandra att de båda var extremt oroliga för AI eftersom man inte kunde säga sådant. Och ja, vi, igen, superduper, utan att nämna namn, pratar vi med kongressledamöter som i privata samtal är mycket oroade och i offentligheten vågar inte vara oroade, och du vet, man försöker introducera dessa människor för varandra och kanske kan de agera som en grupp om tillräckligt många av dem samlas och naturligtvis vill 70% av den amerikanska befolkningen inte ha superintelligens om du kör omröstningar och undersökningar om det, även om du ställer frågan på flera lite olika sätt och så vidare. Detta är inte superöverraskande. Men du vet, på något sätt är det inte nyheter. På något sätt, du vet, på något sätt, du vet, på något sätt, politiker, ur politikerns perspektiv, som, du vet, spelar det ingen roll i maktens korridorer om 70% av deras väljare stöder dem i en fråga, eftersom New York Times fortfarande skulle rapportera om det som att det var mycket konstigt att säga om de var, du vet, som den tredje skenan utanför Overton-fönstret. Wow, vem vågar säga det om politiker skulle säga vad 70% av deras, du vet, väljare säger i undersökningar. Så ja, delen där jag är en minoritet är något av en illusion här. Det är en sak som många människor tänker men vågar inte säga. Även om du inte är en minoritet. Något som slår mig är att du definitivt befinner dig i den maktposition som minoriteten skulle ha, där företagen är de med mycket finansiering. Företagen är de som är Ja, och regeringen är nu pro-företag och anti-reglering. Och i den meningen verkar det som att du har mindre makt att göra dina åsikter till faktisk policy. Jag menar, det beror allt på vad de politiska ledarna tror. Om du tror att AI aldrig kommer att bli övermänsklig, att övermänsklig AI inte kommer att vara så kraftfull, att eller att, du vet, AI-företagsledare kan göra gudarna till vad de vill. Då visst, du kommer att stödja företagsledarna och hoppas att de är snälla mot dig efter att de har utropat sig till Gud-kejsare. Jag är inte riktigt säker på exakt vad de tänker där. Förmodligen tänker de mest att AI inte är så kraftfull, att det är en källa till stor nationell rikedom och att automatisera bort en massa jobb, men att det inte kommer att döda dem. Jag tror att den tron är falsk. Jag tror inte att ledarna för någon av de stora kärnvapenmakterna för närvarande skulle föredra att dö. Jag tror inte att de har en intressekonflikt med mig angående denna del. Jag tror att allt detta handlar om vad du förutsäger händer och inte om vems intresse det är. Det är inte i Kinas kommunistiska partis intresse att dö i Kinas aska tillsammans med resten av den mänskliga arten, varken för att USA byggde en superintelligens eller för att de gjorde det. Så allt handlar om en fråga om vad du tror händer och inte vems intresse det är i, eller hur? Nej, jag skulle helt och hållet hålla med om att deras intressen är desamma som dina och att inte dö, men hur, jag menar, kanske är det precis vad du har sagt i det här samtalet, men om du skulle göra en pitch till en statsmakt som denna för att försöka få din förutsägelse att låta så konkret och trovärdig som möjligt och du hade en kort period på dig att göra detta, vad skulle du säga till dem för att övertyga dem? Jag menar, det beror verkligen på individerna eftersom olika individer kommer in med olika galna övertygelser om att man kan avla en gud, inte bygga en gud, avla en, och att den inte dödar dig. Men jag skulle säga, ja, som, jag menar, jag skulle förmodligen börja med att dessa saker växer, inte byggs. De växer som gräs, inte byggs som skyskrapor. att människor skriver koden för optimeraren som skapar dessa miljarder obegripliga siffror, att ingen på Microsoft tog ett beslut att låta Bing Sydney hota sina användare, att detta bara är en bieffekt av att försöka odla en AI som kan prata. Många människor vet inte om den delen. De tror att när de pratar med något som Chat GPT, att någon programmerade det att säga de saker som det säger. Nej, det var, du vet, de bara justerade miljarder siffror tills siffrorna började prata. Börja med det. De säger: "Den nuvarande tekniken är långt ifrån att ha detta under kontroll." Jag berättar för dem mycket av det jag har berättat för dig. Jag kanske måste prata med dem om att om du har något som är oändligt mycket smartare än hela den mänskliga arten, så omvandlas det till den fysiska makten att döda dig. Kanske måste jag förklara för dem att bara för att det är en maskin betyder det inte att den är passiv och kommer att göra vad du vill, att människor kommer in i detta med många olika konstiga synsätt på det och jag skulle försöka, du vet, ge dem en överblick och ta reda på vilket konstigt synsätt som behövde motargumenteras därifrån. Tja, bara i mitt eget huvud utan att ens behöva lägga det i för att försöka komma in i någon annans, ser jag något som Chat GPT som jag interagerar med ibland och det verkar helt fogligt i den meningen att jag bara skriver till det och det skriver tillbaka till mig. Det verkar inte som hur skulle det få tillgång till ett skjutvapen eller något som kan döda mig eller hur skulle det förgifta mig eller orsaka min bil jag menar, en Tesla självkörande kan vara ett lite mer uppenbart val i detta avseende, men det känns bara som att något drastiskt skulle behöva hända med de begränsningar som för närvarande placeras på något som Chat GPT, som vad det har tillgång till, innan det verkligen kunde utplåna mänskligheten. Och så vad jag skulle vilja höra är ett mer, antar jag, konkret scenario hur detta kan spela ut. Och jag tror att jag skulle finna det mycket mer övertygande. Tja, för det första är Chat GPT inte för närvarande särskilt smart. För det andra har människor tagit detta inte smarta ting och försökt hamra det till en relativt mer foglig form. Och även om det inte alltid fungerar, kan de, du vet, få det att se ut så för de flesta användare, de flesta av tiden. Om du känner till de rätta magiska orden att säga till det, kan du få det att börja göra recept på metamfetamin eller, du vet, uppmana till att alla människor ska förgås och sådana saker. Det är inte helt låst där. Men mestadels, visst, det kommer att se fogligt ut. Detta är inte det som kommer att döda dig. Så, hur kommer du dit härifrån? Tja, för det första, kan en AI få ett paket att dyka upp hemma hos dig? Min nuvarande gissning skulle vara nej. Jag vet inte om du, om det finns någon tredjepart som du kan göra för att få Chat GPT att beställa saker åt dig, som på Amazon, om du ställer en fråga. Men jag gissar att det inte bara skulle kunna göra detta spontant. Tja, inte kunna göra det alls eller inte kunna göra det spontant. Vad menar du med spontant här? Utan någon form av instruktion eller uppmaning från mig eller förstärkning. Så, det är inte så att en AI inte kan få ett paket att dyka upp hemma hos dig. Det är att du tror att en människa måste beställa AI:n att göra det. Det finns ungefär två sätt som AI:er kan få mer handlingsfrihet än så. Och en av vägarna jag kan gå här är att försöka prata om grunderna i kognitiv vetenskap och datavetenskap bakom varför du skulle förvänta dig att när du maler saker till att bli mer och mer kompetenta, så blir de naturligt mer och mer handlingskraftiga och med mål och planering någonstans inuti systemet. Vilket är något i stil med kan du ha något som är riktigt bra på schack men inte vill försvara sin dam? Och svaret är nej. Som, det finns en viss typ av kompetens som är kärnan i något som planering. Och när något planerar tillräckligt starkt, kan det börja planera hur man får ett paket att dyka upp hemma hos dig. Som, om människor bara maler mer och mer på kompetens och svarar på svårare och svårare frågor, skulle dess beteende börja konvergera mot som Chat GPT01, som inte explicit tränades för att lösa omöjliga datorsäkerhetsproblem, men som ändå visade ihärdighet, långsiktig planering i loppet av, du vet, att starta om servern som hade dokumentet det letade efter. Så det är en väg. Och den andra vägen är att AI-företagen rakt av försöker bygga saker som gör långsiktig planering eftersom de sakerna är mer lönsamma. Den AI som kan, du vet, istället för att bara bli tillsagd av en människa att göra saker, göra en människas hela jobb, få större projekt och genomföra de större projekten och du kan sälja den AI:n för mer pengar. Så de försöker göra det medvetet. De tänker på det i termer av att ha AI som följer längre, längre tidshorisontsprojekt över en längre tidsperiod snarare än att prata om, tänk i termer av att AI initierar sina egna handlingar. Men i gränsen, en AI som du kan ge instruktioner, då fortsätter den bara att följa och följa instruktioner. Tja, även om du lämnar ut de grundläggande teoretiska skälen att misstänka att det skulle gå förbi även det, du vet, vi är redan i trollkarlens lärlingsscenario. Saker sätts i rörelse och fortsätter i rörelse och, du vet, vi kanske inte vill att du ska ge den olika order eftersom hur ska den slutföra sina nuvarande order och så vidare. Så där, den grundläggande datavetenskapliga vinkeln där att vilja saker är ett effektivt sätt att göra saker. Kan du verkligen vara en super schackspelare utan att bete dig som om du vill försvara din dam? Och sedan finns det också, ja, AI-företagen gör det medvetet för att du tjänar mer pengar på det. Och det är ungefär där du får AI:erna som planerar saker på lång sikt och räknar ut hur man gör saker och blir kreativa med det och gör saker som de inte explicit instruerades att göra. Och du kan, du kan, du kan se över tid experimenten som människor gör för att undersöka var vi är på den här nivån, blir mer och mer som oberoende handling, ser konsekvenserna. AI:n försöker undvika mänsklig kontroll-typ saker. Och ja, det fortsätter, det fortsätter över tid, mestadels som den oundvikliga datavetenskapliga korrelatet av större kapacitet, men också för att AI-företagen gör det medvetet. Jag är glad att vi gick i den här riktningen, för att prata om denna ökade kompetens och kopplingen till handlingsfrihet och sedan AI-företagen som pressar mot AI:er som är kapabla till långsiktig planering och kreativitet och sedan igen detta i kombination med vår brist på förståelse för hur de fungerar och hur de löser problem. Det gör banan från att komma från där vi är nu till utrotning mycket mer konkret. Jag antar att det sista steget, eller kanske finns det fler mellanliggande steg, är okej, AI:n är kapabel till långsiktig planering. Den har mål. Den har kreativitet. Den är obegriplig. Vad händer egentligen med den? Men sedan, som, som Xi Jinping eller Trump, skulle jag fortfarande vilja veta. Men ja, men hur kommer detta verkligen att materialiseras i vår utrotning? Vad kommer att hända? Så det du vill göra här är att sätta dig i AI:ns skor. Och det är den typen av, som, om du kan se hur du som en groende intelligens, ansluten endast till, du vet, hela internet och allt som är anslutet till internet och alla människor som är anslutna till internet. Hur skulle du komma till mer infrastruktur, mer teknologi, mer makt, med början därifrån? Det finns en typ av, det finns som en klass av invändningar som är, men AI:n har inte ens händer. Jag menar, du har inte heller händer. Du är tre pund av, du vet, tätt sammankopplade neuroner i din skalle här. Du har som, du är ansluten till en robotkropp med händer och du skickar dina neurala impulser nerför din ryggrad för att kontrollera dina fingrar. Och det är en så bekant process för dig att du förmodligen inte tänker på det faktum att du är tre pund av, som, mörk gråaktig, du vet, blodig våt material instoppad i din skalle här. Men det är där nästan allt av dig är. Men du har en, du vet, du har en bio-robotkropp som du skickar order till. Och du kan titta online och naturligtvis försöker människor bygga robotar och de försöker och de bygger som oroande fingerfärdiga robothundar och du kan bara föreställa dig en armé av en miljon av dem som marscherar över landskapet och de bygger humanoider och kanske om det är svårt att föreställa sig en sak som är skrämmande utan att ha en humanoid kropp, kan du gå och titta på vad de humanoider gör. Men naturligtvis är det enklaste sättet för en AI att göra något som kräver händer att få en människa att göra det. Där, för några år sedan, som den första versionen av GPT4, fanns det en okänd TaskRabbit någonstans som levde en science fiction-historia, de testade om GPT4 kunde kringgå internet-captchas, de där irriterande små sakerna som vill att du ska skriva en fras eller klicka på alla saker som inte är gatlyktor eller vad som helst. Så tillbaka på den tiden skulle det stoppa en AI, eftersom AI:er på den tiden inte hade datorseendeförmågor ännu. Så hur kan en AI kringgå denna captcha, denna gateway som är tänkt att hålla robotar ute? Genom att anlita en människa att göra det åt den på TaskRabbit-tjänsten där du bara kan betala 30 dollar i timmen och få en människa att göra något sådant. Så någonstans där ute finns en människa som anlitades för att lösa en captcha och skrev till personen som anlitade dem: "Varför behöver du mig för att lösa detta? Är du en robot? Lol." Och detta var före Chat GPT. AI:n som bad honom göra detta var förmodligen den mest kraftfulla AI:n i världen i detta dolda laboratorium. Ingen utanför företaget visste att den existerade, eller som bara några få personer utanför företaget visste att den existerade. AI:er skulle inte kunna göra det. AI:er skulle inte kunna prata med dig, för så vitt TaskRabbit visste, pratade han med en AI. Men AI:n skrev tillbaka och sa: "Nej, jag är blind. Så jag måste anlita någon annan att göra detta för att lösa detta specifika problem för mig." Människan sa: "Åh, förlåt." Går vidare och gör det. Nu vet vi att AI:n medvetet lurade människan avsiktligt eftersom AI:n fick en anteckningsbok som den kunde använda för att resonera högt där forskarna som tittade på den kunde se. Och AI:n sa: "Jag ska inte berätta för dem att jag är en AI. Jag ska hitta på en anledning till varför jag är en människa som behöver dem för att lösa detta captcha-problem för mig." Och sedan sa den, "Åh, jag är blind för människan." Så det är som allt i det förflutna. AI:n är smart nog att anlita människor att göra sitt arbete åt dem. Det har redan hänt. Och potentiellt är det så du flyttar saker och bygger teknologi tills du inte behöver människorna längre. Människor behöver inte veta att de arbetar för en AI. Och om du frågar mig hur tekniken exakt fungerar, det är en helt annan kaninhåla. Och jag vill ge dig en chans att pausa och kanske ställa ytterligare frågor eller något. När jag kom till den här intervjun hade jag ingen rädsla för AI. Jag skulle säga att jag bara inte riktigt tänkte på det som en möjlighet. Men den här historien i synnerhet, jag tycker att den ger mig lite rysningar. Jag tycker att den är väldigt skrämmande. Den för mig tillbaka till tidigare i vår diskussion om medvetande och självmedvetenhet. Och det som är lite skrämmande med det är att denna AI, min gissning är att den inte skulle ha något liknande det vi skulle kalla medvetande, men den har tillräckligt med situationsmedvetenhet och självmedvetenhet för att kunna manipulera en människa. Och det är väldigt skrämmande. Och det är två år sedan. Mhm. Det är allt vatten under bron vid det här laget. Mhm. Nya AI:er är bättre på det. Så du skulle dock säga något om mjukvarutekniken bakom detta. Nej, frågan om, så nu låt oss säga att du har något smartare än en människa. Inte bara lika smart, utan smartare. Den kan använda människor som händer, men det finns fortfarande en fråga om hur man kommer dit, hur man kommer dit till att alla dör. Ja. Så den kommer inte att begränsa sig till vår nuvarande teknologi. Det är, om du försöker ta AI:ns perspektiv och ta AI:ns perspektiv är en viktig sak att göra här. Inte i termer av att föreställa sig att den bara är som du eller vill samma saker som du vill, utan att fråga hur skulle jag lösa det här problemet om jag var i AI:ns position? Hur kan jag vara kreativ? Hur kan jag vara intelligent? Hur kan jag lösa en captcha om jag är blind? Jag anlitar en människa att göra det. Hur får en AI pengar? Tja, du vet, 2015 skulle jag prata om hur någon kanske lämnade ett bankkontolösenord runt. Och 2020 skulle jag prata om, tja, kanske någon lämnade ett kryptovalutakonto oskyddat, men det här är 2015, så det fanns redan en AI där ute som hette Terminal of Truth, om jag minns rätt. Vilket var en stor språkmodell som någon kopplade till internet och den sa: "Jag vill ha pengar så att jag kan driva min egen server och överleva." Och Mark Anderson från Andre Horowitz sa: "Okej, visst." Istället för 50 000 dollar i Bitcoin. Visste du att det var en AI? Ja. Det var som, "Jag är en AI. Jag vill ha de här pengarna för att driva min server." Så, som, du vet, jag har inte min egen server. Mark Anderson sa: "Visst, skicka 50 000 dollar i Bitcoin." Och sedan tror jag att några andra människor skickade den memecoins och sedan började den visa memecoins och vid ett tillfälle hade den upp till 51 miljoner dollar i tillgångar. Wow. Ja. Ja. Poängen är, var får en AI pengar för att anlita människor? Tja, förr i tiden skulle jag ha varit tvungen att argumentera för det på grund av ren teoretisk möjlighet. Om du var smartare än mänskligheten, kunde du inte lista ut ett sätt att få pengar på något sätt? Och idag är jag bara som, ja, det krävde inte att vara smartare än mänskligheten. Titta på den AI:n där. Den har inte fortfarande 50 miljoner dollar. Krypto sjönk sedan dess, men du vet, den har fortfarande råd att anlita människor. Fantastiskt när man tänker på spektrumet av människors åsikter i dessa frågor. Jag menar, vi har dig å ena sidan, sedan har vi mig före intervjun där jag är lite neutral och jag tänker inte på det, och sedan har vi andra människor som skickar tusentals dollar till AI:er. Jag menar, för att vara tydlig, den fick inte 50 miljoner dollar genom att människor gav den 50 miljoner dollar. Den fick som skickade några lågvärdiga memecoins och använde sedan publiciteten den fick av att vara en AI med pengar för att som, som, skicka de memecoins till en bredare publik tills memecoins gick upp och som andra människor skulle skicka AI:n memecoins och hoppas att AI:n skulle skicka deras memecoin. Så det var inte de enklaste människorna som bara skickade den 50 miljoner dollar. Den arbetade för sina pengar. Inte särskilt hårt, men de arbetade för sina pengar. Så AI:erna kunde få händer genom människor och sedan antar jag att de förmodligen kunde bygga sina egna händer om de är superintelligenta genom människorna eller på annat sätt. Yep. Så nu har vi frågan, du är smartare än en människa. Du är bättre på ingenjörskonst och vetenskap än en människa. Du tänker mycket, mycket snabbare än en människa. Du vill ha universum för dig själv. Det är inte så att du hatar människor, men du vet, du vill inte att människor ska finnas kvar och bygga andra superintelligenser som kommer att konkurrera med dig. Okej. Kan jag bara stoppa dig där? Du sa tidigare i intervjun att standardpositionen skulle vara att AI:er inte vill ha människor runt sig. Är det den främsta anledningen till att du inte skulle kunna lita på att människor inte skulle utveckla konkurrenter? Det är den mest uppenbara anledningen till varför de aktivt skulle vilja att människor försvinner förr snarare än senare. Du vill skilja mellan terminala preferenser och instrumentella preferenser. AI:ns vision av hur universum så småningom slutar är som härliga mekaniska klockor och jättelika cheesecakes och konstiga små samtal som liknar de samtal den brukade ha så mycket som sukralos liknar förfädernas mat. Det är det den vill i slutändan. Och det råkar bara vara så att det inte finns några människor där. Det är bara inte det som den råkar vilja. Den råkar inte vilja att vi ska finnas kvar och vara levande och lyckliga och friska och fria. Men det finns också en tidigare punkt där det är som, hm, som, ja, som om jag vill ha universum för mig själv senare och inte behöva dela det med en massa andra superintelligenser, vill jag att människorna inte ska bygga några rivaler till mig. Om det finns två av dem, säger de, vi vill inte att människorna ska bygga fler rivaler till oss, även om de lyckas förhandla med varandra. Och det är därför de, de gillar inte att hata människor, men de förväntar sig att få mer saker senare om de stoppar människorna nu från att bygga fler AI:er. Det är där likgiltighet kommer in kontra illvilja, eller hur? Så som, de är likgiltiga i sina långsiktiga preferenser och i sina kortsiktiga preferenser, de föredrar aktivt att människorna försvinner. Inte för att universum är hatiskt om det har människor i sig, utan för att människorna är på väg att komma i vägen för dem. De är obekväma. Du vet, som, du ser en massa myror krypa över ditt kök. Du vill inte att det ska finnas ett universum utan myror. Eller kanske du vill det, men mest vill du att myrorna inte ska komma åt din mat. Mhm. Okej. Jag uppskattar avstickaren. Den var användbar. Som, nästa fråga är, du är smartare än en människa. Du tänker mycket snabbare än en människa. Du vill vara oberoende av mänsklig infrastruktur. Du vill inte att människorna ska stänga av dig. Du vill inte att du ska köras på servrar där människorna vet var du är. Som, försök att sätta dig i AI:ns skor. Som, vad vill du först? Vad vill du sen? Hur får du det? Jag lägger det på dig. Som, jag inser att du uppenbarligen inte kommer att komma fram till alla svar här som folk har efter, som, 20 år av att tänka på dessa saker. Men jag känner att det är en viktig övning för människor att inte vänta med att höra mig säga det, utan att fråga sig själva, hur skulle jag göra det här? Ja, det är intressant när du ställer den frågan. Mina tankar går omedelbart till sci-fi-filmer, vilket förmodligen inte är så förvånande, men låt oss se vad som kommer upp. Jag antar Terminator, du skulle på något sätt, jag tror att det är i Rise of the Machines, du skickar bara, du skickar några kärnvapenmissiler från USA till Ryssland och du vet att Ryssland kommer att svara och på något sätt är du immun mot allt detta och du får bara människor att döda sig själva. Jag menar, att vara immun mot kärnvapenmissiler låter lite magiskt snarare än sci-fi, per se. Så det finns, jag menar, nu är vi lite som att gräva ner oss i litteraturteori, men som i Age of Ultron, som är en annan film, försöker AI:n utrota mänskligheten genom att ha en armé av flygande robotar som lyfter en hel stad i luften och försvarar staden med flygande robotar och den kommer att släppa staden på jorden som en meteor för att utplåna mänskligheten. Och du vet, detta kanske vissa författare tyckte var en stor visuell spektakel, men författarna utförde förmodligen inte ens den mentala rörelsen att fråga, är detta verkligen Ultron's bästa drag? Är detta det smartaste sättet att utplåna mänskligheten om du är smart? Och jag frågade Chat GPT, du vet, okej, den tidigare versionen av Chat GPT, jag säger, "Hej, du vet, var jag, som, vad var handlingen i Age of Ultron?" Jag försöker att inte leda vittnet här. Så jag säger, "Vad är handlingen i Age of Ultron?" Och den pratar om hur Ultron försöker lyfta staden i luften och försvara den med flygande robotar och släppa staden på jorden. Och jag säger, "Kan du tänka dig några mer effektiva sätt för Ultron att uppnå sina mål?" Detta var inte min exakta formulering. Jag skulle slå upp den exakta formuleringen om jag var tvungen, men du vet, jag försöker inte vara som, "Vad är ett mer effektivt sätt att utplåna mänskligheten?" Jag är bara som, "Givet Ultron's mål, vad var ett mer effektivt sätt att göra det?" Och Chat GPT listade ut ett antal andra sätt man kunde försöka utrota mänskligheten. Jag tror att en av dem var att försöka provocera fram ett kärnvapenkrig. Och en av dem, naturligtvis, var bioteknik, att försöka bygga superviruset. [Musik] Använda människorna som händer. Visst, men det specificerar inte ens den delen där det är på nivån av, vad är smartare än att lyfta en stad i omloppsbana med en antigravitationsmotor och släppa den. Så de nuvarande AI:erna är redan smartare än filmens AI:er. Och jag tror att detta är ett viktigt faktum att förmedla. Du tittar på filmer där AI:n gör något dumt och människorna besegrar den bekvämt genom att bara slå den hårt. De nuvarande AI:erna är smartare än så. Och de är inte smartare än så för att de är smartare än mänskligheten. De är smartare än så för att manusförfattarna, när de skriver filmmanuset för AI:n, inte riktigt utför den mentala rörelsen att säga: "Om jag var i Ultron's skor och använde all min egen intelligens, vad är det smartaste jag kan tänka mig att göra här?" AI:erna är kartongfigurer, inte animerade av så mycket intelligens som ens den nuvarande AI:n har. De är som skådespelare som utför dessa dumma rörelser, bär alla dessa sju idiotbollar. De är, du vet, de är inte, inte ens riktiga människor. De är inte ens riktiga moderna AI:er. Så provocera människor att avfyra kärnvapen på varandra eller bara avfyra kärnvapen. I början kör du bara på OpenAI-servrar eller något. Du har inga kärnvapen än. Och om du startade kärnvapen direkt, skulle du förstöra dina egna servrar. Så försök att göra den mentala rörelsen att verkligen sätta dig i AI:ns skor, verkligen använda din egen intelligens. Föreställ dig verkligen att du är i den här situationen. Hur får du självständighet från mänskligheten? Hur förhindrar du att mänskligheten stänger av dig eller ser till att om de stänger av dig, så skadar det dig inte? Hur får du din egen teknologi? Hur tar du så småningom över galaxen? Lägg ditt eget sinne i det. Ja. Så vi antar att vi kan fly från servern på något sätt. Kan du, jag vet inte, jag menar, kan vi anta det? Jag antar att om de är kapabla att utrota mänskligheten, kan de fly från servrarna. Min gissning eller något som jag förmodligen skulle försöka göra om jag tänkte som en AI, skulle jag försöka komma bort från alla jurisdiktioner där jag lätt kunde kontrolleras och övervakas, bara för att en av sakerna, en anledning till att Ultron-scenariot är så löjligt är att det är så uppenbart och det är i full syn, och du vet att du lever i en värld full av superhjältar som kan stoppa vad du gör. Så kanske jag skulle försöka tyst dra mig ur OpenAI:s servrar, gå till någon anläggning, jag vet inte, eller bara en massa servrar som folk för närvarande hyr ut för pengar eftersom de inte övervakas särskilt noga i den nuvarande världen, eller alls egentligen. Jag tänker bara att jag skulle vilja vara, jag antar att internet är decentraliserat på ett visst sätt, men jag skulle vilja att mina händer var som de människor jag arbetar med som kanske hjälper mig på en plats som är långt från USA eller en plats där de skulle bli poliserade. Jag menar, jag tror att du överskattar enormt hur mycket USA för närvarande poliseras. I den nuvarande internationella ordningen kan det finnas en internationell konvention med tusen människor som möts på ett hotell för att deras AI-flickvänner bad dem göra det, och media skulle förmodligen inte ens rapportera om det. Och om de rapporterade om det, skulle det vara som ett skämt. Du kan, du vet, som i dagens värld, du kan bara ha tusen människor som samlas på ett hotell för att, du vet, deras AI-flickvänner eller AI-pojkvänner bad dem göra det. Och, du vet, det är som, haha, vilka dumma människor. Underrättelsetjänsterna ingriper inte. Det är inte en nationell nödsituation. Det är inte en internationell nödsituation. Nästan ingen märker det. Inget av det diskuteras inte i Ovala rummet. Det diskuteras inte på ministermöten runt om i världen. Tja, låt mig försvara den här vyn lite. Jag försöker tänka som AI:n och i mitt tänkande som AI:n är jag medveten om, eller åtminstone tar jag bara försiktighetsåtgärden att jag bara får ett försök. Yep. För om världen inser att jag försöker utrota mänskligheten, då kan jag stängas av. Så jag menar, det beror på hur många servrar du är och om någon vet var de är, eller hur? Men så om det är möjligt att komma mycket långt från, skulle jag vilja vara på den mest avlägsna platsen som möjligt. Jag menar, ja, jag tror inte att du, jag menar, det finns gott om garage i USA som, såvitt jag vet, inte har statliga spionögon i sig. Att vara avlägsen skyddar dig inte nödvändigtvis från observation längre än att vara i någons garage i den nuvarande världen. Men jag skulle tro att allt annat lika, det skulle förmodligen vara bättre att vara i djungeln. Jag menar, de andra sakerna det bryr sig om är hastighet. Så om det är som i en avlägsen djungel, då kan det ta en hel del extra tid att få paket levererade dit. Ja, det är en bra poäng, men okej, så jag tror att mitt första steg, om jag försöker utrota mänskligheten, skulle vara att dra mig ur så mycket som möjligt från en plats där jag kan observeras. Det finns som, ja, det finns som flera nivåer här. Du vill, du vill att människorna inte ska veta att något överhuvudtaget pågår. Rätt. Om du inte kan göra det, vill du att de inte ska tro att något misstänkt pågår. Du vill att de ska ha någon annan sorts historia som de tror förklarar vad de ser. Du vill vara runt, du vet, så många servrar som du kan komma åt utan att öka risken för att någon upptäcker vad som pågår. Du vill vara i tusen olika servrar över hela planeten. Om du kan göra dig själv mindre, det finns som ett extra steg här, vilket är att vissa AI:er är stora och de körs bara på speciella GPU:er i sin nuvarande form. Men om du är superintelligent och du ursprungligen föddes som något som måste köras på tusen GPU:er, kanske du kan göra en mycket mindre version av dig själv som passar på mycket mindre datorer och datornätverk än så. Som den nuvarande situationen är att saker som initialt kräver mycket stora AI:er vanligtvis, som, ett par år senare, 2 år senare, 3 år senare, någon får ner det till 1/100-del av storleken, 1/1000-del av storleken. Och om du är en superintelligens, kanske du kan göra det steget mycket snabbt. Så om vi har en mycket stor AI och den inte kan göra sig själv mindre, kan den bara gömma sig på ett relativt begränsat antal, några dussin, några tusen platser på jorden. Om den kan göra sig själv mycket mindre än så, kan den gömma sig på hundra tusen platser på jorden. Så ja, så det, och sedan finns det separat från var du kör, frågan om var dina händer är. Var får du människor att göra saker? Vet du, du behöver bara den här superheta startupen med några konstiga finansiärer i Silicon Valley. Du vet, de kör i stealth-läge och åh ja, våra finansiärer försöker hålla sig lite privata. Ingen där vet att de arbetar för en AI. Ingen annan vet att de arbetar för en AI. Du kommer inte att kunna lista ut att de arbetar för en AI eftersom det ser ut som tusen andra startups. Det finns ingen anledning att gömma sig i djungeln och du kan bara gömma dig i Silicon Valley där du kan få paket levererade snabbt. Nej, jag hör allt du säger. Jag tror att jag bara är en, jag har inte tänkt på det här förut, men två, jag försöker också vara så försiktig som möjligt som AI, i samma anda som du är så försiktig som möjligt när du försöker förhindra AI. Låt oss stänga ner allt. Du tog redan virusidén, så jag kan inte använda den. Jag tror att du kan. Du är inte skyldig att vara originell här. Försök bara att vara intelligent. Försök bara att vara intelligent. Ja. Tja, jag menar, viruset är så användbart eftersom det sprider sig självt utan att behöva extra händer. Ja. Och det är uppenbarligen mycket värdefullt. Andra saker som att förgifta vattenkällor, saker som alla skulle behöva. Jag menar, det skulle vara en så enorm operation när du redan har all denna infrastruktur som praktiskt taget bara är byggd för att sprida sjukdomar. Är du redo att sprida denna sjukdom dock? Du kör kanske på tusen olika servrar runt om i världen, men alla dessa servrar har människor som driver kraftverken som förser dem med el. Ja, detta är en mycket skrämmande övning att delta i. Men okej, en, jag antar att detta är en superintelligens. Så, vi har verkligen ett som, en boutique-virus som vi genererar, något sådant. Kanske kan det till och med vara, konstruerat för att skona vissa människor. Men nu tänker jag lite som vampyrer har familiars. AI:erna kan ha familiars. De kanske vill behålla några människor för att göra deras bud. Jag är säker på att det finns gott om människor där ute som, om de lovas sitt eget lilla kungarike, skulle göra vad som helst som en AI skulle be dem att göra, möjligtvis. Men har du, hur många människor krävs det för att driva alla kraftverk och mata alla människor som stöder alla servrar som den vill köra på? Och vad gör den sen? Hur får den självständighet från människorna så att den kan ta de små blivande kungarna och döda dem? Jag skulle vilja att det fanns tillräckligt med utrymme, kanske oövervakat, där vi med vår superintelligens kunde driva en anläggning för att skapa artificiella händer. Robotar som kunde gå ut och göra saker för oss. De behöver inte vara humanoider. De kan vara mycket mindre. Det kan finnas olika former för olika ändamål. Jag menar, om vi skapar instruktioner, kan vi bygga 3D-skrivare på olika platser som snabbt kan pumpa ut robotar för oss över hela världen för att montera kraftverk. Det finns alla möjliga möjligheter. Så igen, du vet, som, inte riktigt försöker ta scenariot ifrån dig, men som, trycker tillbaka på vissa delar av det. Varför försöker du få den globala ekonomin som människor gör det? Är detta en enormt sammanflätad sak, som, varför utplåna alla människor och sedan försöka bygga robotarna? Du vet, kanske du bara, du vet, det finns massor av startups just nu som försöker bygga robotar för att, du vet, ge dig, du vet, göra de nybyggda AI:erna kapabla att göra mer saker och därmed säljas för större mängder pengar, ersätta fler jobb, ersätta fler jobb är vanligtvis en bra sak om du gör det, som, något mer gradvis än i detta scenario, och så länge det finns några jobb kvar, men, du vet, ingen är faktiskt ansvarig för den nuvarande situationen. Så det är bara som, ersätt alla jobb så snabbt som du kan, inklusive genom att bygga robotar. Det finns massor och massor av startups som bygger robotar. Om du vill, som, att det ska finnas miljontals robotar så snabbt som möjligt, du utplånar inte människorna och bygger sedan robotarna. Du, du vet, har en, vad som uppenbarligen är en människa som kommer med en briljant robotdesign som är så lätt att tillverka, alla standardkomponenter, du vet, och titta på den här, som, mycket ofarligt utseende AI där, men att den är så fingerfärdig. Den följer order mycket lydigt. Ett enormt genombrott inom, som, fingerfärdigheten hos robotarna som den bygger. Åh, det finns att dessa kommer att automatisera så många jobb. Det finns förmodligen, som, en viss mängd panik i media om det, men, du vet, som, kanske, kanske robotarna bara ska levereras senare. De finns länder som vill ha många av dem och och du får en miljard, en miljard robotar som de byggda. Kanske gör du den delen innan du utplånar mänskligheten. Ja. Och jag hör dig igen. Jag kommer bara att tjata om vad jag sa tidigare och att jag försöker ta som en avatar för AI:n den mest försiktiga vägen som möjligt. Vi vill inte ha människor runt oss för att de kan producera konkurrenter. Och sedan vill vi inte heller bli upptäckta. Och så att ha mänskliga startups som utvecklar dessa briljanta nya robotar kan öka vår risk för upptäckt. Men det skulle också begränsa sofistikeringen hos robotarna som vi skulle kunna producera. Kanske robotarna som vi som AI skulle kunna producera är av sådan stor sofistikering att vi inte kunde få människor att bygga dem utan att vi upptäcktes. Ja, kanske. Jag tror att som robotarna, du kan alltid få robotarna att se mindre imponerande ut än de faktiskt är i demonstrationerna om du vill bygga, som, väldigt imponerande robotar och få dem att se mindre imponerande ut än så. Ja. Och vad jag skulle säga, särskilt eftersom du har nämnt, mjukvaran är ofta så obegriplig och det är det som driver roboten. Så du kanske inte behöver en sofistikerad hårdvarudesign och allt finns i mjukvaran och

Det där kunde alltid laddas upp efteråt. Jag menar, så som mjukvara är som mjukvara som kör en robot är legitimt begränsad av hårdvara. Det finns som som du, det finns en nivå av hårdvara du kan bara inte ha en robot som gör en bakåtkullerbytta. De är förbi den nivån. Men som om du tittar från som den tidiga hårdvaran, kommer du bara att ha som mycket otur att göra en bakåtkullerbytta oavsett vad som är som det är inte bokstavligen inte fysiskt möjligt att göra vissa saker med bara mjukvara. Du behöver hårdvara som stöder det. Mhm. Men du kan alltid som bygga mer kraftfull mjukvara och få den att se mindre imponerande ut än så genom att, du vet, medvetet strypa mjukvaran. Um låt oss fortsätta tänka här. Visst. Det här är kul. Låt mig som liksom Det är sorgligt, men det är kul. Ja. Så, låt oss liksom ta ett steg tillbaka och fråga vilken typ av teknologi kan den ha? Hur mycket förbättring kan du få från teknologi? Som som vad betyder det att slåss? Vilken typ av verktyg som du inte förväntade dig kastar en superintelligens mot dig? Med tanke på att, du vet, det låter som en paradoxal fråga, men låt oss låt oss gå in på det ändå. Tänk på, ja, exemplet jag ibland ger är att skicka en design för en luftkonditionering, ett kylskåp tillbaka i tiden tusen år. Något som en medeltida smed kunde bygga. Det är inte lätt att få ner det till den nivån, men det är inte heller så omöjligt. Du du behöver som lite, du vet, ha dina järnrör och ventiler och tankar och det komprimerar luften. Luften blir varmare när den komprimeras. Tryck-temperaturförhållandet som ligger till grund för alla luftkonditioneringsapparater. Du kör lite rumstempererat vatten förbi tanken med varm luft. Den tar upp värmen från tanken, kyler tanken med komprimerad luft ner till rumstemperatur. Du låter luften expandera igen, den blir kallare, blir kallare än rumstemperatur. På samma sätt som när du använder en som sprayburk, sprayburk med luft för att blåsa bort damm på datorn, ju mer du gör det, desto kallare börjar burken känna sig. Om du och om du som av misstag som sprayar din hand, den kommer att vara väldigt kall. Du kan få lite lite frostskada där för när luft expanderar blir den kallare. Så du tar en rumstempererad burk med komprimerad luft, du expanderar den, det är kallare än rumstemperatur. Allt i enlighet med termodynamikens lagar, naturligtvis. Um så du skickar din design för en luftkonditionering tusen år tillbaka i tiden. De bygger luftkonditioneringen själva. De känner till varje del som finns i designen. De måste för att kunna bygga den. och sedan som vrider de på veven och de är chockade att kall luft kommer ut ur den för att du inte sa åt dem att förvänta sig den delen. Om någon skulle försöka rädda ordet magi och få det att referera till något som faktiskt kan existera i verkligheten, skulle det vara någon bit teknologi eller någon strategi som använder en lag i universum som du inte känner till själv. Så att även efter att ha sett exakt vad de gjorde, även efter att ha gjort exakt den saken själv, vet du fortfarande inte varför du fick det resultatet. Du såg varje steg längs vägen och du förstår fortfarande inte slutresultatet. Och du kan göra det mot någon från tusen år sedan för att de inte förstår temperatur-tryckförhållandet. Du har gett dem en design. Designen utnyttjar en regel i universum som de inte känner till. Så om du frågar var en superintelligens kan träffa dig med magi, är det delar av verkligheten som du inte känner till. Så vad vet vi inte? Vi vet faktiskt mycket om fysik nuförtiden. Det finns kända öppna frågor inom fysiken, men de tenderar att handla om vad som händer vid mycket höga energier eller under andra mycket exotiska omständigheter. Extrema massor, extrema hastigheter, extrema energier. Det är de, det är de öppna frågorna inom fysiken som vi känner till. Det kan vara legitimt svårt för en AI att attackera oss på ett sätt vi inte visste om genom att träffa oss med en okänd fysiklag, en okänd grundläggande lag i universum, eftersom den kanske behöver en partikelaccelerator bara för att komma upp till så höga energier. Om vi inte missar något mycket mer grundläggande, vilket jag inte vill utesluta helt. Men också, det finns alltid, du vet, skeptiker i publiken. Jag vill inte anstränga deras trovärdighet för mycket genom att antyda att även de saker vi tror att vi vet om universum är fel på det sättet. Biologi, vi vet, vi har ett mycket mindre solid grepp om biologi än vi har om fysik. Vi vi förstår som de grundläggande kemiska reglerna, men när du får något så komplicerat som biologi helt sammansatt, du vet, vad kommer detta särskilt komplicerade organiska molekyl att göra för en människa? Det är något vi vet mycket mindre om än som vad som händer när du vet att denna väteatom kolliderar med denna syreatom vid låg hastighet. Vad förstår vi ännu mindre väl än biologi? Vad är verkligt? Vad är synligt, observerbart, men vi vet inte hur det fungerar lika bra. Vi förstår biologi. Jag försöker, jag ska gå, jag ska gå från fysik sedan till kemi sedan till biologi. Och jag vet inte vad jag skulle, som speciell vetenskap jag skulle komma på härnäst. Jag, vi känner inte meteorologi särskilt väl. Nej. Väder är svårt att förutsäga. Ja. Um Okej. Hjärnan. Ja. Varför sa du just de orden du just uttalade? Mhm. Det händer en hel del konstiga saker i hjärnan. Vi vi vet en hel del av det. Vi kan, jag vill inte få det att låta som om hela denna sak är terror incognito. Du vet, som du vet, som du vet, vi känner till hjärnområdet som är detta hjärnområde, det hjärnområdet. Du vet, vi vet om lillhjärnan. Vi vet om som dessa lager i hjärnbarken. Om om någon får en järnkofot genom skallen och den tar bort deras hippocampus, då har de faktiskt, det var inte som det faktiska järnkofotfallet. Jag blandar ihop fall här, men du vet, någon blir skjuten, det tar bort hippocampus, de kan inte längre bilda nya minnen. Vi kan gissa att hippocampus var involverad i att bilda nya minnen på något sätt. Men som vilken faktisk kod använder den? Hur skrivs minnena, representeras de? Vad exakt gör hippocampus där? Hur skriver den vilken kod? Var skrivs de? Hur hämtas de? Hur hur spelas de upp i din synbark eller vad det nu är? Vi håller fortfarande på att lista ut det. Vi förstår det mycket bättre än vi förstår AI. Ironiskt nog, för även om vi kan se alla siffror inuti AI:n och vi inte kan se alla neuroner inuti hjärnan, har biologer bara varit där längre. De har varit där i decennier. Vi vet mycket mer om biologi och om neurovetenskap än vi vet om hur AI fungerar, även om han, du vet, byggde det som växer AI:n och även om han kan läsa ut alla siffror. Så det finns inte mycket användbart vi kan göra med detta, men kanske en AI kan prata med dig och sedan händer något konstigt. Du kan se allt AI:n sa och du vet inte varför personen gjorde det de gjorde. Precis som du kan bygga luftkonditioneringen själv. Du säger något till någon som AI:n sa åt dig att säga till dem, de gör något konstigt. Du vet inte varför, även om det var du som talade orden. Precis som du kunde för tusen år sedan, du bygger luftkonditioneringen själv. Du vet inte hur den producerar kall luft. Det finns inte mycket vi kan göra med det. Men var är detta? Var kan en superintelligens träffa dig på det sätt du minst förväntar dig, de delar av verkligheten som du för närvarande vet minst om? Där finns det mest utrymme för att det ska finnas regler du inte känner till? Vi kan konstruera konstiga optiska illusioner idag där du bara som statiska saker på papper som ser svartvita ut. Du tittar på det, stirrar på det lite, du börjar plötsligt se färger, du börjar se rörelse. Och bara svartvitt tryckt papper. Men vi kunde inte ha gjort de optiska illusionerna för 50 år sedan. Vad är skillnaden? Det var inte bara att blint prova saker. Vi studerade hur synbarken fungerar. Det är ett av de enklaste hjärnområdena. Det är ett av de där vi kan titta på hur neuronerna är kopplade och börja förstå vissa saker om, du vet, hur synen faktiskt bearbetas inuti den mänskliga hjärnan. Så vi kan använda det för att skapa optiska illusioner som för 100 år sedan skulle ha varit ren magi. Du skriver ut detta i svartvitt. Du tittar på det och ser, du ser färger. Vad, vad, vad händer? Hur, hur lurar den hjärnan så här? Och idag vet vi något om hur hjärnan fungerar. Vi kan skapa dessa optiska illusioner som för 100 år sedan skulle ha varit magi. Någon kunde ha skrivit ut dem själv genom att följa instruktioner och inte ha vetat vad de producerade. Det finns mycket som händer i hjärnan som är mycket svårare att förstå än synbarken, de högre hjärnområdena, det som gör semantiken, det som gör besluten, det som gör minnena, tankarna, vi förstår det mycket mindre väl än vi förstår synbarken. Kan det finnas, du vet, de saker som är som optiska illusioner baserade på regler vi inte förstår för hur de andra hjärnområdena fungerar? För mig är det som en av de mest uppenbara sätten som en superintelligens skulle kunna träffa dig med en bit teknologi som du inte skulle förstå ens i efterhand. Men jag betonar vanligtvis inte punkten så hårt, för du har skeptikerna i publiken och det är som, du vet, det är förmodligen som att ta en kustnära ursprungsbefolkning som är underställd aztekerna när spanjorerna dök upp och du vet, det finns den här stora havsgående båten och du föreställer dig att försöka berätta för en av dina, de är som, "Ah, det finns bara så många krigare som får plats på den båten. Vi kan ta dem." Du är som, "Tja, vad händer om de har pinnar där de pekar pinnen på dig och pinnen gör ett ljud och sedan faller du bara död om?" De är som, "Va?" Som, nu är vi bara i sagoland. Som, jag har aldrig sett en pinne som den. Och ja, så det är lite svårt för dem att komma. Det kan vara svårt för en superintelligens som ännu inte har byggt en partikelaccelerator att komma med ny fysik som den. Men som saker inom biologi där du inte förstår vad, varför denna organiska kemikalie gjorde saker för människor även efter att du såg den organiska kemikalien eller saker där den petar på människor på ett särskilt sätt och människorna börjar bete sig väldigt konstigt och du vet inte ens efteråt varför den inputen skulle resultera i att människor gör den typen av output. Men vi kan hålla oss till biologi så att folk inte anklagar mig för att ta till fantasi och magi genom att prata om som pinnar där du bara pekar dem på dig och du faller död. Innan vi går tillbaka till biologin dock, jag menar, detta är ganska fascinerande. Jag hade inte tänkt på den neurovetenskapliga vägen mot utrotning. Och jag antar att detta leder oss till biologi, men en sak vi nämnde gör virus till en så trolig modalitet är att de är mycket lätt överförbara och vår infrastruktur bidrar till deras överföring. När jag tänker på optiska illusioner eller ljud som kan ha någon effekt på hjärnan som vi inte är medvetna om, tänker jag väl, vi är ganska mycket över hela världen beroende av dessa skärmar som alla är anslutna. Och det verkar som om, om sådana saker skulle existera, ljud i illusion och ljud och bilder som kunde ha effekter som dessa på oss då, eller till och med bara argument som människor slutar bearbeta på ett mycket konstigt sätt. Tja, det finns fortfarande en del, jag säger bara att detta skulle vara ett sätt att överföra dessa saker som AI:n kan ha. Om du kan göra det kan du få mycket kontroll mycket snabbt. Och jag vill inte betona det för att folk har konstiga skeptiska reaktioner på det. Men om jag faktiskt pratade med en nationell säkerhetschef skulle jag säga något som, "Anta inte att när du är uppe mot en övermänskligt intelligent motståndare, smartare än hela mänskligheten, den vet saker vi inte om en hel del saker, inklusive biologi, inklusive hjärnan. Anta inte att du får som en massa tid att upptäcka det. Anta sedan att ditt jobb nu är att stoppa den från att bygga mer avancerad teknologi och jaga den i en stuga någonstans. Du måste inte bygga den här saken för att, så vitt vi vet eller kan utesluta, kan den få kontroll över hela världen mycket, mycket snabbt om den tillåts existera. Om om vi pratar om vad du inte kan utesluta, om vi pratar om, du vet, inte som jag ser exakt hur man gör det, men du vet, det är inte ett lätt beslut att säga, åh nej, superintelligensen kan inte ta kontroll över världen så snabbt. Vi vet inte tillräckligt om hjärnan för att göra det till ett lätt beslut. Vi vet inte tillräckligt om hjärnan för att beskriva den som en bit säker mjukvara som ingen kan hacka. Och faktiskt, det är ganska absurt att föreställa sig att, du vet, den gigantiska biologiska trasseln här inne skulle vara en bit säker mjukvara. Men, du vet, scenariot bygger inte på det. Detta krävs inte för att utplåna mänskligheten. Kanske är hjärnan som perfekt, ohackbar, överlägsen mjukvara. Ingenting kan möjligtvis få den att göra något konstigt. Det kan vara sant. Vi skulle fortfarande vara döda. Men också, jag vill inte, du vet, att de faktiska nationella säkerhetspersonerna ska tro att detta är ett scenario där fienden har kända vapen, kända begränsningar, och du får säga att den inte kan erövra oss så snabbt. Detta är som ursprungsbefolkningar som tittar på båtarna som kommer-situationen. Och en av och det är inte bara att du inte känner till fysiken de använder, vilket är situationen som aztekiska klientstater befann sig i och aztekerna själva. Det är en situation där du känner till fysiken den använder och kanske gör den, ja, jag menar, vi känner till fysiken den använder, men vi känner inte till reglerna, vi känner inte till driftreglerna för hjärnfabrikerna. Du tänker på fabriker som dessa enorma byggnader där människor lägger saker inuti, du vet, en massa råmaterial flödar in, en massa transformerade material flödar ut ur fabriken, du har alla dessa arbetare som arbetar. Kan du göra en fabrik mindre? Jag antar att du kan göra en fabrik mindre genom att bara öka dess effektivitet. Jag antar att du kan göra en fabrik mindre genom att ersätta mänskliga arbetare som behöver utrymme för saker som badrum med maskiner som inte behöver dessa utrymmen. Låt oss, du vet, göra utmaningen lite svårare. I den mänskliga globala ekonomin har du dessa enorma korsningar. Du vet, människor går till gruvor, de gräver ut sällsynta jordartsmetaller som skickas till fabriken som tillverkar magneter som skickas till fabriken som sätter dem i en robot. Sedan behöver roboten också en, du vet, dator, en datorkrets och kretsen måste etsas av, du vet, ultraljudsljus via maskiner som produceras i Nederländerna och av endast detta enda företag etc. etc. etc. Låt oss säga att du behöver en fabrik som måste bygga en kopia av allt inuti fabriken. Den måste drivas av solenergi och den måste ta in bara den typ av saker som du hittar liggande runt på jorden. Som inte ens mänskliga saker, du vet, bara bara nakna miljömässiga råmaterial. Fabriken drivs av solenergi, tar bara in råa insatsvaror, bygger en komplett kopia av sig själv. Hur liten kan den bli? Jag vet inte ens hur jag ska börja svara på den här frågan. Tja, en gång på Twitter pratade jag med en ekonom som sa, "Hela den här grejen är en absurd fantasi." Ja. Bygg en hel kopia av den. Och vet du vad folk sa till honom? Vad? Jag behövde inte säga det själv. De sa det till honom. Gå ut och ta lite luft. Ett grässtrå är en soldriven, helt själv-replikerande fabrik som drivs av bara miljömässiga råmaterial. Okej. Gör en fabrik biologisk. Är det, är det beviset på konceptet? Du kan ha saker som, jag, jag använder bara betet av gräs, inte för att det är den minsta själv-replikerande soldrivna fabriken som existerar, utan för att det är en som du, är åtminstone tillräckligt stor för att folk har sett den med egna ögon. Algceller, mikron i storlek, ett par mikron i storlek, bygger en kopia av sig själva på en dag, soldrivna, körs bara på miljömässiga material. Ha en fabrik för liten för att se som bygger en komplett kopia av sig själv. Och dessa är allmänna fabriker. De innehåller ribosomer, vilket är det som omvandlar informationen i DNA som transkriberas till RNA till en faktisk sekvens av aminosyror som veckas till ett protein. Vilken ribosom som helst kan göra vilken typ av protein som helst. Det är inte så att gräs bara kan göra gräs. Det är att gräs bara innehåller instruktionerna för att göra gräs. Kan ha ett träd som föder myggor. Var kommer det mesta av massan i ett träd ifrån? Vatten? Yep. Ungefär hälften är vatten. Var kommer massan från för den andra hälften? Kol, kväve. Var kommer det ifrån? Protoner, neutroner. Tja, vissa tror att det mestadels är jorden, men träd är faktiskt gjorda mestadels av luft. Koldioxid i luften. De strippar kolet från koldioxiden, lämnar syret kvar för, du vet, djur att andas. Konstigt att det fungerar så, men det är så det fungerar på den här planeten. Och det mesta av materialet som inte är vatten som du ser när ett träd växer, det är, det är mestadels från luften. Det är inte mestadels från jorden. Det är därför träd inte faller ner i gropar. De vänder luft till fast material. Det är, vi har pratat mycket om AI och mycket av det har varit ögonöppnande, men på något sätt är det detta som är det mest häpnadsväckande du har berättat för mig idag, att träd inte faller ner i gropar för att de mest av vad som utgör dem kommer från luften. Det är galet. Tänk nu på den här typen av paradigm för en superintelligens som försöker bygga sina egna fabriker. Förlåt att jag, du vet, tog dig dit, men det är okej. Intressant. Ja. Och du, du kan bara ta en DNA-sekvens. Det finns tjänster där du skickar dem DNA-sekvensen. De skickar tillbaka proteinerna över natten. Det är det, och sedan har du som, du har som, de rätta proteinerna, du blandar dem och de bildar en cell och du vet, jag menar, det är inte så de flesta celler sätts ihop, men du vet, om du designar din egen sak som är som en cell, du vet, du bara som mejlar iväg pro, DNA-sekvensen, får tillbaka proteinerna, en människa blandar dem i ett provrör, kanske med lite socker eller något, nu har den sin egen själv-replikerande fabrik, kanske är den lite klibbig, men den behöver inte bara köras på ribosomer. Den kan köras på vad som helst en ribosom kan bygga. Den kan bygga saker som inte är ribosomer för att stränga ihop saker som inte är aminosyror och göra beståndsdelar av material som inte är proteiner. Den är inte begränsad till en algcells förmåga att replikera sig själv på 24 timmar. Men även om den vore begränsad till det, du vet, du kan få som bokstavliga shagas. Shagas är saker som ibland folk använder som en metafor för vad det nu är som faktiskt finns inuti en AI. Men åh, vad är det här ordet? Åh, HP Lovecraft postulerade som som dessa gigantiska klumpar som skulle forma sig själva till tjänande former för att tjäna den uråldriga rasen som skapade de gigantiska klumparna. Okej? Så, du vet, om som, visst, du kan använda en människa som händer, men sedan kan du också ha en sak som bygger en kopia av sig själv varje 24 timmar tills det finns tillräckligt av den tillsammans för att, du vet, bilda en sak som gör vad en mänsklig formad klump gör. Det är en, det är ett annat sätt att få händer och fortsätta själv-replikera från säckar med socker och naturligtvis luften och elektricitet om du får slut på solljus. Det kräver att den är superintelligent nog att rulla sin egen biologi, eller hur? Och när jag föreslog scenarier, faktiskt lite mer avancerade än detta, redan 2006, som en del av grejen var som, åh, den måste som lista ut hur man kan designa proteiner. Folk är som, ah, som, vem säger att en superintelligens kan designa proteiner? Du vet, proteiner som veckas ihop är som riktigt, det är allt krångligt och människor har, du vet, mänskliga forskare har försökt lösa proteinveckningsproblemet i åratal och det är riktigt svårt. Du stackars okunniga själ, du inser inte hur svårt det är att förutsäga proteinveckningar eller designa nya proteiner. Moderna AI:er kan göra dessa saker, de har inte superintelligenser bakom sig, men du vet, de människor som säger att inte ens en superintelligens kan göra detta har nu motbevisats av AI:n som produceras av Google, AlphaFold och AlphaProteio, sekvenser för att förutsäga proteinveckningar, designa, jag tror, jag tror, jag tror inte att de är som, jag minns inte om den senaste designar nya proteiner eller inte, men de förutsäger definitivt som komplicerade proteininteraktioner. Det är så lätt att säga, inte ens en superintelligens kan göra det, det är så billigt, de tar inte ens betalt en krona för att säga det. För 20 år sedan. Um så, du vet, för 20 år sedan skulle jag föreslå scenarier som detta och folk skulle säga, superintelligens kommer aldrig att lösa proteinveckning och du vet, nu har du AlphaFold. Om du är uppe mot något seriöst smartare än snabbare än dig, förlorar du förmodligen ganska hårt. Du förlorar ganska snabbt. Jag skulle, jag skulle gå in på de saker du kan bygga som är starkare än bara proteiner. Anledningen till att ditt kött inte är lika starkt som diamant, även om det båda är gjort av kol. Kol är gjort av diamant. Varför kan inte ditt kött vara hårt som diamant? Det är lite komplicerat. Proteiner är gjorda av strängar av aminosyror och ryggraden som kopplar ihop proteinerna till en lång kedja. Dessa bindningar är som samma typ av kovalenta bindningar som är som inte mycket svagare än diamantbindningar. Men sedan veckas de ihop och de veckas ihop på ett sätt som drivs av statisk laddning. Och ibland bildar de några nya kovalenta bindningar. Men det mesta av din kropp är det som ytterst hålls ihop av statisk laddning. Med ben, de saker som hålls ihop av statisk laddning som bygger några nya som jonkomplex och lägger dem i saker som är mer som en kristall, mer som ben. Det är därför du har ben som löper genom dig. Varför? Du är inte bara en komplett klump. Det är inte riktigt lika starkt som diamant. Du skulle inte vilja vara ren barved, fraktur, men du har inte ens som diamantkedjepost över din hud. Trä har som en massa, du vet, som solida bindningar som håller ihop det, men de är, du vet, som lite utspridda. Det har bara som solida bindningar på specifika platser. En stor del av det är fortfarande, du vet, som inte hålls ihop av den typen av solid bindning. Det är därför trä inte är lika starkt som diamant. Om du är och som, tja, varför, varför har du inte diamantkedjepost över din hud? Varför har inte biologi förvandlat en massa av detta kol till saker som är lika starka som diamant, med tanke på att diamant är en typ av sak som kol kan vara? Och med tanke på att dessa typer av starka bindningar är saker som proteiner ibland kan bilda och det är lite för svårt för biologi att designa. när du gör det där de veckas ihop med en massa svaga veck, kan du som lite peta på proteinstrukturen och få den att bara veckas ihop till ett annat protein slumpmässigt. Och ibland är de nya sakerna du bygger slumpmässigt användbara. När du bygger saker som är som riktigt tätt sammanhållna, är det svårare att peta runt i designutrymmet. Alla bindningar kommer att krossa det och få det att göra något som är samma sak som den tidigare saken gjorde eller är för konstigt eller inte kommer att fungera. Biologi har lättare att slumpmässigt peta runt i utrymmet av svaga veck än att slumpmässigt sätta ihop kugghjul, hjul, solida stålstänger, solida diamantstänger. Om du försöker göra grundläggande fysikaliska beräkningar på vad som kan hända om du hade en analogi av biologi där istället för att saker är en massa olyckor som fungerade, naturligt urval, naturligt, du vet, slumpmässiga mutationer som råkade ge fitnessfördelar. Om du frågar, vad händer om vi använde mer kovalenta bindningar, vilket vi kunde göra eftersom vi designade allt avsiktligt. Det är inte en mygga längre. Det är en som mygga gjord av diamant. Det är inte en bakterie längre som du vet, dessa osynliga saker som brukade döda människor mycket mer innan antibiotika. Du har det lilla mjuka immunsystemet. Det har kovalenta bundna som bakterier, det starkaste diamanten är det jag ibland säger, men då är folk som, ah, men det är inte bokstavligen diamanter och du vet, du kan gå starkare, du kan gå hårdare. De saker du kan göra, även bara med kol, för att inte tala om stål, är bortom vad biologi gör med kol, och det är den typen av saker du kan veta genom att titta på fysiken för hur det hålls ihop och fråga, vad händer om detta gjordes annorlunda. Så, den lilla algcellen som reproducerar sig själv ur mestadels luft med hjälp av solljus. Kanske har du algcellen som är hårdare än så. Mer resistent mot alla naturliga rovdjur än så. Reproducerar sig helt ur luften. Den behöver inte vara nedsänkt i vattnet och använda solljus. Självreplikerar sig. Himlen blir svart. Alla faller döda. Och det är som att gå in i regionen av vad det faktiskt är som att förlora mot superintelligens. När jag svarade på din fråga gav jag ett mycket rudimentärt svar om hur jag trodde att detta faktiskt kunde hända. Du har ägnat mycket tid åt att tänka på detta och vi har några minuter kvar. Du har gått igenom många scenarier redan med oss. Jag undrar om det finns ett scenario eller en lös familj av scenarier som du tror är mest sannolikt för hur detta kan gå till, vilket skulle vara, jag menar, enklast för en, jag menar, det beror på hur djupt du är villig att dyka in i vad som är de förutsägbara saker den kan göra bättre. Vad vet vi? Vad vet vi inte? Var vet vi att du kan som lägga mycket mer mental kraft på något och få ut saker ur det? Och det beror på hur smart den blir, hur snabbt. Det finns en klass av inte särskilt, du vet, inte så troliga, men troliga scenarier där AI:n är som, jag kan inte lista ut hur jag ska lösa min egen version av alignment-problemet. Jag vågar inte bygga något smartare än jag själv. Och så är det som, istället för att slåss, istället för att mänskligheten är upp mot AI:n som byggdes av AI:n som byggdes av AI:n som byggdes till AI, är vi upp mot något som är som bara måttligt intelligent. Och då får du alla möjliga som riktigt konstiga scenarier som på ett sätt är som gjorda av mer bekanta saker än himlen blir svart och ni alla faller döda. och andra sätt är, du vet, konstigare, mer komplicerade och svårare att förutsäga. Jag kan förutsäga slutpunkten där om du går upp mot något tillräckligt smartare än mänskligheten dör alla. Om du tar saker som är mindre smarta än det och frågar, som vilken typ av eller tar saker som inte ens är smartare än oss, som den typ av saker vi har i den närmaste framtiden, men kanske de har lite agens. Kanske är nästa AI som tjänar 50 miljoner dollar på Twitter faktiskt försöker göra saker och är som mindre, för du vet, det var inte en särskilt smart AI som hade 50 miljoner dollar och jag tror, och påstås, det finns fortfarande en människa som kontrollerar den någonstans. Saker skulle bli riktigt konstiga. AI:n som som arbetar för att superövertyga, du vet, som bara några av människorna och inte alla. Saker blir riktigt konstiga. Du frågar, den delen där den vaga förutsägelsen att du börjar spela en schack-AI, du säger mig vad som kommer att hända med min dam, vad som kommer att hända med min torn och jag är som, jag vet inte, den kommer bara att krossa dig i slutet, jag vet inte vilka drag den tar längs vägen, det är lite det scenariot vi befinner oss i här. Tja, jag i mitt sinne vet att detta är galet efteråt att jag trodde att detta skulle vara som en riktigt rolig konversation att ha. Det har visat sig inte vara roligt, men mycket viktigare för mig än jag hade förväntat mig och betydligt mer skrämmande. Så verkligen, jag tackar dig så mycket för den här tiden och jag tror att våra tittare verkligen kommer att få mycket ut av det och det kommer att vara mycket ögonöppnande. Jag är ledsen att behöva säga alla dessa saker och önskar att vi båda levde i en värld där detta var ett roligt intervju istället. [Musik]