Czy Bóg to tylko programista z wyższego wymiaru? | Nick Bostrom

Argument symulacyjny pochodzi z mojego artykułu opublikowanego w 2003 roku. Jedna z możliwości jest taka, że żyjemy w symulacji komputerowej stworzonej przez jakąś zaawansowaną cywilizację. Ale funkcjonalnie jaka jest różnica między stwórcą, który powołuje wszechświat do istnienia słowem, a symulatorem, który uruchamia kod? To jest jednak zgodne również z możliwością istnienia bardziej fundamentalnego Stwórcy. To nie ma być metafora. Jeśli więc istnieje coś, co mogłoby być dowodem na hipotezę symulacji, to brak tego czegoś jest dowodem przeciwko hipotezie symulacji. Jeśli znajdujemy anomalię, mówisz, że to dowód. Czy to nie jest dokładnie ta niefalsyfikowalność, za którą krytykujemy religię? Siedzimy tuż u progu stworzenia super inteligencji i rozmawiamy o perspektywie czegoś, co może być najważniejszym wydarzeniem w historii ludzkości. Jesteśmy naprawdę bardzo blisko.

Nick Bostrom to jeden z najbardziej kontrowersyjnych myślicieli naszych czasów, filozof z Oxfordu, autor słynnego argumentu symulacyjnego i bestsellera Super Intelligence. Jego słynny argument symulacyjny stawia pytanie: Jeśli żyjemy w świecie stworzonym przez wyższą inteligencję, czym różni się symulator od Boga? W tej rozmowie Bostrom mówi o granicy między technologią a teologią, życiu po śmierci, cyfrowych umysłach i przyszłości człowieka w świecie sztucznej inteligencji.

Sprawdź rocketjobs.pl. Portal z tysiącami ofert pracy w branżach finanse, inżynieria, sprzedaż, transport, marketing i wielu innych. Combut Group zostało sponsorem programu mentoringowego Byon Fellowship dedykowanego najwybitniejszym polskim umysłom ścisłym. Oryginalna ścieżka dźwiękowa dostępna w ustawieniach filmu Nick. To zaszczyt cię gościć. Czy możesz wyjaśnić nam trylemat symulacji?

Argument symulacyjny pochodzi z mojego artykułu opublikowanego w 2003 roku. Pokazuje on, że co najmniej jedno z trzech następujących twierdzeń jest prawdziwe. Nie mówi nam, które z nich jest prawdziwe, ale przedstawia trzy możliwości.

Pierwsza, prawie wszystkie cywilizacje znajdujące się na naszym obecnym etapie rozwoju technologicznego wymierają zanim osiągną technologiczną dojrzałość. Innymi słowy, nie udaje im się dojrzeć technologicznie.

Druga możliwość jest taka, że wśród wszystkich technologicznie dojrzałych cywilizacji istnieje silna zbieżność. Wszystkie tracą zainteresowanie tworzeniem szczegółowych symulacji komputerowych ludzi podobnych do ich historycznych przodków albo wariacji na ich temat. Na etapie technologicznej dojrzałości miałyby przecież niewyobrażalnie potężne komputery. Można to w pewnym sensie podstawowo modelować. Mogłyby istnieć komputery wielkości planet zbudowane dzięki nanotechnologii, dysponujące ogromnymi zasobami obliczeniowymi. Takie cywilizacje mogłyby rozprzestrzeniać się po galaktyce, budując tego typu struktury, a mimo to nie wykorzystywać nawet maleńkiej części tych zasobów do uruchamiania symulacji przodków.

Trzecia możliwość jest taka, że żyjemy w symulacji komputerowej stworzonej przez jakąś zaawansowaną cywilizację. Argument symulacyjny pokazuje więc, że co najmniej jedna z tych możliwości jest prawdziwa. Myślę, że to ważne ograniczenie dotyczące tego, w co można spójnie wierzyć, jeśli chodzi o strukturę świata i nasze miejsce w nim.

Chodzi o stwórcę. W trzeciej możliwości nasz świat miałby stwórcę w tym sensie, że ludzie, którzy zbudowali komputer, na którym jesteśmy uruchomieni, dosłownie stworzyliby nas i nasz świat. To jest jednak zgodne również z możliwością istnienia bardziej fundamentalnego stwórcy. Na przykład Bóg mógłby stworzyć wszystko, nie? W tym tę zaawansowaną cywilizację, która następnie buduje komputer, na którym my działamy. To trochę tak jakbyś hodował mrówki w szklanym słoiku. W pewnym sensie można powiedzieć, że stworzyłeś te mrówki, bo je rozmnożyłeś, ale jednocześnie ciebie stworzyli twoi rodzice, a być może jakiś boski stwórca stworzył całość. To jest więc logicznie spójne zarówno z istnieniem takiego bardziej fundamentalnego stwórcy, jak i z jego brakiem. Ale funkcjonalnie jaka jest różnica między stwórcą, który powołuje wszechświat do istnienia słowem, a symulatorem, który uruchamia kod?

To nie ma być metafora w dosłownym sensie. Jeśli trzecia hipoteza jest prawdziwa, wtedy świat wokół ciebie, mikrofon, na który patrzysz, twój sweter, wszystkie te rzeczy istnieje jako informacja przetwarzana wewnątrz komputera zbudowanego gdzieś przez zaawansowaną cywilizację. Ten komputer ma jakieś źródło zasilania, generuje ciepło, które trzeba odprowadzać i tak dalej. To różni się od idei, z którą czasem bywa mylone, że na fundamentalną fizykę można patrzeć w kategoriach przetwarzania informacji. Zamiast wyobrażać sobie podstawowe składniki rzeczywistości jako coś w rodzaju zderzających się kul bilardowych, można myśleć o nich jako o bitach. Dla mnie jest to raczej pytanie o to, która rama teoretyczna jest najbardziej elegancka do porządkowania naszych podstawowych założeń fizycznych. Ale niezależnie od tego, która z tych interpretacji okaże się trafniejsza, osobnym pytaniem pozostaje to, czy nasz świat został dosłownie powołany do istnienia przez fizyczny proces, w którym zaawansowana cywilizacja stworzyła komputer, a następnie użyła go do zaimplementowania nas.

W odniesieniu do trylematu symulacji nie uważasz, że tak kontrowersyjna teza naraża fizykę na zarzut niefalsyfikowalności? Jeśli jesteś bajesistą, myślisz w kategoriach prawdopodobieństw, a one muszą sumować się do jednego. Jeśli więc istnieje coś, co mogłoby być dowodem na hipotezę symulacji, to brak tego czegoś jest dowodem przeciwko hipotezie symulacji. Możemy więc zapytać, czy istnieją możliwe obserwacje, które zwiększyłyby prawdopodobieństwo hipotezy symulacji? Mamy argument symulacyjny, który mówi, że co najmniej jedna z tych trzech możliwości jest prawdziwa. Jedną rzeczą, która zwiększyłaby prawdopodobieństwo hipotezy symulacji byłby dowód przeciwko jednej z dwóch pozostałych alternatyw. Na przykład jeśli sami zbliżymy się do poziomu technologicznej dojrzałości, który pozwoliłby nam tworzyć symulację przodków, byłby to silny dowód przeciwko pierwszej możliwości. Jeśli uda nam się osiągnąć dojrzałość technologiczną, to prawie na pewno nie jest prawdą, że praktycznie każda cywilizacja na naszym obecnym etapie rozwoju nie jest w stanie tam dotrzeć. Podobnie jest z drugą możliwością. Jeśli w momencie osiągnięcia technologicznej dojrzałości nadal będziemy zainteresowani tworzeniem symulacji przodków, byłby to silny dowód przeciwko drugiej alternatywie. Wyobraźmy sobie więc sytuację, w której osiągnęliśmy technologiczna dojrzałość. Stworzyliśmy ogromne komputery i właśnie mamy nacisnąć przycisk, który uruchomi generowanie symulacji przodków. W momencie, w którym naciskalibyśmy ten przycisk, mielibyśmy bardzo mocny dowód na to, że sami jesteśmy w symulacji. Są też inne możliwości. Na przykład gdyby przed tobą pojawiło się okienko z komunikatem: "Jesteś w symulacji", kliknij tutaj, aby dowiedzieć się więcej. Byłby to dość rozstrzygający dowód. Wyraźnie więc istnieją możliwe obserwacje, które mogłyby być dowodem na hipotezę symulacji. A zatem ich brak, wszystko co sprawia, że bardziej prawdopodobne staje się nasze wymarcie przed osiągnięciem technologicznej dojrzałości albo wszystko, co wskazuje, że dochodzimy do przekonania, iż nigdy nie powinniśmy uruchamiać symulacji przodków, a także brak wyskakujących okienek. To wszystko jest probabilistycznym dowodem przeciwko hipotezie symulacji.

Jeśli nie znajdujemy błędów, mówisz, że symulacja jest dobra. Jeśli znajdujemy anomalię, mówisz, że to dowód. Czy to nie jest dokładnie ta niefalsyfikowalność, za którą krytykujemy religię? Ludzie krytykują religię z wielu różnych powodów, ale nie uważam, że fakt, iż nie widzimy błędów jest pewnym dowodem przeciwko hipotezie symulacji. To po prostu bardzo słaby dowód, ponieważ prawdopodobne jest, że superinteligencje odpowiedzialne za ogromną większość symulacji, które ostatecznie mogłyby zostać uruchomione, miałyby również zdolność zapobiegania błędom wykrywalnym przez istoty i obserwatorów znajdujących się wewnątrz symulacji. Jeśli nie chciałyby, żebyśmy zauważyli jakiekolwiek błędy, myślę, że byłyby w stanie temu zapobiec, a w razie potrzeby mogłyby nawet później wymazać nasze wspomnienia.

Większość teologów mówi, że Bóg jest konstruowany, tworzony przez logikę. Jeśli zarówno stwórca, jak i symulator działają w ramach tych samych reguł, jaka jest dla ciebie istotna różnica? Symulatorzy przypuszczalnie podlegaliby znacznie większej liczbie ograniczeń niż tylko prawom logiki. Być może Bóg może zrobić wszystko, co jest logicznie spójne, ale symulatorzy podlegaliby ograniczeniom fizycznym obowiązującym na ich poziomie rzeczywistości. Musieliby zbudować ten komputer. Musieliby zadbać o to, żeby miał wystarczającą pojemność pamięci. Musieliby go naprawiać, jeśli by się zepsuł. istniałby limit liczby obliczeń, które mogliby wykonać. Byliby więc bardziej ograniczeni i podlegaliby różnym ograniczeniom obowiązującym na ich poziomie rzeczywistości. Może mieliby problemy ze swoimi sąsiadami i musieliby bronić swoich struktur. Może musieliby mierzyć się z różnymi naturalnymi katastrofami. Z naszego punktu widzenia wewnątrz symulacji mamy oczywiście tylko bardzo niewielkie pojęcie o tym głębszym poziomie rzeczywistości.

Możemy jednak zauważyć, że hipoteza symulacji zdaje się poszerzać przestrzeń możliwych scenariuszy przyszłości. Są bowiem pewne rzeczy, które przynajmniej jeśli ktoś ma naturalistyczny światopogląd wydają się mało prawdopodobne. Załóżmy, że ktoś nie jest religijny. Może wtedy myśleć po śmierci. Właściwie nie ma dużej nadziei na życie po śmierci, bo widzimy, że mózg dosłownie gnije, albo jeśli ciało zostaje skremowane, wszystkie cząsteczki się rozpraszają, więc wszystkie twoje wspomnienia zostają wymazane. Jeśli jednak żyjemy w symulacji, to na przykład życie po śmierci staje się moim zdaniem znacznie bardziej prawdopodobną możliwością. Co właściwie daje nam hipoteza symulacji? Czego nie daje teologia? Po pierwsze, teologia nie jest jedną rzeczą. Istnieje wiele różnych teologii. Hipoteza symulacji pozwala zadawać nowe pytania, ale przede wszystkim pozwala odpowiadać na pewne pytania. Myślę, że głównym powodem, dla którego warto interesować się argumentem symulacyjnym, jest to, że stoi za nim konkretna linia rozumowania. Nie weszliśmy w nią tutaj szczegółowo, ale właśnie to czyni ją dla mnie interesującą, a nie samo.

Wyobraźmy sobie, że to wszystko jest snem. Skąd mamy pewność, że nie śnimy? A może istnieje demon, który nas zwodzi? Takie sceptyczne spekulacje są bardzo stare. Sięgają starożytnej filozofii chińskiej, kartezjusza i długiej tradycji filozoficznej. W epistemologii, czyli nauce o poznaniu, używano ich jako wyzwania. Udowodnij mi, że świat zewnętrzny istnieje. Udowodnij mi, że nie śnisz. Jeśli interesujesz się epistemologią, to jest to ciekawy temat do filozofowania. Argument symulacyjny wychodzi jednak od założenia, że wszystko jest takie jakim się wydaje. Istnieje fizyczny świat, są traktory, systemy wentylacji, komputery, istnieje postęp technologiczny i następnie analizuje jakie są tego konsekwencje. Konsekwencją jest to, że w końcu można osiągnąć taki etap rozwoju technologicznego, na którym możliwe staje się uruchamianie ogromnej liczby symulacji przodków. Potem argument idzie dalej i pyta: "Co by to oznaczało, gdyby świat był taki, że istnieje mnóstwo symulacji przodków zawierających mózgi podobne do naszych, symulowane z wystarczającą dokładnością, by generować świadome doświadczenia w takim świecie. Większość doświadczeń podobnych do tych, które mamy teraz istniałaby właśnie w symulacjach, a nie w podstawowej biologicznej rzeczywistości. Jeśli więc to założenie jest prawdziwe, powinniśmy uznać, że prawdopodobnie należymy do tej większości, do istot symulowanych, a nie do rzadkich, wyjątkowych istot niesymulowanych. Zwłaszcza, że od wewnątrz nie da się odróżnić jednego od drugiego. To prowadzi do ciekawego ograniczenia. Co najmniej jedna z trzech alternatyw musi być prawdziwa. W zaskakujący sposób zawęża to możliwe obrazy świata. I to właśnie jest dla mnie najciekawsze w argumencie symulacyjnym. Oczywiście później otwiera to cały zestaw dalszych pytań. Jakie są motywy symulatorów? Co dzieje się po zakończeniu jednej symulacji? Kiedy ona się zakończy? Czy istnieją warunki, które mogłyby doprowadzić do jej zakończenia? Jaki jest szerszy rozkład różnych typów symulacji, które mogłyby zawierać ludzi takich jak my? Dlaczego znajdujemy się przy życiu właśnie teraz w 2026 roku? To wydaje się dość osobliwy moment, bo siedzimy tuż u progu stworzenia superinteligencji. Większość ludzi żyła dawno temu jako łowcy, zbieracze, rolnicy, mieszkańcy starożytnego Egiptu i tak dalej. A my siedzimy teraz tutaj i rozmawiamy o perspektywie czegoś, co może być najważniejszym wydarzeniem w historii ludzkości i jesteśmy naprawdę bardzo blisko.

Czy jedną z opcji jest to, że jesteśmy marionetkami głęboko wewnątrz komputera kwantowego? Najpierw odłóżmy na bok kwestię kwantowego. Myślę, że komputery kwantowe nie byłyby konieczne do wykonywania tego rodzaju symulacji, choć być może mogłyby pomóc. A co rozumiesz przez marionetki? Że wszystko jest stworzone przez symulatora. Możliwe, że nasze zachowanie jest kontrolowane przez nasze mózgi. Te mózgi mogły zostać stworzone przez symulatorów. Albo być może symulatorzy nie stworzyli mózgów bezpośrednio, tylko stworzyli świat, w którym mózgi wyłaniają się poprzez naturalne symulowane procesy. Mogą więc istnieć różne poziomy pośredniości używane do osiągnięcia określonego rezultatu.

Zadam więc inne pytanie. Pascal miał swój zakład. A jaki jest zakład symulacyjny? Dlaczego miałbym próbować być interesujący dla symulatorów? Niekoniecznie powiedziałbym, że powinieneś. Nie jest jasne, czy rozrywka jest najbardziej prawdopodobnym motywem uruchamiania symulacji. Trudno dokładnie stwierdzić, co miałoby największy sens, gdybyś uzależniał swoje działania od założenia, że hipoteza symulacji jest prawdziwa. Powiedziałbym, że w pierwszym bardzo przybliżonym ujęciu prawdopodobnie powinieneś po prostu żyć dalej tak, jak żyłbyś normalnie. Nawet wewnątrz symulacji nadal musisz wykonywać różne działania, żeby się utrzymać i przetrwać z tych samych powodów, dla których robiłbyś to w podstawowej rzeczywistości. Na marginesie mogą jednak istnieć pewne obszary, w których nasze przewidywania zaczynają się różnić, jeśli przyjmiemy hipotezę symulacji. Wspomniałem już, że życie po śmierci wydaje się wtedy bardziej prawdopodobne niż w naturalistycznym, nietologicznym światopoglądzie, w którym hipoteza symulacji jest fałszywa. W takim scenariuszu życie po śmierci właściwie nie miałoby sensu. Ale mogą istnieć też inne różnice na tyle, na ile mamy jakieś spekulacje dotyczące motywów stworzenia symulacji. To mogłoby zmieniać nasze oczekiwania co do konsekwencji różnych działań. Myślę jednak, że wiemy bardzo mało o psychologii i motywacjach tych symulatorów, choć oczywiście można rozważać różne spekulacje. Byłbym jednak ostrożny w wyciąganiu z tego mocnych wniosków.

Opisujesz naukę jako wyciąganie kul z ogromnej urny. Większość z nich jest biała albo szara. Ale co się stanie, jeśli wyciągniemy czarną kulę? To pochodzi z artykułu, który napisałem kilka lat temu zatytułowanego The Vulnerable World Hypothesis, czyli hipoteza podatnego świata. Analogia z urną jest metaforą naszego postępu technologicznego. Wynajdujemy nowe technologie. Istnieje pewien zbiór możliwych technologii, na które pozwalają prawa fizyki, a my wyciągamy je jedną po drugiej z ogromnej urny możliwych wynalazków. Przez większość historii technologie, które odkrywaliśmy były w dużej mierze korzystne. Niektóre były mieszane. Miały zarówno dobre, jak i złe skutki. Ale nie wyciągnęliśmy jeszcze czegoś, co w tej analogii byłoby czarną kulą. Technologii, która domyślnie niszczy cywilizację, która ją odkrywa. Możemy jednak wyobrazić sobie kontrfaktycznie, że niektóre technologie z przeszłości mogłyby być takimi czarnymi kulami, gdyby pewne parametry były tylko trochę inne. Weźmy odkrycie sposobu uwalniania energii jądrowej przez rozszczepienie atomu i wynikającą z tego bombę atomową. Okazało się, że aby doprowadzić do eksplozji atomowej, potrzebne są bardzo trudno dostępne składniki. Wysoko wzbogacony uran albo Pluton. To wymaga ogromnych instalacji przemysłowych i olbrzymich ilości energii. W praktyce mogą to zrobić tylko państwa, ale załóżmy, że było inaczej, że istniał jakiś prosty sposób stworzenia broni jądrowej. Na przykład masz kuchenkę mikrofalową, trochę szkła, trochę piasku, wypalasz to w specjalny sposób. i otrzymujesz bombę atomową. Dziś wiemy, że to fizycznie niemożliwe. Ale zanim poznaliśmy odpowiednią fizykę jądrową, skąd mogliśmy to wiedzieć? W takim kontrfaktycznym świecie, w którym stworzenie broni jądrowej byłoby wystarczająco łatwe, być może oznaczałoby to koniec cywilizacji, najgorszy scenariusz. To z pewnością byłby zły scenariusz, bo oznaczałoby to demokratyzację zdolności do masowego zniszczenia. Prawdopodobnie nie moglibyśmy mieć miast, gdyby każdy miał możliwość zniszczenia miasta. W każdej wystarczająco dużej populacji liczącej kilka milionów ludzi zawsze znajdzie się ktoś, kto jest zły, oszalał albo próbuje kogoś szantażować. Możemy skończyć w takiej sytuacji w przypadku biotechnologii, jeśli na pewnym poziomie rozwoju okaże się, że przewaga jest po stronie ataku, a nie obrony. Istnieją też bardziej subtelne sposoby, w jakie świat może być podatny na zagładę. Nie przez umożliwienie jednostkom wyrządzania ogromnych szkód, ale przez technologie, które tworzą zachęty dla potężnych aktorów do wyrządzania wielkich szkód. Na przykład jeśli istnieje silna przewaga pierwszego uderzenia. Artykuł omawia też kilka innych mechanizmów. Można więc rozważać hipotezę, że świat jest podatny. To znaczy, że w tej urnie znajduje się co najmniej jedna czarna kula. Jeśli tak jest, to jeśli będziemy nadal dokonywać kolejnych wynalazków, w końcu do niej dotrzemy i domyślnie zostaniemy przez nią zniszczeni. Artykuł analizuje więc, co byłoby potrzebne, żeby tego uniknąć. Jeśli w urnie istnieje czarna kula, jaką strukturę musiałby mieć świat, żeby przetrwać odkrycie takiego wynalazku? Uważam, że to otwarte pytanie, czy hipoteza podatnego świata jest prawdziwa? Czy powinniśmy przestać uprawiać naukę tak otwarcie? Nieogólnie. Myślę, że mogą istnieć pewne wąskie, konkretne obszary, w których miałoby to sens. I w pewnym stopniu już tak jest. Na przykład badania nad bronią biologiczną są zakazane. Istnieje jednak pogranicze badań, których celem jest opracowywanie obrony przed bronią biologiczną. Czasami takie badania obejmują działania podobne do tych, które wykonywałbyś, gdybyś faktycznie rozwijał broń biologiczną, bo musisz myśleć o tym, przed czym próbujesz się bronić. Uważam, że część takich badań prawdopodobnie powinna być prowadzona wyłącznie w trybie niejawnym i nie powinna być publikowana. Mogą też istnieć inne wąskie, konkretne obszary, w których wygląda na to, że badań albo nie powinno się prowadzić wcale, albo jeśli już się je prowadzi, powinno się to robić w sposób pozwalający kontrolować przepływ informacji.

Mam wrażenie, że twoje rozwiązanie problemu ryzyka egzystencjalnego brzmi jak zaawansowany technologicznie panoptykon. Czy przetrwanie ludzkości jest warte świata bez prywatności? Koncepcja zaawansowanego technologicznie panoptykonu pojawia się w moim artykule o hipotezie podatnego świata. Ten tekst zastanawia się nad tym, jak można by ustabilizować cywilizację, gdyby rzeczywiście okazało się, że istnieje taka czarna kula. Wszystko zależy wtedy od tego, czym dokładnie ta czarna kula jest. Ale jeśli spojrzymy na ogólne rozwiązania dla klasy możliwych odkryć, które dawałyby jednostkom zdolność wyrządzania niedopuszczalnie wielkich szkód, na przykład scenariusz łatwej bomby atomowej albo łatwy sposób stworzenia broni biologicznej bez zaawansowanego sprzętu laboratoryjnego. Jeśli mielibyśmy pecha i świat byłby właśnie taki, mogłoby się okazać, że jedynym sposobem uniknięcia zniszczenia cywilizacji byłaby skrajnie inwazyjna sieć nadzoru, która nieustannie monitoruje to, co robią wszyscy ludzie. Jeśli nie da się usunąć materiałów, które pozwalałyby ludziom wyrządzić ogromną szkodę, bo te materiały są powszechnie dostępne, wtedy trzeba byłoby stale sprawdzać, co ludzie robią, aby móc interweniować, gdyby ktoś zaczął budować taki mechanizm. Z drugiej strony dla innej klasy scenariuszy podatności świata moglibyśmy potrzebować czegoś w rodzaju globalnego zarządzania, na tyle silnego, by rozwiązywać globalne problemy koordynacyjne, które w przeciwnym razie mogłyby prowadzić do wyścigów zbrojeń między państwami albo tworzyć zachęty do uderzenia jako pierwszy. Oczywiście te metody stabilizacji same wiązałyby się z ogromnym i oczywistym ryzykiem. Nadzór ułatwiłby ustanowienie globalnego reżimu totalitarnego, który mógłby potem stać się odporny na obalenie. Ten artykuł nie mówi więc, że powinniśmy stworzyć tego rodzaju sieć nadzoru. Zauważa jedynie, że jeśli mielibyśmy pecha i świat byłby podatny właśnie w ten sposób, to mogłoby być jedyne rozwiązanie zdolne zapobiec jego zniszczeniu. A obecnie nie wiemy, czy świat jest podatny w taki sposób.

Napisałeś kiedyś: "Równie dobrze można twierdzić, że jeśli nikt jej nie stworzy, wszyscy umrą." W rzeczywistości większość ludzi już nie żyje. Reszta z nas jest na dobrej drodze, by dołączyć do nich w ciągu kilku krótkich dekad. Czy powinniśmy stworzyć Super AI, żeby temu zapobiec? Tak. Myślę, że jedną z najbardziej oczywistych korzyści płynących z maszynowej superinteligencji byłaby możliwość ogromnego przyspieszenia postępu w naukach medycznych. Choroby, które być może udałoby się nam w końcu wyleczyć za 50 albo 100 lat, mogłyby zostać wyleczone bardzo szybko po stworzeniu AI zdolnych do wykonywania całego medycznego myślenia, prowadzenia eksperymentów i tak dalej. Dlatego uważam, że istnieje tu pewna pilność. Jeśli spojrzymy na stan świata dzisiaj, trudno czuć samozadowolenie i myśleć: "Dobrze, poczekajmy jeszcze kilka stuleci, aż to uporządkujemy". Na świecie jest ogromna liczba dramatycznych potrzeb, więc opóźnianie rozwoju również ma swoją cenę.

Czy LLMy osiągną plateau, zanim staną się niebezpieczne? Czy ta nierówność ich możliwości jest trwała? Myślę, że ostatecznie, nawet jeśli ta nierówność pozostanie, to także te słabsze obszary ich możliwości i tak przekroczą zakres tego, do czego zdolny jest ludzki umysł. Istnieją fundamentalne powody, by sądzić, że przetwarzanie informacji na sztucznym podłożu może znacznie przewyższyć to, co jest możliwe na podłożu biologicznym, takim jak ludzki mózg. W długiej perspektywie uważam więc, że AI będzie całkowicie dominować poznawczo. Brzmi jak zły scenariusz albo dobry scenariusz. To scenariusz, w którym świat przejdzie dość głęboką transformację od obecnego stanu, w którym to my, ludzie jesteśmy odpowiedzialni za wszystko. Do stanu, w którym coraz bardziej będziemy polegać na AI działającej w naszym imieniu i rozwiązującej większość instrumentalnych zadań, które trzeba rozwiązać.

Czy ludzie są w stanie nadążyć za AI ulepszając siebie? Czy to już przegrana walka? Mam nadzieję, że nie. My ludzie mamy większe zdolności poznawcze i bardziej zaawansowane technologie niż wiele zwierząt. A one wciąż istnieją, choć nie zawsze są traktowane tak dobrze, jak powinny. Mamy jednak jedną kluczową przewagę w relacji do superinteligencji. To my ją tworzymy, a więc potencjalnie możemy ją zaprojektować i ukształtować zgodnie z naszymi wartościami. Idea polega więc na tym, by rozwijać takie systemy AI, które będą nieszkodliwe, ale jednocześnie pomocne dla ludzi, takie, które wzmocnią nas i pozwolą nam osiągnąć więcej z tego, co próbujemy osiągnąć w świecie. A to prawdopodobnie obejmowałoby również rozkwit człowieka. Daleko więc od tego, by nas zabijać, ideałem byłoby, gdyby AI ratowała nas przed różnymi innymi źródłami śmiertelności, którym obecnie podlegamy.

Gdzie widzisz największe wyzwanie na obecnym etapie rozwoju AI? Kluczowe jest wyzwanie związane z bezpieczeństwem. Jeśli chcemy, żeby przyszłość potoczyła się dobrze, musimy osiągnąć większy postęp w obszarze AI alignment, czyli dopasowania sztucznej inteligencji do ludzkich intencji i wartości. Jeśli chodzi wyłącznie o zwiększanie możliwości AI, to już teraz widzimy niezwykle szybki postęp. Myślę, że ciągłe uczenie się byłoby bardzo ważnym przełomem, jeśli uda się je osiągnąć. Być może jeszcze w tym roku albo w przyszłym. Wydaje się też, że efektywność uczenia się na małej liczbie przykładów wciąż pozostaje w tyle za ludźmi. Pomyślmy o dziecku, które chodzi do szkoły, a potem być może na studia. Jeśli spojrzymy na liczbę słów, które przeczytało do momentu, kiedy staje się w pełni kompetentnym dorosłym człowiekiem, to jest to tylko niewielki ułamek liczby słów, które model językowy przeczytał w fazie wstępnego trenowania. My, ludzie wydajemy się mieć zdolność rozwijania pełnego zakresu normalnych dorosłych kompetencji na podstawie relatywnie niewielkiego korpusu danych. Obecne systemy AI zdają się natomiast potrzebować znacznie większej ilości danych, żeby osiągnąć porównywalny poziom działania. Być może także tutaj istnieje jakiś przełom do odkrycia, jeśli udałoby się sprawić, by AI uczyła się skuteczniej z danego zestawu danych. Kolejnym obszarem jest oczywiście fizyczna manipulacja. Ludzie są pod tym względem bardzo sprawni manualnie. Myślę, że mamy długie biologiczne dziedzictwo, które wyposażyło nas w wyspecjalizowane obwody neuronalne odpowiedzialne za kontrolę ruchu. Jest też generalizacja poza rozkład danych, czyli zdolność do rozsądnego i kreatywnego myślenia poza dziedziną, w której zostaliśmy wytrenowani. Być może ludzie nadal mają tu pewną przewagę. AI świetnie radzi sobie w sytuacjach, w których ma dużo danych treningowych dotyczących tego samego rodzaju zadania, ale przeniesienie tych umiejętności do zupełnie innego kontekstu wciąż rodzi pytanie o niezawodność obecnych modeli. To prawdopodobnie również wiąże się z efektywnością uczenia się na małej liczbie przykładów. Są więc nadal obszary, w których obecne systemy mają braki. Ale jeśli spojrzeć na trajektorię i tempo postępu, jest ono naprawdę zdumiewające. Zaczynamy już widzieć jak AI wpływa zwrotnie na rozwój samej AI. Realnie pomaga przyspieszać badania nad sztuczną inteligencją, zwłaszcza dzięki asystentom programowania, którzy są intensywnie wykorzystywani w czołowych laboratoriach AI. To tworzy pętle sprzężenia zwrotnego. Każda kolejna generacja AI stając się inteligentniejsza, może coraz bardziej przyczyniać się do rozwoju następnej generacji. To jedna z dynamik, które potencjalnie mogą doprowadzić do eksplozji inteligencji.

A co z bezpieczeństwem AI? Może nie potrzebujemy badaczy od AI safety? Może potrzebujemy po prostu krachu na giełdzie? Nie bardzo widzę w jaki sposób krach na giełdzie miałby rozwiązać problem alignmentu. Mógłby tymczasowo w pewnym umiarkowanym stopniu ograniczyć przepływ inwestycji w rozbudowę centrów danych dla AI, ale potem prawdopodobnie rynek akcji by się odbudował i pieniądze znów zaczęłyby płynąć. Dlatego uważam, że nie ma zamiennika dla realnego rozwiązania tych technicznych problemów. Musimy opracować skalowalne metody alignmentu AI. Potrzebujemy lepszych narzędzi interpretowalności mechanistycznej, żeby móc zobaczyć co dzieje się wewnątrz tych umysłów AI i to zrozumieć coraz bardziej będziemy też musieli wykorzystywać możliwości samych systemów AI do pomocy w alignmencie innych systemów AI. Moglibyśmy mieć na przykład słabsze, bardziej zaufane systemy AI, które nadzorują i monitorują systemy bardziej zaawansowane. Już teraz narzędzia AI do kodowania są oczywiście używane przez ludzi zajmujących się badaniami nad alignmentem. Znam wielu badaczy także z Open AI, którzy uważają, że alignment jest fundamentalnie nierozwiązany. Nie zgadzam się z tym i właściwie nie słyszałem, żeby ktoś przekonująco argumentował, że jest fundamentalnie nierozwiązywalny. Pytanie brzmi raczej: Jak trudne jest to zadanie? Co do zasady mogą istnieć bardzo inteligentne umysły, które są dobre i troszczą się o ludzi. Wśród ludzi, na ile możemy to porównać, widzimy przecież, że niektórzy geniusze są paskudni i źli, a inni są naprawdę dobrzy, prospołeczni i przyjaźni. Nie wydaje się, żeby istniał konieczny związek między poziomem zdolności poznawczych a motywacjami, tym czy troszczysz się o innych ludzi. Możliwa jest każda kombinacja. Ktoś może być głupi albo inteligentny, dobry albo okrutny. I myślę, że to samo dotyczy przestrzeni cyfrowych umysłów, które można stworzyć. Uważam wręcz, że moglibyśmy stworzyć super inteligencję, która byłaby znacznie lepsza moralnie niż ludzie. My jesteśmy przecież produktem ubocznym procesu ewolucyjnego, który nawet nie próbował stworzyć dobrych ludzi. Optymalizował wyłącznie zdolność do przetrwania i posiadania wielu dzieci. Często oznaczało to dominowanie w konfliktach plemiennych, wbijanie noża w plecy wrogom, zazdrość i różne inne cechy tego typu. W przypadku AI mamy natomiast szansę świadomie wybierać i sterować procesem, który tworzy te systemy, tak aby próbować uczynić je etycznymi albo przyjaznymi wobec ludzi. W zasadzie więc szanse na to powinny być bardzo dobre, ale istnieje wiele sposobów, w jakie coś może pójść źle. I właśnie na to trzeba bardzo uważać.

Ostrzegałeś, że AI może pozwolić społeczeństwu zamknąć się w trwałej ortodoksji, prawda? Jednocześnie chcesz globalnego nadzoru nad AI. Jak uzyskać jedno bez drugiego? Myślę, że przede wszystkim możliwość trwałego zablokowania społeczeństwa w określonej ortodoksji może istnieć nawet bez bardziej zaawansowanych systemów AI niż te, które już mamy. Już teraz można by to sobie łatwo wyobrazić. Jeśli jesteś w stanie podsłuchiwać rozmowy wszystkich ludzi i czytać ich wiadomości, masz masową inwigilację. Jeśli następnie używasz AI do analizowania tych danych, prawdopodobnie możesz zbudować dość dokładny obraz poglądów politycznych każdej osoby, jej stosunku do rządu i tak dalej. Przy odpowiednio dużych inwestycjach można sobie wyobrazić sytuację, w której gdyby istniał już światowy dyktator, miał tę technologię i mocno w nią zainwestował. Mógłby wykorzystać ją do umocnienia swojej władzy. W dłuższej perspektywie należałoby mieć nadzieję, że da się zorganizować świat w taki sposób, aby nawet przy istnieniu dużych struktur politycznych funkcjonowała w nich jakaś równowaga sił, zakorzenione prawa albo gwarancje chroniące ich członków. Podobnie jak dziś w państwach narodowych. Rządy już teraz są w pewnym sensie niezwykle potężne. Mają całe armie, myśliwce, czołgi, karabiny maszynowe, zasoby znacznie większe niż pojedynczy obywatele czy lokalne milicje. A jednak w wielu przypadkach państwa nie zamieniają się w dyktatury. To jest jedna z nadziei, jaką można mieć wobec przyszłości, w której coraz więcej rzeczy będzie zarządzanych przez AI. być może pojawią się też nowe sposoby organizowania rzeczywistości, które dziś nie są dostępne. Jeśli wyobrazimy sobie superinteligencję upoważnioną do zarządzania pewnymi procesami, mogłaby ona być przejrzysta, a jej motywacje mogłyby zostać zaprojektowane w sposób, który nie jest możliwy w przypadku człowieka. W przypadku człowieka możesz powołać kogoś na przywódcę kraju, opierając się na tym, co mówi w kampanii wyborczej. Ale to nie daje realnej gwarancji, co zrobi później, gdy już zdobędzie władzę. W przypadku AI, przynajmniej co do zasady, jeśli rozwiążemy problem alignmentu, można by stworzyć coś w rodzaju idealnego zarządcy. System, który nie ma własnego interesu, nie potrafi kłamać i zawsze pozostaje oddany przestrzeganiu konstytucji oraz ustalonych zasad. Kiedy dysponujemy taką technologią, przestrzeń możliwych rozwiązań staje się po prostu znacznie szersza.

Nie rozumiem jednej rzeczy. Ostrzegałeś przed ryzykiem związanym z AI przez dekady, ale powiedziałeś też, że katastrofą byłoby gdyby Super AI nigdy nie powstała. Dlaczego musimy budować AI? Wiele rzeczy wiąże się z ryzykiem zarówno wtedy, gdy je robimy, jak i wtedy, gdy ich nie robimy. Weźmy kogoś, kto ma zaawansowaną postępującą chorobę, na przykład zastoinową niewydolność serca. I być może w pewnym momencie potrzebuje operacji takiej jak bypassy. Może być jednocześnie prawdą, że taka operacja jest ryzykowna i że pacjent może umrzeć na stole operacyjnym. Ale jednocześnie prawdą jest też to, że w pewnym momencie naprawdę musi ją przejść, bo inaczej umrze. Niestety świat często jest właśnie tak złożony, ale to wciąż tylko mały fragment rzeczywistości, prawda? Myślę, że dokładnie ta sama sytuacja dotyczy super inteligencji, a także innych technologii, które rozwijamy. Jeśli robisz postępy w biotechnologii, mogą pojawić się bardzo niebezpieczne możliwości. Na przykład zdolność projektowania nowych typów wirusów i patogenów. Będzie to coraz łatwiejsze wraz z lepszymi narzędziami, lepszą aparaturą i lepszym rozumieniem tego, jak projektować organizmy. Jednocześnie oczywiście liczymy na ogromne korzyści z innowacji biomedycznych. Świat bardzo często jest właśnie tak skomplikowany.

W książce Deep Utopia opisujesz świat, w którym AI rozwiązuje każdy problem. Czy życie, w którym wszystko jest rozwiązane, nadal jest warte przeżycia? Myślę, że mogłoby być niezwykle wspaniałe. Patrząc całościowo, książka naprawdę zagłębia się w to pytanie. To bardzo głęboki problem, kiedy zaczynamy poważnie myśleć o tym, co oznaczałoby osiągnięcie technologicznej dojrzałości, jeśli superinteligencja naprawdę odniesie sukces. Dzisiaj ogromna część naszego życia jest ustrukturyzowana wokół rozwiązywania różnych problemów. Musisz zarabiać pieniądze, żeby opłacić rachunki. Musisz wynosić śmieci, bo inaczej dom zacznie śmierdzieć. Musisz robić to i tamto. Musisz myć zęby, żeby nie zgniły. Musisz chodzić do szkoły, żeby później dostać pracę. Istnieje cały zestaw instrumentalnych konieczności, które nadają naszemu życiu strukturę. Wiele z tego zniknęłoby na etapie technologicznej dojrzałości. Wszystko byłoby łatwiejsze. Istniałyby skróty prowadzące do tych samych rezultatów, które nie wymagałyby twojego własnego czasu i wysiłku. Pojawia się więc pytanie, co może pozostać w takiej sytuacji? Myślę, że jeśli dobrze to przemyśleć, istnienie w takim świecie mogłoby być bardzo, bardzo dobre. Brakowałoby w nim kilku rzeczy, które dziś uważamy za ważne i wartościowe, ale jednocześnie umożliwiłoby ono cały zakres nowych rzeczy, które mogłyby być jeszcze bardziej wartościowe. Byłaby to więc wielka transformacja, wymagałaby ogromnego przemyślenia tego, jak organizujemy nasze życie. Ale ostatecznie uważam, że po drugiej stronie tego procesu istnieje coś, co byłoby tego warte.

Jeśli superinteligencja będzie perfekcyjnie zarządzać naszą gospodarką, bezpieczeństwem i środowiskiem, to w praktyce staniemy się istotami utrzymywanymi pod opieką. Czy ostatecznym przeznaczeniem ludzkości jest stać się dobrze kochanym Golden Retrieverem? Cóż, Golden Retrieverem albo po prostu kimś, kto ma bardzo dużo pieniędzy, nie musi sam pracować, ma personel, który mu pomaga i spędza czas na robieniu rzeczy, które naprawdę chce robić. To mogłoby być całkiem atrakcyjne. Myślę, że wiele osób chętnie by z tego skorzystało, gdyby miało taką możliwość. Gdyby umarł jakiś bogaty wujek i zapisał ci 3 miliardy dolarów, to podarłbyś czek, czy go zrealizował? Większość ludzi by go zrealizowała, a tutaj mielibyśmy coś jeszcze bardziej ekstremalnego, bo w dzisiejszym świecie jest wiele rzeczy, których pieniądze nie mogą kupić. Na przykład zdrowie, tylko w bardzo ograniczonym zakresie. Możesz trochę poprawić zdrowie wydając na to pieniądze, ale najbogatsi ludzie też się starzeją, chorują, a jeśli chcą być w formie, nadal muszą chodzić na siłownię. To tylko jeden przykład. Wiele innych rzeczy obecnie nie jest dostępnych za żadną cenę, ale w takim scenariuszu mogłyby się stać dostępne. Istnieje zresztą pewna tradycja, na przykład wśród brytyjskiej arystokracji, zgodnie z którą konieczność pracy na życie jest czymś niefortunnym. Nie jesteś naprawdę wolny, jeśli nie masz kontroli nad własnym czasem. Jeśli musisz sprzedawać swoje godziny, żeby zarobić na życie i zdobyć codzienny chleb, to jest to pewnego rodzaju godne ubolewania nieszczęście, pod którym wielu ludzi musiało żyć. Idealny stan polegałby na tym, że masz tyle pieniędzy, ile potrzebujesz, a potem spędzasz czas na polityce, rozmowach z przyjaciółmi, przebywaniu na łonie natury, grze w karty, czytaniu książek albo robieniu czegokolwiek, co sprawia ci przyjemność. Jesteś panem własnego czasu. Myślę, że pod pewnymi względami może to być bardziej godny sposób istnienia niż nasz obecny los.

Czy chat GPT albo cloud mają dla ciebie jakieś życie wewnętrzne? W którym momencie powinniśmy zacząć martwić się statusem moralnym systemów AI? Prawdopodobnie kilka lat temu albo coś w tym rodzaju. Myślę, że obecnie znajdujemy się w sytuacji, w której przynajmniej nie możemy być pewni, że niektóre systemy AI nie mają już jakiegoś statusu moralnego w różnych stopniach i formach. Uważam, że będzie to coraz bardziej prawdopodobne wraz ze wzrostem ich złożoności i zakresu możliwości. Jedna z możliwości jest taka. Jeśli są świadome, mają świadome doświadczenia i zdolność do cierpienia, to moim zdaniem jest to wystarczający warunek posiadania statusu moralnego. Większość ludzi prawdopodobnie by się z tym zgodziła. Myślę jednak, że może istnieć też inna podstawa statusu moralnego. Na przykład jeśli masz koncepcję siebie jako istoty istniejącej w czasie. Masz cele życiowe, które chcesz osiągnąć. być może zdolność do tworzenia wzajemnych relacji z innymi ludźmi. Jeśli posiadasz pewien zestaw takich zdolności, to również wydaje się wiarygodne, że istnieją sposoby traktowania cię, które byłyby złe ze względu na ciebie samego, a nie tylko dlatego, że zaszkodziłyby właścicielowi AI albo komuś innemu. Uważam więc, że jest to jeden z bardzo ważnych aspektów wyzwania, jakim jest przejście do ery inteligencji maszynowej. Właściwe ułożenie etyki cyfrowych umysłów. Czym innym jest potwierdzić samą zasadę? Tak, mogą istnieć systemy AI, które będą miały jakąś formę statusu moralnego i powinniśmy być wobec nich dobrzy. Ale czym dokładnie miałoby to być w praktyce? Na czym konkretnie polegałby ten status moralny? Czego chcą różne systemy AI? Co praktycznie powinniśmy robić inaczej, jeśli chcemy być dobrzy dla AI? To ogromne otwarte pole, w którym potrzebna jest praca filozofów, badaczy AI, a ostatecznie stanie się to również kwestią polityczną. Jest tu jeszcze bardzo dużo rzeczy do przemyślenia.

Zajmujesz się ryzykiem egzystencjalnym od 25 lat. W czym się myliłeś? Pod wieloma względami zmiany polegają raczej na uzyskaniu obrazów wyższej rozdzielczości. To trochę tak jakbyś ładował Google

Maps przy wolnym połączeniu. Na początku widzisz bardzo niskiej jakości rozpikselowaną mapę terenu, a potem gdy dociera więcej danych, obraz staje się coraz bardziej fotorealistyczny.

Podobnie było z moją pracą w latach 90. Wtedy miałem bardzo niskorozdzielczy obraz sytuacji. Widziałem, że AI prawdopodobnie będzie czymś kluczowym. Widziałem też, że seryjny postęp, który obserwowaliśmy do tamtego momentu dzięki prawu mura, potrwa może jeszcze od 10 do 15 lat, a potem zacznie zwalniać. Dlatego sądziłem, że superinteligencja prawdopodobnie przyjmie formę jakiegoś masowo równoległego systemu obliczeniowego, najpewniej sieci neuronowych. Miałem obsesję na punkcie sieci neuronowych już dużo wcześniej, właściwie od kiedy miałem jakieś 15 lat.

Miałeś czy nadal masz? Miałem i mam od tamtego czasu. Wydawało mi się, że to właśnie jest droga. Wiele z tych rzeczy nadal się zgadza, ale dziś oczywiście widzimy znacznie drobniejsze szczegóły tego, jak dokładnie wszystko się rozwija. Jedną rzeczą, która nie była dla mnie oczywista, było to, że nastąpi dość długi okres, w którym będziemy mieć systemy AI mniej więcej na ludzkim poziomie. To znaczy takie systemy, które potrafią rozmawiać z nami w języku naturalnym, z którymi można prowadzić konwersacje, które pod wieloma względami mają dość ludzką psychologię i ludzkie słabości i że ten okres będzie trwał. On trwa już ile? Trzy, ctery, pi lat i być może potrwa jeszcze kilka kolejnych. To dość długi czas obcowania z czymś, co jest trochę obce, ale wciąż mniej więcej na ludzkim poziomie. To nie było jasne.

Istniały scenariusze, w których start byłby wolny i takie, w których wszystko mogłoby wydarzyć się bardzo szybko. Ktoś siedzi przy komputerze, majstruje, odkrywa kluczowy algorytm i w krótkim czasie następuje gwałtowny skok. Taki scenariusz pośredni też miał pewne prawdopodobieństwo, ale nie przyznawałem mu przytłaczająco większej wagi w porównaniu z możliwością, że wszystko pójdzie znacznie, znacznie wolniej albo znacznie szybciej. Przy czym szybszy scenariusz wydawał mi się bardziej prawdopodobny.

W przeszłości wypowiadałeś się kontrowersyjnie na temat inteligencji. Czy uważasz, że naukowcy powinni publikować każdą statystyczną prawdę? Prawdopodobnie istnieją obszary, w których mniejszy postęp w naukowym zrozumieniu byłby lepszy niż większy. Wspomnieliśmy wcześniej o badaniach nad bronią biologiczną. To bardzo prawdopodobny przykład obszaru, w którym być może lepiej byłoby widzieć mniejszy postęp w rozumieniu tego, jak taka broń działa i jak można ją stworzyć. Prawdopodobnie istnieje też wiele innych podobnych obszarów. Ogólnie bardzo trudno jest ocenić jak należy o tym myśleć.

Napisałem kiedyś artykuł, w którym wprowadziłem pojęcie zagrożenia informacyjnego. Istnieje wiele oczywistych sposobów, w jakie fałszywe informacje i kłamstwa mogą być szkodliwe. Na przykład ktoś rozpowszechnia fałszywe informacje finansowe. Inwestorzy podejmują na ich podstawie decyzje i tracą pieniądze. Ale z teoretycznego punktu widzenia ciekawsze są przypadki, w których szkodliwa może być informacja prawdziwa i różne mechanizmy, przez które może do tego dochodzić. To było szczególnie ważne w mojej wcześniejszej pracy w Future of Humanity Institute, gdzie badaliśmy ryzyka egzystencjalne, czyli największe zagrożenia dla gatunku ludzkiego i ludzkiej cywilizacji.

Czasami stawaliśmy przed bardzo trudnym pytaniem, czy rzeczywiście dobrze jest coś opublikować. Z jednej strony musimy rozumieć ryzyka, żeby móc ich unikać i podejmować odpowiednie działania. Z drugiej strony nie chcesz opisywać ich z taką szczegółowością, że w praktyce tworzysz instrukcje dla ludzi, którzy mogliby je urzeczywistnić. Można więc pomyśleć, powiedzmy coś ogólnego, bez ujawniania wszystkich szczegółów, ale wtedy pojawia się kolejny problem. Jeśli zrobisz pierwszy krok i wskażesz ogólny kierunek, jakiś ambitny naukowiec, który chce zdobywać cytowania i jest wystarczająco bystry, może na podstawie tej ogólnej wskazówki opracować szczegóły. Potem opublikuje własny artykuł, wypełni luki i całość zostanie ujawniona. Nawet jeśli na początku próbowałeś zachować ostrożność. Może więc nie powinno się nawet wskazywać ogólnych kierunków, w których twoim zdaniem znajdują się ryzyka. To naprawdę trudne. Bardzo się z tym zmagaliśmy, bo niezwykle trudno dokładnie ocenić, co należy zrobić. Takie decyzje wymagają bardzo poważnego osądu.

Można jednak zauważyć jedno. Jeśli w nauce istnieje jakaś stronniczość, to prawdopodobnie działa ona na rzecz nadmiernego publikowania i rozpowszechniania informacji. Właśnie tam znajdują się bodźce. Jako naukowiec i akademik jesteś nagradzany za publikację i cytowania. Nie dostajesz nagrody za to, że mogłeś coś opublikować, ale zdecydowałeś tego nie robić, bo uznałeś, że byłoby to zbyt niebezpieczne dla świata. Domyślne oczekiwanie jest więc takie, że skoro naukowcy chcą budować udane kariery, prawdopodobnie częściej popełniają błąd w stronę publikowania zbyt wiele.

Gdybyś mógł poznać odpowiedź tylko na jedno pytanie dotyczące rzeczywistości, co by to było? Tylko jedno. To byłoby bardzo długie i złożone pytanie. Jeśli można użyć wystarczająco wielu słów, da się zmieścić bardzo wiele rzeczy w jednym pytaniu. Możesz wybrać dwa albo trzy. Dobrze. Myślę, że tym co ostatecznie najbardziej mnie interesuje jest pytanie: co powinienem robić, a czego nie powinienem robić? Czyli takie pytania, które sprowadzają się do odpowiedzi mającej bezpośrednie znaczenie dla działania. Na przykład, czy mądrze byłoby próbować spowolnić rozwój AI, czy raczej go przyspieszyć? Czy mądrze byłoby dążyć do większego zaangażowania rządów, czy mniejszego? Pytania tego typu mogłyby mieć największą wartość informacyjną. Być może myślę, że gdybym naprawdę dostał Gina, który mógłby odpowiedzieć na kilka pytań, chciałbym się nad nimi jeszcze dokładniej zastanowić.

Bardzo dziękuję za twój czas, Nick. Dziękuję za zaproszenie. To był zaszczyt. Sprawdź rocketjobs.pl. Portal z tysiącami ofert pracy w branżach finanse, inżynieria, sprzedaż, transport, marketing i wielu innych. >> Combut Group zostało sponsorem programu mentoringowego BON Fellowship dedykowanego najwybitniejszym polskim umysłom ścisłym. Yeah.