Transcription
Доктор Роман Ямпольский, какова ваша миссия сейчас? Потому что мне кажется, что у вас есть какая-то миссия, и вы занимаетесь этим уже, наверное, лет 20, не меньше. Я надеюсь, что сверхразум, который мы сейчас создаём, не убьёт всех. Поясните, пожалуйста, это заявление, потому что оно довольно шокирующее.
Конечно, за последние десятилетия мы действительно поняли, как сделать искусственный интеллект лучше. Оказывается, если добавить больше вычислительных мощностей и данных, он просто станет умнее. И теперь лучшие умы мира, миллиарды долларов, все вместе работают над созданием самого совершенного сверхразума, который мы только можем себе представить. К сожалению, хотя мы знаем, как сделать эти системы более мощными, мы не знаем, как сделать их безопасными, как сделать так, чтобы они не сделали что-то, о чём мы потом пожалеем. И это то, что сейчас происходит в сфере технологий.
Если посмотреть на рынке прогнозов, то когда мы сможем достичь продвинутого уровня искусственного интеллекта? По прогнозам и оценкам руководителей ведущих лабораторий, это произойдёт через пару лет, через 2-3 года. Но в то же время мы не знаем, как сделать так, чтобы эти системы соответствовали нашим предпочтениям. Таким образом, мы создаём искусственный интеллект, который может быть опасен. Если бы инопланетяне прилетели на Землю и у нас было бы 3 года на подготовку, мы бы сейчас паниковали. Но большинство людей даже не осознают, что это происходит.
Некоторые могут возразить, что это очень умные люди и крупные компании с большими деньгами. У них есть моральное и юридическое обязательство не причинять вреда. Так что я уверен, что всё будет хорошо. Единственное их обязательство - зарабатывать деньги для инвесторов. Это их юридическое обязательство. У них нет моральных или этических обязательств. Кроме того, по их словам, они пока не знают, как это сделать. Современные ответы на этот вопрос. Мы разберёмся, когда до этого дойдёт или искусственный интеллект поможет нам контролировать более продвинутый искусственный интеллект. Это безумие.
С точки зрения вероятности, какова вероятность того, что что-то пойдёт не так? Никто не может точно сказать, что произойдёт. Но если вы не контролируете ситуацию, то не получите желаемый результат. Пространство возможностей почти бесконечно. Область, в которой мы можем добиться успеха, очень мала.
И кто вы такой? Как долго вы занимаетесь этой темой? Я по образованию программист. У меня докторская степень в области компьютерных наук и инженерия. Я начал работать над безопасностью и в то время это называлось контролем над ботами 15 лет назад. 15 лет назад. Значит, вы начали заниматься безопасностью и ещё до того, как это стало модным. Я придумал термин безопасность и ещё до того, как он появился. Значит, вы придумали термин безопасность и да, термин, но не область. Для меня над этой темой работали другие люди.
Почему вы задумались об этом 15 лет назад? Ведь большинство людей заговорили о безопасности и только 2-3 года назад. Да, всё начиналось очень скромно, как проект по обеспечению безопасности. Я смотрел на покерных ботов и понял, что они становятся всё лучше и лучше. И если мы продолжим в том же духе, они станут умнее нас, более способными. И это произошло. Они играют в покер лучше, чем обычные игроки. Но в целом это произойдёт и с другими сферами, другими киберресурсами. Я хотел убедиться, что ИИ - это технология, которая будет полезна для всех. Поэтому я начал работать над безопасностью.
И был ли в вашей карьере момент, когда вы подумали: "Боже мой, я занимаюсь этой проблемой уже 5 лет. Я был уверен, что мы сможем это сделать. Мы сможем создать безопасные ИИ. И это было моей целью. Но чем больше я об этом думал, тем больше понимал, что ни один из компонентов этого уравнения не поддаётся решению. Чем больше вы увеличиваете изображение, тем больше оно становится похожим на фрактал. Вы заходите внутрь и обнаруживаете ещё 10 проблем, а затем ещё 100. И все они не просто трудные, их невозможно решить. В этой области нет ни одной плодотворной работы, где бы говорилось: "Мы решили эту проблему и нам не нужно об этом беспокоиться". Есть патчи, небольшие исправления, которые мы водим в действие, и люди быстро находят способы обойти их. Они взламывают все имеющиеся у нас механизмы безопасности, так что прогресс в возможностях искусственного интеллекта экспоненциальный или, возможно, даже гиперэкспоненциальный. Прогресс в области безопасности искусственного интеллекта линейный или постоянный. Разрыв увеличивается. Разрыв между возможностями систем и тем, насколько хорошо мы можем их контролировать, предсказывать, что они будут делать, объяснять, как они принимают решения.
Я думаю, что это довольно важный момент, потому что ты сказал, что они в основном устраняют проблемы, которые мы обнаруживаем. Итак, мы разрабатываем этот базовый интеллект, а затем, чтобы он перестал что-то делать или демонстрировать свою непредсказуемость или угрозы. Компании, которые разрабатывают этот искусственный интеллект, разрабатывают программирование в коде сверху до низу, чтобы сказать: "Хорошо, не ругайся, не произноси это прочитанное слово, не делай этого плохого". Именно так. И ты можешь посмотреть на другие примеры этого. Итак, руководство по работе с персоналом. Верно? У нас есть такие люди. Они обладают общим интеллектом, но ты хочешь, чтобы они вели себя в компании. Поэтому у них есть политика. Никаких сексуальных домогательств, ни того, ни этого. Но если ты достаточно умён, то всегда найдёшь обходной путь. Таким образом, ты просто переносишь поведение в другой, ещё неограниченный подомен.
Возможно, нам следует дать определение некоторым терминам. Таким образом, существует ограниченный интеллект, который может играть в шахматы или что-то ещё. Существует искусственный общий интеллект, который может работать в разных областях, и суперинтеллект, который превосходит людей во всех областях. Где же мы находимся? Это очень размытая граница, не так ли? У нас, безусловно, есть множество превосходных узкоспециализированных систем. В этом нет сомнений. И они очень умны в своей узкой области. Например, проблема сворачивания белка была решена с помощью узкоспециализированного ИИ, и он превосходит людей в этой области. Что касается общего ИИ, я сказал, что если бы мы показали то, что у нас есть сегодня, учёному двадцатилетней давности, он бы решил, что у нас уже есть полноценный общий ИИ. У нас есть системы, которые могут обучаться, работать в сотнях областей и превосходить людей во многих из них. Так что можно сказать, что у нас есть слабая версия общего ИИ. Но у нас пока нет суперинтеллекта. У нас всё ещё есть блестящие учёные, которые полностью доминируют в области ИИ, особенно в науке и инженерии. Но этот разрыв быстро сокращается. Например, всего 3 года назад большие языковые модели не могли выполнять даже базовую алгебру. Они не могли умножать трёхзначные числа, а сейчас они помогают с математическими доказательствами. Они побеждают на олимпиадах по математике. Они работают над решением тысячелетних проблем, самых сложных задач в математике. Так что всего за 3 года мы преодолели разрыв между уровнем интеллекта ниже человеческого и уровнем лучших математиков мира. И мы видим, что то же самое происходит в науке и инженерии.
Вы сделали ряд прогнозов, и они соответствуют разным датам. У меня есть эти даты. Каков ваш прогноз на 2027 год? Вероятно, мы увидим общий ИИ, предсказанный рынком прогнозов в лабораториях. Так что к 2027 году у нас будет искусственный общий интеллект. И как это изменит мир по сравнению с тем, что есть сейчас? Если у вас есть такая концепция, как сотрудник-робот, у вас есть бесплатная рабочая сила, физическая и интеллектуальная, на которую можно потратить триллионы долларов. Нет смысла нанимать людей на большинство работ. Если я могу просто получить подписку за 20 долларов или бесплатную модель, которая будет делать то же, что и сотрудник, то всё, что связано с компьютером, будет автоматизировано. А потом, я думаю, что до появления человекоподобных роботов осталось лет пять. Так что через 5 лет весь физический труд тоже можно будет автоматизировать. Мы увидим мир, в котором уровень безработицы будет таким, какого мы никогда раньше не видели. Я говорю не о десятипроцентной безработице, которая пугает, а 99%. У вас останутся только те работы, которые по какой-то причине вы предпочитаете выполнять сами. Но всё остальное можно полностью автоматизировать. Это не значит, что это будет реализовано на практике. Часто технологии существуют, но не используются. Видеотелефоны были изобретены в семидесятых годах, но никто ими не пользовался, пока не появились айфоны. Так что у нас может быть гораздо больше времени на работу и на мир, который выглядит именно так. Но возможность заменить большинство людей и большинство профессий появится очень быстро.
Хорошо, давайте попробуем разобраться в этом и проверим, нужен ли мне такой подкастер, как я. Давайте посмотрим, что вы делаете. Вы готовитесь, задаёте вопросы, отвечаете на них и хорошо выглядите на камеру. Большое вам спасибо. Давайте посмотрим, что мы можем сделать сегодня. Большая языковая модель может легко прочитать всё, что я написал, и очень хорошо всё понять. Я полагаю, вы не читали все мои книги. Вот это бы помогло. Программа может проанализировать все ваши подкасты. Она точно знает ваш стиль, какие вопросы вы задаёте. Она также может найти корреляцию между тем, что действительно хорошо работает. Например, этот тип вопросов действительно увеличил количество просмотров. Эта тема была очень перспективной. Так что, я думаю, вы можете оптимизировать процесс лучше, чем вы это делаете сейчас, потому что у вас нет базы данных. Конечно, визуальное моделирование на данном этапе не представляет сложности. Так, вы можете сделать видео, где я сижу здесь. И мы можем генерировать видео с вашим интервью на любую тему, и вам нужно будет только получить одобрения, разрешения и так далее.
Как вы думаете, какие профессии останутся востребованными в мире искусственного интеллекта? Если вы говорите, что ИИ потенциально появится к 2027 году, какие профессии останутся, а какие исчезнут? Допустим, мы уберём из списка профессии, связанные с физическим трудом. Как вы думаете, какие профессии человек сможет выполнять лучше в мире ИИ? Это вопрос, который я часто задаю людям, работающим с ИИ. И я думаю, что сверхразум появится почти сразу, как побочный эффект. Вопрос в том, что в мире сверхразума, который превосходит всех людей во всех областях, что вы можете предложить? Вы лучше всех знаете, каково это быть вами. Вы знаете, какое мороженое на вкус. Можете ли вы получать за это деньги? Кто-то заинтересован в этом? Возможно, нет. Это не очень востребовано. Есть профессии, где нужен человек. Может быть, вы богаты и вам нужен бухгалтер-человек по каким-то историческим причинам. Пожилым людям нравятся традиционные способы ведения дел. Уоррен Баффет не стал бы переходить на искусственный интеллект. Он бы пользовался услугами своего бухгалтера-человека. Но это лишь небольшая часть рынка. Сегодня у нас есть товары, которые производятся в США, а не массово в Китае. И некоторые люди готовы платить больше за такие товары. Но это лишь небольшая часть. Это почти что фетиш. В этом нет никакой практической пользы. И я думаю, что всё, что можно сделать на компьютере, можно автоматизировать с помощью этой технологии.
Вы, наверное, часто сталкиваетесь с возражениями, когда говорите об этом, потому что люди испытывают огромный психологический дискомфорт, когда слышат, что их работа, их карьера, то, чему они посвятили свою жизнь, то, во что они вложили 100 долларов, будет у них отнято. Поэтому их естественная реакция у некоторых людей - это когнитивный диссонанс, что нет, вы ошибаетесь. Искусственный интеллект не может быть творческим. Это не так. Он никогда не заинтересуется моей работой. Со мной всё будет в порядке, потому что вы постоянно слышите эти аргументы. Верно? Это действительно нормально. Я спрашиваю людей разных профессий. Я спрашиваю своего водителя Uber: "Вы беспокоитесь о беспилотных автомобилях?" И они отвечают: "Нет, никто не может делать то, что делаю я. Я знаю улицы Нью-Йорка. Я могу ориентироваться лучше любого, и я в безопасности". И это касается любой работы. Профессора говорят мне то же самое: "О, никто не может читать лекции так, как я. Это так необычно". Но вы понимаете, что это смешно. Уже сейчас беспилотные автомобили заменяют водителей. Это даже не вопрос, возможно ли это.
Когда вы планируете уволить их? Да, я был в Лос-Анджелесе вчера, и моя машина едет сама. Я сажусь в машину, говорю, куда мне нужно, и больше не трогаю руль и педали. Она сама довезёт меня. Даже если это будет долгая поездка, я вообще не буду вмешиваться. Я даже паркуюсь сам. Но кроме этого я вообще не вожу машину. В Лос-Анджелесе есть Waymo. Я могу заказать её через телефон, и она приедет без водителя и отвезёт меня туда, куда мне нужно. О, да. Так что очевидно, что для этих людей это вопрос времени, потому что сейчас некоторые из них слушают наш разговор, и их работа - водить машину. Я думаю, что вождение - самая распространённая профессия в мире, если я не ошибаюсь. Я уверен, что это самая распространённая профессия в мире, одна из самых популярных.
Что бы вы сказали этим людям? Чем им стоит заняться? В какой срок им нужно переквалифицироваться? Это смена парадигмы. Раньше мы говорили, что эту работу можно автоматизировать и переквалифицировать. Но если я скажу, что все профессии будут автоматизированы, то плана Б нет. Переквалифицироваться невозможно. Посмотрите на компьютерные науки. 2 года назад мы говорили людям: "Учитесь программировать". Если вы художник, вы не можете зарабатывать на этом: "Учитесь программировать". А потом мы поняли, что ИИ тоже умеет программировать, и становится всё лучше. Стань инженером по разработке, и ты можешь создавать подсказки для ИИ. Это работа. Для этого нужно получить высшее образование, но потом ИИ станет лучше нас в создании подсказок для других, чем любой человек. Так что это уже не актуально. Я не могу сказать тебе, какая профессия сейчас самая востребованная. Я думаю, что через год или два это тоже станет неактуально. Так что я не думаю, что нам нужно учиться этому. Я думаю, что это скорее проблема человечества, и мы все потеряем работу. Что мы будем делать? Как мы будем зарабатывать деньги? Кто будет нас содержать? И что мы будем делать с точки зрения смысла? Что я буду делать со своими дополнительными 680 часами в неделю?
Ты уже думал об этом, не так ли? Немного. Что ты думаешь об этом? Экономическая часть кажется простой. Если у вас много бесплатной рабочей силы, у вас много бесплатного богатства, и то, что сейчас недоступно, станет очень дешёвым, и вы сможете обеспечить всех базовыми потребностями. Некоторые говорят, что вы сможете обеспечить и сверхбазовых потребностей. Вы сможете обеспечить всем достойную жизнь. Но проблема в том, что вы будете делать со всем этим свободным временем. Для многих людей работа - это то, что придаёт смысл их жизни. Они будут чувствовать себя потерянными. Мы видим это на примере людей, которые выходят на пенсию или рано уходят с работы. А многие люди, которые ненавидят свою работу, будут очень рады не работать. Но теперь у нас есть люди, которые бездельничают целыми днями. Что будет с обществом? Как это повлияет на уровень преступности, рождаемость и другие подобные вещи. Никто об этом не думает. У правительств нет программ, которые помогли бы справиться с безработицей в 99% случаев.
Как ты думаешь, на что будет похож этот мир? Опять же, я думаю, чем ты собираешься заниматься? Очень важно понимать, что это непредсказуемо. Мы не можем предсказать, что будет делать система, которая умнее нас. И момент, когда мы достигнем этого, часто называют сингулярностью. По аналогии с физической сингулярностью, мы не можем заглянуть за горизонт событий. Я могу сказать, что, по моему мнению, может произойти, но это всего лишь мои предположения. На самом деле всё будет иначе, потому что у меня просто нет когнитивных способностей, чтобы предсказать, как будет действовать гораздо более умный искусственный интеллект.
Тогда ты читаешь научную фантастику. Там никогда не бывает сверхразума, который что-то делает, потому что никто не может написать правдоподобную научную фантастику на таком уровне. Например, запретили "Дюну", потому что так можно избежать написания подобных книг. Или как "Звёздные войны". У вас есть очень глупые боты, но ничего по-настоящему умного, потому что на таком уровне вы ничего не можете предсказать. Потому что по определению сверхразум сам принимает решение. По определению, если бы это можно было предсказать, вы бы действовали на том же уровне интеллекта, что и он, нарушая наше предположение, что он умнее вас. Если я играю в шахматы со сверхразумом и могу предсказать каждый его ход, значит, я играю на том же уровне. Это как будто мой французский бульдог пытается предугадать, что я думаю и что собираюсь делать. Это хороший когнитивный разрыв, и он не только может предсказать, что ты идёшь на работу, но и не понимает, зачем ты ведёшь подкаст. Это совершенно не укладывается в его картину мира. Да, он даже не знает, что я хожу на работу. Он просто видит, что я выхожу из дома и не знает, куда я иду. Кормить его.
Какой самый убедительный аргумент против твоей точки зрения? Что благодаря передовым технологиям у нас не будет безработицы, что не будет такого разрыва в понимании между людьми и роботами? Я думаю, в плане власти и контроля. Некоторые люди считают, что мы можем улучшить человеческий разум либо с помощью аппаратного обеспечения, например, нейроинтерфейса, либо с помощью генной инженерии, чтобы сделать людей умнее. Да, это может дать нам немного больше интеллекта. Я не думаю, что мы сможем конкурировать с кремниевыми формами жизни. Кремниевые субстраты гораздо более приспособлены для интеллекта. Они быстрее, устойчивее и во многих отношениях более энергоэффективны. Из чего состоят компьютеры? Да. Поэтому я не думаю, что мы сможем развиваться, улучшая только нашу биологию. Некоторые люди считают, что мы можем загрузить наш разум в компьютеры, просканировать наш мозг, а затем создать его симуляцию на компьютере, и вы сможете ускорить её, расширить возможности. Но мне кажется, что тогда вы перестанете существовать. Мы просто создали программное обеспечение другими способами. И теперь у нас есть искусственный интеллект, основанный на биологии, и искусственный интеллект, основанный на других формах обучения. У нас могут быть эволюционные алгоритмы, у нас может быть много путей к достижению общего искусственного интеллекта, но в итоге ни один из них не будет человеческим.
У меня здесь ещё одно свидание в 20:30. Что вы думаете о том, каким будет мир в 20:30? Каким он будет через 20 лет? Так что, скорее всего, у нас будут человекоподобные роботы, достаточно гибкие и ловкие, чтобы конкурировать с людьми во всех сферах, включая сантехников. Мы сможем создать искусственных сантехников, не тех сантехников, которые были последним оплотом занятости людей. Итак, через 23 года у нас будут человекоподобные роботы. И многие компании, в том числе Tesla, разрабатывают их со скоростью света, и они становятся всё более эффективными. Эти человекоподобные роботы смогут передвигаться в физическом пространстве, готовить, делать всё, что могут люди, но, очевидно, они будут подключены к искусственному интеллекту. Они смогут думать и разговаривать. Верно, они управляются искусственным интеллектом и всегда подключены к сети, так что они уже во многом доминируют. Наш мир будет выглядеть совершенно иначе, когда человекоподобные роботы станут функциональными и эффективными. Потому что тогда, знаете ли, я услышу, как кто-то плачет. Сочетание интеллекта и физических способностей не оставляет нам, людям, много возможностей, не так ли? Не так уж и много. Сегодня, если у вас есть доступ к интернету, вы можете нанять людей, которые будут выполнять ваши поручения. Вы можете платить им в биткоинах, и вам не нужно будет напрямую управлять ими. Так что добавление прямого управления физическими телами не сильно изменит ситуацию. Интеллект. Вот что важно. Важным компонентом, безусловно, является способность оптимизировать, решать проблемы, находить закономерности, которые люди не видят. А к 2040-2045 году, я думаю, мир станет ещё более...
[музыка]
Это будет через 20 лет, если он ещё будет существовать. Рэй Курцвейл предсказывает, что это будет год сингулярности. Это год, когда прогресс стал настолько быстрым. Поэтому искусственный интеллект, который занимается наукой и инженерными разработками, так быстро совершенствуется, что мы уже не можем за ним угнаться. Это и есть точка сингулярности, за которой мы уже не можем ничего увидеть, понять или предсказать. Увидеть и понять искусственный интеллект или что происходит в мире, технологии развиваются. Сейчас, если у меня есть iPhone, я могу ждать, что в следующем году выйдет новая модель, и я буду знать, что у неё немного лучше камера. Представьте, что процесс разработки и тестирования этого телефона автоматизирован. Это происходит каждые 6 месяцев, каждые 3 месяца, каждый месяц, неделю, день, час, минуту, секунду. Вы не можете уследить за тридцатью версиями iPhone за 1 день. Вы не понимаете, какими возможностями он обладает, как им правильно пользоваться. Это просто ускользает от вас. Сейчас любому исследователю и искусственному интеллекту сложно угнаться за современными технологиями. Пока я с вами беседовал, вышла новая модель, и я уже не знаю, что сейчас считается современным. С каждым днём я становлюсь всё глупее в процентном соотношении к общему объёму знаний. Возможно, я всё ещё знаю больше, потому что продолжаю читать, но в процентном соотношении к общему объёму знаний мы все глупеем. А потом вы доходите до крайности, у вас нет никаких знаний, вы ничего не понимаете в окружающем мире.
Некоторые возражают против этого, говоря, что когда мы смотрим на другие технологии, например, промышленную революцию, люди просто находили новые способы работы и создавали новые профессии, о которых мы тогда и подумать не могли. Как вы ответите на это в мире сверхразума? Это смена парадигмы. У нас всегда были инструменты, новые инструменты, которые позволяли выполнять работу более эффективно. Так что вместо десяти рабочих можно было нанять двух, а остальным восьми пришлось бы искать новую работу. И была ещё одна работа. Теперь вы можете контролировать этого работника. Так что сделайте что-нибудь крутое. Если вы создаёте метаизобретение, вы изобретаете интеллект, вы изобретаете работника, агента и затем можете применить этого агента для новой работы. Нет такой работы, которую нельзя было бы автоматизировать. Раньше такого не было. Все изобретения, которые у нас были раньше, были просто инструментами для чего-то. Например, мы изобрели огонь. Это сильно изменило жизнь. Но на этом всё закончилось. С огнём всё закончилось. Мы изобрели колесо. Та же идея, огромные последствия, но само колесо не было изобретателем. Теперь мы изобретаем замену человеческому разуму, нового изобретателя, способного создавать новые изобретения. Это последнее изобретение, которое нам нужно сделать, и тогда оно возьмёт верх. И процесс научных исследований, даже этических моралей, всё это будет автоматизировано.
Вы хорошо спите по ночам? Очень хорошо. Хотя последние 15-20 лет вы посвятили работе над безопасностью ИИ, и он внезапно появился у нас, чего никто не мог предвидеть 5 лет назад. Когда я говорю "у нас", я имею в виду, что сейчас на разработку сверхразума направлено столько финансирований и талантов, что это кажется неизбежным и произойдёт скорее, чем мы могли себе представить. У нас, людей, есть врождённая склонность не думать о действительно плохих последствиях и о том, что мы не можем предотвратить. Так что все мы умрём. Ваши дети умирают, ваши родители умирают, все умирают, но вы всё равно спокойно спите, всё равно продолжаете жить. Даже девяностопятилетние люди играют в гольф и занимаются другими вещами, потому что мы не можем думать о худшем исходе, особенно если мы не можем его предотвратить. Так что это та же самая система, которая используется и здесь. Да, это событие, которое может привести к гибели человечества. Мы, наверное, близки к этому, но пока я ничего не могу сделать, я могу просто наслаждаться жизнью. На самом деле, может быть, осознание того, что у тебя осталось мало времени, даёт тебе больше причин жить лучше. Нельзя ничего упускать. Это, наверное, черта выживания, которая досталась нам от эволюции, потому что те мои предки, которые постоянно беспокоились, не успели бы завести детей и выжить. Мысли о самоубийстве. Люди, которые начинают задумываться о том, насколько ужасен мир, обычно быстро уходят.
Вы написали одну из статей, в которой анализируются основные аргументы против важности безопасности. Один из них заключается в том, что сейчас есть более важные вещи. Это могут быть мировые войны, ядерное сдерживание, это могут быть другие вещи. Есть другие вещи, о которых должны говорить правительства и такие подкастеры, как я, и они гораздо важнее. Что вы ответите на этот аргумент? Сверхразум - это решение. Если мы правильно создадим сверхразум, он поможет нам с изменением климата. Он поможет нам с войнами. Он может решить все остальные экзистенциальные риски. Если мы сделаем это неправильно, он нас уничтожит. Если изменение климата будет медленно нас убивать в течение 100 лет, а сверхразум уничтожит всех за пять, то мне не нужно беспокоиться об изменении климата. Так что в любом случае либо проблема решится сама собой, либо это не проблема. Так ты думаешь, что это самая важная вещь, над которой нужно работать? Без сомнения, нет ничего важнее, чем сделать всё правильно. И я знаю, что все говорят, что ты можешь выбрать любой предмет, но ты выбрал курс английского профессора, и он говорит, что это самый важный курс, который ты когда-либо будешь изучать, но ты видишь разницу на метауровне.
Ещё один аргумент в этой статье заключается в том, что мы все можем контролировать ситуацию, и опасность исходит не от ИИ. Этот конкретный аргумент утверждает, что ИИ - это просто инструмент. Реальную опасность представляют люди, и мы всегда можем контролировать ситуацию, просто отключив...
его. Разве мы не можем просто выдернуть вилку из розетки? Я слышу это каждый раз, когда мы говорим об ней в шоу. Кто-нибудь обязательно скажет: "Разве мы не можем просто выключить его?"
Его? Да, я слышу такие комментарии на каждом своём подкасте, и мне всегда хочется связаться с кем-нибудь и сказать: "Это гениально. Я никогда об этом не думал. Давай напишем статью и получим за неё Нобелевскую премию". Это как? Давай сделаем это, потому что это так глупо. Например, можно ли выключить вирус? У тебя есть компьютерный вирус, он тебе не нравится, выключи его. А как насчёт биткоина? Выключи сеть биткоина. Давай я подожду.
Это глупо. Есть распределённые системы, их нельзя выключить. И, кроме того, они умнее тебя. Они сделали несколько резервных копий. Они предугадали, что ты собираешься сделать. Они отключат вас, прежде чем вы успеете их отключить. Идея о том, что мы будем контролировать ситуацию, применима только к уровню развития сверхразума, который у нас есть сейчас.
Сегодня люди с искусственным интеллектом опасны. Они могут быть хакерами, злоумышленниками, кем угодно. Но как только сверхразум станет умнее и будет доминировать, он перестанет быть важной частью уравнения. Меня беспокоит высший разум, а не человек, который может добавить вредоносный код, но в итоге всё равно не будет его контролировать.
Заманчиво согласиться со следующим аргументом, который я прочитал в той статье. Послушайте, это неизбежно, так что нет смысла бороться с этим, потому что надежды нет. Так что, наверное, нам стоит просто сдаться и верить, что всё само собой разрешится, потому что всё, что вы сказали, звучит действительно неизбежно. И учитывая, что этим занимается Китай, я уверен, что у Путина есть какое-то секретное подразделение. Я уверен, что Иран тоже этим занимается. Каждая европейская страна пытается опередить искусственный интеллект. Соединённые Штаты лидируют в этой области, так что это неизбежно. Так что, наверное, нам просто нужно верить и молиться.
Молиться всегда хорошо, но стимулы тоже важны. Если посмотреть, что движет этими людьми, да, деньги важны в этой сфере, много денег, и поэтому все пытаются быть там и развивать эту технологию. Но если они действительно понимают, о чём я говорю, они понимают, что умрут. Никакие деньги им не помогут. Это стимул, который заставляет их не умирать. Многие из них молодые и богатые люди. У них вся жизнь впереди.
Я думаю, что лучше не создавать продвинутый сверхразум. А сосредоточиться на узкоспециализированных и инструментах для решения конкретных задач. Допустим, моя компания занимается лечением рака груди и всё, мы зарабатываем миллиарды долларов. Все довольны, все выигрыши. Это победа.
Сегодня мы всё ещё контролируем ситуацию. Всё не закончится, пока не закончится. Мы можем решить не создавать общий сверхразум. Я имею в виду, что США, возможно, смогут найти достаточно энтузиазма для этого. Но если США не будут создавать общий сверхразум, то у Китая будет большое преимущество. Верно? Так что на данном этапе у того, у кого более продвинутые ИИ, будет более продвинутая армия. Без сомнений, мы видим это в существующих конфликтах. Но как только вы перейдёте к сверхразуму, неконтролируемому сверхразуму, уже неважно, кто его создаст, мы или они. И если они поймут этот аргумент, они тоже не будут его создавать. Это взаимное гарантированное уничтожение с обеих сторон.
Разве эта технология отличается от, скажем, ядерного оружия, которое требует огромных инвестиций? Нужно обогащать уран, и для создания ядерного оружия нужны миллиарды долларов. Но кажется, что эта технология гораздо дешевле, чтобы потенциально достичь сверхразума или, по крайней мере, она станет дешевле. Интересно, возможно ли, что какой-нибудь парень, какая-нибудь стартап-компания сможет создать сверхразум за пару лет без миллиардов долларов на вычислительную технику или электроэнергию?
Это отличный вопрос. С каждым годом становится всё дешевле обучать достаточно большую модель. Если сегодня для создания сверхразума потребуется триллион долларов, то в следующем году это может стоить 100 млрд и так далее. В какой-то момент парень за ноутбуком сможет это сделать. Но вы же не хотите ждать 4 года, чтобы сделать его доступным. Вот почему в него вкладывают столько денег. Кто-то хочет получить его в этом году и выиграть, получить награду уровня светового конуса. Так что в этом отношении оба проекта очень дорогие, как и проекты уровня Манхэттена. Например, проект создания ядерной бомбы. Верно.
Разница между этими двумя технологиями в том, что ядерное оружие - это всё ещё инструмент. Некоторые диктаторы, некоторые страны, кто-то должен принять решение использовать его, развернуть его. А сверхразум - это не инструмент, это агент. Он сам принимает решение, и никто его не контролирует. Я не могу убрать этого диктатора. И теперь сверхразум в безопасности. Для меня это принципиальная разница.
Но если вы говорите, что он будет постепенно дешеветь, как закон Мура, разве это не так? Технологии дешевеют. Да, это так. Значит, в будущем какой-нибудь парень сможет создать сверхразум на своём ноутбуке без надзора, регулирования или сотрудников и так далее. Да. Поэтому многие предлагают создать что-то вроде планеты наблюдения, где вы будете следить за тем, кто что делает, и пытаться предотвратить это. Считаю ли я это возможным? Нет. В какой-то момент это станет настолько доступным и тривиальным, что просто произойдёт. Но сейчас мы пытаемся выиграть время. Мы не хотим, чтобы это произошло через 5 лет. Мы хотим, чтобы это произошло через 50 лет.
Звучит не очень обнадёживающе. Это зависит от того, сколько вам лет. Это зависит от того, сколько вам лет. Я имею в виду, если вы говорите, что верите в будущее, когда люди смогут создать сверхразум без тех ресурсов, которые требуются сегодня, то это лишь вопрос времени. Да, но это относится и ко многим другим технологиям. Мы становимся всё лучше в синтетической биологии. И сегодня любой человек с дипломом бакалавра по биологии, вероятно, сможет создать новый вирус. Это тоже будет становиться дешевле, как и другие технологии.
Мы приближаемся к тому моменту, когда будет очень сложно гарантировать, что ни один технологический прорыв не станет последним. По сути, во многих направлениях мы делаем технологии проще в плане ресурсов и интеллекта, чтобы уничтожить мир. Если взять, ну, не знаю, 500 лет назад, диктатор мог убить пару миллионов человек, но не мог уничтожить мир. Теперь у нас есть ядерное оружие, и мы можем взорвать планету несколько раз. Синтетическая биология, которую мы увидели на примере ковида, позволяет очень легко создать вирус, который поразит миллиарды людей. И все эти вещи становятся проще делать.
В ближайшем будущем вы говорите, что вымирание человечества - это реальная угроза. Какие из всех возможных путей вымирания человечества, по вашему мнению, наиболее вероятны? Потому что я знаю, что вы говорите о проблемах, которые могут возникнуть до внедрения этих инструментов. И, например, когда кто-то допустит ошибку при разработке модели или после внедрения. Когда я говорю о последствиях развёртывания, я имею в виду, что как только чатбот или что-то подобное будет выпущен в мир, кто-то взломает его, изменит и перепрограммирует, чтобы он стал вредоносным. И всё это может привести к уничтожению человечества. Как вы думаете, какая вероятность этого выше всего?
Я могу говорить только о тех, которые могу предсказать сам. Я могу предсказать, что ещё до того, как мы достигнем сверхразума, кто-то создаст очень продвинутый биологический инструмент, создаст новый вирус, и этот вирус поразит всех или почти всех. Я могу это представить. Я могу понять, как это произойдёт. Я могу это сказать. Итак, если говорить конкретно, то это будет использование и для создания вируса, и его распространения. Это будет сделано намеренно. Есть много психопатов, террористов, культов, верящих в конец света. Исторически мы знаем, что они пытались убить как можно больше людей. Обычно у них это не получается. Они убивают сотни тысяч. Но если у них будет технология, которая позволит убить миллионы мирных жителей, они с радостью это сделают.
Я пытаюсь подчеркнуть, что неважно, что я могу придумать. Я не злонамеренный актёр, которого вы пытаетесь победить. Это сверхразум, который может придумать совершенно новые способы сделать это. Опять же, вы привели пример со своей собакой. Ваша собака не может понять, как вы собираетесь её убить. Она может подумать, что вы её загрызёте до смерти или что-то в этом роде. Но это всё. А у вас бесконечный запас ресурсов. Если бы я спросил вашу собаку, как именно вы собираетесь её убить, она бы не смогла дать мне внятный ответ. Она может сказать, что вы её загрызёте. Это всё, что мы знаем. Мы знаем, что такое вирусы. Мы сталкивались с вирусами и можем о них говорить. Но я не представляю, что может придумать система искусственного интеллекта, способная проводить новые физические исследования.
Одна из вещей, которую, я думаю, большинство людей не понимает - это то, как мало мы знаем о том, как на самом деле работают эти системы искусственного интеллекта. Ведь мы вроде бы понимаем, как работает компьютер. Мы знаем, что он делает то-то и то-то, и что он работает на основе кода. Но, судя по вашей работе, вы описываете это как чёрный ящик. Итак, в контексте чего-то вроде чат ГПТ или другой системы искусственного интеллекта, вы говорите мне, что люди, создавшие этот инструмент, на самом деле не знают, что там происходит внутри.
Совершенно верно. Поэтому даже тем, кто создаёт эти системы, приходится проводить эксперименты над своим продуктом, чтобы узнать, на что он способен. Они обучают его, предоставляя ему все данные, скажем, весь интернет-контент. Они прогоняют его через множество компьютеров, чтобы выявить закономерности в этом тексте. А потом мы начинаем экспериментировать с этой моделью. О, ты говоришь по-французски или ты разбираешься в математике. О, ты сейчас мне врёшь. И, возможно, на обучение уходит год, а потом ещё полгода, чтобы понять, на что он способен, и обеспечить безопасность. Но мы всё равно открываем новые возможности и находим старые модели. Если задать вопрос по-другому, он станет умнее. Так что это уже не инженерия, как было первые 50 лет, когда кто-то создавал экспертную систему искусственного интеллекта, программируя её для выполнения определённых задач. Это наука. Мы создаём этот артефакт, выращиваем его. Это как инопланетное растение. А потом мы изучим его, чтобы понять, что он делает. И точно так же, как в случае с растениями, у нас нет стопроцентно точных знаний в области биологии. Здесь у нас нет полных знаний. Мы вроде как знаем некоторые закономерности. Мы знаем, что если мы добавим больше вычислений, то в большинстве случаев система станет умнее. Но никто не может точно сказать, каков будет результат при заданном наборе входных данных.
Что вы думаете об AI и Сэме Альтмане? О том, что они делают. И очевидно, вы знаете, что одним из соучредителей был именно он. Это был Илья. Илья. Илья ушёл и основал новую компанию под названием "Это сверхразумная система безопасности". Поскольку безопасность и не была достаточно серьёзной проблемой, он решил сразу перейти к более сложной задаче. Как вы думаете, что чувствовали люди, которые видели, что Илья уходит в компании, занимающиеся безопасностью, и не могли ничего с этим поделать?
Многие люди, работавшие с Сэмом, говорили, что он не всегда был с ними честен, и у них были опасения по поводу его взглядов на безопасность. Это одна из причин. Они хотели большего контроля и сосредоточенности на безопасности, но похоже, что любой, кто уходит из компании и создаёт новую, получает оценку в 20 млрд долларов. просто за то, что начал этот проект. У вас нет продукта, у вас нет клиентов, но если вы хотите заработать много миллиардов долларов, просто сделайте это. Так что это вполне рациональное решение для тех, кто может себе это позволить. Поэтому я не удивлён, что многие уходят.
Когда я лично встречался с ним, он был очень милым, очень умным и отлично умел общаться с людьми. Вы видели, как он давал показания в Сенате. Он говорил правильные вещи сенаторам. Вы видели, как он общался с инвесторами, и они получали правильные ответы. Но если посмотреть на то, что говорят люди, которые знают его лично, то, возможно, он не тот человек, который должен контролировать проект такого масштаба. Почему он ставит безопасность на второе место? После того, как он стал влиятельным человеком, который совершил нечто выдающееся, он стал хуже. Вы подозреваете, что им движет желание оставить после себя наследие и быть значимым человеком, а не последствия, которые это может иметь для общества.
Потому что интересно, что его второй стартап - это Worldcoin, который, по сути, является платформой для создания универсального базового дохода, то есть платформой, которая обеспечит нам доход в мире, где у людей больше не будет работы. С одной стороны, вы создаёте компанию, занимающуюся искусственным интеллектом, а с другой, компанию, которая готовит людей к тому, что у них больше не будет работы. У неё есть и другие свойства. Она отслеживает биометрические данные каждого человека. Она позволяет вам контролировать мировую экономику и мировое богатство. Они удерживают большую часть мировых монет. Так что я думаю, что это вполне разумный шаг для достижения мирового господства. Если у вас есть сверхразумная система и вы контролируете деньги, у вас всё хорошо.
Зачем кому-то нужно мировое господство? У людей разные амбиции. Вы очень молодой человек с миллиардами долларов и славой. Вы начинаете искать более амбициозные проекты. Одни хотят отправиться на Марс, другие контролировать LЙ йткоin во Вселенной.
Что ты сказал про L йкоin во Вселенной? Lcoin, значит, с этой точки й может охватить любую часть Вселенной, то есть всё, что вы захотите взять под свой контроль. Как ты думаешь, Сэм Альтман хочет контролировать всю вселенную? Я подозреваю, что да, но это не значит, что он не хочет, чтобы это было очень полезной технологией, которая делает всех людей счастливыми. Счастливые люди - это хорошо для контроля.
Если бы тебе пришлось угадать, как будет выглядеть мир в 2011 году, если бы тебе пришлось угадывать, либо в нём не будет людей, либо он будет совершенно непонятен для таких, как мы. Это одна из крайностей. Значит, людей там не будет. По сути, мир разрушен или он настолько изменился, что я не могу представить себе эти прогнозы.
Что можно сделать, чтобы изменить ситуацию к лучшему? Есть ли ещё что-то, что мы можем сделать или уже слишком поздно? Поэтому я верю в личную заинтересованность. Если люди поймут, что это действительно плохо для них лично, они не будут этого делать. Наша задача - убедить всех, кто имеет власть в этой сфере, что создание этой технологии, работа в этих компаниях - это очень плохо для них. Забудьте о 8 миллиардах людей, над которыми вы экспериментируете без их разрешения и согласия. Вы не будете довольны результатом. Если мы сможем донести это до всех, это будет нормой. И это говорю не только я. Джефф Хинтон, лауреат Нобелевской премии, основатель всего направления машинного обучения, говорит то же самое. Он говорит, что это опасно. Бен, десятки других ведущих учёных. Мы опубликовали заявление об опасностях и, подписанное тысячами учёных и специалистов по компьютерам. Это то, что мы думаем сейчас, и нам нужно сделать это универсальным. Никто не должен с этим спорить. Тогда мы сможем принимать правильные решения о том, какие технологии создавать. Это не гарантирует долгосрочную безопасность человечества, но это значит, что мы не пытаемся достичь худшего результата как можно скорее.
Вы надеетесь, что это возможно? Я хочу попробовать. У нас нет другого выбора, кроме как попробовать.
Что должно произойти и кто должен действовать? Это должно быть на уровне правительства. К сожалению, я не думаю, что сделать это незаконным достаточно. Есть разные юрисдикции, есть лазейки, понимаете? И что вы будете делать, если кто-то это создаст? Вы будете искать их, чтобы наказать за уничтожение человечества, например, очень большие штрафы. Что вы будете делать? Это не работает. Если они действительно создадут это, то суперкомпьютер будет главным. Поэтому наша судебная система не будет иметь никакого влияния, а все наказания, которые у нас есть, предназначены для людей. Тюрьмы, смертная казнь не распространяются на ИИ.
Проблема в том, что когда я веду такие разговоры, я никогда не чувствую, что у меня есть надежда на то, что всё будет хорошо. Я имею в виду, что я никогда не чувствую, что у меня есть чёткое представление о том, какие действия нужно предпринять, чтобы предотвратить то, что может произойти. Что мне делать? Что должен делать человек, который слушает это дома? Вы общаетесь со многими людьми, которые занимаются этой технологией. Попросите их объяснить некоторые вещи, которые они считают невозможными, как они их решили или собираются решить, прежде чем они дойдут до того, что они делают. Знаете, я не думаю, что Сэм Альтман хочет со мной разговаривать. Я не знаю. Он часто появляется на подкастах. Может быть, и хочет. Он хочет прийти на мой подкаст. Интересно, почему? Я бы с удовольствием с ним поговорил, но не думаю, что он хочет. Не думаю, что он хочет, чтобы я брал у него интервью.
[музыка]
Предложите открытый вызов. Может быть, деньги не являются стимулом, но что бы не привлекало таких людей, тот, кто сможет убедить вас, что суперкомпьютер можно контролировать и сделать безопасным, получит приз. Он придёт на ваше шоу и докажет свою правоту. Кто-нибудь, если по прошествии нескольких лет никто не претендует на приз или даже не принимает вызов? Возможно, у нас нет никого, кто мог бы предложить решение.
У нас снова есть компании, стоимость которых оценивается в миллиарды долларов, работающие над созданием безопасного суперинтеллекта. Мы ещё не видели результатов их работы. Да, я бы тоже хотел поговорить с Ильёй, потому что я знаю, что он работает над созданием безопасного суперинтеллекта. Так что обрати внимание на одну закономерность. Если ты посмотришь на историю организаций или отделов по обеспечению безопасности внутри компании, то увидишь, что они обычно начинают хорошо, очень амбициозно, а затем терпят неудачу и исчезают. Так что у Open AI была команда по настройке суперинтеллекта. В тот день, когда они объявили об этом, мне кажется, они сказали, что решат эту проблему за 4 года. Примерно через полгода они распустили команду. И есть десятки подобных примеров.
Создавая идеальную систему безопасности для сверхразума, вечную безопасность, поскольку она постоянно совершенствуется, модифицируется, взаимодействует с людьми. Вы никогда не достигнете желаемого. Это невозможно. Существует большая разница между сложными задачами в области компьютерных наук и полными проблемами и неразрешимыми проблемами. И я думаю, что именно такой проблемой является контроль, неограниченный контроль над сверхразумом. Какой смысл пытаться, если это невозможно?
Ну что же, я пытаюсь доказать, что дело именно в этом. Как только мы установим, что что-то невозможно, меньше людей будут тратить своё время на то, чтобы утверждать, что они могут это сделать и искать деньги. Так много людей приходит и дают мне миллиард долларов за 2 года, и я решу эту проблему за вас. Но что же? Я не думаю, что у вас это получится. Но люди не собираются прекращать стремиться к этому. Так что если не предпринимать никаких попыток сделать это безопасным, и всё больше людей стремятся к этому, то это неизбежно. Но это меняет то, что мы делаем. Если мы знаем, что это невозможно сделать правильно, безопасно, то такая прямая дорога, когда ты просто строишь что-то, становится самоубийственной миссией. Надеюсь, что не так много людей будут этим заниматься. Они могут пойти в другом направлении. Я, например, учёный, я инженер. Я люблю искусственный интеллект. Я люблю технологии. Я постоянно ими пользуюсь, создаю полезные инструменты. Хватит создавать агентов. Создавайте узкий сверхразум, а не общий. Я не говорю, что вы не должны зарабатывать миллиарды долларов. Я люблю миллиарды долларов. Но не убивайте всех, включая себя.
Они не думают, что это произойдёт. Тогда объясните, почему. Я слышал о вашей интуиции. Я слышал, что вы решите эту проблему позже. Объясните мне конкретно в научных терминах. Опубликуйте статью, в которой будет описано, как вы собираетесь контролировать сверхразум. Да, это странно. Странно даже беспокоиться о том, что есть 1% вероятности вымирания человечества. Странно что-то делать. Например, если бы был 1% вероятности, что если я сяду в машину, то могу не выжить, я бы не сел в машину. Если бы вы сказали мне, что есть 1% вероятности, что если я выпью жидкость из этой чашки, то могу умереть, я бы не стал её пить, даже если бы мне пообещали миллиард долларов, если я выживу. Так что если есть 99% вероятности, что я получу миллиард долларов и 1%, что я умру, я бы не стал пить эту жидкость. Я бы не стал рисковать.
Всё ещё хуже. Умрёшь не только ты, но и все остальные. Да. Да. А теперь, если бы мы предложили тебе выпить эту жидкость, ты бы согласился? Это решать нам. Вы не можете решать за нас. Чтобы получить согласие от людей, нужно, чтобы они понимали, на что они соглашаются. Если эти системы необъяснимы и непредсказуемы, как они могут дать согласие? Они не знают, на что они соглашаются, поэтому по определению невозможно получить согласие. Следовательно, этот эксперимент нельзя проводить этично. По определению, они проводят неэтичные эксперименты над людьми.
Как вы думаете, люди должны протестовать? Люди протестуют. Есть AI, есть Post AI. Они блокируют офисы Open AI. Они делают это каждую неделю, каждый месяц, проводят много акций и привлекают новых людей. Как вы думаете, нужно, чтобы больше людей протестовало? Думаете, это эффективное решение? Если это будет достаточно масштабно, чтобы в этом участвовало большинство населения, это будет иметь эффект. Я не знаю, смогут ли они увеличить число участников, но я поддерживаю все мирные и законные способы борьбы.
А что делать человеку, который слушает нас дома? Он не хочет чувствовать себя беспомощным. Никто из нас не хочет чувствовать себя беспомощным. Это зависит от того, о каком временном отрезке мы говорим. Например, ваш ребёнок в этом году пойдёт в колледж. Какую специальность выбрать? Стоит ли ему вообще идти в колледж? Да. Стоит ли вам сменить работу? Стоит ли вам работать в определённых отраслях? Есть вопросы, на которые мы можем ответить. Мы можем говорить о ближайшем будущем. Что вы будете делать через 5 лет, когда это будет создано? Для обычного человека ничего особенного. Точно так же, как они не могут повлиять на третью мировую войну, ядерный холокост или что-то подобное. Никто не будет их об этом спрашивать сегодня. Если ты хочешь стать частью этого движения, присоединяйся к PA, присоединяйся к STOP, организациям, которые в настоящее время пытаются придать импульс демократическим силам, чтобы повлиять на этих людей. Так что в ближайшей перспективе это не так уж и много.
Мне было интересно, есть ли какие-нибудь интересные стратегии на ближайшую перспективу. Например, должен ли я по-другому относиться к своей семье? Да, я имею в виду, у тебя ведь есть дети, верно? У тебя трое детей. Вот об этом я ничего не знаю. Да, трое детей. Как ты относишься к воспитанию детей в этом мире, который ты видишь за углом? Как ты относишься к тому, что сказать им, какой совет дать им, чему они должны научиться? Так что за пределами этой области есть общий совет: проживай каждый свой день так, как будто он последний. Это хороший совет, несмотря ни на что. Если у тебя осталось 3 года или 30, значит, ты прожил свою лучшую жизнь. Так что постарайся не делать то, что ты ненавидишь слишком долго. Занимайся интересными вещами. Добивайся успеха, если можешь, и при этом помогай людям в этом.
Теория имитационного моделирования - это интересный, смежный предмет здесь, потому что по мере того, как компьютеры начинают ускоряться и становиться более интеллектуальными, мы можем делать с помощью искусственного интеллекта такие вещи, которые мы никогда не могли себе представить, если говорить о подобном. Представьте себе мир, который мы могли бы создать с помощью виртуальной реальности. Я думаю, что недавно компания Google выпустила приложение, как оно называлось, миры искусственного интеллекта. Когда ты делаешь снимок, он создаёт целый мир. Да, и ты можешь перемещаться по миру. Я выведу это на экран, чтобы люди могли видеть. Но Google разработал технологию, которая позволяет создавать трёхмерный мир, в котором можно перемещаться. И в этом мире есть память. То есть, если вы рисуете на стене и отворачиваетесь, то когда вы снова посмотрите на стену, там будет ваш рисунок, он сохраняется? Да, сохраняется. И когда я это увидел, я подумал: "Чёрт возьми, это же начало создания симуляции, неотличимой от всего, что я вижу здесь".
Точно. Вот почему я думаю, что мы находимся в симуляции. Это именно та причина. И приближается к уровню создания агентов, подобных человеку, а виртуальная реальность приближается к уровню неотличимости от нашей. Так, вы думаете, что это симуляция? Я почти уверен, что мы находимся в симуляции. Если вы не знакомы с аргументами о симуляции, какие первые принципы убеждают вас в том, что мы сейчас живём в симуляции? Для этого нужны определённые технологии. Если вы верите, что мы можем создать и на уровне человека и верите, что мы можем создать виртуальную реальность, которая будет такой же качественной с точки зрения разрешения, тактильных ощущений и других свойств, то я прямо сейчас, когда это станет доступно, запущу миллиарды симуляций, чтобы убедиться, что вы находитесь в одной из них.
Повторите последнюю фразу: "Вы собираетесь запустить?" "Вы собираетесь запустить?" Я прямо сейчас, когда это станет доступным, запущу миллиард симуляций в этом интервью. Зачем? Потому что статистически это означает, что
Вы находитесь в одной из них прямо сейчас. Вероятность того, что вы окажетесь в настоящем мире, равна одному на миллиард.
Ладно, давай проясним. Это ретроактивное внедрение. Да, как только это станет доступно, вы сможете запустить миллиарды таких симуляций, и они будут ощущать себя и выглядеть точно так же, как это интервью прямо сейчас. Если предположить, что у есть внутреннее состояние, опыт квалиа, то некоторые утверждают, что у него их нет, а другие говорят, что они уже есть. Это отдельный философский вопрос. Но если мы сможем это смоделировать, я смогу.
Некоторые могут неправильно понять. Ты не говоришь, что сделаешь это сам. Ты говоришь, что кто-то другой это сделает. Так что я тоже могу это сделать. Я не против. Конечно, за несколько часов до того, как я это сделаю, это сделают другие. Если я получу это за 10 долларов, кто-то получит это за 1.000. Дело не в этом.
Если у вас есть технологии, мы, безусловно, проводим множество симуляций для исследований, развлечений, игр и по другим причинам. И их количество намного превышает количество реальных миров, в которых мы находимся. Посмотри на все видеоигры, в которые играют дети. Каждый ребёнок играет в 10 разных игр, знаешь ли, а в мире миллиарды детей. Так что в одном реальном мире существует 10 млрд симуляций. Тем более, если мы говорим о продвинутых сверхинлектуальных системах и их мышление отличается от нашего. Они мыслят гораздо детальнее, они проводят эксперименты. Так что детальная симуляция какой-либо проблемы на уровне создания искусственных людей и моделирования целой планеты - это то, что они будут делать регулярно.
Так что есть большая вероятность, что это не я делаю это за 10 долларов. Это симуляция будущего, которое думает о чём-то в этом мире. Так что вполне возможно, что какой-то вид людей или какой-то вид разума в какой-то форме дошли до того, что могут запускать симуляции, неотличимые от реальности. И они решили это сделать. И сейчас это происходит прямо здесь. И вполне логично, что они запускают симуляции в качестве экспериментов, игр или развлечений.
И когда я думаю о времени в мире, в котором я нахожусь, в этой симуляции, которая может быть реальностью, время кажется долгим относительно. У меня, например, 24 часа в сутках, но там, в их мире, это может быть совсем по-другому. Время относительно. Относительно, да. Это может быть секунда. Вся моя жизнь может быть там миллисекундой. Верно? Вы можете менять скорость симуляции, которые запускаете.
Значит, вы считаете, что это, скорее всего, симуляция? Скорее всего. И многие с этим согласны. Если вы вернётесь к религиям, то каждый из них описывает как сверхразумное существо, инженер, программист, создаёт фальшивый мир для тестирования или чего-то ещё. Но если вы прочтёте статью о гипотезе симуляции, то пойдёте в джунгли, поговорите с первобытными людьми, с местным племенем и на их языке расскажете им об этом, а потом вернётесь через несколько поколений. У них уже будет религия. Вот в чём суть. Религия, да, в основном это и есть теория симуляции. Кто-то её создал. Так что по умолчанию это была первая теория, которая у нас была. А теперь с развитием науки всё больше людей думают, это не лишено смысла. Некоторые думают так же, как и я, но многие всё же верят в это.
На какой процент вы уверены, что мы сейчас живём в симуляции? Почти на 100%. И что это значит для вашей жизни? Если вы почти на 100% уверены, что мы сейчас живём в симуляции, это что-то меняет в вашей жизни? Всё, что для меня важно, остаётся прежним. Боль всё ещё причиняет боль. Любовь всё ещё любовь. Верно? Ничего не меняется. Так что это не имеет значения. Это всё ещё важно. Вот что важно. Единственное отличие в том, что меня волнует то, что находится за пределами симуляции. Я хочу узнать об этом. Я пишу об этом статьи. Вот и всё.
А что, по-вашему, находится за пределами симуляции? Я не знаю, но мы можем посмотреть на этот мир и сделать некоторые выводы о создателях симуляции. Очевидно, что они блестящие инженеры, учёные, художники, но не очень хороши в вопросах морали и этики. Есть куда расти в нашем понимании морали и этики. Ну, мы знаем, что в мире есть страдания. Так что если вы не считаете, что пытать детей - это этично, то я сомневаюсь в вашем подходе. Но для создания положительных стимулов, вероятно, нужны отрицательные. Страдание - это один из отрицательных стимулов, встроенных в нашу систему, чтобы я не делал того, чего не должен. Например, если я суну руку в огонь, мне будет больно. Но всё дело в уровнях, уровнях страданий. Верно? Неприятные стимулы, негативная обратная связь не должны быть на уровне ада. Вы же не хотите сгореть заживо и чувствовать это. Вы хотите сказать: "О, это неприятно. Я остановлюсь".
Это интересно, потому что мы считаем, что у них нет высоких моральных принципов и этики. Но мы бы тоже так поступили. Мы бы взяли животных, приготовили их и съели на ужин. И мы тоже проводим эксперименты на мышах и крысах. Но чтобы получить разрешение на проведение эксперимента в университете, нужно подать заявку. И специальная комиссия скажет, что нельзя проводить эксперименты на людях, нельзя сжигать младенцев. Нельзя есть животных живьём. Всё это запрещено. В большинстве стран мира, где есть этические комитеты. Да, потому что в некоторых местах этим не заморачиваются и процесс получения разрешения упрощается.
Забавно, когда ты говоришь о теории симуляции, в разговоре появляется элемент, который странным образом лишает жизнь смысла. Например, я знаю, что это неважно, но когда я говорю об этом с людьми, не в подкасте о том, живём ли мы в симуляции, на секунду в их жизни появляется какой-то смысл, а потом они забывают и продолжают жить дальше. Но мысль о том, что эта симуляция, почти утверждает, что это неважно или что люди хотят верить, что это высший уровень, что мы находимся на самом важном месте и что всё дело в нас. Мы довольно эгоистичны по своей природе. И это просто интересное наблюдение, которое я всегда делаю, когда разговариваю с людьми. Кажется, что это что-то отнимает у их жизни.
Ты думаешь, что религиозные люди чувствуют то же самое? Они знают, что есть другой мир и что этот мир не так важен. Ты думаешь, что они не ценят свою жизнь так же? Я думаю, что в некоторых религиях это так. Я думаю, они считают, что этот мир создан для них и что они попадут в рай или в ад. И это ставит их в центр всего. Но если это симуляция, то, знаете, мы можем быть просто компьютерной игрой, с которой возится четырёхлетний инопланетянин, пока у него есть свободное время. Но может быть есть какой-то тест, и если ты пройдёшь его, то попадёшь в лучшую симуляцию. Может быть, есть разные уровни сложности. Может быть, в следующий раз ты захочешь поиграть на более сложном уровне.
Много думаете о долголетии? Да, много. Это, наверное, вторая по важности проблема, потому что если и не сможет нас понять, то это будет. Что ты имеешь в виду? Ты умрёшь от старости. Ну и ладно. Это нехорошо. Ты хочешь умереть? Я имею в виду, тебе не обязательно. Просто болезнь. Мы можем её вылечить. Ничто не мешает тебе жить вечно, пока существует вселенная, если только мы не выйдем из симуляции. Но мы же не хотим, чтобы мир, где все живут вечно, стал таким, верно? Это было бы. Конечно, нет. А почему кто-то должен умереть? Ну я не знаю. Я говорю это потому, что всегда знал, что люди умирают. Но разве мир не стал бы слишком перенаселённым, если бы Нет. Если ты будешь жить вечно, то перестанешь размножаться. Ты заведёшь детей, потому что хочешь, чтобы кто-то тебя заменил. Если ты будешь жить вечно, то скажешь: "Я заведу детей через миллион лет". Это круто. Я сначала отправлюсь исследовать Вселенную. Плюс, если посмотреть на реальную динамику населения за пределами одного континента, то мы все сокращаемся, а не увеличиваемся. Да, это безумие. Чем богаче становятся люди, тем меньше у них детей, что совпадает с тем, что ты говоришь. Я действительно думаю, если честно, если бы я знал, что проживу тыся лет, я бы ни за что не стал заводить детей в 30. Точно. Биологические часы основаны на конечной точке. Если бы твои биологические часы были бесконечными, ты бы сказал: "Это всего лишь один день".
И ты думаешь, что это близко к тому, чтобы продлить нашу жизнь? Это всего в одном шаге от успеха. Я думаю, что где-то в нашем геноме омоложения, и по идее она должна продлевать нам жизнь максимум до 120 лет, но мы можем её перезапустить и сделать больше. И, вероятно, ускорит этот процесс. Это очень важная область применения. Да, абсолютно. Так что, возможно, Брайан Джонсон прав, когда говорит: "Не умирай сейчас". Он всё время повторяет мне: "Не умирай сейчас, не умирай никогда". Но он говорит: "Не умирай, пока мы не доберёмся до технологий". Верно. Скорость побега от долголетия. Ты хочешь прожить достаточно долго, чтобы жить вечно. Если в какой-то момент мы будем добавлять тебе 2 года к жизни каждый год благодаря медицинским открытиям, то ты будешь жить вечно. Тебе просто нужно достичь точки, когда скорость побега от долголетия станет возможной. И он считает, что скорость побега от долголетия, особенно в мире, это минимум десятилетия. А значит, как только мы полностью разберёмся в человеческом геноме, я думаю, мы очень быстро добьёмся удивительных прорывов. Потому что у некоторых людей есть гены, позволяющие жить дольше. У них есть целое поколение долгожителей. Так что если мы сможем это понять и скопировать или взять у каких-нибудь животных, которые будут жить вечно, мы этого добьёмся.
Вы бы хотели жить вечно? Конечно. Зададим вопрос наоборот. Допустим, мы живём вечно, и вы спрашиваете меня: "Вы хотите умереть через 40 лет? Зачем мне отвечать? Да не знаю. Может быть, вы просто привыкли к умолчанию. Да, я привык к умолчанию. И никто не хочет умирать. Как бы ты ни был стар, никто не скажет: "Да, я хочу умереть в этом году". Все говорят: "Я хочу жить дальше".
Интересно, была бы жизнь и всё остальное менее особенным, если бы я прожил 10 лет? Интересно, если бы я впервые поехал на Гавайи или, не знаю, завёл отношения, всё это было бы для меня менее особенным, если бы было в избытке. Если бы я просто, ну, ты понимаешь, это могло бы быть менее особенным для меня лично, но есть столько всего, что можно сделать. Сейчас ты можешь строить планы на ближайшие 10-20 лет. Ты не можешь планировать работать над каким-то проектом 500 лет. Представь, какие возможности откроются перед тобой в бесконечной вселенной. Чёрт. Ну ты можешь, потому что я устал. Это большой срок, и я не знаю, как у тебя, но я не помню 99% своей жизни в деталях. Я помню только яркие моменты. Так что даже если я наслаждался Гавайями 10 лет назад, я буду наслаждаться ими снова.
Ты действительно думаешь об этом с практической точки зрения, как Брайан Джонсон, который убеждён, что мы сможем продлить жизнь лет через 20. Ты думаешь об этом практически? И что ты делаешь для этого? Диета, правильное питание. Я пытаюсь придумать инвестиционные стратегии, которые принесут прибыль через миллион лет. Да, правда? Да, конечно. Что значит конечно? А почему бы и нет? Если ты думаешь, что это произойдёт, то должен попробовать.
Если мы правильно поймём искусственный интеллект, что будет с экономикой? Мы говорили о мировой валюте, о бесплатной рабочей силе. Что такое деньги? Это биткоины, ты инвестируешь в него. Есть ли что-то ещё, что станет единственным ресурсом, который мы не сможем поделать? Так что это очень важные темы для исследований. Значит, ты инвестируешь в биткоины. Да. Да. Потому что это единственный дефицитный ресурс. Ничто другое не является дефицитным. Если цена на что-то вырастет, то можно будет произвести больше. Я могу сделать столько золота, сколько ты захочешь, при условии, что цена будет подходящей, а биткоины больше не сделаешь. Некоторые люди говорят, что биткоины - это просто программа на компьютере, которая, как мы все согласились, имеет ценность. Мы программа на компьютере. Помнишь? Ну ладно, это не совет по инвестициям, но всё же совет по инвестициям. Это забавно. Это одна из тех вещей, когда тебе говорят, что это не так, но ты сразу понимаешь, что это так. Ваш звонок важен для нас. Это значит, что ваш звонок не имеет никакого значения. И с инвестициями также. Да, когда они говорят, что это не совет по инвестициям, это, конечно, совет по инвестициям, но это не совет по инвестициям.
Так что ты настроен оптимистично по поводу биткоина, потому что с ним ничего не случится. Это единственная вещь, количество, которое мы знаем во Вселенной. Например, золото. Может быть, к нам летит астероид из чистого золота, который обесценит его. Ну и нас всех убьёт. Но с биткоином всё иначе. Я точно знаю цифры. И даже 21 млн - это верхний предел. Сколько потеряно? Забыты пароли. Я не знаю, что Саша делает со своим миллионом. Он становится всё более дефицитным, и всё больше людей пытаются его накопить. Некоторые люди беспокоятся, что его можно взломать с помощью суперкомпьютера. Квантовый компьютер может взломать этот алгоритм. Для этого есть стратегии перехода на квантовоустойчивую криптографию. Но квантовые компьютеры всё ещё довольно слабые.
Как ты думаешь, есть ли в моей жизни какие-то изменения, которые я должен внести после этого разговора? Есть ли что-то, что я должен делать по-другому, как только выйду за дверь? Я полагаю, ты уже вложил много денег в биткоины. Да, я инвестирую в биткоины. Это финансовый совет. Нет, просто ты, кажется, выигрываешь. Может быть, это твоя симуляция. Ты богат, красив, с тобой тусуются знаменитости. Ну, это неплохо. Продолжай в том же духе. У Робина Хансона есть статья о том, как жить в симуляции. Что ты должен делать? Твоя цель - делать именно это. Ты хочешь быть интересным, хочешь тусоваться со знаменитостями, чтобы они не отключили тебя. Ты часть того, что кто-то действительно смотрит в режиме Payperview или что-то в этом роде. О, я не знаю, хочешь ли ты, чтобы тебя смотрели в режиме Payperview, потому что тогда ты будешь другим. Тогда они тебя отключат. Если никто не смотрит, зачем им это показывать? Я говорю, что ты не хочешь быть на виду. Ты не хочешь быть парнем, который просто живёт нормальной жизнью, а не хозяин. Это НПК. Никто не хочет быть НПК.
Ты религиозен? Не в традиционном смысле, но я верю в гипотезу симуляции, в которой есть сверхразумное существо. Так что Но ты не веришь, но знаешь религиозные книги, разные религии. Одна религия говорит, что нельзя работать в субботу. Другая, что нельзя работать в воскресенье. Нельзя есть свинину, нельзя есть коров. Это просто местные традиции, основанные на этой теории. Вот и всё. Все они одной религии. Все они поклоняются сверхразумным существам. Они все думают, что этот мир не единственный, и спорят о том, каких животных можно есть, а каких нельзя. Забудьте о местных обычаях. Сосредоточьтесь на том, что общего у всех религий. И это самое интересное. Они все верят, что есть нечто большее, чем люди, очень могущественное, всезнающее и всемогущее. Тогда я запускаю компьютерную игру. Для персонажей этой игры я и есть это нечто. Я могу изменить весь мир. Я могу его уничтожить. Я знаю всё на свете. Забавно.
Но когда мы начали говорить о теории симуляции, я подумал, что у нас есть что-то врождённое, что осталось от Создателя, что-то вроде подсказки, интуиции, потому что это то, что было у людей на протяжении всей истории. У людей есть интуиция, что всё, что вы сказали, правда, что есть кто-то выше. И у нас были поколения людей, которые верили в Бога, которые считали, что Бог говорил с ними, был рядом и давал им книги. И это передавалось из поколения в поколение. Возможно, это одно из первых поколений, которое не верит в Бога. Интересно, говорят ли эти люди правду? Интересно, говорят ли эти люди, что Бог приходил к ним и что-то говорил? Только представьте, представьте, что это было частью всего этого. Я смотрю новости. Час назад что-то произошло, и я получаю противоречивые результаты. Я не могу связаться ни с камерами, ни с дронами, ни с кем-то из Твиттера. Я до сих пор не знаю, что произошло. И вы думаете, что 3.000 лет назад у нас были точные переводы, но нет, конечно, не было.
Вы знаете, что эти разговоры о безопасности заставляют людей чувствовать себя лучше? Я не знаю, хорошо это или плохо, но людям это интересно. Это одна из тех тем, о которых я могу поговорить с обычным человеком о разных способах лечения рака. Но у каждого есть своё мнение об и у каждого есть своё мнение о симуляции. Интересно, что для понимания этих концепций не нужно быть высокообразованным или гением, потому что я склонен думать, что это не очень хорошо. Я это понимаю, но я всегда считал, что не стоит жить в мире иллюзий, где ты просто стараешься быть позитивным, слышать только хорошие вещи и избегать неудобных разговоров. На самом деле прогресс в моей жизни часто приходит от неудобных разговоров. Когда я узнаю что-то новое, по крайней мере, понимаю, что могу с этим что-то сделать. Поэтому я думаю, что именно поэтому я задаю этот вопрос, потому что я предполагаю, что большинство людей, если они нормальные, будут слушать эти разговоры и думать: "Боже, это страшно". И это беспокоит. И тогда я возвращаюсь к вопросу, что мне делать с этой энергией?
Да, но я пытаюсь сказать, что это ничем не отличается от многих других разговоров. Мы можем говорить о том, что в этом регионе голод, геноцид, вы все умираете, рак распространяется, аутизм растёт. Всегда можно найти что-то, что вызывает депрессию, и ничего с этим не поделать. Мы очень хорошо умеем концентрироваться на том, что можем изменить, что у нас хорошо получается, и в основном не пытаемся охватить весь мир как единое целое. Исторически сложилось так, что вы росли в племени, вас окружали десятки людей. Если с кем-то из них что-то случалось, это было редкостью. Это был несчастный случай. Сейчас же, если я захожу в интернет, то каждый день вижу, как кого-то убивают. Мне сообщают о тысячах людей каждый день. У меня даже нет времени это замечать. Это слишком. Поэтому я должен ставить фильтры. И я думаю, что люди очень хорошо умеют фильтровать информацию. Например, это был развлекательный разговор, на который я пришёл что-то вроде шоу. И как только я ухожу, оно заканчивается. Обычно я выступаю с докладом на конференции и говорю: "Вы умрёте через 2 года". Есть вопросы? А люди спрашивают: "Я потеряю работу. Как мне смазать моего секс-робота? Это какая-то ерунда. Они явно не понимают, что я пытаюсь сказать. И это хорошие вопросы, интересные вопросы, но они не полностью осознают результат. Они всё ещё в своём пузыре локального и глобального.
А что говорят люди, которые больше всего не согласны с вами в вопросах безопасности? И какие у них обычно контраргументы? Многие вообще не участвуют в обсуждении. У них нет базовых знаний в этой области. Они не написали ни одной книги, ни одной статьи. Не только я, никто. Они могут даже работать в этой сфере. Например, они занимаются машинным обучением в какой-нибудь компании, оптимизируют клики по рекламе, и для них эти системы очень узкие. А потом они слышат, что И, очевидно, захватит мир, как будто у него нет рук. Как он это сделает? Это же бред. Этот парень сумасшедший. У него борода. С какой стати я должен его слушать? Верно. Вот затем они начинают немного читать. Они говорят: "О'кей, может быть, и правда опасен". Да, я понимаю, но мы всегда решали проблемы в прошлом. Мы решим их снова. Я имею в виду, что в какой-то момент мы исправим компьютерный вирус или что-то подобное. Так что это то же самое. И чем больше у них возможностей, тем меньше вероятность, что они сохранят эту позицию. Я знаю многих людей, которые перешли от беспечного разработчика к исследователю в области безопасности. Я не знаю никого, кто перешёл бы от беспокойства о безопасности и к тому, что, мол, беспокоится ни о чём.
Каковы ваши заключительные заявления? Давайте убедимся, что нам не нужно делать никаких заключительных заявлений для человечества. Давайте убедимся, что мы остаёмся у руля, контролируем ситуацию. Давайте убедимся, что мы создаём только то, что выгодно нам. Давайте убедимся, что люди, принимающие эти решения, достаточно квалифицированы для этого. Они хороши не только в науке, технике и бизнесе, но и обладают моральными и этическими принципами. И если вы делаете что-то, что влияет на других людей, вы должны спросить у них разрешения, прежде чем это делать.
Если бы перед вами была кнопка, которая бы навсегда отключила все И компании в мире и никто не смог бы создать новую, вы бы нажали на неё? Мы теряем узкий И или только сверхразумный и общего назначения? Мы теряем весь И - это сложный вопрос, потому что И чрезвычайно важен. Он управляет фондовым рынком, электростанциями, больницами. Это была бы разрушительная авария. Миллионы людей погибли бы. Ладно, мы можем оставить узкие. А, да, это то, чего мы хотим. Мы хотим, чтобы искусственный интеллект делал всё это за нас, но не так, чтобы мы не могли контролировать происходящее. Значит, вы бы это остановили. Вы бы остановили И и сверхразум. У нас уже есть И. То, что у нас есть сегодня, отлично подходит почти для всего. Мы можем использовать его в качестве секретарей. 99% экономического потенциала современных технологий не используется. Мы создаём И так быстро, что у него нет времени распространиться по индустрии технологиям. Примерно половина всех рабочих мест считаются бесполезными. Их не нужно выполнять, так что их даже не нужно автоматизировать, их можно просто упразнить. Но я говорю, что мы можем заменить 60% рабочих мест существующими моделями. Мы этого не сделали. Так что если цель развивать экономику, то мы можем делать это десятилетиями, не создавая сверхразум как можно скорее.
Как вы думаете, во всём мире, особенно на Западе, безработица будет только расти? Вы считаете, что сейчас это низкий уровень безработицы? Я имею в виду, что она сильно колеблется в зависимости от других факторов. Бывают войны, экономические циклы, но в целом чем больше рабочих мест автоматизируется, и чем выше интеллектуальная потребность в работе, тем меньше людей могут её выполнять. Значит, если мы построим график на ближайшие 20 лет, вы предполагаете, что безработица будет постепенно расти? Думаю, да. Всё меньше и меньше людей смогут вносить свой вклад. Мы уже это понимаем, потому что ввели минимальную заработную плату. Мы поняли, что некоторые люди не приносят достаточно экономической пользы, чтобы им платили. Поэтому нам пришлось заставить работодателей платить им больше, чем они того стоят. Мы так и не обновили его. Сколько там сейчас в США? 725 долларов в час. Если учесть рост экономики, то сейчас это должно быть около 25 долларов в час. А значит, все эти люди, которые получают меньше, не вносят достаточный вклад в экономику, чтобы оправдать свою зарплату.
У нас есть традиция в конце каждого выпуска, когда последний гость задаёт вопрос следующему гостю, не зная, кому он его задаёт. Вопрос, который я хочу задать вам, звучит так: какие качества вы считаете самыми важными для друга, коллеги или партнёра? Это очень разные люди, но для всех них верность на первом месте. L is number