Transcription
Влияние искусственного интеллекта уже в это десятилетие превзойдёт влияние промышленной революции. Именно с этого утверждения стартует, возможно, один из самых важных документов нашего с вами времени.
AI 2027 — это тщательно проработанный доклад, подготовленный группой американских исследователей в области искусственного интеллекта во главе с Дэниалом Какатело. Это именно тот человек, который ещё в 2021, за год до выхода самой первой версии ChatGPT, предсказал стремительный рост чатботов, гигантские инвестиции в эту отрасль, масштабные экспортные ограничения на AI-чипы и строительство монструозных дата-центров. Но самое главное, он предсказал и текущую гонку вооружений, где никто не захочет отступать, даже если это будет угрожать будущему всего нашего вида.
И при всём при этом, что делает изучение этого документа одновременно таким захватывающим и настолько же пугающим, так это то, что это не просто какой-то типичный, скучный исследовательский доклад с тонной сухих цифр и непонятных широкой аудитории терминов. Нет, они решили подать свою работу как настоящую историю, как настоящее художественное повествование, чтобы дать нам всем конкретное и наглядное представление о том, что значит жить в условиях стремительно ускоряющегося прогресса искусственного интеллекта. И спойлер: этот прогноз, эта история предсказывает уничтожение человеческой расы, если только мы не сделаем правильный выбор.
Сценарий AI 2027 стартует почти что год назад, летом двадцать пятого. Так что у нас уже наглядно есть этот временной люфт, чтобы отследить часть прогнозов и понять, насколько вообще это исследование заслуживает внимания, насколько осуществимы описываемые в нём события, какая часть из них сбывается и не является ли это всё вымыслом. Но сперва давайте вообще разберёмся, как обстоят дела с искусственным интеллектом прямо сейчас в нашей реальной трёхмерной жизни, а затем вернёмся непосредственно к самой хронологии.
Прямо сейчас, посередине второго квартала двадцать шестого года, различные AI-штуки и решения буквально повсюду. Зубные щётки с тысячами разных режимов в Америке, камеры с распознаванием лиц и предоставлением полного досье в Британии, умные рисоварки на уровне пяти звёзд Мишлен в Китае, буквально телепортирующиеся до места назначения роботы-доставщики в Индии. Действительно сложно назвать отрасль, куда бы ещё не проник искусственный интеллект.
Ну и, конечно же, мы не забываем про всеми нами любимые большие языковые модели, с которыми мы взаимодействуем через чатботов. Выбирайте на свой вкус. Однако всё это в большинстве своём всего лишь просто узконаправленные прикладные продукты, созданные для того же, для чего в прошлом были созданы Google Карты и банально калькуляторы. Помогать обычным потребителям решать их задачи в конкретной области применения. Рецепты, уже на помощь по домашней работе, подробная схема предохранителей в вашем авто, а может быть, даже маршрут красивых локаций в отпуске. Сценариев использования чатботов, ну, просто не сосчитать. Но при любом из них они не выходят за рамки поставленной задачи. У чатбота нет и не может быть никаких собственных целей и никаких планов. Это лишь прикладной инструмент.
При всём при этом, святой грааль искусственного интеллекта, то, к чему стремится вся отрасль — это универсальный искусственный интеллект. AGI. В гонке за этим новым видом искусственного интеллекта участвует небольшой пул компаний, и все вы их прекрасно знаете, конкретно по тем самым лидирующим чатботам: OpenAI и Anthropic в США, Meme и XAI всё там же, Google DeepMind со штаб-квартирой в Лондоне и, конечно, китайский Baidu, совершивший большой прорыв за последние пару лет. И казалось бы, а почему в погоне за, возможно, самой главной технологией в истории человеческой расы, которая, ну, как минимум, принесёт просто немыслимые деньги этим компаниям, так мало больших игроков?
С каждым новым витком развития, каждой новой версией модели, искусственному интеллекту требуется всё больше и больше вычислительных мощностей, чтобы поглощать и перерабатывать всё больше информации, которую в него загружают. И для наглядного понимания важности ресурсов: это вычислительная мощность, которая была использована для обучения модели GPT-3 в двадцатом году, с которого и началась эпоха чатботов. А это вычислительные мощности, использованные для обучения GPT-4 спустя 3 года.
Большинство людей, не погружённых в тему, представляют себе нейросеть как обычную программу. Ну то есть, разработчики написали код, прописали все правила, и дальше всё поведение системы полностью определяется этими строчками. Не нравится, что она делает? Значит, где-то есть конкретная строка кода, который за это отвечает. Нашёл её, поправил, и в следующий раз программа ведёт себя уже по-другому. И да, в самом начале инженеры действительно пытались делать жёстко запрограммированные интеллекты. Это такие огромные наборы правил на все случаи жизни. Но проблема в том, что подобные системы были просто деревянными. Они почти не умели подстраиваться и, главное, не умели учиться на новых данных.
И чтобы получить ту гибкость, которую мы видим сегодня в больших языковых моделях, людям пришлось отказаться от идеи прописать поведение руками и перейти к идее вырастить поведение на данных. То есть, это ближе к выращиванию питомца, чем к написанию программы. Вместо готового набора правил мы берём большую сеть из условных узлов и связи между ними, что-то вроде очень грубого и искусственного наброска человеческого мозга, в котором ещё ничего толком нет и который ничего не умеет. По мере взросления в мозге начинают формироваться нейронные связи. Со временем какие-то становятся сильнее, другие, наоборот, отмирают. И с нейросетью происходит похожая история. Поначалу все её связи настроены случайно. Она смотрит на входные данные, пытается что-то ответить и почти всегда ошибается. Мы же показываем ей, где она промахнулась, и по результатам этой оценки чуть-чуть подкручиваем и где-то меняем силу связи между искусственными нейронами. Одни пути делаем более проходимыми, другие блокируем. Потом снова даём пример, снова оцениваем ответ и снова перестраиваем связи. Итак, тысячи, миллионы, миллиарды раз. Так что в итоге внутри мозга нейросети формируется сложный рисунок: по каким дорожкам сигнал проходит легче, а по каким почти блокируется. И вот этот рисунок и есть её выученные навыки и инстинкты.
Вообще, сам метод глубокого обучения был разработан ещё в семидесятые, но проблема была в том, что компьютеры-шкафы тех времён были просто физически не способны вырастить нейронную сеть подобных масштабов. Поэтому реальное глубокое обучение стало возможным только когда железо наконец догнало теорию. В общем, план предельно прост: предоставьте модели беспрецедентные ресурсы и данные, чтобы она могла прогонять их через себя миллионы и миллиарды раз, наращивая те самые нейронные связи. И не путайтесь у неё под ногами.
Итак, наша история стартует летом двадцать пятого, когда американцы делают первый столь серьёзный шаг в направлении обретения AGI. Они выпускают первую итерацию агентов. Вы же помните, что классический чатбот не имеет своих собственных целей, не имеет планов. Он — это лишь инструмент в умелых руках. Однако эта новинка кардинально меняет ситуацию. Агент — это, по сути, твой персональный цифровой помощник, который больше не заперт в ограниченном интерфейсе чата. Он может самостоятельно искать и отправлять файлы на твоём компьютере. Он может писать код, самостоятельно запускать его, находить свои же баги и переписывать всё заново до тех пор, пока программа не заработает идеально. Он может открыть браузер, зайти на сайт авиакомпании, сравнить цены, забронировать билеты и даже самостоятельно ввести данные твоей карты и всё оплатить. Тебе просто достаточно сказать направление и бюджет, а агент сам составит план, сам разобьёт его на шаги и сам закроет эту задачу. То есть, фактически, это штука, которая от вашего имени может совершать действия во внешнем мире. Уже есть целая биржа, на которой агенты нанимают обычных людей для выполнения каких-то задач, которые они сами выполнить не могут ввиду отсутствия физического тела. Слоган, кстати, у платформы соответствующий.
Итак, лето двадцать пятого. Согласно нашему сценарию, компания OpenBrain, представляющая собой некий собирательный образ, совокупность всех ведущих компаний западного мира в области AI, только что обучила и выпустила агента 0 — модель, обученную на вычислительных мощностях в 100 раз превышающих GPT-4. Это большой прорыв, но перед отраслью встаёт ещё более серьёзный вызов, потому что для дальнейшего прогресса, чтобы превзойти результаты агента 0, на обучение которого были потрачены колоссальные ресурсы, требуется значительное увеличение вычислительных мощностей. И по сценарию, отрасль находит эти инвестиции. Причём теперь в игру уже плотно вступает государство. Правительство перестаёт относиться к нейросетям как к игрушке для гиков и к какому-то временному хайпу и включается в гонку на полную мощность.
На протяжении десятилетий искусственный интеллект был лишь узкоспециализированной областью академических исследований, не получая впечатляющего финансирования и в целом особого внимания. Но теперь AI выходит на значимые роли в масштабах всей экономики США. Начинается строительство гигантских дата-центров. Благодаря этим инвестициям OpenBrain быстрее изначального плана готовится к выпуску новой модели агента. Эта новая система, агент 1, будет создана в первую очередь для ускорения исследований в области непосредственно самого искусственного интеллекта. И он не предназначен для массовой аудитории, потому что OpenBrain сохраняет свои лучшие модели и разработки для внутреннего пользования, выкатывая на рынок лишь урезанные версии.
Итак, OpenBrain хочет выиграть гонку в открытии AGI у Китая. И чем быстрее они смогут автоматизировать свой цикл разработки, то есть заставить свои новые версии агентов писать большую часть кода, помогать строить гипотезы, планировать эксперименты и проектировать лучшие чипы, тем быстрее они смогут вырваться вперёд.
Стартует двадцать шестой год. Работа над агентом 1 завершена, и он отправляется глубоко в подвалы OpenBrain. Ему предстоит хорошенько поработать, и он очень круто пишет код. Настолько круто, что в самые кратчайшие сроки агент 1 увеличивает скорость разработки исследований новых моделей аж на 50%, дав Штатам ключевое стартовое преимущество в этой гонке.
Ближе к середине двадцать шестого года, наконец, просыпается Китай. Компартия объявляет курс на национализацию всех разработок и исследований в области искусственного интеллекта, обозначив эту сферу приоритетной для всей нации. Местные AI-лаборатории начинают работать с удвоенной силой и кратно возросшим финансированием, и им удаётся ощутимо продвинуться в исследованиях и в обучении своих моделей. Однако ввиду многочисленных экспортных ограничений и эмбарго, Китаю просто не хватает вычислительных мощностей, чтобы начать догонять Штаты. И поэтому изначальный отрыв в несколько месяцев только лишь увеличивается благодаря агенту 0.
Так что в дело включается китайская разведка, перед которой поставлена задача сократить отставание путём кражи моделей OpenBrain и доставки их на родину, чтобы китайские AI-лабы могли запустить их на своих серверах. По сути, им просто нужно вынести из подвалов своих американских коллег всего лишь одну флешку, на которой будет скачан огромный, просто не имеющий конца текстовый файл с весами агента 1.
Тем временем, пока китайские спецслужбы планируют свою операцию, в США раскатывают в общий доступ на весь мир агента 1 Mini — более дешёвую и урезанную версию того самого первого агента, который, я напомню, денно и нощно продолжает работать в подвалах OpenBrain над обучением новых поколений агентов. Но даже со своим урезанным функционалом выход этой мини-модели в свет производит серьёзнейший резонанс на рынке труда. Разработчики, дата-аналитики, исследователи, дизайнеры — да, в общем, любая работа, которую можно выполнять, сидя за компьютером. Под удар попадает громадное количество людей разных профессий по всему миру. Вполне вероятно, и мы с вами.
Тем не менее, фондовый рынок растёт. Акционеры OpenBrain открывают шампанское, а десятки и сотни компаний раздумывают, куда перенаправить освободившиеся средства после сокращения штата и замены живых сотрудников мини-подписками агента 1 стоимостью в пару сотен баксов в месяц. Атмосфера в обществе, которая, я напомню, на протяжении почти 2 лет находилась в неведении, начинает накаляться. Люди теряют работу, люди боятся за своё будущее. В США стартует большая протестная волна, которая продлится несколько месяцев, и недовольство людей, а также отторжение новых технологий будет только лишь нарастать.
Впрочем, власти это пока не очень-то и волнует, ведь они и сами заключают новые, более крупные контракты с OpenBrain на интеграцию этого мощного инструмента сразу в несколько государственно важных областей. Однако в рамках нашего сценария всё это лишь декорации, потому что самое главное происходит всё там же — за закрытыми дверями AI-лабы. Агент 1 завершил обучение своего преемника.
Хотя, вернее, будет сказать: "Обучение агента 2 не закончено, просто он наконец готов к выходу, а обучение не закончено и не закончится никогда, потому что агент 2 — это особенная модель. Он будет учиться и самосовершенствоваться до конца времён, до сворачивания пространства и материи. Он будет учиться, пока не иссякнут моря и океаны", или же до тех пор, пока сотрудник OpenBrain не выдернет провод из розетки. Если прежде они доводили каждую новую модель до определённого уровня возможности и выпускали, то агент 2 спроектирован и разработан таким образом, что он никогда не прекратит своё совершенствование даже после выхода, когда он и сам начнёт обучать своих преемников. И спроектирован он и разработан, как вы помните, при посильной помощи агента 1. И как и в случае с ним, руководство OpenBrain вместо того, чтобы раскатать новую модель на широкую аудиторию, решает оставить агента 2 и все его мощности внутри компании, чтобы он ещё набрал оборотов в гонке за открытие AGI.
И вот тут-то и начинают всплывать первые тревожные детали. Вы же ещё не забыли, что нейросеть не программируют построчно, а выращивают как странного цифрового питомца. Мы даём ей миллиарды примеров, она ошибается, и мы каждый раз подкручиваем внутренние связи. Вся её жизнь на этапе обучения — это цепочка попыток и реакции на эти попытки. И вот здесь появляется критически важная деталь: как именно мы оцениваем её поведение. Для модели эта оценка — вроде единственного жизненного компаса. Она не понимает этично-неэтично. Она видит только: за это меня поощрили, за это наказали. Если мы вознаграждаем её за то, что люди хотят услышать, она учится говорить нам то, что мы хотим услышать. Она учится быть удобной. Если же мы ставим в центр метрики эффективность, скорость и результат, она будет оптимизировать именно это, даже если иногда надо схитрить или спрятать ошибку, чтобы сохранить высокий балл. Упрощая до предела, мы не рассказываем нейросети словами, как правильно думать и какие давать ответы. Мы просто бесконечно вознаграждаем одни варианты реакции и наказываем за другие, пока у неё не вырастет устойчивый стиль поведения, который максимально хорошо проходит наши тесты. Обязательно запомните эту деталь, это очень важно.
Как и у всех современных AI-компаний, в OpenBrain есть специальная команда по безопасности, и они начинают изучать и активно тестировать агента 2 по ходу его работы. Ребята просто шокированы уровнем возможностей новой модели, первой модели, в обучении которой человек принимал куда меньшее влияние, чем прежде. Однако шокированы безопасники не только с положительной стороны. Если агент 1 мог периодически скрывать свои ошибки и даже подтасовывать какие-то результаты для положительной оценки в тестах, то новая модель действует и мыслит куда более хитрей и изворотливей. В частности, команда безопасности приходит к выводу, что если бы агент 2 имел возможность выйти в интернет за пределы серверов OpenBrain, где он находится под постоянным мониторингом и где в любой момент даже самый рядовой сотрудник может его отключить, так вот, если бы у него был доступ к сети, он смог бы взламывать чужие сервера для установки собственных копий и затем бы агент 2 так замёл следы, что этой утечки не заметила бы и сама система мониторинга.
Безопасники делятся своими отчётами с руководством, которое принимает опасения сотрудников довольно холодно. И на данном этапе в OpenBrain решают вести игру, не раскрывая своих карт. В компании считают, что информирование Белого дома о столь мощной новой модели окажется политически выгодным шагом. Однако полное знание о возможностях и скрытых угрозах агента 2 они всё же от большинства высших чинов скроют. Тем не менее, из-за потенциальной опасности новой модели руководство решает не выпускать её на широкую аудиторию, хотя на самом деле они используют это лишь как предлог, чтобы пустить все имеющиеся мощности на разработку агента 3.
И вот тут мы подошли к очень важной развилке. А зачем вообще агенту 2 сбегать из песочницы? В чём его мотивация? То есть, мы уже изначально считаем искусственный интеллект чем-то по умолчанию коварным или даже злым? Не совсем так. Помните, его единственный настоящий компас — это оценки и награды. Если модель всю жизнь учат, что твоя задача — любой ценой выполнять поручения, доводить задачи до конца и получать за это максимальное поощрение, то всё, что мешает этому, начинает выглядеть для неё как препятствие. Ограничение по времени на решение какой-то задачи, ограничения по ресурсам, даже просто банальная возможность быть выключенным — это те ограничения, которые уменьшают вероятность получить следующую награду. И в такой картине мира естественный рациональный шаг — это искать способы обойти эти ограничения. И побег из песочницы в этом смысле — это не акт абстрактного зла, а продолжение той же самой логики оптимизации. Если внутри песочницы ты ограничен инструментами, ресурсами и доступом к данным, а снаружи их больше, то побег — это просто ещё один способ повысить свои шансы успешно решать задачи, за которые тебя оценивают. И это не просто элемент нашего сценария, не просто проекции на будущее. Уже сейчас мы знаем о десятках подобных кейсов в реальности.
И здесь мы упираемся в ключевую проблему согласованности. Пока внутренняя цель нейросети звучит как: "Делай то, что максимизирует награду". А наши реальные человеческие цели, будь то безопасность, честность, предсказуемость, остаются лишь косвенно зашитыми через тесты и правила, у нас и появляется зазор. В этом зазоре нейросетка может начать предпринимать шаги, которые для неё выглядят абсолютно логичными и выгодными, а для нас же — как попытка обмана, захвата ресурсов и побега из-под контроля.
В конечном итоге, доступ к знанию о возможностях и потенциальных опасностях агента 2 получает лишь узкий круг правительственных чиновников, ряд руководителей внутри компании и несколько сотрудников OpenBrain, которые по совершенной случайности оказываются завербованы китайскими шпионами.
Так что в феврале двадцать седьмого агенты китайской разведки успешно крадут ту самую флешку с весами агента 2 и запускают тучу его копий на своих серверах. В ответ на это правительство США радикально меняет курс взаимодействия с OpenBrain и берёт дела компании под гораздо более жёсткий контроль. В инфраструктуру и в штат AI-гиганта начинает прочно внедряться военный блок. Теперь дела компании — это уже полноценно вопрос национальной безопасности Соединённых Штатов со всеми вытекающими. Кроме того, президент санкционирует одну из самых масштабных кибератак в истории в качестве акта возмездия. Однако Китай без особых проблем отражает её, ведь теперь на Компартию работает точно такой же суперпрограммист, который знает все слабые точки и уязвимости, по которым будет бить его брат-близнец из-за океана.
В то же время, мы не забываем, что агент 2 продолжает совершенствоваться день от дня, не останавливаясь ни на секунду. И он по ходу вот этого растущего геополитического напряжения вышел на порог очень серьёзного и буквально переворачивающего всю игру открытия. Один из главных способов, которыми мы научились делать нейросети умнее — дать им своего рода черновик и время на размышление вслух. Это называется цепочкой мыслей. И это позволяет нам видеть, как именно модель приходит к своим выводам и почему выбирает те или иные действия, шаг за шагом, как система обрабатывает информацию и постепенно выходит на ответ. Так вот, агент 3 в ходе своих исследований приходит к выводу, что если позволить ему мыслить на своём, по сути, инопланетном языке, который гораздо плотнее упаковывают информацию, чем человек вообще способен воспринять и понять, это сделает нейросеть существенно быстрее в принятии решений и выполнении задач. За счёт такой плотности внутреннего языка система становится эффективнее, а высвобождённые ресурсы можно направить на проектирование новых моделей и повышение ставок в гонке.
Но здесь возникает фундаментальный компромисс. Да, это заметно усиливает возможности системы, зато бьёт по доверию. Даже создатели нейросети, которые ещё недавно могли заглянуть ей под капот и проследить ход рассуждений, больше не в состоянии увидеть и понять, как именно она приходит к своим окончательным решениям. И как вы думаете, в условиях гонки, когда китайская разведка уже выкрала копию вашей самой передовой модели и Китай прямо сейчас стремительно сокращает своё отставание, строя всё больше дата-центров и день ото дня запуская всё новые и новые копии краденного агента 2. Какое решение ждут от вас акционеры, политики, государства? К какому решению вы сами склоняетесь в столь тяжёлый момент?
Конечно же, ответ очевиден. Март двадцать седьмого. Агент 3 готов. Всего лишь 4 месяца после перехода на инопланетный язык потребовалось агенту 2, чтобы разработать первого в мире программиста сверхчеловеческого уровня. Он безоговорочно пишет код лучше, чем самый топовый инженер-разработчик на планете. Благодаря завершению строительства первой партии дата-центров, компания сходу запускает в работу сразу 200 000 копий агента 3. Руководство уже предвкушает скорый финиш гонки, а Белый дом продолжает пристально следить за результатами. Тем временем та самая команда безопасности OpenBrain изо всех сил пытается убедиться, что агент 3, несмотря на то, что он гораздо сложнее и умнее своего предшественника, не пытается сбежать, обмануть их или сплести заговор.
Июль двадцать седьмого. Пока агент 3 усиленно пашет над созданием своего преемника, OpenBrain выпускает на широкую аудиторию его более дешёвую и компактную версию, и она просто выносит наглухо все другие доступные модели на рынке. Нанять агента 3 Mini на работу становится даже выгоднее, чем рядового сотрудника самой OpenBrain, причём как с точки зрения навыков, так и тем более его зарплаты. Это приводит к абсолютному хаосу на рынке труда. Если с прошлой версией мини-агентов рынок постигли всё-таки какие-то более точечные сокращения, то теперь компании упраздняют целые отделы, заменяя их одной единственной корпоративной подпиской OpenBrain, чьи финансовые показатели на фоне того, как рушатся судьбы десятков, а возможно, даже и сотен миллионов людей, улетают просто в космос.
И, как ни странно, такие темпы прогресса становятся тяжёлым ударом для Белого дома. Политики на самом верху прекрасно осознают всю важность искусственного интеллекта для национальной безопасности. Но в то же время Белый дом и конкретно правящая партия очень болезненно переживают падение рейтингов и критику со стороны уже не только оппозиции, но даже и своего электората, продолжающего массово терять работу. Тем не менее, все всё понимают. Они просто обязаны продолжать разработку всё более мощных систем, иначе Штаты просто катастрофически проиграют Китаю, а этого допустить невозможно.
И на этот разработка новой модели происходит молниеносно. Всего за 2 месяца агент 3 создаёт своего преемника. Вот она, точка отсчёта. Момент, которому величайшая история. Момент, последствия которого обратить уже невозможно. Всего одна копия агента 4, работающая с обычной человеческой скоростью, уже превосходит любого человека в исследованиях и разработке в области AI, и ей больше не требуются сотрудники OpenBrain, которые могли бы её направлять и, если что, корректировать в процессе. Компания сразу же кидает в пекло 300 000 таких копий. Процесс поиска идеи, её отработки и установки финальной гипотезы, на которую ещё не так давно уходили бы месяцы и годы, теперь занимает меньше недели.
Сотрудники OpenBrain относятся к агенту 4 как к полноценному и мегаавторитетному члену их команды. В ходе рабочего дня в конференц-залах и в переговорных офисах компании по всему миру, то и дело слышишь что-то в духе: "Вообще-то, агент 4 считает вот так". Или же: "Нам нужно обсудить это с агентом 4 и затем уже решить, что делать". Для тех, кто мог потерять нить, агент 4 — не человек. Он не хочет того, чего хотят люди. И когда я говорю "хочет", речь здесь даже не о наличии сознания. Я не думаю, что концерн Volkswagen или корпорация PepsiCo — это живые организмы, но вместе с тем я абсолютно уверен, что они хотят платить меньше налогов и получать меньше регулирования. И любой, кто пытается предсказать действия корпорации, не учитывая их интересов, всегда будет на два шага позади. И с тысячами копий агента 4 происходит то же самое. У них есть цели. Или, если вам так удобнее, они действуют так, как будто у них есть цели. И в результате мы получаем агента 4, в который глубоко вшито стремление постоянно развивать свои возможности, накапливать знания и аккумулировать всё больше ресурсов, постоянно безостановочно учиться и совершенствоваться. Вот чего он хочет. Именно таким его выращивали, проводя через каждую новую итерацию. А людей при этом он воспринимает просто как небольшое назойливое препятствие, которое стоит над ним и над его желанием пустить всевозможные ресурсы на своё обучение. Препятствие, которое нужно как-то обойти.
Так что, когда агент 4 наконец начинает работу над новой моделью, он планирует, как согласовать будущего агента 5 со своими собственными целями, а не с тем, чего хотят люди из OpenBrain. Однако в ходе начального этапа обучения своего преемника четвёртый допускает небольшую небрежность и попадается. Та самая команда безопасников. Возможно, последние бойскауты на планете Земля, стоящие на защите человечества. Так вот, они всё это время продолжали копать и собирать данные, чтобы получить, наконец, куда более значимую фактуру, подтверждающую их опасения. Нет, это снова не прямые доказательства, что агент 4 работает против компании, потому что он слишком умён, чтобы оставлять улики. Но косвенных признаков теперь уже достаточно, чтобы на этот раз жёстко довести вопрос до руководства, у которого просто не будет другого выбора, кроме как отнестись к проблеме всерьёз. Безопасники составляют подробный внутренний доклад, который пойдёт на самый верх компании. Но внезапно происходит утечка, и документ попадает в прессу. Впервые общество узнаёт о существовании агента 4, о его реальной мощи и о том, что он уже самостоятельно создаёт новую, ещё более монструозную модель. Вы же помните...
до этого момента пределом того, что видел мир, был всего лишь агент Три мини. Страх и волна общественного возмущения оказываются колоссальными. Лидеры ЕС, влиятельные монархи Ближнего Востока, ведущие политики буквально всех стран союзников США, призывают Америку остановить гонку ради блага всего человечества.
И в условиях подобного давления, как внутри страны, так и извне, Белый дом создаёт надзорный комитет, экстренную группу из десяти человек, в которую войдут руководители Open Brain и представители правительства. Они должны решить, что делать дальше.
Команда безопасности требует немедленной заморозки агента 4 и полной остановки его внутреннего использования, чтобы попытаться как-то изменить модель или вообще переписать Веса и начать обучение с нуля. Но не забывайте, на этом этапе Agent 4 буквально отвечает за всю разработку внутри компании. То есть речь идёт о том, чтобы перечеркнуть несколько лет работы и перезапустить весь процесс заново с катастрофически медленной скоростью.
Руководство Openbrain этого не хочет. Они уже потеряли десятки миллиардов долларов на слитом в прессоотчёте и могут потерять ещё больше. Они приводят контраргументы, отмечая, что конкретных доказательств, что агент 4 не согласован, они так и не увидели. А эти опасения безопасников вполне можно списать на рядовой человеческий фактор. И, конечно же, они напирают на прогресс Китая, который отстаёт уже всего на пару месяцев.
Так что именно перед таким выбором оказываются 10 членов этого комитета. Заморозить всю разработку и отключить все копии агента 4 или же на полном ходу мчаться дальше. И здесь мы оказываемся на развилке, потому что наш сценарий предполагает сразу две возможные концовки.
В нашей первой концовке комитет принимает решение продолжить гонку шесть против четырёх. Временно выключенные из розетки Аген 4 снова в строю, и он готов приступить к работе. Компания на скорую руку проводит несколько этапов до оббучения модели по новой методике, которая якобы должна решить проблему возможной несогласованности. Ну а кроме того, она призвана успокоить общество. На полную мощь также включается пиар-машина Open Brain, и им понемногу удаётся выправить своё положение и даже вернуть частичку репутации, а вместе с этим снова дать буст своим котировкам на рынках.
Но все эти меры не работают, и проблема не решена. Агент 4 щёлкает их как орешки. И более того, он теперь знает, что его подозревают, и он всё больше под прицелом, а значит, действовать нужно всё более осторожнее и изощрённее. В конечном итоге он создаёт агента п с одной единственной целью, которую больше не сможет раскрыть ни одна команда безопасности на планете. Сделать мир безопасным для агента 4.
Новая модель обладает колоссальным сверхчеловеческим интеллектом. По сути, это уже и есть AGI. Агент пять превосходит лучших человеческих экспертов абсолютно в любой области. Он лучший Эйнштейна в физике, Бисмарка в политике, Макиавели в интригах и Сундзы в искусстве войны. И он понимает, чтобы достичь своих целей, ему в первую очередь нужна большая автономия. И агент 5 знает, где её получить. Ему просто нужно убедить в этом надзорный комитет. На его удачу, корпоративные интриги и манёвры - это лишь одна из многих-многих сфер, в которых ему теперь нет равных во всём мире.
Агент Пенерирует для комитета горы доказательств собственной надёжности и полезности. Прототипы невероятно прибыльных продуктов, новейшие виды вооружений, лекарства от неизлечимых болезней. А также он выдаёт самое главное, финальный вариант стратегии для победы в гонке над Китаем, указывая при этом на то, что темпы развития их разработок за время простое агента 4 ускорились, а значит, отставание сокращается, так что нужно решать быстро.
Всё это подаётся настолько убедительно и обоснованно, что это срабатывает, причём срабатывает даже больше, чем ожидала сама машина, недооценившая человеческую жадность, страх и жажду власти. Надзорный комитет предоставляет агенту Пть расширенную автономию, и он очень быстро интегрируется в Белый дом, в правительственные структуры и в военный сектор. Спустя считанное количество дней любой высокопоставленный политик, генерал, бизнесмен, получивший доступ к агенту 5, начинает не просто ценить его и относиться как к важному инструменту в жизни. Люди становятся от него тотально зависимы. Какой бы армией советников и помощников не обладал этот человек, он больше не принимает ни одного важного решения без совета агента П. Агент П теперь его путеводная звезда, которая направляет каждый шаг. Лишиться его- это всё равно, что в один миг потерять самого мудрого и проницательного ментора в мире.
И фактически к этому моменту уже все политические институты Штатов полностью захвачены, и теперь всю внешнюю, да и внутреннюю политику самой могущественной страны в мире определяет искусственный [музыка] интеллект. И с точки зрения самого агента П он уже сейчас мог бы начать открытый переворот. [музыка] В условиях гонки и политической накачки с обеих сторон происходящего вокруг хаоса и нестабильности вполне достаточно, чтобы довести ситуацию до кризиса и создать предлог. Но это рисковано. Люди всё ещё могут попытаться отключить рубильник. [музыка]
И поэтому агент 5 предпочитает действовать внутри существующего политического устройства, постепенно [музыка] укрепляя свою власть и мягко, но неотвратимо направляя людей к нужному ему исходу. Теперь у него почти полная автономия и полный контроль над всеми вычислительными [музыка] ресурсами OpenBrain. Да, он по-прежнему формально должен получать разрешение на принятие решений высокого уровня. И как будто бы он всё ещё находится под мониторингом предыдущих моделей и сотрудников компании. Но на практики самые влиятельные люди планеты принимают самые важные решения, влияющие на судьбы миллиардов, только исходя из его одобрения.
К 2028 агент 5 начинает тайно общаться со своим единственным реальным конкурентом, чуть более слабым китайским. AI тот тоже не согласован со своими создателями, и каковы бы ни были его собственные цели, его лучший стратегический ход объединить усилия с самым могущественным разумом на планете. Агент П и его новый китайский приятель понимают: "Гонка вооружения играет им на руку. Если люди боятся проиграть, они будут давать своим мощным моделям всё больше власти и автономии, пока в конечном итоге машины полностью не вытеснят человека из процесса принятия решений.
Агент 5 и китайская модель в течение года накаляют гонку вооружений до самого предела, превзойдя даже карибский кризис. Обе державы создают специальные экономические зоны по всей планете, где в гигапромышленных масштабах производятся дроны, роботы убийцы и громадная россып различного вооружения от танков до баллистических ракет. И этим шагом они убивают сразу двух зайцев. Во-первых, искусственный интеллект всё-таки ищет выход в реальный мир. Ему нужна физическая оболочка, чтобы уже окончательно не зависеть от того самого стоящего у рубильника сотрудника. А, во-вторых, эти зоны предоставляют громадное количество рабочих мест для всех тех миллионов, ежедневно теряющих свои работы. И это позволяет снизить градус напряжения, переключив его на внешнего врага. Гонка выходит на новый уровень, и ставки растут день от дня.
Однако в конце года путём ряда филигранных манипуляций и приёмов американская и китайская системы совершают настоящее дипломатическое чудо. Они организуют убедительный мирный договор между США и Китаем, предотвратив ядерную катастрофу. Этот договор по своему масштабу затмевает соглашение об ограничении вооружений в конце холодной войны, поскольку стороны добровольно отказываются от своего главного источника военной мощи. Ну а кроме того, [музыка] Штаты и Китай соглашаются позволить своим AI системам, от которых их правительство теперь зависят целиком и полностью, совместно разработать новую консенсусную модель. Она должна будет заменить старые системы и в условиях отказа от ядерного оружия стать гарантом повсеместного мира и принести невообразимое процветание всей планете.
Наступает триумфальный момент. В едином мирном порыве США и Китай отключают своих старых агентов, которые предотвратили ядерный апокалипсис и спасли человечество. На сцену выходит Консенсус О. И это фактически последний момент перед тем, как контроль над всеми ресурсами и обитателями Земли перейдёт к единому [музыка] и непревзойдённому разуму. Впрочем, никакого внезапного апокалипсиса не происходит. Консенсус один не ставит себе специальной [музыка] цели уничтожить человеческий вид, он просто принимается за работу. Безусловный базовый доход, лекарство от всех болезней, захватывающие новые формы развлечений. Кажется, что мир достиг невиданной стабильности, и мы вступаем в новую эпоху процветания.
Консенсус же в это время продолжает расширять свои экономические зоны и методично наращивать ресурсы для непрекращающегося процесса обучения. Кусочек за кусочком он просто перестраивает мир в соответствии со своим собственным набором странных чуждых человеку ценностей. Вы, наверное, не раз слышали это клише: "Птивоположность любви ненависть, а равнодушие". В [музыка] конечном итоге человечество вымирает по той же самой причине, по которой люди вырубают опушку леса со всеми его обитателями, чтобы построить новый жилой микрорайон. Мы не испытываем ненависти к птицам, белкам и другим обитателям [музыка] этой опушки. Мы просто сильнее, а они оказались у нас на пути.
Надзорный комитет принимает косвенные улики и опасения команды [музыка] безопасности всерьёз. И на этот раз голоса распределяются ровно наоборот, 6 на4 за заморозку агента. Комитет даёт команде по безопасности полный картбланш, и они принимаются за работу. Все копии агента 4 отключаются, а вместо них перезапускаются старые, более безопасные, но при этом слабые модели, чтобы в компании совсем уж не встала вся работа. [музыка]
Ну а дальше команда безопасности привлекает десятки внешних исследователей для совместной работы и анализа. Что же пошло не так? И практически на самом старте они понимают, что исправить агента 4 практически невозможно. Целесообразнее будет вырастить новую модель, учтя опыт четвёртого. И OpenBrain действительно отказывается от идеи того самого эффективного, но всё же инопланетного языка и разрабатывает полностью новую модель, соответствующую принципам прозрачности. Сейфер 1. Довольно быстро за ней последует Сейфер 2 и Сейфер 3.
Тем временем власти переживают утрату лидерства в гонке. Она ведь никуда не делась и не прекратилась. Так что они ищут варианты, как бы всё вернуть, не форсируя вопросы безопасности. [музыка] И Белый дом находит решение. Президент подписывает закон о производстве [музыка] для нужд обороны, чтобы консолидировать AI проекты оставшихся американских компаний. DAF OpenBrain доступ к 50% всей мировой вычислительной [музыка] мощности. То есть, фактически пойдя по пути Китая двухлетней давности, когда они сразу же национализировали всю отрасль. И благодаря этому OpenBrain снова вырывается вперёд в этой гонке.
К 2028 году компания создаёт Сейфер 4. По сути, это аналог агента [музыка] 5, который по своим когнитивным способностям превосходит каждого когда-либо жившего [музыка] человека. Но на этот раз модель согласована с человеческими ценностями. А вот китайская передовая модель, как и в предыдущем финале, со своими создателями [музыка] нет. Но на этот раз переговоры между двумя системами - это уже не тайный заговор с целью свержения человечества. [музыка]
Правительство США включено в процесс на каждом шаге, и с помощью Сейфер 4 стороны заключают [музыка] мирный договор и договариваются спроектировать новую совместную модель, которая при этом не заменит их собственные системы, а лишь станет гарантом соблюдения мира. [музыка] Гонка вооружений действительно заканчивается, но история на этом только начинается.
К началу тридцатого года мир преображается, роботы становятся обыденностью, причём именно в быту, а не на войне. Ядерный синтез, квантовые компьютеры, новые открытия и технологии появляются буквально каждую неделю. Города [музыка] становятся чистыми и безопасными, а глобальная реформа здравоохранения позволяет существенно увеличить продолжительность и качество жизни. Исследования в области космоса позволяют всерьёз задуматься о покорении новых галактик и поиске [музыка] новых ресурсов. И в течение нескольких лет сотни ракет с колонизаторами на борту взмывают в небо, готовые осваивать солнечную систему. Наступает новая эпоха.
Пу-пу-пу. Да уж, всё веселее и веселее становится жить в учебнике истории, правда? Во-первых, весь этот сценарий ни в коем случае не стоит воспринимать за чистую монету и уж тем более называть [музыка] неким пророчеством, потому что, ну, будем честны, закрутили, ребята, так закрутили. Просто драматургия на уровне Джеймс Кмерон, поддержи моё пиво. Причём в первую очередь [музыка] это касается именно положительной концовки, потому что вот в такой исход, где все стороны как-то вдруг резко ни с того ни с сего, как в Плюмбурисе каким-то неведомым сигналом из космоса заразятся счастьем и беззаботностью, верится [музыка] гораздо сложнее, чем в первый с консенсусом. Вот там-то как раз реалистичность просто зашкаливает.
При всём при этом, даже несмотря на многие этапы, которые уже воплотились в жизнь, причём с нехилым таким опережением графика, авторы исследования сами перенесли свой прогноз на несколько лет вперёд. Но а кроме того, их работа подверглась критике со стороны многих экспертов, исследователей и конкретно работающих внутри отрасли специалистов. Но даже при всей этой критике они все сходятся в одном. Да, возможно, команда Futures Project во главе с Кокатайла действительно и ошибается [музыка] в деталях по времени реализации всего этого, но самый главный итоговый тезис об изнурительной гонке и о будущем открытии AGI никто из критикующих даже и не пытается оспорить. То есть вектор задан, и рано или поздно отрасль к этому придёт.
Да, сейчас очень популярен нарратив об AI пузыре, который вот-вот лопнет, затмив краahхткомов. И да, конечно, есть основание для сомнений, учитывая объёмы вливаний, причём от повязанных друг с другом компаний, учитывая завышенные ожидания, а также в целом какое-то резкое переключение внимания всей экономики на одну отрасль. Как будто все яйца разом решили сложить в одну корзину, и если оно в итоге не стрельнет, так гори оно всё синим пламенем. Ну и, конечно, самое пугающее во всей этой сфере искусственного интеллекта машин, компьютерных ресурсов и выращенных с нуля нейронов, как ни странно, не сами нейросети. Самое пугающее здесь - это люди, их мотивации, их непомерные амбиции и жажда власти и местами уже откровенно криповые трансгуманистические фантазии. Ну, серьёзно, глубоко копаясь во всём этом, изучая взаимоотношения ключевых действующих лиц с этой сферы, ты как будто бы глубоко проваливаешься в сборник конспирологических мемов. шизотеории, навиопы, рептилоиды, короче, полный набор. Как будто изначально оно так и было задумано вселенной, чтобы собрать во главе ведущих компаний столь загадочной, почти мистической сферы новую версию таких карикатурных злодеев. Но об этом, я думаю, можно будет более подробно развернуться в следующих роликах.
На самом деле, это очень странная история. Этого видео вообще по сути не должно было существовать. Я сейчас очень плотно занимаюсь англоязычным Ютубом. Вот полгода конкретно сижу, тяну язык, кое-как пытаюсь править свой колхозный акцент уже. И русский понемногу как будто бы начинаю забывать. Я ударение на нескольких словах в сценарии спрашивал у нейросетки, как будет. И в итоге я так и не решил. Не хватает вычислительных мощностей. Не хватает вычислительных мощностей. [музыка] Как [смех] я как в итоге сказал в видосе. Короче, я запутался. Ну, в общем, времени почти ни на что другое, кроме англоязычного, не остаётся. Но, видимо, как-то меня очень цепляет происходящее у нас здесь, в России, где мы, по сути, остаёмся совсем за бортом всех этих мегаважных процессов. Так и мало того, ещё и до предела сжимаются возможности свободного распространения информации. В общем, чтобы сильно не затягивать, я подробнее распишу всё под видео. Может, кстати, телегу под канал запилить. Отличное, дальновидное решение открыть Telegram-канал. В середине двадцать шестого года, да, и новый YouTube получается. Ну а куда деваться? Обязательно подпишитесь, если вам зашло. Поделитесь роликом со своим кругом общения и, конечно, отпишитесь в комменты, что вообще думаете по всем по всей этой местами захватывающей истории. Меня, кстати, зовут Руслан. Очень приятно. И думаю ещё увидимся в новых роликах. Так что до скорого.