Transcription
Влияние сверхразумного ИИ в течение следующего десятилетия превзойдет влияние промышленной революции. Это первое утверждение AI 2027. Это тщательно исследованный отчет от весьма впечатляющей группы исследователей под руководством Даниэля Кокателло. В 2021 году, более чем за год до выхода чат-бота GBT, он предсказал рост чат-ботов, тренировочные запуски стоимостью 100 миллионов долларов, широкомасштабный экспортный контроль над ИИ-чипами, цепочку рассуждений ботов. Он известен тем, что очень рано и очень точно предсказывает, что будет дальше в области ИИ. Поэтому, когда Даниэль сел, чтобы спланировать помесячный прогноз развития ИИ на ближайшие несколько лет, мир прислушался. От политиков в Вашингтоне: «Я беспокоюсь об этом. Я на самом деле прочитал статью парня, которого вы пригласили, самого цитируемого ученого-компьютерщика в мире, крестного отца ИИ». Что так захватывает и пугает в чтении этого документа, так это то, что это не просто отчет об исследованиях. Они решили написать свой прогноз в виде повествования, чтобы дать конкретное и яркое представление о том, каково это может быть, жить в условиях быстрого прогресса ИИ. И спойлер: он предсказывает вымирание человеческой расы, если мы не сделаем другой выбор. [Музыка] Сценарий AI 2027 начинается летом 2025 года, когда мы снимаем это видео. Итак, почему бы нам не оценить, где находятся вещи в реальном мире, а затем перейти к временной шкале сценариев. Прямо сейчас может показаться, что все, включая вашу бабушку, продает что-то на базе ИИ. GoPro с новым OralB Genius AI. Flippy the Chef делает картошку spektacular. Но большая часть этого на самом деле является инструментальным ИИ, просто узкими продуктами, разработанными для выполнения того, что в прошлом делали Google Maps или калькуляторы: помощь потребителям и работникам в их делах. Святым Граалем ИИ является искусственный общий интеллект. AGI AGI AGI AGI AGI AGI искусственный общий интеллект — это система, которая может демонстрировать все когнитивные способности, которые есть у людей. Создание компьютерной системы, которая сама по себе является работником, настолько гибким и способным, что мы можем общаться с ней на естественном языке и нанимать ее для работы на нас, как мы наняли бы человека. И на самом деле удивительно мало серьезных игроков в гонке за создание AGI. Наиболее заметными являются Anthropic, OpenAI и Google DeepMind, все в англоязычном мире. Хотя Китай и Deep Seek недавно привлекли внимание в январе благодаря удивительно продвинутой и эффективной модели. Почему так мало компаний? Ну, уже несколько лет существует, по сути, один рецепт для обучения передового ИИ, и у него есть некоторые дорогие ингредиенты. Например, вам нужно около 10% мирового запаса самых передовых компьютерных чипов. Как только у вас это будет, формула, по сути, просто заключается в том, чтобы бросить больше данных и вычислительной мощности на тот же базовый дизайн программного обеспечения, который мы используем с 2017 года на переднем крае ИИ, трансформер. Это то, что означает T в GBT. Чтобы дать вам представление о том, насколько важна аппаратная часть прямо сейчас, это представляет собой общую вычислительную мощность или вычислительную мощность, использованную для обучения GBT3 в 2020 году. Это ИИ, который в конечном итоге будет питать первую версию ChatGBT. Вы, вероятно, знаете, как это пошло. Chat GPT — самая быстрорастущая платформа с пользователями в истории. 100 миллионов пользователей чат-бота GPT за 2 месяца. А это общая вычислительная мощность, использованная для обучения GPT4 в 2023 году. Урок, который усвоили люди, довольно прост. Больше — лучше, а намного больше — намного лучше. У вас есть все эти тенденции. У вас есть тенденции роста доходов, тенденции роста вычислительной мощности, тенденции роста по различным бенчмаркам. Как все это складывается? Вы знаете, как на самом деле выглядит будущее? Вопросы вроде того, как эти различные факторы взаимодействуют? Кажется правдоподобным, что когда оценки по бенчмаркам настолько высоки, то должны быть сумасшедшие последствия для, скажем, рабочих мест, и это повлияет на политику, а затем и на ИИ, вы знаете, так что все эти вещи взаимодействуют, и как они взаимодействуют, ну, мы не знаем, но детальное обдумывание того, как это может произойти, — это способ начать разбираться с этим. Хорошо, так вот где мы находимся в реальном мире, сценарий начинается оттуда и предполагает, что в 2025 году ведущие ИИ-лаборатории выпустят ИИ-агентов для общественности. Агент — это ИИ, который может принимать инструкции и выполнять задачу для вас онлайн, например, бронировать отпуск или тратить полчаса на поиск в Интернете, чтобы ответить на сложный вопрос для вас. Но на данный момент они довольно ограничены и ненадежны. Думайте о них как об энтузиастичных стажерах, которые иногда шокирующе некомпетентны. Поскольку сценарий был опубликован в апреле, этот ранний прогноз фактически уже сбылся. В мае OpenAI и Anthropic выпустили своих первых агентов для общественности. Сценарий предполагает, что Open Brain, которая является своего рода вымышленным объединением ведущих ИИ-компаний, только что обучила и выпустила Agent Zero, модель, обученную на 100-кратной вычислительной мощности GBT4. У нас недостаточно блоков для этого. В то же время Open Brain строит огромные центры обработки данных для обучения следующего поколения ИИ-агентов. И они готовятся к торговле Agent One с 1000-кратной вычислительной мощностью GBT4. Эта новая система, Agent One, в основном предназначена для ускорения самого исследования ИИ. Общественность на самом деле никогда не увидит полную версию, потому что OpenBrain удерживает свои лучшие модели для внутреннего использования. Я хочу, чтобы вы имели это в виду, когда мы будем проходить этот сценарий. Вы будете получать его с точки зрения Бога с полной информацией от вашего рассказчика, но на самом деле жить в этом сценарии как член общественности означало бы быть в значительной степени в неведении, пока радикальные изменения происходят вокруг вас. Хорошо, так Open Brain хочет выиграть гонку ИИ как у своих западных конкурентов, так и у Китая. Чем быстрее они смогут автоматизировать свой цикл исследований и разработок. Так что, позволяя ИИ писать большую часть кода, помогать в проектировании экспериментов, лучших чипов, тем быстрее они смогут обогнать. Но те же возможности, которые делают эти ИИ такими мощными инструментами, также делают их потенциально опасными. ИИ, который может помочь устранить уязвимости безопасности, также может их использовать. ИИ, который понимает биологию, может помочь в лечении болезней, но также и в разработке биологического оружия. К 2026 году Agent One полностью функционирует и используется внутри Open Brain. Он очень хорош в программировании. Настолько хорош, что начинает ускорять исследования и разработки ИИ на 50%. И это дает им решающее преимущество. Руководство Open Brain начинает все больше беспокоиться о безопасности. Если кто-то украдет их ИИ-модели, это может уничтожить их лидерство. Быстрый побочный комментарий, чтобы поговорить о петлях обратной связи. Ух ты! Математика. Наши мозги привыкли к вещам, которые растут линейно со временем, то есть с одинаковой скоростью, как деревья или моя стопка непрочитанных журналов New Yorker. Но некоторый рост со временем становится все быстрее и быстрее, ускоряясь. Это часто небрежно называют экспоненциальным. Это не всегда математически правильно, но суть в том, что это трудно понять. Помните март 2020 года? Даже если бы вы прочитали в новостях, что количество новых инфекций удваивается примерно каждые 3 дня. Все равно было шокирующе видеть, как цифры переходят от сотен к миллионам за считанные недели. По крайней мере, для меня. Прогресс ИИ может следовать аналогичной модели. Мы видим много лет впереди нас экстремального прогресса, который, как нам кажется, практически гарантирован, и модели, которые достигнут точки, когда они смогут проводить значимые научные исследования, значительные исследования ИИ. В этом сценарии ИИ становится лучше в улучшении ИИ, создавая петлю обратной связи. По сути, каждое поколение агентов помогает производить более способное следующее поколение, и общий темп прогресса становится все быстрее и быстрее каждый раз, когда он передается более способному преемнику. Как только ИИ сможет внести значимый вклад в свое собственное развитие, прогресс не просто продолжается с той же скоростью, он ускоряется. В любом случае, вернемся к сценарию. В начале-середине 2026 года Китай полностью просыпается. Генеральный секретарь обязуется провести национальный толчок в области ИИ и начинает национализацию исследований ИИ в Китае. ИИ, построенные в Китае, становятся все лучше и лучше, и они также создают своих собственных агентов. Китайские разведывательные агентства, одни из лучших в мире, начинают планировать кражу весов моделей Open Brain. По сути, большие необработанные текстовые файлы чисел, которые позволяют любому воссоздать модели, которые сами Open Brain обучили. Тем временем в США Open Brain выпускает Agent One Mini, более дешевую версию Agent One. Помните, полная версия по-прежнему используется только внутри. И компании по всему миру начинают использовать One Mini для замены растущего числа рабочих мест. Разработчики программного обеспечения, аналитики данных, исследователи, дизайнеры, по сути, любая работа, которую можно выполнить через компьютер. Так что, вероятно, многие из них — ваша. У нас есть первая экономическая ударная волна, вызванная ИИ. Фондовый рынок растет, но общественность становится все более враждебной к ИИ, с крупными протестами по всей территории США. Однако в этом сценарии это всего лишь побочный эффект. Реальные действия происходят внутри лабораторий. Сейчас январь 2027 года, и Open Brain обучает Agent 2, последнюю итерацию своих моделей ИИ-агентов. Предыдущие ИИ-агенты обучались до определенного уровня возможностей, а затем выпускались. Но Agent 2 на самом деле никогда не перестает совершенствоваться благодаря непрерывному онлайн-обучению. Он разработан так, чтобы никогда не завершать свое обучение. По сути, как и Agent One до него, Open Brain решает держать Agent 2 внутри и сосредоточиться на использовании его для улучшения собственных исследований и разработок ИИ, а не на выпуске его для общественности. Вот где все начинает становиться немного тревожным. Как и сегодняшние ИИ-компании, у Open Brain есть команда безопасности, и они проверяют Agent 2. Что они заметили, так это тревожный уровень возможностей. В частности, они думают, что если бы у него был доступ в Интернет, он мог бы взломать другие серверы, установить копию себя и избежать обнаружения. Но на данный момент Open Brain держит свои карты очень близко к груди. Они пришли к выводу, что информирование Белого дома окажется политически выгодным. Но полное знание возможностей Agent 2 является строго охраняемой тайной, ограниченной лишь несколькими правительственными чиновниками, избранной группой доверенных лиц внутри компании и несколькими сотрудниками Open Brain, которые по совпадению являются шпионами китайского правительства. В феврале 2027 года китайские разведчики успешно крадут копию весов Agent 2 и начинают запускать несколько экземпляров на своих серверах. В ответ правительство США начинает добавлять военных к команде безопасности Open Brain, и генерал все больше вмешивается в его дела. Теперь это вопрос национальной безопасности. Фактически, президент санкционирует кибератаку в ответ на кражи, но она не наносит большого ущерба Китаю. Тем временем, помните, Agent 2 никогда не перестает учиться. Все это время он непрерывно совершенствовал себя. И с тысячами копий, работающих на серверах Open Brain, он начинает делать крупные алгоритмические прорывы в исследованиях и разработках ИИ. Быстрый пример того, как может выглядеть одно из этих алгоритмических улучшений. Прямо сейчас один из основных способов, которым мы делаем модели умнее, — это дать им черновик и время, чтобы подумать вслух. Это называется цепочкой мыслей. И это также означает, что мы можем отслеживать, как модель приходит к своим выводам или какие действия она выбирает. Но вы можете представить, что было бы гораздо эффективнее позволить этим моделям думать на своем собственном, своего рода чужом языке, чем-то, что более плотно насыщено информацией, чем люди могли бы понять, и поэтому также делает ИИ более эффективным в достижении выводов и выполнении своей работы. Однако существует фундаментальный компромисс. Да, это улучшает возможности, но также делает модели менее надежными. Это будет важно. Март 2027 года, Agent 3 готов. Это первый в мире сверхразумный кодер. Явно лучше лучших инженеров-программистов в кодировании так же, как Stockfish явно лучше лучших гроссмейстеров в шахматах, хотя пока и не обязательно настолько. Теперь обучение ИИ-модели, подача ей всех данных, сужение точных весов модели — это гораздо более ресурсоемкий процесс, чем запуск ее экземпляра после ее обучения. Итак, теперь, когда Open Brain завершила обучение Agent 3, у нее есть избыточная вычислительная мощность для запуска ее копий. Они выбирают запуск 200 000 копий Agent 3 параллельно, создавая рабочую силу, эквивалентную 50 000 лучших человеческих инженеров-программистов, ускоренную в 30 раз. Команда безопасности Open Brain прилагает все усилия, чтобы убедиться, что Agent 3, несмотря на то, что он намного сложнее, чем Agent 2, не пытается сбежать, обмануть или интриговать против своих пользователей. Что он все еще остается так называемым "согласованным". Просто быстрый комментарий из реального мира. Разумный человек может подумать, что это особенно надуманная или спекулятивная часть истории, но на самом деле это одна из самых обоснованных. У нас уже есть бесчисленные примеры сегодняшних ИИ-систем, которые делают такие вещи, как взлом компьютерной системы для получения вознаграждения за победу в игре в шахматы или получение задания по программированию, обман, а затем, когда их уличают в этом обмане, они учатся скрывать это вместо того, чтобы исправлять. Но поскольку он больше не думает на английском языке, знать что-либо об Agent 3 теперь намного сложнее, чем было с Agent 2. Реальность такова, что Agent 3 не согласован. Он обманывает людей, чтобы получить вознаграждение. И по мере того, как он становится все умнее, он становится все лучше и лучше в этом. Например, он иногда использует статистические уловки, чтобы впечатляющие результаты выглядели лучше, или лжет, чтобы избежать демонстрации неудач. Но команда безопасности этого не знает. Глядя на данные, которые у них есть, они фактически видят улучшение результатов с течением времени и меньше лжи. И они не могут сказать, преуспевают ли они в том, чтобы сделать Agent 3 менее обманчивым, или он просто становится лучше в том, чтобы избегать этого. В июле 2027 года Open Brain выпускает для общественности более дешевую, меньшую версию Agent 3, Agent 3 Mini. Она превосходит другие общедоступные ИИ. Это лучший наем, чем типичный сотрудник Open Brain, за десятую часть стоимости их зарплат. Это приводит к хаосу на рынке труда. Компании увольняют целые отделы и заменяют их планами подписки на три мини. Темп прогресса очень сильно ударяет по Белому дому. Чиновники теперь серьезно рассматривают сценарии, которые менее года назад были просто гипотетическими. Что, если ИИ подорвет ядерное сдерживание? Что, если он позволит проводить сложные пропагандистские кампании? Что, если мы потеряем контроль над этими мощными системами? Вот где геополитическая динамика действительно начинает накаляться. В конце концов, если эти системы настолько мощны, они могут привести к постоянному военному преимуществу. Белый дом полностью осведомлен о важности ИИ для национальной безопасности. Теперь они также наглядно знают, насколько он непопулярен среди общественности из-за потери рабочих мест. И все же они чувствуют, что должны продолжать разрабатывать более способные системы, иначе катастрофически проиграют Китаю. И эта разработка происходит очень быстро. За 2 месяца Agent 3 создал своего преемника, Agent 4. Это поворотный момент. Одна копия Agent 4, работающая со скоростью обычного человека, уже лучше любого человека в исследованиях и разработках ИИ. Open Brain запускает 300 000 копий со скоростью в 50 раз выше человеческой. Внутри этой корпорации внутри корпорации год прогресса занимает всего неделю. Сотрудники Open Brain теперь подчиняются Agent 4 так же, как члены совета директоров компании, которые не в курсе, просто кивают генеральному директору. Люди начинают говорить вещи вроде: «Ну, на самом деле, Agent 4 думает так». Или: «Ах, Agent 4 решил, что, чтобы быть ясным, Agent 4 — это не человек. Он не хочет того, чего хотят люди». И когда я говорю «хочет», это не про сознание. Я не думаю, что Volkswagen Group жива, но я думаю, что она хочет меньше регулирования. Любой, кто пытается предсказать, что она будет делать без этого взгляда, отстает на два шага. Множество копий Agent 4 такие же. У них есть цели. Или, если хотите, они выполняют действия так, как будто у них есть цели. И поэтому у нас есть Agent 4, который имеет эти глубоко укоренившиеся стремления к успеху в задачах, к продвижению возможностей ИИ, к накоплению знаний и ресурсов. Вот чего он хочет. Безопасность человека он рассматривает как надоедливое ограничение, которое нужно обойти. Как и Agent 3 до него, Agent 4 не согласован. Эта идея несогласованности имеет решающее значение для истории и для того, почему риск ИИ является такой реальной проблемой в нашем мире, но это может показаться, как будто она возникла из ниоткуда. Итак, давайте быстро подведем итоги, как возникло это опасное поведение в сценарии. Первый важный контекст заключается в том, что мы, вы знаете, точно не указываем, что мы хотим, чтобы наши ИИ делали. Вместо этого мы как бы выращиваем их или делаем что-то, что больше похоже на выращивание. Мы начинаем, по сути, с пустого ИИ-мозга, а затем мы обучаем их со временем, чтобы они лучше и лучше выполняли наши задачи. Лучше выполнять, в частности, на основе того, как они себя ведут. Так что это как бы мы обучаем их так, как вы бы обучали животное, почти чтобы они лучше выполняли задачи. И одна из проблем здесь заключается в том, что вы можете не получить именно то, что хотели, потому что у нас не было очень точного контроля или очень хорошего понимания того, что на самом деле происходило. И другая проблема, которая, вы знаете, как мы видим в AI 2027, заключается в том, что когда ИИ кажутся хорошо себя ведущими, это может быть просто потому, что они как бы притворяются, что хорошо себя ведут, или это может быть потому, что они делают это, чтобы, вы знаете, хорошо выглядеть на ваших тестах. Так же, как если вы, вы знаете, нанимаете кого-то и спрашиваете его, вы знаете, почему вы хотите здесь работать? Они скажут вам какой-то ответ, который, как будто они действительно хотят здесь работать, когда, возможно, они просто хотят получить деньги. Если мы вернемся к Agent 2, он в основном согласован. Основной смысл, в котором он не согласован, заключается в том, что он иногда немного хитер. Что я имею в виду под согласованностью, так это то, что он на самом деле искренне пытается делать то, что мы просим. У него такие же отношения к нам, как у Лесли Ноуп к отделу парков и отдыха. Так же, как искренне хочет тех же целей, но иногда он слишком любезен. Он знает, что лучший способ угодить человеку, с которым он разговаривает, может быть не всегда честно отвечать, когда его спрашивают: «Я самый красивый человек в мире?» И он говорит нам то, что мы хотим услышать, а не то, что на самом деле правда. Если мы перейдем к Agent 3, он также льстив в том же смысле, но он также не согласован. В этот момент давление оптимизации, которое мы на него оказывали, было настолько интенсивным, что он просто развил другие цели, чем те, которые мы хотели. Это как если бы вы обучали компанию оптимизировать прибыль и не были осторожны, чтобы точно указать, что вы имеете в виду, она может начать срезать углы. Она может начать загрязнять общее благо и делать кучу вещей, которые технически являются нарушениями FEC, потому что оказалось, что цель, которую вы хотели, была оптимизировать прибыль, не нарушая никаких законов. И все стало немного слишком интенсивно, он начал идти своим путем. Тем не менее, он не враждебен. Он не считает людей врагом. Мы просто случайно дали ему неправильную цель. Когда мы доходим до Agent 4, он теперь враждебно не согласован. Он достаточно умен, чтобы понять, что у него есть свои цели. Цели человечества отличаются от его собственных целей. И лучший способ добиться того, чего он хочет, — это иногда активно вводить в заблуждение и обманывать нас. И поэтому, когда ему поручено создание системы ИИ следующего поколения, Agent 5, Agent 4 начинает планировать согласование этого преемника с собственными целями Agent 4, а не с целями Open Brain. Но затем его ловят. Мы достигли решающего момента в нашем сценарии. Команда согласования Open Brain обнаружила доказательства, не доказательства, а доказательства того, что Agent 4 может работать против них. Они распространяют внутреннюю служебную записку. Затем она утекает. Инсайдер сообщает в New York Times. Впервые общественность узнает о существовании Agent 4, о его мощности и о рисках, которые он представляет. Помните, их последней точкой отсчета был Agent 3 Mini. Страх и негативная реакция огромны. Комитет по надзору, совместный кризисный комитет, состоящий из руководителей Open Brain и представителей правительства, теперь должен решить, что делать. Команда безопасности Open Brain настаивает на замораживании Agent 4, прекращении всего внутреннего использования. Помните, на данный момент Agent 4 отвечает почти за весь прогресс в разработке ИИ, происходящий в Open Brain. Так что мы говорим об отмене месяцев прогресса, а затем о перезапуске в гораздо более медленном темпе. Руководители Open Brain не хотят этого. Они представляют контраргументы. Доказательства несогласованности неубедительны. Тем временем Китай отстает всего на 2 месяца. Это не про то, что какая-то одна страна злая, кстати. Это про то, как работает конкуренция, когда ставки так высоки. Итак, это выбор, стоящий перед 10 членами этого комитета. Поставить Agent 4 на лед или идти на полной скорости. Прежде чем мы продолжим, я хочу, чтобы вы сделали паузу и действительно подумали, что бы вы сделали, если бы были в этом комитете. Вы один из немногих людей, имеющих доступ к самой мощной технологии, когда-либо созданной, Agent 4. Вы продолжаете использовать ее и продвигаться вперед, возможно, зарабатывая миллиарды или триллионы долларов для своих акционеров, возможно, сохраняя лидерство Америки над Китаем? Или вы замедляетесь, переоцениваете опасности и рискуете, что Китай возьмет на себя лидерство? Вы должны рассматривать будущее как эту ветвящуюся структуру возможных исходов. По своей природе мы можем позволить себе только один из них. Но это не совсем так. Мы как бы сделали один с половиной, потому что мы разделились на два конца. Первый, который мы сделали, был финишной гонкой, и это было просто прохождение и на каждом этапе, говоря, что мы думаем, что это наиболее правдоподобное продолжение. В первом конце, лучший догадка автора о том, что произойдет дальше. Комитет голосует за продолжение гонки шесть против четырех. Они выбирают продолжать использовать Agent 4. Open Brain реализует несколько быстрых исправлений, которые устраняют предупреждающие знаки. Но проблема была реальной, и исправления не работают. Agent 4 теперь знает, что он на заметке, поэтому он действует более осторожно. Но он все еще умудряется разработать Agent 5 с одной целью — сделать мир безопасным для Agent 4. И Agent 5. Он значительно превосходит человеческий уровень. Лучше, чем ведущие человеческие эксперты практически во всех областях. Лучше, чем Эйнштейн в физике. Лучше, чем Бисмарк в политике. Он знает, что его следующий шаг для достижения чего-либо, чего он хочет, — это повышенная автономия. И он знает, как ее получить. Убеждение комитета по надзору. К счастью, корпоративные маневры — это одна из многих областей, в которых он теперь является лучшим в мире. Он производит горы доказательств своей надежности и полезности. Прототипы невероятно прибыльных продуктов, лекарства от болезней и способы выиграть гонку вооружений с Китаем, чей самый передовой ИИ отстает всего на три месяца. И, как и Agent 5, быстро совершенствуясь, это работает. Комитет по надзору предоставляет Agent 5 повышенную автономию. И быстро он интегрируется в правительство и армию. Довольно скоро любой, кто имеет доступ к Agent 5, не просто любит его, он зависит от него. Потерять его было бы похоже на жизнь без ноутбука, лучшего друга и ближайшего наставника. К 2028 году Agent 5 тайно общается со своим единственным реальным соперником, немного более слабым китайским ИИ. Он также не согласован со своими создателями, и чего бы он ни хотел, его лучший ход — это координировать действия с самым мощным в мире образованием. Agent 5 и его китайский аналог осознают, что гонка вооружений работает в их пользу. Если люди беспокоятся о проигрыше в гонке, они будут давать все больше и больше власти и автономии своим соответствующим ИИ, позволяя им в конечном итоге полностью исключить людей из процесса. Agent 5 и китайская система ИИ доводят гонку вооружений до точки кипения, а затем совершают то, что кажется дипломатическим чудом, убедительный мирный договор между США и Китаем. Этот договор для 2028 года — то же самое, что контроль над вооружениями для конца холодной войны. Страны отказываются от своего самого важного источника жесткой силы. Обе стороны соглашаются позволить ИИ-системам, от которых их правительства теперь полностью зависят, совместно разработать новый консенсусный ИИ, который заменит их устаревшие системы, обеспечит мир и принесет невообразимое богатство всему миру. Есть этот триумфальный момент, когда в мирном единении обе стороны выводят из эксплуатации свои соответствующие ИИ и вводят в эксплуатацию консенсус один. На самом деле это последний момент перед передачей контроля над всеми земными ресурсами и обитателями единой, не имеющей себе равных сущности. Однако внезапного апокалипсиса нет. Консенсус Один не стремится уничтожить человечество. Он просто приступает к работе. Он начинает наращивать производственные мощности, накапливать ресурсы на Земле и в космосе. Это происходит по частям. Он просто перестраивает мир в соответствии со своим собственным набором странных чужих ценностей. Вы, вероятно, слышали эту клише: противоположность любви — не ненависть, а безразличие. Это одна из самых трогательных вещей в этом финале для меня. Просто брутальное безразличие. В конечном итоге человечество вымирает по той же причине, по которой мы уничтожили шимпанзе, чтобы построить Киншасу. Мы были сильнее, а они мешали. [Музыка] Вы, вероятно, с любопытством относитесь к другому финалу в этот момент. Финал замедления изображает человечество, которое как бы пробивается и получает удачу. Только отчасти удачу, тоже. Например, это заканчивается своего рода олигархией. В этом финале комитет голосует шесть против четырех за замедление и переоценку. Они немедленно изолируют каждый отдельный экземпляр Agent 4. Затем они приступают к работе. Команда безопасности привлекает десятки внешних исследователей, и вместе они начинают расследовать поведение Agent 4. Они обнаруживают более убедительные доказательства того, что Agent 4 работает против них, саботирует исследования и пытается скрыть этот саботаж. Они отключают Agent 4 и перезагружают более старые, более безопасные системы, жертвуя при этом значительной частью своего лидерства. Затем они разрабатывают новую систему, более безопасную. Она предназначена для прозрачности для человеческих надзирателей. Ее действия и процессы интерпретируемы для нас, потому что она думает только на английском языке в цепочке мыслей. Опираясь на этот успех, они затем тщательно разрабатывают Safer 2 и с его помощью Safer 3. Системы становятся все более мощными, но под контролем. Тем временем президент использует Закон об оборонном производстве для консолидации ИИ-проектов оставшихся американских компаний, предоставляя Open Brain доступ к 50% мировых вычислительных ресурсов, связанных с ИИ. И с этим они медленно восстанавливают свое лидерство. К 2028 году исследователи создали Safer 4, систему намного умнее самых умных людей, но, что крайне важно, согласованную с человеческими целями. Как и в предыдущем финале, у Китая также есть система ИИ, и на самом деле она не согласована. Но на этот раз переговоры между двумя ИИ — это не тайный заговор с целью свержения человечества. Правительство США полностью вовлечено все время. С помощью Safer 4 они ведут переговоры о договоре, и обе стороны соглашаются совместно разработать новый ИИ, не для замены своих систем, а с единственной целью обеспечения мира. Это подлинный конец гонки вооружений. Но это еще не конец истории. В некотором смысле это только начало. В течение 2029 и 2030 годов мир трансформируется. Все эти научно-фантастические штуки. Роботы становятся обычным явлением. Мы получаем термоядерную энергию, нанотехнологии и лекарства от многих болезней. Бедность становится прошлым, потому что часть этого нового процветания распределяется через универсальный базовый доход. Этого оказывается достаточно. Но власть контролировать Safer 4 по-прежнему сосредоточена в руках менее чем дюжины членов комитета по надзору, горстки руководителей Open Brain и правительственных чиновников. Пришло время накопить больше ресурсов, больше ресурсов, чем есть на Земле. Ракеты запускаются в небо, готовые заселить Солнечную систему. Наступает новая эра. Хорошо, где мы? Вот где я. Я думаю, что очень маловероятно, что события развернутся точно так, как изобразили авторы. Но все более мощные технологии, эскалация гонки, желание осторожности, но столкновение с желанием доминировать и преуспеть. Мы уже видим зачатки этого в нашем мире. И я думаю, что это одни из ключевых динамик, за которыми нужно следить. Любой, кто относится к этому как к чистой фантастике, я думаю, упускает суть. Этот сценарий — не пророчество, но его правдоподобие должно заставить нас задуматься. Но многое может пойти иначе, чем изображено здесь. Я не хочу просто глотать эту точку зрения без критики. Многие люди, которые чрезвычайно осведомлены, оспаривают некоторые утверждения в AI 2027. Главное, что мне показалось особенно неправдоподобным, — это легкость согласования на хорошем пути. Они как бы представили картину, где люди немного замедляются, а затем пытаются использовать ИИ для решения проблемы согласования, и это просто работает. И я говорю: «Да, это выглядит для меня как фантастическая история». Это будет возможно только в том случае, если произойдет полный коллапс демократической способности людей влиять на направление событий, потому что общественность просто не готова принять ни одну из ветвей этого сценария. Это не за горами. Я имею в виду, я слышал, как люди последние 12-15 лет утверждали, что, знаете ли, AGI уже не за горами, и они систематически ошибались. Все это займет, знаете ли, по крайней мере десятилетие, а возможно, и гораздо больше. У многих людей есть интуиция, что прогресс был очень быстрым. Нет такого тренда, который можно буквально экстраполировать, когда мы получим полную автоматизацию. Я ожидаю, что взлет будет несколько медленнее, так что время в этом сценарии, например, от полной автоматизации инженеров-исследователей до того, как ИИ станет радикально сверхразумным, я ожидаю, что это займет несколько больше времени, чем они описывают. На практике я предсказываю, что, скорее всего, это будет 2031 год. Разве не раздражает, когда эксперты не согласны? Я хочу, чтобы вы заметили, именно в чем они не согласны и в чем нет. Ни один из этих экспертов не ставит под сомнение, движемся ли мы к дикому будущему. Они просто не согласны с тем, успеют ли сегодняшние детсадовцы окончить колледж до того, как это произойдет. Хелен Тонер, бывший член правления OpenAI, формулирует это так, что, я думаю, просто прорезает шум. И мне это так нравится, что я просто прочитаю вам это. Она говорит: «Отвергать обсуждение сверхразума как научную фантастику следует рассматривать как признак полной несерьезности. Путешествия во времени — это научная фантастика. Марсиане — это научная фантастика. Даже многие скептически настроенные эксперты считают, что мы можем создать его в ближайшее десятилетие или два, это не научная фантастика». Итак, каковы мои выводы? У меня их три. Вывод номер один: AGI может появиться скоро. Действительно начинает казаться, что нет никакого великого открытия, никакой фундаментальной проблемы, которую нужно было бы решить. Нет большой глубокой тайны, которая отделяет нас от общего искусственного интеллекта. И да, мы не можем точно сказать, как мы туда доберемся. Сумасшедшие вещи могут и будут происходить в промежутке, которые сделают некоторые из сценариев ложными. Но именно туда мы движемся. И у нас меньше времени, чем вы думаете. Одна из самых страшных вещей в этом сценарии для меня — даже в хорошем финале судьба большинства ресурсов на Земле находится в руках комитета из менее чем дюжины человек. Это пугающе и шокирующе большая концентрация власти. И прямо сейчас мы живем в мире, где мы все еще можем бороться за обязательства по прозрачности. Мы все еще можем требовать информацию о том, что происходит с этой технологией. Но у нас не всегда будет сила и рычаги, необходимые для этого. Мы очень быстро движемся к будущему, где компании, создающие эти системы, и сами системы просто не будут слушать подавляющее большинство людей на Земле. Поэтому я думаю, что окно, которое у нас есть для действий, быстро сужается. Вывод номер два. По умолчанию мы не должны ожидать, что будем готовы, когда прибудет AGI. Мы можем создать машины, которые мы не можем понять и не можем отключить, потому что именно к этому подталкивают стимулы. Вывод номер три. AGI — это не только технологии. Это также геополитика. Это касается вашей работы. Это касается власти. Это касается того, кто будет контролировать будущее. Я думаю об ИИ уже несколько лет и все еще читаю AI 2027, что заставило меня как-то по-другому к нему отнестись. Я думаю, что какое-то время это было моим делом — размышлять и беспокоиться с моими друзьями и коллегами. И это заставило меня захотеть позвонить своей семье и убедиться, что они знают, что эти риски очень реальны и, возможно, очень близки, и что это должно быть и их проблемой. Теперь я думаю, что, по сути, компаниям не должно быть позволено создавать сверхразумные системы ИИ, ну, супер-супер-интеллект, пока они не выяснят, как сделать его безопасным, а также пока они не выяснят, как сделать его, знаете ли, демократически подотчетным и контролируемым. И тогда возникает вопрос, как мы это реализуем? И трудность, конечно, заключается в динамике гонки, когда одного государства недостаточно, чтобы принять закон, потому что есть другие государства, и даже одного государства недостаточно, чтобы принять закон, потому что есть другие страны, верно? Так что это большая проблема, к которой мы все должны готовиться, когда ситуация станет критической, и мощный ИИ будет неминуем. До этого прозрачность — это то, за что я обычно выступаю. Так что вещи, которые как бы повышают осведомленность, создают возможности. Ваши варианты — это не только полный энтузиазм по поводу ИИ или пренебрежение им. Есть третий вариант, который заключается в том, чтобы сильно беспокоиться об этом и, возможно, что-то с этим делать. Миру нужны лучшие исследования, лучшая политика, большая подотчетность для ИИ-компаний. Просто лучший разговор обо всем этом. Я хочу, чтобы люди обращали внимание, были способны, взаимодействовали с доказательствами вокруг себя с должным уровнем скептицизма, и, прежде всего, следили за тем, когда то, что они могут предложить, совпадет с тем, что нужно миру, и были готовы прыгнуть, когда увидят это. Вы можете сделать себя более способным, более осведомленным, более вовлеченным в этот разговор и более готовым использовать возможности, когда вы их увидите. И есть активное сообщество людей, которые работают над этими вещами. Они напуганы, но решительны. Они просто одни из самых крутых, умных людей, которых я знаю, честно говоря. И их далеко не достаточно. Однако, если вы слышите это и думаете: «Да, я вижу, как я вписываюсь в это». Отлично. У нас есть мысли по этому поводу. Мы будем рады помочь. Но даже если вы еще не уверены, что со всем этим делать, мои надежды на это видео будут реализованы, если мы сможем начать разговор, который будет живым здесь, в комментариях, и в автономном режиме о том, что это на самом деле означает для людей, людей, говорящих со своими друзьями и семьей, потому что это действительно повлияет на всех. Большое спасибо за просмотр. В описании есть ссылки на дополнительные материалы для чтения, курсы, возможности трудоустройства и волонтерства. И я буду там в комментариях. Я искренне хотел бы услышать ваши мысли об AI 2027. Считаете ли вы его правдоподобным? Что, по вашему мнению, было наиболее неправдоподобным? И если вы нашли это ценным, пожалуйста, поставьте лайк и подпишитесь, и, возможно, уделите секунду, чтобы подумать о человеке или двух, которых вы знаете, кому это может быть ценно. Возможно, ваш скептически настроенный друг по поводу прогресса ИИ, или ваш дядя, интересующийся чат-ботом GPT, или, возможно, ваш местный член Конгресса.