Transcription
Профессор Юваль Ной Харари. Историк и автор. Еврейский университет в Иерусалиме, Израиль. ИИ и будущее человечества.
Здравствуйте! Благодарю за это замечательное вступление. И да, я бы хотел поговорить с вами об ИИ и будущем человечества. Я знаю, что эта конференция посвящена экологическому кризису, с которым сталкивается человечество... но, так или иначе, ИИ тоже является частью этого кризиса.
Во многих отношениях, ИИ может помочь нам преодолеть экологический кризис... но может и сделать его намного, намного хуже. На самом деле, ИИ, возможно, изменит сам смысл экологической системы... потому что в течение 4 миллиардов лет экологическая система планеты Земля включала в себя только органические формы жизни... а сейчас или в ближайшем будущем мы можем увидеть появление первых за 4 миллиарда лет неорганических форм жизни... или, по крайней мере, появление неорганических агентов.
Люди боялись ИИ с самого начала компьютерной эры в середине 20 века... и этот страх способствовал созданию таких классических произведений в жанре научной фантастики, как "Терминатор" или "Матрица". Хотя такие научно-фантастические сценарии стали культурными вехами... они обычно не воспринимались всерьез в академических, научных и политических дебатах, и, возможно, по уважительной причине.
В научно-фантастических сценариях обычно предполагается, что прежде чем ИИ сможет представлять значительную угрозу для человечества... он должен будет достичь или пройти два важных рубежа. Во-первых, ИИ должен будет стать разумным и развить сознание, чувства, эмоции, иначе зачем ему вообще захватывать мир. Во-вторых, ИИ должен будет научиться ориентироваться в физическом мире.
Роботы должны будут уметь двигаться в домах, городах, горах и лесах, по крайней мере, так же ловко и эффективно, как люди. Если они не смогут передвигаться по физическому миру, как они смогут его захватить. По состоянию на апрель 2023 года ИИ, похоже, все еще далек от достижения этих рубежей.
Несмотря на всю шумиху вокруг Chat GPT и других новых инструментов ИИ... нет никаких доказательств того, что эти инструменты обладают хотя бы толикой сознания, чувств или эмоций. Что касается навигации в физическом мире, то, несмотря на хайп вокруг самоуправляемых автомобилей... момент, когда эти машины будут преобладать на наших дорогах, все время откладывается.
Однако плохая новость заключается в том, что на самом деле, для того, чтобы угрожать выживанию человеческой цивилизации... ИИ не нужно сознание и способность перемещаться по физическому миру. За последние несколько лет в общественную сферу были выпущены новые инструменты ИИ... которые могут угрожать выживанию человеческой цивилизации с совершенно неожиданной стороны.
Нам трудно даже представить себе возможности этих новых инструментов ИИ, а также скорость, с которой они продолжают развиваться. Действительно, так как ИИ способен самообучаться, самосовершенствоваться... даже разработчики этих инструментов не знают всех возможностей того, что они создали... и сами часто удивляются появляющимся способностям и возникающим качествам таких инструментов.
Думаю, все присутствующие здесь уже знают о некоторых наиболее фундаментальных способностях ИИ инструментов... таких, как написание текста или кода, рисование изображений и сочинение музыки. Наряду с ними появляется множество дополнительных способностей... например, подделка голосов и изображений людей... составление законопроектов, поиск слабых мест как в компьютерном коде, так и в юридических контрактах и соглашениях...
Но, возможно, самая главная из них состоит в том, что новые инструменты ИИ приобретают способность развивать глубокие и близкие отношения с людьми. Каждая из этих способностей заслуживает отдельного обсуждения, и нам трудно понять их последствия. Давайте проще. Когда мы берем все эти способности в совокупности, их можно свести к одной очень, очень важной вещи... способности манипулировать языком и генерировать: будь то слова или изображения, или звуки.
Самый важный аспект нынешней фазы продолжающейся революции ИИ заключается в том... что ИИ овладевает языком на уровне, превосходящем средние человеческие способности. Овладев языком, ИИ захватывает главный ключ, отпирающий двери всех наших учреждений, от банков до храмов... потому что язык - это инструмент, с помощью которого мы даем инструкции нашему банку, а также вдохновляем на божественные видения.
Другими словами, ИИ только что взломал операционную систему человеческой цивилизации. Операционной системой любой человеческой культуры всегда был язык. В начале было слово. Мы используем язык для создания мифов и законов, для создания богов и денег... для создания искусства и науки, для создания дружбы и наций.
Например, права человека не являются биологической реальностью, они не записаны в нашей ДНК. Права человека - это то, что мы создали с помощью языка, рассказывая истории и сочиняя законы. Боги также не являются биологической или физической реальностью. Боги - это тоже то, что мы, люди, создали с помощью языка, рассказывая легенды и излагая писания.
Деньги не являются биологической или физической реальностью. Банкноты - это просто ничего не стоящие кусочки бумаги... и в настоящее время более 90 процентов денег в мире - это даже не банкноты... а электронная информация в компьютерах, которая передается из одного места в другое. Что придает деньгам любого вида ценность, так это истории, которые рассказывают нам о деньгах... такие люди, как банкиры, министры финансов и гуру криптовалют.
Сэм Банкман-Фрид, Элизабет Холмс и Берни Мэдофф не создали много реальной ценности... но, к сожалению, были чрезвычайно способными рассказчиками. Итак, что бы значило для человека жизнь в мире, где возможно, большинство историй, мелодий, образов, законов, политики и инструментов формируются нечеловеческим... чуждым нам интеллектом, который знает, как со сверхчеловеческой эффективностью использовать слабости, предубеждения и пристрастия человеческого разума... а также умеет формировать глубокие и даже интимные отношения с людьми, - вот это важный вопрос.
Уже сегодня в таких играх, как шахматы, ни один человек и не надеется победить компьютер. Что если то же самое произойдет в искусстве, в политике, экономике и даже в религии? Когда люди думают о Chat GPT и других новых инструментах ИИ... их часто беспокоят такие случаи, как дети, использующие Chat GPT для написания школьных сочинений... что будет со школьной системой, если сочинения будут писать с помощью Chat GPT? Ужасно.
Задавая такие вопросы, мы упускаем картину в целом. Забудьте о школьных сочинениях. Вместо этого подумайте, например, о следующей президентской гонке в США в 2024 году... и попытайтесь представить себе влияние новых инструментов искусственного интеллекта, которые могут массово выпускать политические манифесты... фальшивые новости и даже священные писания для новых культов.
В последние годы политически влиятельный культ QAnon сформировался вокруг анонимных онлайн-текстов, известных как посты Q. Последователи этого культа, которых сейчас миллионы в США и других странах мира... собирали, просматривали и интерпретировали эти посты Q как своего рода новое священное писание, как священный текст.
Сейчас, насколько нам известно, все предыдущие посты Q были составлены людьми... а боты только помогали распространять эти тексты в Интернете. Но в будущем мы можем увидеть первые в истории культы и религии, чьи изучаемые тексты будут написаны нечеловеческим интеллектом. Конечно, хотя религии на протяжении всей истории утверждали, что их священные книги были написаны нечеловеческим разумом... раньше это никогда не было правдой, но может ей стать уже очень скоро и иметь далеко идущие последствия.
Что более прозаично, вскоре мы можем обнаружить, что ведем длительные дискуссии в Интернете... об абортах, об изменении климата или о России и Украине с существами, которых мы считаем людьми, но на самом деле они будут AI ботами. Загвоздка в том, что такие дискуссии совершенно бесполезны, нам бессмысленно тратить свое время, пытаясь убедить бота ИИ изменить свои политические взгляды... но чем дольше мы общаемся с ботом, тем лучше он узнает нас и понимает, как адаптировать свои сообщения... чтобы изменить наши политические взгляды, или наши экономические взгляды, или что-либо еще.
Благодаря владению языком ИИ, как я уже говорил, может также устанавливать интимные отношения с людьми... и использовать силу близости, чтобы влиять на наши мнения и взгляд на мир. Сейчас нет никаких признаков того, что ИИ обладает, как я уже говорил, сознанием или чувствами... но для создания фальшивой близости с человеческими существами ИИ не нужны собственные чувства... ему нужно только уметь вызывать в нас чувства, чтобы заставить нас привязаться к нему.
Так, в июне 2022 года произошел известный случай, когда инженер Google Блейк Лемойн публично заявил, что ИИ-чатбот LaMDA, над которым он работал, стал разумным. Это очень спорное утверждение стоило ему работы, он был уволен. Самым интересным в этом эпизоде было не утверждение Лемойна, которое, скорее всего, было ложным.
По-настоящему интересной была его готовность рискнуть и в конечном итоге потерять свою очень прибыльную работу ради чатбота ИИ, которого, как он думал, он защищал. Если ИИ может побудить людей рисковать и терять работу, то что еще он может убедить нас сделать? В любой политической битве за сердца и умы близость - это самое эффективное оружие... и ИИ только что обрел способность сближаться с миллионами, сотнями миллионов людей.
Как вы, вероятно, все знаете, за последнее десятилетие социальные сети стали полем битвы за контроль над человеческим вниманием. Теперь, с новым поколением ИИ, линия фронта смещается с внимания на близость, и это очень плохая новость. Что произойдет с человеческим обществом и человеческой психологией, когда ИИ будет сражаться с ИИ в битве за создание близких отношений с нами?
Отношений, которые затем могут быть использованы, чтобы убедить нас покупать определенные товары или голосовать за определенных политиков. Даже без создания фальшивой близости новые инструменты ИИ будут оказывать огромное влияние на наши взгляды и мировоззрение. Люди могут начать использовать, уже начинают использовать одного ИИ-советника в качестве универсального оракула и источника всей необходимой им информации.
Неудивительно, что Google в ужасе. Если вы следили за новостями в последнее время, Google в ужасе, и не без причины. Зачем искать самому, если можно просто попросить оракула рассказать вам все, что вы хотите? Вам больше не нужно ничего искать. Индустрия новостей и рекламная индустрия также должны быть в ужасе. Зачем читать газеты, если я могу просто попросить оракула рассказать мне, что нового?
И в чем смысл, в чем цель рекламы, когда я могу просто попросить оракула сказать мне, что купить? Поэтому есть шанс, что в течение очень короткого времени вся рекламная индустрия рухнет... а ИИ или люди и компании, контролирующие новые ИИ оракулы, станут чрезвычайно, чрезвычайно могущественными. То, о чем мы потенциально говорим, есть не что иное, как конец человеческой истории.
Не конец истории вообще, но конец той части истории, где главенствовал человек. История - это взаимодействие между биологией и культурой... взаимодействие между нашими биологическими потребностями и желаниями, такими как еда и секс, и нашими культурными творениями, такими как религии и законы. История - это процесс, в котором религии и законы взаимодействуют с едой и сексом.
Итак, что произойдет с основой этого взаимодействия, когда искусственный интеллект возьмет верх над культурой? В течение нескольких лет... ИИ может поглотить всю человеческую культуру, все, что производилось в течение тысяч и тысяч лет. Поглотить все это, переварить и начать извергать поток новых культурных творений, новых культурных артефактов.
Не забывайте, что мы, люди, никогда не имеем прямого доступа к реальности... мы всегда окружены культурой, и мы всегда воспринимаем реальность через призму культуры. Наши политические взгляды формируются благодаря материалам журналистов и анекдотам друзей. Наши сексуальные предпочтения изменяются под влиянием фильмов и сказок. Культурные традиции влияют даже на то, как мы ходим и дышим.
Раньше этот культурный кокон всегда ткали другие люди. Инструменты, прежние инструменты, такие как печатные станки, или радиоприемники, или телевизоры... помогали распространять культурные идеи и творения людей, но они никогда не могли создать что-то новое сами по себе. Печатный станок не может создать новую книгу, это всегда делает человек.
ИИ принципиально отличается от печатного станка, от радиоприемника, от всех предыдущих изобретений в истории, потому что он может создавать... совершенно новые идеи, он может создавать новую культуру... и основной вопрос в том, каково это - воспринимать реальность через призму, созданную нечеловеческим интеллектом, чуждым нам интеллектом.
Поначалу, в первые несколько лет, ИИ, вероятно, будет во многом подражать прототипам, человеческим прототипам, которые питали его в период становления... но с каждым годом культура ИИ будет смело идти туда, куда еще не ступала нога человека. Таким образом, на протяжении тысячелетий мы, люди, жили в мечтах и фантазиях других людей.
Мы поклонялись богам, мы стремились к идеалам красоты, мы посвящали свои жизни делам... которые зародились в воображении какого-нибудь поэта, пророка или политика. Вскоре мы можем обнаружить, что живем в мечтах и фантазиях нечеловеческого разума... и угрозы, которые он представляет, потенциальные угрозы, - есть и положительный потенциал... но угрозы, которые он представляет собой, очень сильно и принципиально отличаются от всех или большинства вещей, представленных в научно-фантастических фильмах и книгах.
Раньше люди в основном боялись физической угрозы, которую представляют собой разумные машины... поэтому в "Терминаторе" изображались роботы, бегающие по улицам и стреляющие в людей. В "Матрице" предполагалось, что для получения тотального контроля над человеческим обществом ИИ сначала должен получить физический контроль... над нашими мозгами и напрямую подключить наши мозги к компьютерной сети, но это неверно.
Просто овладев человеческим языком, ИИ имеет все необходимое для того, чтобы погрузить нас в мир иллюзий, подобный матрице. Вопреки тому, что предполагают некоторые теории заговора, на самом деле не нужно вживлять чипы в мозг людей, чтобы управлять или манипулировать ими. На протяжении тысячелетий пророки, поэты и политики использовали язык и рассказы, чтобы манипулировать и управлять людьми и чтобы перестраивать общество.
Теперь ИИ, вероятно, сможет это делать, и когда он действительно сможет это делать, ему не нужно будет посылать роботов-убийц, чтобы стрелять в нас... он сможет заставить людей нажать на курок, если ему это понадобится. Страх перед ИИ преследует человечество лишь последние несколько поколений, скажем, с середины 20-го века. Если обратиться к Франкенштину, то, может быть, лет 200, но на протяжении тысячелетий людей преследовал гораздо более глубокий страх.
Люди всегда знали, что истории, образы и язык обладают способностью манипулировать нашим сознанием и создавать иллюзии. Следовательно, с древних времен люди боялись оказаться заперты в мире иллюзий. В XVII веке Рене Декарт опасался, что, возможно, злобный демон заключил его в ловушку мира иллюзий, создавая все, что Декарт видит и слышит.
В Древней Греции Платон описал знаменитую аллегорию, где группа людей заперта в пещере и всю жизнь обращена к глухой стене, экрану... на который проецируются различные тени, и узники принимают эти иллюзии, эти тени за реальность. В древней Индии буддисты и индуистские мудрецы говорили, что все люди живут в ловушке внутри того, что они называли "майя".
Майя - это мир иллюзий. Будда говорил, что то, что мы обычно принимаем за реальность, часто является вымыслом нашего собственного сознания. Люди могут вести целые войны, убивая других и будучи готовыми быть убитыми из-за своей веры в эти выдумки. Таким образом, революция ИИ ставит нас лицом к лицу с демоном Декарта, с пещерой Платона, с майей.
Если мы не будем осторожны, над всем человечеством может опуститься занавес иллюзий... и мы никогда не сможем отдернуть этот занавес или даже понять, что он есть, потому что будем думать, что это и есть реальность. Социальные сети, - если это звучит надуманно... просто посмотрите на социальные сети, которые за последние несколько лет дали нам некоторое представление о том, что нас ждет в будущем.
В социальных сетях примитивные инструменты ИИ, инструменты ИИ, но очень примитивные, используются не для создания контента... а для курирования контента, который производится людьми. Люди производят истории, видео и все остальное, а ИИ выбирает, какие истории, какие видео дойдут до наших ушей и глаз... выбирая те, которые привлекут наибольшее внимание, которые станут самыми вирусными.
И хотя эти инструменты ИИ очень примитивны, тем не менее, их оказалось достаточно для создания такого рода завесы иллюзий, которая усилила поляризацию общества по всему миру... подорвала наше психическое здоровье и дестабилизировала демократические общества. Миллионы людей путали эти иллюзии с реальностью.
США обладают самыми мощными информационными технологиями за всю историю человечества... и все же американские граждане больше не могут прийти к единому мнению, кто победил на последних выборах, реально ли изменение климата, предотвращают ли вакцины болезни или нет. Новые инструменты ИИ гораздо мощнее, чем эти алгоритмы социальных сетей, и они могут нанести гораздо больший ущерб.
Конечно, у ИИ есть и огромный положительный потенциал. Я не стал говорить об этом, потому что люди, разрабатывающие ИИ, естественно, говорят об этом достаточно, не нужно, чтобы я дополнял этот хор. Работа историков и философов вроде меня часто заключается в том, чтобы указывать на опасности, но, безусловно, ИИ может помочь нам бесчисленными способами... - от поиска новых лекарств от рака до поиска решений экологического кризиса, с которым мы столкнулись.
Для того чтобы убедиться, что новые инструменты ИИ используются во благо, а не во вред, мы должны сначала оценить... их истинные возможности и очень тщательно их регулировать. С 1945 года мы знали, что ядерные технологии могут как уничтожить, физически разрушить человеческую цивилизацию... так и принести нам пользу, производя более чем достаточное количество дешевой энергии.
Поэтому мы перестроили весь международный порядок, чтобы защитить себя... и убедиться, что ядерные технологии используются в основном во благо. Теперь нам приходится иметь дело с новым оружием массового уничтожения, которое может уничтожить наш ментальный и социальный мир.
Между ядерными бомбами и ИИ есть одно большое различие: ядерные бомбы не могут производить более мощные ядерные бомбы. ИИ может породить более мощный ИИ, поэтому нам нужно действовать быстро, пока ИИ не вышел из-под нашего контроля. Компании по производству лекарств не могут продавать людям новые препараты, не подвергнув их предварительно тщательной проверке на безопасность.
Биотехнологические лаборатории не могут выпустить новый вирус на свободу, чтобы поразить акционеров своим технологическим мастерством. Точно так же правительства должны немедленно запретить предоставление... обществу доступа к любым новым революционным инструментам ИИ до того, как они станут безопасными.
Опять же, я не говорю о прекращении всех исследований в области ИИ, первый шаг - это прекращение их выпуска в публичную сферу. Где-то можно исследовать вирусы, не выпуская их на публику, где-то можно исследовать ИИ, но не делая его общественным достоянием второпях. Если мы не замедлим гонку вооружений ИИ, у нас не будет времени даже понять, что происходит... не говоря уже о том, чтобы эффективно регулировать эту невероятно мощную технологию.
Теперь вы можете задаться вопросом... не приведет ли замедление публичного внедрения ИИ к отставанию демократических стран от более безжалостных авторитарных режимов? И ответ - нет, абсолютно нет, ровно наоборот. Нерегулируемое внедрение ИИ - это то, что приведет к тому, что демократии проиграют диктатурам.
Потому что если мы развяжем хаос, авторитарные режимы смогут легче сдержать этот хаос, чем открытые общества. По своей сути демократия - это разговор. Демократия - это открытый разговор, вы знаете, диктатура - это диктат, один человек диктует все, никакого разговора.
Демократия - это разговор между многими людьми о том, что делать, а разговор опирается на язык. Когда ИИ взломает язык, он сможет уничтожить нашу способность вести содержательные общественные обсуждения, тем самым разрушая демократию. Если мы будем ждать начала хаоса, то будет слишком поздно регулировать его демократическим способом.
Может быть, авторитарным, тоталитарным способом его еще можно будет регулировать... но как вы можете регулировать что-то демократическим способом, если вы не можете это обсудить? Если мы вовремя не начнем регулировать ИИ, вы не сможете, мы больше не сможем вести содержательные общественные обсуждения.
Итак, в заключение хочу сказать, что мы только что столкнулись с чуждым нам интеллектом - не в космосе, а здесь, на Земле. Мы мало что знаем об этом разуме, кроме того, что он может уничтожить нашу цивилизацию. Поэтому мы должны положить конец безответственному внедрению этого интеллекта в наши общества и регулировать ИИ, пока он не начал регулировать нас.
И первое правило, - мы можем предложить множество правил, но первое правило, которое я бы предложил, - это требование к ИИ предупреждать, что он является ИИ. Если я разговариваю с кем-то и не могу определить, кто это - человек или ИИ, это конец демократии, потому что это конец содержательных общественных обсуждений.
Итак, что вы думаете о том, что вы только что услышали за последние 20 или 25 минут? Некоторые из вас, я полагаю, могут быть встревожены. Некоторые из вас могут быть рассержены на корпорации, которые разрабатывают эти технологии, или на правительства, которые не регулируют их. Возможно, кто-то из вас рассердится на меня, решив, что я преувеличиваю угрозу или ввожу общественность в заблуждение.
Но что бы вы ни думали, я готов поспорить, что мои слова оказали на вас определенное эмоциональное воздействие, не только интеллектуальное, но и эмоциональное. Я только что рассказал вам историю, и эта история, скорее всего, изменит ваше мнение о некоторых вещах и даже может заставить вас предпринять определенные действия в этом мире.
Но кто создал эту историю, которую вы только что услышали и которая только что изменила ваше сознание и ваш мозг? Я обещаю вам, что текст этой презентации я написал сам с помощью нескольких других людей, хотя изображения были созданы с помощью искусственного интеллекта.
Я обещаю вам, что по крайней мере слова, которые вы услышали, являются культурным продуктом человеческого разума или нескольких человеческих разумов. Но можете ли вы быть абсолютно уверены, что это так? Год назад - да, вы могли быть в этом уверены.
Еще год назад на Земле не было ничего, по крайней мере, общедоступного, кроме человеческого разума, способного создать столь сложный и мощный текст. Но теперь все иначе. Теоретически, текст, который вы только что услышали, мог быть создан нечеловеческим разумом. Так что уделите минуту или чуть побольше времени, чтобы подумать об этом. Спасибо.