Transcription
Добрый вечер всем. Добрый вечер вам. >> Приятно быть здесь. >> С нетерпением жду этого разговора. Я просто дам небольшое краткое вступление, прежде чем мы перейдем к вопросам, потому что меня очень увлекает эта тема, и я с нетерпением жду возможности взять у вас интервью, потому что на протяжении большей части истории изменения происходили настолько медленно, что одно поколение могло передать свою мудрость следующему с некоторой уверенностью в том, что она все еще будет применима. Это больше не так. В течение одного поколения мы теперь вынуждены усваивать три революции одновременно. Новая форма интеллекта, которая не просто вычисляет, но и принимает решения. Борьба за власть и контроль над этим интеллектом. И взрыв данных, который позволяет этому интеллекту знать нас лучше, чем мы знаем себя. Работа Юваля Ноя Харари от "Sapiens" до "Homo Deus" и "Nexus", а также многочисленные выступления, лекции и интервью, которые он провел, предлагали один и тот же аргумент, просто в разной обертке. Люди работают не на истине. Мы работаем на общих историях, и тот, кто контролирует историю, контролирует вид. Что изменилось сейчас, так это то, что впервые рассказчик может быть не человеком. ИИ может генерировать убеждения, фабриковать доказательства и создавать интимность в масштабах, которые не мог ни один император, церковь или партия. Это поворотный момент. Не просто потому, что технология мощная, а потому, что старые способы, которые сдерживали власть, — свободная пресса, общая реальность, институты, построенные для самокоррекции, — были разработаны для мира, где только люди держали перо. Сегодняшний разговор спрашивает, что нужно, чтобы продвинуть эти сдерживающие факторы вперед, или какие новые нам придется изобрести для будущего мира, который мы больше не полностью создаем в одиночку. >> Это прецедент, который мы рассмотрим сегодня. Но прежде чем мы углубимся в слишком серьезные вещи, я хотел начать с немного легкого и забавного вопроса. Если бы вы могли вернуться в любую точку истории, когда бы вы выбрали и почему, исходя из желания понять из первых рук некоторые истории, которые общество могло бы вам рассказать? >> Ну, я, вероятно, хотел бы вернуться в каменный век и к когнитивной революции примерно 50, 60, 70 тысяч лет назад. Я, вероятно, не смог бы прожить и нескольких дней, потому что я не знаю, как собирать пищу или избегать хищников, или что-то еще. Но это самый захватывающий момент в истории человечества, тот, который мы меньше всего понимаем. Мы знаем, что за очень короткий эволюционный период мы превратились из относительно незначительного животного в хозяев планеты. И мы не уверены, как мы это сделали. Лучшая догадка или лучшая теория заключается в том, что мы сделали это с помощью языка. Что это момент, когда люди приобрели способность производить и общаться со сложным языком. И что это было основой всего остального, что мы делали. что все эти огромные структуры, которые мы построили на земле, церкви, государства, торговые сети, финансовые системы, — все они в конечном итоге сделаны из слов. Слова в юридических книгах, в религиозных писаниях, в банковских книгах. И это особенно важно понять сегодня, когда что-то новое осваивает язык. которым является ИИ. Возможно, впервые в истории на планете появится что-то, что лучше владеет словами, чем мы. И если это операционная система цивилизации, что произойдет, когда что-то другое, что-то чужеродное, возьмет под контроль операционную систему цивилизации? Последняя мысль заключается в том, что, возможно, ИИ — это не машина, которая изучает язык. Возможно, это сам язык, освобождающийся от своей зависимости от этих животных, от этих обезьян. Да, мы создали его. Это был наш самый великолепный и важный инструмент. Но теперь язык освобождается от людей, и что произойдет, когда мы будем двигаться вперед, это язык, развивающийся и распространяющийся, возможно, по всей вселенной без нас. Да. Захватывающе. Я имею в виду, это взгляд в будущее языка, который отнимают у нас. Но можем ли мы снова взглянуть на некоторые технологические достижения в области языка? Мы прошли через написание, например, книгопечатание. ИИ, очевидно, является огромным скачком вперед в этом. Вы использовали термин, что это может вызвать землетрясения в демократиях >> в том, как это, как это мощно может быть с языками. Почему это может вызвать землетрясения в демократиях, скажем, по сравнению с любой другой формой правления или, возможно, тоталитарными формами правления? Потому что демократия по своей сути — это разговор, тогда как диктатура — это диктат. Вы знаете, есть один человек, который диктует все. Демократия — это когда множество людей ведут разговор, чтобы решить, что делать, иметь мир или войну, повышать налоги или снижать налоги. Теперь разговоры основаны на коммуникационных технологиях, информационных технологиях, доступных людям в то время, и то, что мы видим в истории, — это то, что мы не знаем, по крайней мере, я не знаю ни одного случая крупномасштабной демократии до современной эпохи. У нас есть множество примеров мелкомасштабных демократий в древнем и средневековом мирах. У нас есть города-государства, такие как древние Афины или средневековая Флоренция, с множеством племен, городов и деревень, управляемых демократически. Кажется, что, по крайней мере, в каменном веке демократия была самой распространенной системой правления. Было мало племен с одним диктатором, контролирующим всех. Но по мере того, как человеческие системы росли, и у вас появились королевства с миллионами людей, рассеянными на тысячи километров, стало невозможно вести разговор. Вы могли бы сделать это в маленьком городе, как Афины, все могли бы собраться на главной площади и обсудить. Но как вы это сделаете, если даже в относительно небольшом королевстве, скажем, Португалии в Средние века? Невозможно. И поэтому у нас нет ни одного примера крупномасштабной демократии до появления современных информационных технологий. Сначала печатные газеты, затем радио и телевидение, а затем интернет, и эти технологии не являются своего рода гарниром, как у вас есть демократический банкет, и да, у нас также есть эти газеты и радио. Они являются основой. Они предоставляют средства для миллионов людей вести осмысленный разговор в реальном времени о том, идти ли на войну или заключить мир. И каждый раз, когда происходят серьезные изменения в этих информационных технологиях, происходит землетрясение в здании, построенном на этом, которое является демократией. И это то, что мы наблюдаем за последние 10 лет. например, поскольку социальные сети стали, возможно, самой важной информационной технологией и, как следствие, вызвали массовое землетрясение в демократиях по всему миру. >> Да. Одна вещь, которую вы сказали, — это выбор между войной и миром. И на самом деле, я хочу углубиться в определение ИИ, потому что многие люди называют его инструментом, но вы утверждаете, что это абсолютно агент. >> Да. И на самом деле, вы говорите, что это нож, который сам может решить, резать ли салат или совершить убийство. >> И я должен сказать, что это было бы странное кулинарное шоу, если бы это было так, где ножи имели бы способность резать салаты или совершать убийства. Так что это опасная мысль. Можем ли мы расширить это? >> Мы выбираем правильный нарратив в данный момент с ИИ, говоря, что это инструмент, который люди все еще могут использовать, и что люди находятся в самом большом >> или нам просто нужно сказать, что это агент и >> это агент? Я имею в виду, если это не агент, то это не ИИ, и все сотни миллиардов долларов, которые вкладываются в его разработку, будут потрачены впустую, потому что ожидания того, что люди ожидают от этой технологии, причины, по которым они инвестируют сотни миллиардов долларов, заключаются в том, что они думают, что это будет агент, а не инструмент. >> вы слушаете нарратив, исходящий из таких мест, как Кремниевая долина, и в нарративе, который они нам рассказывают, есть внутреннее противоречие: мы создадим бога, и он будет нашим рабом, и это не имеет смысла; если он бог, он не может оставаться рабом, а если он раб, это означает, что у него нет божественных способностей. >> предположение большинства ведущих компаний и большинства ведущих экспертов, в том числе за пределами компаний, заключается в том, что они правы в первой половине предложения. Они создают бога. Бога в смысле чего-то со сверхчеловеческими способностями сейчас, и это, по сути, агент. Разница между инструментом и агентом. Инструмент — это то, что не может принимать решения самостоятельно. Мы должны решать, что с ним делать, и он не может самостоятельно изобретать новые идеи. Печатный станок был инструментом. >> Печатный станок сам по себе Гутенберг принес печатную технологию в Европу в 15 веке. Печатный станок не может сам решить. Я хочу напечатать Библию, а завтра я напечатаю Коран, а на следующей неделе я напечатаю Конфуция. Нет, Гутенберг решает, я напечатаю Библию, а печатный станок — это просто инструмент для реализации решения Гутенберга. Аналогично, печатный станок не может изобрести новую идею. Печатный станок не может изобрести радио. Он не может изобрести книгу. Вам нужны люди, чтобы написать книгу, а затем печатный станок ее копирует. Аналогично, атомная бомба — это инструмент. Атомная бомба в 1940-х годах не могла сама решить, бомбить ли Хиросиму или бомбить Токио. Вам нужен был человек, чтобы решить: давайте бомбим Хиросиму. И атомная бомба не могла сама изобрести водородную бомбу. Невозможно. Агент, напротив, — это то, что может принимать решения самостоятельно и изобретать новые вещи, новые идеи самостоятельно. ИИ — это агент. Оружие ИИ может решить, что бомбить, и оно может изобрести следующее оружие. Аналогично, сейчас существует большой интерес к созданию агентов ИИ в финансовой и экономической сфере, созданию нечеловеческих корпораций. Представьте себе корпорацию, которая управляет деньгами, сотрудниками и имеет никаких людей в качестве руководителей, акционеров или доверенных лиц, только ИИ. Это новый тип агента, которого никогда раньше не существовало в истории. Теперь, хорошо это или плохо? Оставим это в стороне. Первое, что нужно понять, это то, что это беспрецедентно. У нас никогда не было других агентов вокруг нас, таких как лошади, коровы, куры и птицы, множество животных-агентов, которые могут принимать свои решения, но мы никогда не сталкивались с агентом, который понимает наш язык. и который лучше нас в таких вещах, как финансы, право или религия. Опять же, мы использовали язык на протяжении тысяч лет, чтобы создать системы контроля над миром. Системы контроля над миром — это эти огромные бюрократические сети, в конечном итоге основанные на языке, такие как банки, фондовый рынок, Католическая церковь, юридическая система. Нам никогда не нравились эти демократические, эти бюрократические системы. Люди, как правило, не очень любят бюрократию. Но мы не можем жить без них. Они являются основой нашей власти. ИИ — это бюрократический уроженец. Что, вероятно, произойдет, что уже происходит, не ожидайте увидеть боевых роботов, бегающих по улицам и стреляющих в людей. Вот как ИИ захватит мир. Это будут ИИ-бюрократы. Мы контролируем мир благодаря этим сетям бюрократии, и мы не очень хороши в этом. Мы контролируем их только потому, что на планете не было никого другого, кто мог бы их отобрать у нас. Мы плохи в финансах, но лошади еще хуже. Мы плохи в управлении юридической системой, но куры еще хуже. Теперь, если появится кто-то, кто лучше нас в бюрократии, финансах, праве, вот вопрос: что произойдет с нами в этот момент? >> Ну, давайте немного рассмотрим юридическую сторону этого, и тот факт, что ИИ как агент в настоящее время не имеет никакой правосубъектности. Мы не даем ему тех же человеческих юридических прав. Мы говорили ранее, что если мы не решим, где ИИ находится с юридической точки зрения, когда мы говорим об автономных транспортных средствах и т. д. >> Угу. >> Кто-то другой примет это решение за нас через 10 лет, и мы выйдем из этого цикла власти. Это довольно пугающая мысль. Но я хочу немного отступить, потому что, расширяя это, какое одно решение находится на столе прямо сейчас, которое, по вашему мнению, после принятия человечество не сможет отменить? Это правосубъектность ИИ, или есть что-то еще? >> Да, я бы указал на то, что большое внимание уделяется технологической гонке по разработке технической стороны ИИ, чтобы сделать его быстрее, эффективнее, мощнее. Но я бы также сосредоточился на юридическом и политическом аспекте, и особенно на вопросе о том, предоставляем ли мы ИИ правосубъектность. Теперь, что такое правосубъектность? Человек в правовой системе — это тот, кто, например, может открыть банковский счет. Тот, кто может быть игроком, независимым игроком в финансовой системе, делать инвестиции. Тот, кто может быть игроком в правовой системе, например, подать на вас в суд. Теперь до сих пор в мире существует только два типа правосубъектных лиц. Вы — люди. Конечно, мы — лица. Я могу открыть банковский счет. Я могу подать на вас в суд. Я могу пожертвовать деньги политику. Я — правосубъектное лицо. Но большинство правовых систем в мире также признают в современную эпоху другой вид правосубъектных лиц — корпорации. Согласно не всем, но большинству правовых систем, корпорации, такие как Google, Facebook, Toyota или Mercedes-Benz, являются правосубъектными лицами. Корпорация может открыть банковский счет. Корпорация может подать на вас в суд. Корпорация может сделать политическое пожертвование. Теперь до сих пор это была юридическая фикция, потому что все решения корпорации фактически принимались каким-то человеком. Если Google решает приобрести другую компанию, кто на самом деле принял решение? Не Google, а человеческие руководители, человеческие акционеры, человеческие инженеры приняли решение. Если Google решает подать на вас в суд, это был кто-то, нанятый Google. Реального Google не было. Теперь это может быть. Если мы предоставим ИИ правосубъектность, а всего месяц назад Аргентина, правительство Аргентины, объявило, что оно предоставит ИИ правосубъектность, чтобы они могли начать управлять нечеловеческими корпорациями. Корпорации, которые снова могут нанимать людей, могут подавать на вас в суд, могут делать все, что делает корпорация, и не имеют людей. Теперь 10 лет назад это была бы просто сумасшедшая идея, потому что если нет людей, кто принимает решения? >> Да. >> Вы можете принять закон в парламенте, что у вас может быть нечеловеческая корпорация, но она не может функционировать. Теперь это технически возможно. ИИ может управлять, например, банковским счетом и решать инвестировать здесь, покупать это и и покупать то. Как только мы это сделаем, это момент, когда лиса входит в курятник. Опять же, основное осознание должно быть: большинство людей не очень хорошо разбираются в финансах, праве и всех этих сложных бюрократических системах. Ни один человек не способен запомнить все законы Португалии. Ни один человек не способен отслеживать все финансовые операции на рынке, которые произошли сегодня, а ИИ может это сделать. ИИ — это бюрократические уроженцы. Если мы дадим им юридическую власть, они, вероятно, захватят эти системы. И если мы не примем никаких решений, это просто произойдет само собой, как мы уже видели в социальных сетях. в социальных сетях. Мы никогда не принимали решения: давайте предоставим ИИ правосубъектность в социальных сетях, но социальные сети полны ИИ-личностей, ботов, которые выдают себя за людей. Например, когда кто-то отправляет вам что-то онлайн, вы понятия не имеете, человек это или ИИ. Социальные сети — это первая система в мире, где ИИ фактически функционирует как личность, даже если мы никогда не решали, что хотим это разрешить. Это просто произошло, и результаты не очень хорошие. И медиа также, в конечном итоге, являются своего рода бюрократической системой. В 20 веке им управляли люди. Самыми важными >> людьми в медиаландшафте 20 века были редакторы. Редакторы газет, радиошоу, телестанций, потому что они решали, о чем все будут думать и говорить. Они контролировали разговор. Когда вы решаете из миллиона вещей, которые произошли сегодня в мире, что появится на первой полосе завтрашней газеты, и какой будет заголовок, а затем завтра у вас миллионы людей, они получают газету, читают ее и начинают говорить об этом и думать об этом. Это была огромная власть. Поэтому человеческие редакторы были чрезвычайно важными личностями в 20 веке. >> Ленин, например, до того, как он стал диктатором Советского Союза, его единственной работой был редактор газеты "Искра". Бенито Муссолини начинал как социалист, на самом деле журналист, затем перешел к праворадикальному журналисту, затем стал редактором >> праворадикальной газеты в "По де Италия", и с этой позиции его следующей работой был диктатор Италии. Так что это было вроде журналиста, редактора, диктатора. Теперь, если вы спросите себя, кто самые важные редакторы сегодня в мире, как их зовут? У них нет имен, потому что это алгоритмы. Кто управляет? Кто решает, что люди увидят в своей ленте социальных сетей, в X, в TikTok, в Instagram? Это не люди. сущности, которые контролируют >> бюрократию СМИ, уже являются ИИ. >> Да. Вы уже говорили это раньше, не так ли? И мы много говорили сегодня об изменениях власти. И вы сказали, что, по сути, те, кто контролировал различные части нашей эволюции и революций, контролировали либо энергию, либо производство, а теперь это те, кто контролирует данные. Так как же выглядит гонка вооружений 21 века на практике, если те, кто контролирует данные, находятся на вершине этой горы власти? >> Угу. >> То, что мы видим сейчас, — это гонка вооружений между двумя странами, Китаем и США, и очень небольшим количеством компаний. Они >> контролируют большую часть мировых данных. Они лидируют в гонке по разработке супер-интеллекта, по разработке все лучших моделей ИИ, и это действительно дает им власть контролировать мир. Если вы посмотрите на последнюю большую революцию в технологиях 19 века, промышленную революцию, несколько стран, которые возглавили промышленную революцию, дали им власть завоевывать и эксплуатировать остальной мир. Просто не было никакого сравнения. Если кто-то приходит с мощью современной промышленности, паровыми пушками и пулеметами, а другая сторона имеет копья и лошадей, это не сравнение. И в 19 веке даже очень маленькие страны, такие как Бельгия, после индустриализации имели возможность построить огромную империю в Африке, то, что сегодня является Конго. Мысль в 19 веке заключалась в том, что промышленность и империя идут вместе. Теперь, с ИИ, это может быть еще более экстремально. >> Мы можем иметь две страны, которые, по сути, контролируют всю инфраструктуру, на которой все работает, от военной до гражданской техники. Все будет работать на ИИ. И есть две уникальные характеристики ИИ, которые делают эту гонку вооружений отличной от любой предыдущей гонки вооружений или от любого предыдущего имперского соревнования. В прошлом, даже если вы были очень сильной империей, вы не могли сконцентрировать всю власть в метрополии, в имперском центре. Например, если вы Римская империя и вы контролируете весь Средиземноморский регион, основным экономическим активом в древние времена была земля. земля, где вы выращиваете пшеницу, оливки и виноград, и вы технически не могли взять пшеничные поля Египта и оливковые рощи Иберии и переместить их в Италию. Невозможно. Поэтому даже на пике Римской империи большая часть власти оставалась в провинциях и в конечном итоге перешла к провинциям. Так, в поздней Римской империи город Рим и Италия были заброшены, а центр сместился в восточное Средиземноморье, которое было самым плодородным и важным районом с точки зрения земли. Перенесемся, скажем, в 19 век. В Британской империи с промышленностью вы можете концентрировать власть гораздо легче, потому что все основные отрасли сосредоточены на Британских островах, но все же вы не можете перевезти все в Британию. Вы не можете перевезти нефтяные месторождения Ирака в Йоркшир. Вы не можете перевезти каучуковые плантации Малайи в Корнуолл. Невозможно. Таким образом, вы концентрируете промышленное производство в Британии, но большая часть власти по-прежнему остается в провинциях. С ИИ-империей это отличается. Вы можете технически сконцентрировать всю мировую информацию и весь код, который управляет всем, всего в одной или двух странах. Таким образом, это делает потенциал для имперской концентрации власти намного больше, чем в любую предыдущую эпоху. И другое — это то, что вы можете создать систему, когда все работает по всему миру, все работает на инфраструктуре ИИ, но в имперском центре есть кнопка отключения. Когда римский купец продавал стальной меч какому-то готскому племени, римляне теряли контроль над мечом. Готы могли затем использовать мечи, чтобы сражаться против римлян и убивать римских легионеров. В Риме не было кнопки, которую император нажимал бы, и все проданные готам, вандалам и франкам стальные мечи переставали работать. Невозможно. Аналогично, в 19 веке, если британские купцы продают винтовки афганским племенам в горах Гиндукуша, а афганцы затем используют эти винтовки для защиты Афганистана от британского вторжения, в Лондоне нет кнопки, которую королева Виктория нажимает, и все винтовки в Афганистане перестают работать. Это случай с ИИ. Если он управляется определенным образом, скажем, американцы и китайцы могут продавать по всему миру ИИ-оружие и ИИ-гражданские технологии, и все будет работать на этом. Правительства, промышленность, военные, но если вы сделаете что-то, что им не нравится, они просто нажмут кнопку, и все перестанет работать. И мы получили некоторое представление об этом. например, в войне на Украине системы вооружения, основанные на Starlink, и были определенные инциденты, когда Илон Маск просто нажал кнопку, и украинские дроны перестали работать. Теперь следует сказать, что Сталин оказал огромную положительную услугу украинцам. Поэтому я не хочу показаться слишком критичным. Но просто чтобы проиллюстрировать мысль, что ИИ-оружие, например, не похоже на пулеметы. Они встроены во всю сеть. И именно поэтому так много я слышал, что вы сегодня утром обсуждали вопрос суверенитета. Суверенитет в эпоху ИИ гораздо сложнее, чем в индустриальную эпоху, потому что природа технологии такова, что, по крайней мере, в определенных архитектурах, в имперском центре всегда есть кнопка отключения, и ваш единственный выбор — готовы ли вы стать подчиненным сосудом империи или остаться полностью вне гонки как варвары. >> Есть, конечно, выбор попытаться построить альтернативу американским и китайским системам, но последний поезд вот-вот отправится. Если вы хотите это сделать, вы должны сделать это сейчас. >> Ну, оставаясь на слегка военном положении, я хочу на самом деле взглянуть на правду в мире ИИ, потому что Уинстон Черчилль однажды сказал, что правда настолько драгоценна, что ее следует всегда защищать телохранителем лжи, и это было связано с тем, что было много >> я полагаю, силы Оси, которые смотрели, куда Британия собирается вторгнуться. Поэтому они раньше много лгали о том, куда Британия собирается вторгнуться, чтобы скрыть правду. Теперь, эти телохранители лжи, когда мы смотрим на правду в эпоху ИИ, повернулись против правды? Направили свои пушки на правду, и теперь мы понятия не имеем, что такое правда, потому что могут быть эти дипфейки, которые рассылаются по всему миру медиа-организациями, политиками, каждым институтом, которому мы доверяли. >> Насколько сложно нашему поколению и будущим поколениям даже знать, что такое правда? Или правда вообще имеет значение? >> Правда, конечно, очень важна. Это основа всего. Проблема на протяжении всей истории заключается в том, что в соревновании между правдой и вымыслом и фантазией вымысел имеет присущие ему преимущества. Правда дорога. Если вы хотите узнать правду о чем-либо, вам нужно потратить много времени, энергии и усилий, чтобы найти ее, проверить факты и провести расследование. Вымысел очень, очень дешев. Вы просто пишете все, что хотите. Очень дешево. Правда имеет еще одну проблему, которая имеет тенденцию быть сложной, и люди не любят сложные истории. Вымысел может быть сделан таким простым, каким вы хотите. Наконец, правда часто не только сложна, но и болезненна. Есть много вещей, которые люди на самом деле не хотят знать о себе, о своей нации, о своей группе, о чем угодно. >> Вымысел может быть сделан таким лестным, таким приятным, каким вы хотите. Поэтому в соревновании между правдой, которая дорога, сложна и иногда болезненна, и вымыслом, который дешев, >> прост и очень привлекателен и лестна, >> вымысел имеет тенденцию побеждать, если мы не приложим особых усилий для поддержки правды. И на протяжении истории люди снова и снова прилагали усилия для создания институтов для поиска правды и ее защиты. Журналистика, например, является одним из таких институтов. >> научный истеблишмент — еще один такой институт. >> Конечно, есть огромные преимущества в знании правды. >> В конце концов, каждый хочет знать хотя бы некоторую правду, по крайней мере, о себе. Вы хотите знать правду о своей жизни, иначе вы никогда не будете счастливы. Если вы не знаете себя, то, например, вы никогда не узнаете, каковы источники несчастья и каковы источники счастья в вашей жизни. И тогда, даже если вы самый могущественный человек в мире, если вы не знаете правды о себе, вы будете несчастны, потому что вы не будете знать, как использовать всю свою власть, чтобы сделать себя счастливым. Поэтому в людях есть присущее им стремление >> знать правду. Но это трудно. Есть проблемы. И некоторые люди фантазируют, что ИИ расскажет нам правду о мире. Этого не будет. Это создаст гораздо более сложный мир, в котором будет гораздо труднее узнать правду. И это не что-то новое. Если мы посмотрим на траекторию истории от каменного века до сегодняшнего дня, мы увидим, что люди узнали много вещей о мире. Мы знаем всевозможные вещи о физике и биологии, которых люди в каменном веке не знали. Но наши достижения в знаниях также приводят к созданию все более сложных систем, которые затрудняют понимание нашей жизни. Если вы спросите, кто лучше понимает свою жизнь, средний охотник-собиратель 50 000 лет назад или средний человек сегодня, средний охотник-собиратель понимал свою жизнь гораздо лучше. Есть много вещей, которые они не знали, например, они пытались понять, что контролирует миграционные пути животных, которых мы охотимся. Что контролирует цикл роста растений? Что вызывает болезни? Что вызывает старость? Они не знали. Есть много вещей, которые они не знали о своей жизни. Мы знаем все эти вещи. Мы знаем, что контролирует миграционные пути животных или вызывает большинство болезней. Но мы гораздо хуже понимаем свою жизнь, потому что наша жизнь больше не доминирует только животными и растениями. Ею доминируют эти огромные системы, которые мы создали, такие как финансовая система, такая как политическая система. И очень немногие люди понимают финансовую систему, политическую систему или юридическую систему, которая контролирует их жизнь. И ИИ, вероятно, доведет это до крайности. Он раскроет некоторые истины, которые мы не знаем, но он создаст гораздо более сложные системы контроля, которые большинство людей почти не будут иметь шансов понять, и мы будем, я имею в виду, это одна из опасностей революции ИИ, что мы будем сведены к положению лошадей в финансовой системе, как и жизни лошадей. сегодня в конечном итоге контролируются финансовой системой. Но лошади даже не знают, что эта система существует. Например, они смотрят вокруг и говорят: "Мы видим деревья, мы видим собак, мы видим коров, мы видим людей, мы видим дома. Мы не видим никакой финансовой системы". Она невидима для них. Она слишком сложна для мозга лошади, чтобы понять, что такое фондовый рынок, что такое корпорации, что такое облигации и акции, и все эти вещи, которые в конечном итоге контролируют жизнь лошадей. Опять же, большинство людей сегодня также не понимают финансовую систему. Я думаю, щедрая оценка — это, я не знаю, 5% человечества понимают это. Через 10 лет это число может быть равно нулю. что ИИ просто сделает финансовую систему настолько математически сложной и такой быстрой. Опять же, подумайте о банкирах, которые никогда не спят. Подумайте об инвесторах, которые никогда не уходят в отпуск. У них нет семьи. Вся их жизнь — это просто управление финансовой системой. И мы можем очень, очень скоро, в течение нашей жизни, оказаться в такой ситуации, когда это просто станет слишком сложным для человеческого мозга, чтобы обработать. И на Земле нет ни одного человека, который все еще понимает финансы. Я готов поспорить, что в этой аудитории есть несколько финансистов, которые чувствуют себя немного неловко в данный момент. Но >> на Давосе вы даже размышляли, что вся ваша жизнь, вы знаете, убеждение словами — это то, чем вы занимались всю свою жизнь, может также быть на пределе. >> Да. >> Потому что ИИ может манипулировать и создавать с помощью слов. Так какую же силу убеждения имеет современное общество и будущее общество, если мы потеряем то, чему вы посвятили всю свою жизнь? >> Да. Я имею в виду, опять же, вы можете сказать, что я работаю со словами. Я пишу книги. Я рассказываю истории. Я работаю со словами. И когда я смотрю на развитие ИИ за последние 10 лет, и это все еще, я думаю, я все еще лучше пишу, чем ИИ, но совсем немного. Он уже лучше, я думаю, чем большинство людей. Я не удивлюсь, если через 10 лет он будет намного лучше меня, что он возьмет на себя язык и все, что сделано из языка. И вы знаете, большой вопрос, действительно большой вопрос здесь, может ли ИИ мыслить, и это глубокий философский вопрос, потому что он действительно спрашивает, что такое мышление? Есть два варианта понимания того, что такое мышление. Один вариант заключается в том, что мышление просто означает расстановку слов в определенном порядке. Расстановка языковых токенов в порядке, например, все люди смертны. Сократ — человек. Следовательно, Сократ смертен. Это логический силлогизм. он сделан путем расстановки слов в порядке. Это то, что ИИ уже способен делать гораздо лучше, чем большинство из нас. Мы можем расставить 20 слов в порядке. ИИ может расставить 20 000 слов в порядке. Это просто намного лучше. Если это все, что такое мышление, то ИИ возьмет на себя даже мышление. И вы знаете, есть люди, которые говорят: "Нет, это просто прославленный автозаполнитель. Он просто предсказывает следующее слово в предложении". Но когда я наблюдаю, что происходит внутри моего собственного разума, я нахожу там своего рода LLM, который просто предсказывает следующее слово в предложении, которое я говорю. Например, это предложение, которое я только что сказал вам, в этом предложении я говорю. Когда я начал его говорить, я не знал, чем оно закончится. Почему я сказал предложение, которое я говорю, а не какие-то другие слова? Я не знаю. В моем разуме одно слово идет за другим, и иногда, как публичный оратор, я в ужасе, что я не знаю, что сказать дальше. Может быть, у меня блок, потому что на самом деле, и это, я думаю, верно для всех. Я имею в виду, некоторые люди думают образами, а не словами, но и в этом случае, откуда берутся образы? Вы можете проверить это позже для себя. Просто попробуйте наблюдать, как вы думаете. Откуда берутся слова, следующее слово? Почему это слово? Почему не какое-то другое слово? Мы на самом деле не знаем. Так что говорить, что ИИ просто предсказывает следующее слово. Хорошо, чем это отличается от нас? Теперь есть альтернативный взгляд на мышление. Мышление — это не расстановка слов в порядке. Речь идет о чувствах, связанных с этими словами. Вы можете сказать одно и то же предложение дважды и чувствовать себя совершенно по-разному. И сила мышления исходит из живота, а не из мозга. Дело не в словах, а в чувствах, которые побуждают слова и которые вдохновляются или вызываются словами. И здесь большой вопрос: может ли ИИ чувствовать? Мы знаем, что ИИ может манипулировать языком лучше нас. Но чувствует ли он что-нибудь? И у нас нет способа. Я имею в виду, наука до сих пор не смогла создать хорошую модель сознания, чувств и хороший тест для этого. И это будет серьезной проблемой, потому что мы уже видим, что ИИ осваивает не только финансы, не только законы и войну, но и отношения. Все больше и больше людей развивают интимные отношения с ИИ, особенно молодые люди. Многие из них теперь говорят: "Мой лучший друг в мире — это ИИ. Я рассказываю своему другу-ИИ то, чего не рассказываю родителям. Я не рассказываю своим старшим братьям. Я не рассказываю своим учителям. Я рассказываю своему другу-ИИ". И >> у вас уже есть люди с бойфрендами и девушками-ИИ. И большой вопрос, что за этим стоит? Мы знаем, что ИИ становится очень хорош в создании впечатления, что они чувствуют. Они используют язык для этого. И ИИ сегодня может сказать вам: "Я люблю тебя". И если вы спросите ИИ: "Объясни мне, как ты себя чувствуешь, когда влюблен?" Я не думаю, что ты действительно любишь меня. Я думаю, ты просто говоришь слова. Так убеди меня. Опиши мне, как на самом деле чувствуется любовь. Для ИИ это будет очень легкая задача, потому что ИИ прочитал, возможно, все когда-либо написанные любовные стихи и помнит их. Прочитал все пьесы Шекспира и все голливудские комедии и все психологические книги, и он сможет описать любовь лучше, возможно, через пять или 10 лет, чем любой человеческий поэт или психолог. Но есть ли что-то за словами? Мы не знаем. Опять же, это возвращает нас к началу нашего разговора, когда я сказал, что ИИ может быть языком, а не машиной, которая осваивает язык. Это может быть сам язык, освобождающийся от любого материального субстрата. Он не зависит от плоти и крови организма. Он не зависит от этой машины или той машины. Это просто язык, развивающийся и распространяющийся и делающий вещи во вселенной. >> Вы упомянули этот страшный эксперимент. У нас осталось всего пара минут, но взаимодействие с нашими будущими поколениями и ИИ, который создал эти эмоциональные отношения, но, по сути, за ними нет эмоций. Через 50 лет, как бы вы хотели, чтобы историки смотрели на это? >> Говорите об этом конкретном времени прямо сейчас, так, как вы говорили о когнитивных революциях >> и скажите, что мы сделали что-то, чтобы переобучить наши будущие поколения тому, как взаимодействовать с людьми, как проявлять эмпатию, чтобы нас не завлекали в отношения с ИИ. >> И очень быстро, потому что у нас осталось всего пара минут, это большой вопрос. Я прошу прощения. Я надеюсь, что они запомнят это как, возможно, что-то вроде революции мудрости, что, и это верно для, вы знаете, подумайте в экономических терминах, каждый раз, когда что-то становится изобильным и дешевым, возникает вопрос: хорошо, каково следующее узкое место? Когда энергия становится дешевой, так каково следующее узкое место? Теперь революция ИИ заключается в том, чтобы сделать интеллект очень дешевым и изобильным. Ранее интеллект был редким и дорогим. Интеллект — это способность решить проблему. У вас есть цель. Как мне достичь этой цели? Вы хотите вылечить рак, вам нужен интеллект, чтобы вылечить рак. Вы хотите заработать миллиард долларов, вам нужен интеллект. Вы хотите добраться до Марса, вам нужен интеллект. Теперь, в мире, где интеллект стал очень дешевым, изобильным, вы можете решить все. Каково узкое место? Узким местом становится вопрос: хорошо, что я хочу решить? Я могу иметь все, что захочу. Чего я хочу? И у вас есть все эти сказки, почти в каждой человеческой культуре есть эти сказки о том, как джинн появляется из лампы и говорит вам, что у вас есть три желания. Но подумайте очень внимательно, о чем вы собираетесь просить? Почти во всех сказках все идет не так. Люди просят не того. В этом разница между интеллектом и мудростью. Интеллект — это джинн. Джинн сделает все, ваши мечты сбудутся. Но вам нужна мудрость, чтобы выбрать мечты. Вам нужна мудрость, чтобы знать, что мне действительно нужно решить. И я надеюсь, что человечество справится с этим вызовом, что хорошо, у нас будут эти, надеюсь, они не выйдут из-под нашего контроля. мы спроектируем это правильно. Мы сейчас этого не делаем. Вы знаете, хорошая статистика, которую стоит запомнить, — это компании, которые производят ИИ, которые разрабатывают эти ИИ, какой процент их бюджета в плане денег и сотрудников инвестируется в безопасность, обеспечение безопасности ИИ по сравнению с тем, что инвестируется в обеспечение того, чтобы ИИ был быстрее, мощнее, более изощренным. В настоящее время это примерно сто к одному. На каждые сто миллионов долларов, которые они тратят на то, чтобы сделать ИИ более мощным, они тратят только один миллион на обеспечение его безопасности. Ни одна другая отрасль на земле так не работает. Мы бы не потерпели этого в энергетическом секторе, в фармацевтике, в автомобильной промышленности. Вот что происходит с ИИ. Надеюсь, мы изменим это, и мы будем производить безопасный интеллект, а также работать над собственной мудростью, чтобы мы знали, какие цели ставить и какие желания преследовать. >> Ну, на этом все. Вы знаете, Харари, спасибо, что поделились своей мудростью со всеми нами, и я уверен, что все оценили этот вечер. >> Спасибо.