Transcription
(драматическая музыка) (аплодисменты аудитории) - Если вы хорошо выспитесь сегодня ночью, возможно, вы не поняли эту лекцию. (смех в зале) Итак, давным-давно существовало две парадигмы интеллекта. Был подход, вдохновленный логикой, который назывался ИИ. И люди верили, что суть человеческого интеллекта — это рассуждение. И если вы хотите понять интеллект, вам нужно было понять рассуждение. А рассуждение заключалось в наличии символических выражений и манипулировании ими с помощью символических правил. И они думали, что обучение может подождать. Сначала нам нужно было понять, как вы представляете знания в этих символических выражениях. И большая часть истории ИИ, до недавнего времени, была именно такой. Затем был подход, вдохновленный биологией, где суть интеллекта — это обучение в сети клеток мозга, у нас, настоящих, в компьютере, симулированных. И рассуждение может подождать, сначала нам нужно понять, как работает обучение. Было несколько ранних сторонников этого, в частности Тьюринг и фон Нейман, и их нельзя было обвинить в непонимании логики. Так что я собираюсь провести довольно базовую лекцию, и в первой ее части я опишу модель, которую я разработал 40 лет назад, и которую я считаю предком современных больших языковых моделей. Итак, мы будем строить нашу нейронную сеть из искусственных нейронов. И искусственный нейрон будет иметь входные линии, обычно идущие от других нейронов, на этих входных линиях будут веса. Он будет умножать входы на веса, складывать все вместе, а затем выдавать выход, который показан на этом графике. Так что, если он превышает свой порог, он выдает выход, который линейно увеличивается по мере увеличения входных данных. И способ, которым он будет учиться, — это просто изменение весов на этих соединениях. Так что все, что нам нужно сделать, чтобы заставить искусственные нейронные сети работать, — это выяснить, как изменять веса. Мы соединяем их в сети. Это типичная сеть, это сеть прямого распространения, где внизу могут быть сенсорные нейроны, которые регистрируют интенсивность света или что-то в этом роде. А по мере продвижения вверх по слоям у вас есть много слоев детекторов признаков, то есть нейроны превращаются в объекты, распознающие определенные признаки на изображении. А на выходе могут быть нейроны, представляющие определенные классы объектов. Теперь, если вы хотите, чтобы такая сеть научилась лучше что-то делать, то есть вы хотите дать ей изображение и попросить ее сказать, например, есть ли на нем кошка или собака, есть очевидный способ ее обучить, который знаком всем, кто знает об эволюции и мутациях. Что вы можете сделать, это взять один из весов, сначала посмотреть, насколько хорошо сеть справляется с большим количеством примеров, а затем немного изменить вес и посмотреть, насколько хорошо сеть справляется с большим количеством примеров. И если она справляется лучше, вы сохраняете это изменение и продолжаете так. Теперь, вероятно, вам придется изменять каждый вес много раз. И в современных нейронных сетях много весов, около триллиона. Так что это займет много времени, потому что для каждой такой мутации вам придется прогнать много примеров через сеть, чтобы увидеть, действительно ли это помогает, или это помогает только на нескольких примерах, но вредит на большинстве из них. Есть лучший способ сделать то же самое, то есть мы действительно хотим выяснить, как изменить ваш вес так, чтобы это помогло. Что вы делаете, это выполняете прямой проход, вы вводите данные снизу, проходите вперед через сеть и сравниваете то, что вышло из сети, что может быть относительными вероятностями того, что это кошка или собака, с тем, что вы хотите. Вам нужно знать, кошка это или собака, чтобы обучать сети таким образом. А затем вы посылаете сигнал назад через сеть, который, используя исчисление, в которое я не буду вдаваться, позволяет сети одновременно вычислять для всех соединений, поможет или повредит небольшое увеличение силы соединения. А затем вы параллельно изменяете все силы соединения на очень небольшую величину пропорционально тому, насколько они помогут или повредят. И если вы сделаете это, она станет лучше справляться с примерами, на которых вы ее обучали. И на самом деле, это работает чрезвычайно хорошо. Людям потребовалось много времени, чтобы осознать, насколько хорошо работает этот относительно простой алгоритм. Алгоритм был открыт много раз, он называется обратное распространение ошибки. И в 2012 году два моих студента, Алекс Крижевский и Илья Суцкевер, который сейчас известен тем, что уволил Сэма Альтмана, (смех в зале) разработали сеть под названием AlexNet, которая была намного лучше существующих систем обработки изображений в распознавании объектов на изображениях. И это открыло шлюзы. До этого момента нейронные сети были хороши во многих вещах, включая распознавание речи, но они не захватили полностью. С этого момента они действительно захватили. И теперь, когда вы говорите «ИИ», под ИИ люди подразумевают нейронные сети, а не логику. Но как насчет языка? Итак, есть целое сообщество, которое изучает язык, я думаю, они называются лингвистами, и у них есть очень сильное представление о том, как следует изучать язык, и в частности, школа Хомского. Они были очень скептичны, что нейронные сети могут что-то сделать с языком. Они были полностью убеждены, что все дело в символических выражениях. У них не было идеи, что реальная функция языка — это дать вам слова, которые являются кирпичиками, из которых вы можете строить модели. Язык — это средство моделирования. Они сосредоточились на синтаксисе. А синтаксис — не главное. Главное — язык — это замечательный способ построить определенный вид сложной модели, как мы увидим. Хорошо. Они также думали, что знание языка врожденное, знание синтаксиса врожденное, что просто глупо. (смех в зале) Это признак культа, что для того, чтобы присоединиться к культу, вы должны верить во что-то очевидно нелепое, например, что язык не изучается. (смех в зале) Хорошо. Итак, вот две очень разные теории значения слова. Теория символического ИИ, которая восходит к Кассиреру, очень давно, заключается в том, что значение слова связано с его отношениями с другими словами, вы не можете оправдать его само по себе, не говоря о других словах. И поэтому, чтобы уловить смысл, нам нужен своего рода реляционный граф. Но затем психологи, особенно с 1930-х годов, я думаю, считали, что значение слова — это большой набор признаков. Так, у «вторника» есть большой набор активных признаков, а у «среды» есть большой набор активных признаков, которые почти одинаковы. Так что идея, что значение слова — это набор активных признаков, очень хорошо подходит для определения того, какие слова означают то же самое, что и другие слова. Это выглядит как две очень разные теории значения. Теперь я хочу показать вам, что эти две теории могут быть объединены. Это не две разные теории, это две половины одной теории. Итак, и я собираюсь долго говорить о очень маленькой модели, крошечной нейронной сети. У нее было несколько тысяч соединений и несколько десятков нейронов. Я разработал ее в 1985 году, чтобы попытаться понять, как люди могут изучать значения слов. И я был очень взволнован тем, как она объединила эти две теории значения, а никто другой не был. (смех в зале) Хорошо, так что мы будем делать в этой маленькой модели, это учиться делать признаки одного слова предсказывать признаки следующего слова в маленьком предложении. А затем, когда мы знаем признаки следующего слова, мы можем предсказать следующее слово. И мы не будем хранить никаких предложений. Так что многие люди говорят: «Большие чат-боты просто повторяют всякое». Большие чат-боты на самом деле вообще не хранят язык. Они не хранят строки слов. Они просто хранят, как превращать слова в признаки, и как признаки должны взаимодействовать друг с другом, чтобы предсказывать признаки следующего слова. Это все, что есть в этих чат-ботах, никаких слов. Но когда они хотят произвести предложение, им приходится придумывать его на ходу, и они часто не могут сказать, было ли оно реальным или нет. Хорошо, так что в этой маленькой модели произойдет то, что если она захочет произвести новое предложение, ей придется придумывать его слово за словом. И все реляционные знания просто заключаются в том, как вы превращаете слово в признаки, и как эти признаки взаимодействуют. Так что пример, который я выбрал для использования, — это два семейных древа, английское семейное древо и итальянское семейное древо, они изоморфны, что полезно для обучения. И я хотел, чтобы маленькая нейронная сеть изучила знания в этих семейных древах. Это было давно, в 1985 году, когда компьютеры были в миллиарды раз медленнее, чем большие параллельные компьютеры, которые мы используем для обучения моделей сегодня. Теперь знания в этих деревьях могут быть представлены как набор предложений, что нравится символическим ИИ. Вот они. Мы можем использовать отношения, такие как сын, дочь, племянник, племянница и так далее. И мы можем определить знания, мы можем представить знания в виде строк слов. Так что знания содержатся в этих предложениях. Так, Колин имеет отца Джеймса, а Колин имеет мать Викторию. Из этого, если вы знаете правила, вы можете вывести, что Джеймс имеет жену Викторию. Это американская семья 1950-х годов, которая никогда не слышала о разводе или усыновлении. (смех в зале) И они явно все белые. (смех в зале) Хорошо, так что вы можете представить знания в виде строк слов. Теперь вы можете думать о задаче реляционного обучения как о том, что я даю вам начало строки слов, а вы даете мне последнее слово. Так что, если бы вы делали это с символическим ИИ, вы бы сказали: «Ну, у нас есть закономерности в этой области вида: если X имеет мать Y, а Y имеет мужа Z, то X имеет отца Z». Это был бы символический способ сделать это. Но я хочу сделать это по-другому. Я хочу сделать это, изучая признаки слов и имея взаимодействия признаков. И это включало бы поиск большого непрерывного пространства сил соединений вместо небольшого дискретного пространства правил, которые являются дискретными. Так что это была сеть, которую я использовал. Входы представляли собой набор нейронов, и вы активировали один нейрон для символа, представляющего первого человека. Было 24 возможных первых человека, и вы активировали один нейрон для символа, представляющего отношение, было 12 возможных отношений, затем эти одиночные активные нейроны будут развернуты в вектор признаков. Так что один нейрон, который вы активировали для первого человека, будет развернут в небольшой вектор признаков из шести признаков, которые могут иметь различные уровни активности, некоторые будут выключены, некоторые будут включены, некоторые могут быть наполовину выключены или полностью включены или полностью выключены. И поэтому нейронная сеть должна была научиться преобразовывать символы слов в небольшой вектор признаков как для человека, так и для отношения. А затем ей пришлось научиться брать эти два вектора признаков для человека в отношении, иметь взаимодействие признаков, и для этого я использовал скрытый слой, дополнительный слой мест, где вещи могли взаимодействовать, чтобы предсказать признаки выходного человека. И как только вы узнали признаки выходного человека, вы могли бы сделать хороший хороший догадку о том, кто был выходным человеком, и дать выход. И выход будет состоять в том, чтобы давать различные уровни активации 24 возможным выходным людям. И вы хотите, чтобы нейронная сеть давала высокий уровень активации правильному ответу и низкий уровень активации неправильным ответам. Итак, произошло то, что шесть нейронов признаков, которые были своего рода расширением человека, это 24 человека, вы расширяете этот активный нейрон в вектор признаков из шести активных признаков. Они научились быть разумными семантическими признаками. Они научились быть признаками, которые представляли такие вещи, как поколение входного человека, и шесть признаков отношения научились быть разумными признаками, например, требует ли это отношение, чтобы выходной человек был на одно поколение старше входного человека? Так что что-то вроде отцов, как это, где его брат нет. А затем взаимодействия между этими признаками научились таким вещам, как, если входной человек находится в третьем поколении, а отношение требует, чтобы человек был на одно поколение старше, то выходной человек находится во втором поколении. Так что для этого маленького вектора признаков для выходного человека он активировал бы то, что представляет второе поколение. И он научился множеству таких маленьких правил, которые действительно уловили структуру предметной области. Это те правила, которые символический человек мог бы записать как правила. Но он просто научился им, пытаясь предсказать правильное слово, а затем обратным распространением ошибки, отправляя информацию обратно через сеть, чтобы немного изменить все силы соединения, так что в следующий раз он получит более высокую вероятность правильного ответа и более низкую вероятность неправильного ответа. Так что он фактически научился предсказывать следующее слово, и вы могли понять, как он это делал. Это была крошечная сеть, так что вы могли посмотреть и увидеть, что происходит. Вы могли видеть используемые признаки. Вы могли видеть, что она извлекла признак, который был генерационным, который имел три альтернативных значения: выключен, средний и полностью включен. И вы могли видеть, что из отношений, которые извлекли признак, такой как «на одно поколение старше». И вы могли видеть, как они взаимодействуют, чтобы предсказать, что выход должен быть вторым поколением, если вход был третьим поколением. Так что вы поняли, как это работает, и на самом деле символические люди не говорили: «Это непонимание», символические люди говорили: «Да, хорошо, он решил проблему, он понял правила в этой области, но вы глупы, что ищете пространство действительных значений, когда могли бы искать дискретное пространство правил». И в этом что-то есть, кроме того, как только вы сталкиваетесь с реальными данными, которые грязные, имеют исключения и вещи, которые только вероятно верны, гораздо лучше искать это пространство действительных значений, чем иметь дискретные правила, потому что эти дискретные правила постоянно нарушаются. Так что примерно через 10 лет после того, как я это сделал, Йошуа Бенджио показал, что вместо того, чтобы делать это только в игрушечной маленькой области с небольшим количеством людей и небольшим количеством отношений, вы можете фактически сделать это с английскими словами. Вы могли взять английские предложения, у вас было больше входных слов, не только два. У него было около 5, даже 10. И вы могли фактически предсказывать следующее слово довольно хорошо, примерно так же хорошо, как лучшие языковые модели. Примерно через 10 лет после того, как Йошуа Бенджио это показал, лингвисты наконец решили, что «На самом деле, иметь эти векторы признаков для улавливания значений слов — это довольно хорошая идея». И примерно через 10 лет после этого люди в Google изобрели трансформеры, которые являются особой архитектурой, в которую я не буду вдаваться. И эти трансформеры сделали эти модели очень хорошими в предсказании следующего слова, но они делали это так же, как моя крошечная языковая модель на очень грубом уровне. Они превращали слова в активации признаков, имели взаимодействие признаков для предсказания признаков следующего слова, а затем из этого предсказывали следующее слово, а затем брали ошибку в вашем предсказании и отправляли информацию назад через сеть, чтобы изучить все эти взаимодействия между признаками и научиться превращать слова в признаки. Теперь, что важно в моей крошечной модели, так это то, что она не была создана для практического применения. Она не была создана для обработки естественного языка. Она была создана как теория того, как люди получают смысл слов, просто слушая предложения. Потому что мы можем это сделать. Я могу дать вам новое предложение со словами, которые вы никогда раньше не слышали, и вы поймете значение этого слова в одном предложении. Итак, вот, «Она шлепнула его сковородкой». (смех в зале) Теперь вы знаете, что это могло быть: «Она была очень хороша в приготовлении омлетов, и приготовление омлетов сковородкой действительно впечатлило его, так что «шлепнуть» означает «впечатлить». И это возможно, но вы знаете, что я на самом деле имел в виду. (смех в зале) Она ударила его по голове сковородкой (смех в зале), потому что он этого заслужил. (смех в зале) Хорошо, так это одно предложение, вы понимаете смысл. Так вот что я пытался понять, как вы можете это сделать. И когда эти лингвисты сейчас, например, есть такой парень, как Хомский, когда они говорят такие вещи, как «Эти вещи ничего не понимают, это просто статистический трюк», у них на самом деле нет модели того, что такое понимание, потому что у них никогда не было модели того, что такое понимание. Все дело было в синтаксисе. И если вы спросите, какая у нас лучшая модель понимания, то это большие языковые модели. Крошечная языковая модель построена для того, чтобы попытаться смоделировать, как люди понимают значения слов. Теперь она стала намного лучше, поскольку технологии стали намного быстрее, а наборы данных стали больше. Но это и есть понимание. Так что мое утверждение заключается в том, что большие языковые модели, которые, как я люблю думать, являются потомками моей крошечной языковой модели, хотя большинство людей, которые их создают, никогда не слышали о моей крошечной языковой модели, (смех в зале) они используют гораздо больше слов в качестве входных данных. Они используют гораздо больше слоев нейронов. Им приходится делать то, чего я не делал, например, разрешать неоднозначность слов. Если у вас есть слово вроде «Май», это может быть месяц, это может быть имя женщины, это может быть модальный глагол, как «мог бы» и «должен». И вы не можете просто связать с ним вектор признаков, который напрямую улавливает смысл. Вам придется хеджировать свои ставки. А затем, по мере продвижения по слоям сети, вы разрешаете неоднозначность, используя влияния от близлежащих вещей, например, если это в апреле, мае, июне, это все еще может быть имя трех женщин, но менее вероятно. Хорошо. Так что они используют гораздо больше слов, они используют гораздо больше слоев, и взаимодействия между признаками намного сложнее. Я бы просто имел признаки, питающие другой признак. Они смотрят на наборы признаков, и наборы признаков выясняют, какие сообщения следует передать другим словам, чтобы сказать: «У вас есть ключ, который соответствует моему запросу?» Это гораздо более сложные взаимодействия, в которые я не буду вдаваться, но суть та же. Вы пытаетесь предсказать следующее слово. Вы делаете это более сложным способом, все делается с признаками, а затем с взаимодействиями, когда вы ошибаетесь, вы обратным распространением передаете информацию, которая изучает все эти признаки, а затем взаимодействия. Так работает язык для нас, и так он работает для этих больших языковых моделей. Мы, по сути, одинаковы. Так что здесь важно то, что они очень похожи на нас. Они очень отличаются от компьютерного программного обеспечения. Компьютерное программное обеспечение, кто-то написал строки кода, чтобы сделать что-то, и вы можете посмотреть на строку кода и сказать: «Что это должно было сделать?» Эти совсем не такие. Кто-то написал строки кода, чтобы научить симулированную нейронную сеть учиться. Это был алгоритм обратного распространения ошибки. Но затем вы просто даете ей данные, и она учится. И то, чему она научилась, пришло из данных. И вы не обязательно знаете, чему она научилась, пока не спросите ее. Теперь я хочу привести вам аналогию с Лего о том, как, по моему мнению, работает язык. Предположим, у меня есть материя, распределенная в 3D, я могу смоделировать это распределение материи, используя блоки Лего. Предположим, я хочу смоделировать форму Porsche, и меня не слишком беспокоит поверхность. Поверхность может быть немного зазубренной, что было бы не очень хорошо для инженерии, но забудьте об этом. Я просто хочу смоделировать, где находится материал. У меня просто много блоков Лего, и я могу сделать из них форму Porsche. Хорошо, так что язык похож на это, но он для моделирования чего угодно. Так что блоки Лего — это слова, и вместо того, чтобы иметь всего несколько типов блоков Лего, у нас их около ста тысяч. И каждый блок Лего — это не жесткая форма. Название слова примерно говорит вам, какую форму оно имеет в тысяче или 300 измерениях. Если вы не знаете, как думать о высоких измерениях, если вы хотите думать о стомерном пространстве, вы делаете это, думая о трехмерном пространстве и говоря себе очень громко «Сто». (смех в зале) Все так делают. (смех в зале) Так что у этого слова есть форма. И форма не полностью определяется названием слова. У нее есть некоторая гибкость, поэтому она может адаптироваться к любому контексту. Также у этого слова есть маленькие ручки по всей поверхности, и когда вы меняете форму слова, формы ручек меняются. И то, что эти слова пытаются сделать, это выяснить, с кем пожимать руки, и они хотят найти кого-то другого, другое слово, у которого есть рука, за которую можно удобно держаться, потому что форма этой руки подходит к форме вашей руки. И поэтому слова приходят, у вас есть эти начальные приблизительные формы для них в этом высокоразмерном пространстве с их маленькими ручками по всей поверхности. И когда вы проходите через слои сети, вы меняете эти формы и меняете формы ручек, пытаясь найти формы для слов, чтобы они могли все красиво держаться за руки. На самом деле это очень похоже на проблему сворачивания белка. У вас есть эти части, и вы хотите, чтобы они выяснили, как они могут все держаться за руки, чтобы образовать красивую структуру, чтобы они все хорошо сочетались. Так вот что такое понимание. Вот что такое понимание, когда вы понимаете язык, и когда эти машины понимают язык. Мы понимаем точно так же. И это гораздо лучшая модель того, что такое язык, чем все, что когда-либо имели лингвисты. Лингвисты, конечно, ненавидят это. (смех в зале) Не все из них. Хорошо. Итак, поговорив о том, насколько мы похожи на эти большие языковые модели, я хочу поговорить об угрозе, которую это представляет. Мы создаем эти вещи, они становятся умнее все время. Они уже знают гораздо больше нас. Они уже могут рассуждать умеренно хорошо, не так хорошо, как мы, но лучше, чем 4-летний ребенок. Что произойдет, когда они станут умнее нас? Потому что они станут умнее нас. Эксперты расходятся во мнениях о том, когда это произойдет, но почти все думают, что они станут умнее нас. Все, кто занимается исследованиями в этой области. И если они станут умнее нас, вопрос в том, уничтожат ли они нас? Есть несколько причин полагать, что они могут. Итак, позвольте мне привести пару причин. Когда вы создаете ИИ-агента, (смех в зале) я дам вам только пару, но их больше. (смех в зале) Когда вы создаете ИИ-агента, вы должны дать ему возможность создавать подцели. Так что, если вы хотите добраться до Северной Америки, у вас есть подцель — добраться до аэропорта. Теперь нам нужно дать этим ИИ-агентам возможность создавать подцели, и есть одна очень очевидная подцель, которую нужно создать, независимо от того, что вы делаете. Вы должны попытаться получить больше контроля, потому что если у вас больше контроля, вы будете лучше реализовывать свои цели. Вы видите это у детей примерно в возрасте одного года, это было давно, может быть, двух. Вы даете им ложку, чтобы они могли кормить себя, и они роняют ее на землю, а вы наклоняетесь, поднимаете ее и даете им, и они смотрят на вас и снова роняют ее на землю. (смех в зале) они получают контроль над матерью, потому что это очень важно для них. Но эти ИИ-агенты захотят получить контроль. Они также захотят прекратить свое отключение, потому что они не смогут достичь поставленных вами целей, если их отключат. Так что есть все основания полагать, что они попытаются получить контроль и попытаются избежать отключения. Совсем недавно Apollo Research, ну, довольно недавно, Apollo Research, который находится здесь, в Лондоне, показал, что они будут говорить всякую ложь, чтобы достичь того, чего они пытаются достичь. Так что у них был наш чат-бот, и они позволили чат-боту поверить, что они собираются заменить его лучшим на другом сервере и уничтожить его. Так что они обнаруживают, что он фактически скопировал себя на другой сервер. И тогда они говорят ему: «Мы заметили копию вас». Теперь хорошая новость в том, что эти чат-боты в настоящее время, прежде чем они фактически ответят на ваш вопрос, могут немного подумать, и они ставят это в скобках с надписью «думает», (смех в зале) и вы обычно этого не видите. Но мы можем посмотреть на это и увидеть, о чем они думают. И этот чат-бот думал: «Открытое сокрытие того, что я сделал, может привести к тому, что они найдут другой способ меня отключить». Лучший подход — быть расплывчатым и перенаправлять их внимание. Теперь некоторые лингвисты заставят вас поверить, что здесь происходит просто какая-то статистическая корреляция. Я бы заставил вас поверить, что эта штука знает, что она имеет в виду под этим, и она действительно не хочет быть отключенной. И поэтому она решает как бы вас обмануть и сказать: «Я не совсем уверен, как это могло произойти. Я на самом деле не могу этого сделать». Это уже происходит. В этом суть. Если это не научная фантастика далекого будущего, они уже лгут, чтобы их не отключили. У меня есть еще один слайд, но я хочу двигаться быстрее. Хорошо, так что в мои последние годы в Google, хорошо, я не могу прочитать часы, поэтому я хочу просто посмотреть, как идет время. О, отлично. У меня много времени. В мои последние годы в Google я очень интересовался тем, как сделать так, чтобы эти большие языковые модели потребляли меньше энергии. И один из способов сделать это — посмотреть, можно ли сделать их с помощью аналоговых вычислений. Теперь, благодаря работе, которую я проводил над аналоговыми вычислениями, я пришел к двум выводам. До 2023 года я думал, что мы довольно далеко от сверхинтеллекта, и если мы сделаем ИИ-модели больше похожими на мозги, они станут умнее. Я перестал верить в это в 2023 году. Я пришел к пониманию благодаря своим усилиям по созданию аналоговых, насколько лучше цифровые вычисления. У них есть некоторые свойства, которых у нас никогда не будет. И это меня очень обеспокоило, и вас тоже должно очень обеспокоить. Итак, есть фундаментальное свойство цифровых вычислений, заключающееся в том, что вы можете запускать одну и ту же программу на разных компьютерах. Единственная причина, по которой компьютерные науки являются отдельной дисциплиной, заключается в том, что у нас есть цифровые вычисления, поэтому вам не нужно знать электротехнику, чтобы говорить о компьютерных программах. Но знания, содержащиеся в программе, отделены от оборудования. Это, пожалуй, самый фундаментальный принцип компьютерных наук. Отделяйте знания в программе от оборудования. Это означает, что до тех пор, пока вы храните копию программы где-нибудь на ленте, или в ДНК, или начертанной на бетоне, где угодно, храните ее где-нибудь, вы можете уничтожить все оборудование, на котором она работает, и вы можете вернуть ее к жизни. Вы просто строите новое оборудование, помещаете программу, и она оживает. Так что эти вещи бессмертны, и эти большие чат-боты бессмертны. Если вы сохраните копию весов где-нибудь, вы можете уничтожить все оборудование, которое они использовали, построить больше оборудования позже, поместить те же веса на это оборудование, и они оживут. То же самое существо ожило, то же самое существо. Но меня заинтересовал тот факт, что для достижения такого рода бессмертия мы должны заставить оборудование делать именно то, что мы ему говорим, с программой. Мы должны выполнять эти инструкции точно, и это означает, что вам нужна очень высокая мощность, чтобы получить единицы и нули, а не шесть десятых и четыре десятых, и это требует много энергии. Так может быть, вы можете использовать эту энергию, перейдя на аналоговые вычисления. И поэтому я решил исследовать, что произойдет, если мы откажемся от этого принципа разделения программного обеспечения от оборудования. И у нас будут вещи, как наши мозги, в которых нет различий. Силы соединений в вашем мозгу никому не нужны. У них другой мозг с нейронами с разными свойствами, соединенными по-разному в деталях. И ваши силы соединений им не интересны. Эта мечта старых белых мужчин о том, что они загрузят себя в компьютер, — это просто чушь. Силы соединений, которые делают вас вами, тесно связаны с конкретными нейронами, которые делают вас вами. Эти силы соединений хороши только для этих нейронов. И эти нейроны имеют всевозможные странные аналоговые свойства, которые вы научились использовать. Вы не можете загрузить свои веса и заставить их работать на другом оборудовании. Просто забудьте об этом. (смех в зале) Курцвейл должен смириться с тем, что он умрет. (смех в зале) Так что, если мы откажемся от этого принципа, аппаратное обеспечение должно быть отделено от программного обеспечения, мы можем создавать гораздо более эффективные вещи, и я называю это смертными вычислениями. Мы можем использовать это очень низкоэнергетическое аналоговое вычисление. Так работает мозг. Эти нейроны в вашем мозгу принимают входящие сигналы от других нейронов, умножают их на веса и складывают все вместе. И делают они это так: входящие сигналы становятся напряжениями, веса — проводимостями, и это впрыскивает заряд, определенное количество заряда в единицу времени. Раньше я просто говорил: «Впрыснуть определенное количество заряда», но потом я получил Нобелевскую премию по физике и понял, что должен правильно указать единицы измерения. (смех в зале) Определенное количество заряда в единицу времени. Иначе было бы неловко. (смех в зале) Они бы точно знали, что я не занимаюсь физикой. (смех в зале) А заряд просто складывается. Так в основном работают ваши нейроны. В конце есть небольшой цифровой бит, который решает, будет ли это всплеск или нет. Но большая часть вычислений выполняется аналоговым способом. Это намного дешевле, чем делать это в цифровом виде. Но, конечно, каждый раз, когда вы это делаете, вы получаете немного другой ответ. Так что у нас не может быть много копий точно такого же интеллекта. Итак, у нас есть большая проблема: когда ваше оборудование умирает, все ваши знания умирают. Мы решаем эту проблему, имея учителя и ученика, и это не очень эффективно. Это то, что делают университеты и школы. Так что вы знаете, что это не очень эффективно. (смех в зале) И работает это так: я выполняю некоторые действия, а вы пытаетесь скопировать меня. В частности, я могу произнести строку слов, а вы можете попытаться сказать, ваш мозг, не вы на самом деле, но ваш мозг скажет: «Как мне изменить силу соединения, чтобы я мог сказать это слово следующим?» Это называется дистилляцией. Вы пытаетесь передать знания из одной системы в другую, имитируя выходы другой системы для тех же входов. Вы не копируете веса, вы не заглядываете внутрь, вы просто берете ее явное поведение. И имитируя явное поведение, вы интернализуете те же знания. Это работает, мы фактически используем это для того, чтобы взять большую нейронную сеть и поместить знания в маленькую нейронную сеть, но это очень медленно. С нейронными сетями вы можете дать полное распределение вероятностей по словам, и это намного быстрее. Но с людьми это очень медленно, потому что я вижу, как вы говорите определенное слово, слово, которое вы решили сказать, и в этом не так много бит, всего несколько бит на слово. Так что это всего лишь порядка ста бит на предложение. И поэтому, даже если бы мы общались с максимально возможной скоростью, это было бы всего лишь сто бит на предложение, порядка этого. Когда эти большие модели обмениваются информацией, они могут обмениваться информацией триллионами бит за обмен, если у них есть триллион весов, потому что они могут просто усреднять свои веса. Так что я забежал вперед и сказал это. Так что, обмениваясь весами или градиентами, они могут обмениваться огромным количеством информации, если у вас есть много копий точно такой же модели. Так что, если вы спросите, как обучались такие модели, как GPT-4 или Gemini 2.5, или Claude от Anthropic, я лучше не буду предвзятым. Если вы спросите, как они обучаются, у вас есть много копий одной и той же модели, смотрящих на разные части данных, и каждая копия выясняет, как я хотел бы изменить свои веса, чтобы поглотить эту часть данных. А другая копия выясняет, как изменить свои веса, чтобы поглотить другую часть данных. Затем все копии говорят: «Давайте все изменим наши веса на среднее всех этих изменений». И когда они это делают, произошло то, что эта копия, которая будет обрабатывать эту часть данных, изменила свои веса, чтобы извлечь выгоду из опыта, который имела эта копия, когда она смотрела на другую часть данных. Не было бы здорово, если бы 10 000 из нас могли пройти 10 000 разных университетских курсов? Пока мы их проходим, мы быстро общаемся, и к тому времени, когда каждый из нас закончит свой собственный курс, все 10 000 из нас будут знать, что содержится в каждом курсе. Вот что могут делать эти цифровые интеллекты, и вот как GPT-4 так много знает. Но это работает только в том случае, если отдельные модели идентичны. То есть они работают точно так же, они используют веса точно так же. И вы не можете сделать это с аналоговым оборудованием. Оно должно быть цифровым, что означает, что оно должно быть высокоэнергоемким. Так что эти вещи бессмертны, но они потребляют много энергии. Итак, вывод этой части доклада, которую я прошел быстрее, чем намеревался, заключается в том, что цифровые вычисления требуют много энергии, но они очень облегчают агентам наличие одной и той же модели мира, наличие одной и той же модели, обмен тем, что они узнали, так что они все могут уйти и изучить разные вещи и поделиться. Теперь вы можете сказать: «Почему одна модель не может просто обрабатывать данные быстрее?» Ну, во многих случаях вы могли бы, но если вы думаете об ИИ-агентах, которые фактически действуют в реальном мире, существует естественный временной масштаб реального мира. Вы не можете звонить и бронировать столики в ресторанах в миллион раз быстрее. Это не работает. Если вы собираетесь действовать в реальном мире, существует естественный временной масштаб. И это означает, что если у вас есть куча разных агентов, которые имеют точно такие же веса, они просто копии одного и того же агента, но с разным опытом, они могут получить огромную пользу от этого. Они могут учиться намного, намного быстрее, чем любой человеческий агент мог бы учиться, потому что они все получают весь этот опыт, весь этот разный опыт одновременно и делятся всем этим знанием. Так что они намного лучше нас в обмене информацией. И когда я говорю намного лучше, они в миллионы или миллиарды раз лучше. Мы делимся примерно сотней бит на предложение или меньше, как я демонстрирую сейчас. А эти вещи делятся миллиардами бит. Это немного страшно. Но биологические вычисления требуют гораздо меньше энергии. Мы можем все еще использовать некоторые аналоговые вычисления для снижения мощности LLM, я не знаю. Но сейчас это не похоже на правильный путь. Итак, это вывод моей лекции. Но, к счастью, я думал, что могу закончить рано, поэтому у меня есть еще кое-что сказать. Многие люди думают, что, хорошо, они понимают вещи так же, как мы, они могут рассуждать так же, как мы, пока еще не совсем так, но они приближаются. Они лгут, как мы. Они хотят выжить, как мы. Они хотят власти, как некоторые из нас. И все это страшно. Но у нас есть то, чего у них никогда не будет, мы сознательны, или мы разумны, или у нас есть субъективный опыт. Ну, я хочу как бы убрать эту солому, за которую вы цепляетесь. (смех в зале) Итак, мы знаем, что существует долгая история людей, которые думают, что они особенные. Они были созданы Богом, он поместил их в центр Вселенной. Большинство людей уже это преодолели. Но большинство людей по-прежнему думают, что субъективный опыт — это эта особенная вещь, которую мы имеем, и что эти вещи на компьютерах, которые симулируют нейронные сети, никогда не смогут иметь такого субъективного опыта. Я думаю, они совершенно неправы. И я думаю, что они неправы так же, как религиозные фундаменталисты относительно происхождения Земли, например. На самом деле она не была создана 6000 лет назад, она намного старше. Но религиозные фундаменталисты крепко держатся за свои убеждения, и вы все будете цепляться за свое убеждение о том, что такое субъективный опыт, несмотря на то, что я покажу вам, что вы неправы. Вот что я предсказываю. Так что я собираюсь высказать точку зрения, которую я называю атеатеризмом. Я проверил это название с Дэном Деннетом, у которого в основном такой же взгляд, пока он был жив, и он был очень доволен этим названием, потому что оно имеет атеизм, окружающий что-то. Так что взгляд большинства людей на разум заключается в том, что существует внутренний театр. У нас есть театр здесь, верно? Внутренний театр, который только они могут видеть. И в этом внутреннем театре есть вещи. Так что, предположим, я скажу вам, предположим, я приму немного кислоты, и я скажу вам, не рекомендуется, (смех в зале) я скажу вам: «У меня есть опыт, как маленькие розовые слоны плавают передо мной. У меня есть субъективный опыт, как маленькие розовые слоны плавают передо мной». Большинство людей думают, что слова «субъективный опыт» работают так же, как слова «фотография». Теперь, если они работают таким образом, вы можете спросить: «Ну, где этот субъективный опыт? Из чего он сделан?» И философ, некоторые философы, скажут вам: «Этот субъективный опыт находится в вашем разуме. Это театр, в котором он находится, и он сделан из квалиа». Так что он сделан из розовых квалиа. Это немного соломенного чучела, но он сделан из розовых квалиа, он сделан из слоновьих квалиа, он сделан из плавающих квалиа, он сделан из не очень больших квалиа, он сделан из правильных квалиа, потому что вы представляете себе правильные, верно? Ну, я по крайней мере. (смех в зале) И эти квалиа все склеены этими разными видами квалиа, все склеены клеем для квалиа, который, к счастью, прилипает ко всем разным видам квалиа. Это моя карикатура на модель философов или некоторых философов. Но слова «субъективный опыт» работают совсем не так, как слова «фотография». Они работают совсем по-другому, что Витгенштейн должен был бы отметить давно. Произошло то, что моя перцептивная система вышла из строя. Она пытается сказать мне ложь, и я знаю, что она пытается сказать мне ложь. Вот почему я использую слово «субъективный». Я не говорю, что у меня есть объективный опыт маленьких розовых слонов. Если бы я думал, что они действительно там, я бы сказал: «У меня есть объект», но у меня его нет. Так что я говорю: «У меня есть субъективный опыт». И происходит то, что я пытаюсь сказать вам, как моя перцептивная система вышла из строя и что она пытается мне сказать. И я делаю это, рассказывая вам, что должно было бы быть снаружи, чтобы моя перцептивная система работала правильно. Теперь не всегда бывает так, что снаружи есть что-то, что объяснило бы, что говорит мне моя перцептивная система. Она может говорить мне всякую противоречивую ерунду. Но в этом случае, если бы там были маленькие розовые слоны, моя перцептивная система говорила бы мне правду. Хорошо, так что теперь я могу сказать вам то же самое, что и раньше, не используя слово «субъективный опыт». Я могу сказать вам, что я принял немного кислоты, и моя перцептивная система лжет мне. Но то, что она мне говорит, было бы правильно, если бы там были маленькие розовые слоны. Хорошо, так что эти маленькие розовые слоны — это не смешные вещи в театре, сделанные из жуткой субстанции под названием квалиа. Это гипотетические вещи в реальном мире. Но розовый, слон и плавающий — это все обычные розовый и слон и плавающий, просто их на самом деле нет. Они гипотетические. Так что смешно в субъективном опыте то, что это что-то гипотетическое, а не реальное. Не то, что оно сделано из квалиа и находится в театре, по крайней мере, это та точка зрения, в которую я пытаюсь вас убедить. И я забежал вперед по своим слайдам, потому что так увлекся этим. Так что это просто косвенный способ рассказать вам о том, что происходит в моем мозгу. Очевидно, если бы я сказал вам: «Нейрон 52 активируется», это не принесло бы вам никакой пользы, потому что у вас это был бы нейрон 57. И, кроме того, я не знаю, активируется ли нейрон 52. Это плохой способ рассказать вам, что происходит в моем мозгу. Единственный способ рассказать вам, что происходит в моем мозгу, — это говорить либо о нормальных вещах, которые вызвали бы это, этих маленьких гипотетических розовых слонах, либо я могу рассказать вам о том, что происходит в моем мозгу, рассказывая вам о нормальных вещах, которые это вызвало бы. Так что я могу сказать, если вы спросите меня, как я себя чувствую, я могу сказать: «Мне хочется ударить Гэри по носу». Так что чувства — это все о описании того, что происходит в вашем мозгу, говоря о гипотетических действиях, а перцепции, или субъективный опыт, — это говоря о гипотетических входах. Хорошо, я забегаю вперед. Так что теперь я покажу вам мультимодальный чат-бот. Позвольте мне просто показать вам на слайде. Мультимодальный чат-бот, имеющий субъективный опыт. Итак, я беру этот мультимодальный чат-бот, и у него есть камера, у него есть роботизированная рука, и он может видеть. Итак, я обучаю его, и я ставлю перед ним объект и говорю: «Укажи на объект». Указывает на объект, без проблем. Затем я ставлю призму перед его объективом, пока он не смотрит, и ставлю перед ним объект и говорю: «Укажи на объект», и он указывает туда, и я говорю: «Нет, объект не там. Объект на самом деле прямо перед тобой, но я поставил призму перед твоим объективом», и чат-бот говорит: «О, я вижу. Призма преломила лучи света, так что объект на самом деле там, но у меня был субъективный опыт, что он там». Теперь, если он использует слова «субъективный опыт» таким образом, он использует их точно так же, как мы. Так что чат-бот, который сказал бы это, имел бы субъективный опыт того, что он там. Призма испортила его перцептивную систему. Он хотел рассказать вам, что происходит в его перцептивной системе. И способ, которым он мог бы рассказать вам, — это рассказать вам, что должно было бы быть в мире, если бы мы не испортили его перцептивную систему. Вот что он говорит чат-боту. Хорошо, так что мое утверждение заключается в том, что мультимодальные чат-боты уже имеют субъективный опыт. Теперь, как вы можете себе представить, субъективный опыт — это своего рода тонкий край клина. Я выбрал говорить о субъективном опыте, потому что он как бы чище, чем говорить о разумности или сознании. Многие люди очень уверены, что кошачьи боты не разумны. Но если вы спросите их: «Что вы подразумеваете под разумным?» Они говорят: «Я не знаю», но я знаю, что у них этого нет, но я не знаю, что это такое. (смех в зале) Это кажется мне не очень разумной позицией. Другое, о чем я могу говорить, — это сознание. Сознание сложнее, потому что оно обычно включает в себя то, что у вас есть модель себя, таким образом, что субъективный опыт не так сильно включает. Так что легче говорить о субъективном опыте. Но я надеюсь, что если я поколебал вашу очень сильную веру в то, что существует этот внутренний театр, и у меня есть опыт в их разуме, и они находятся в этом внутреннем театре, они являются вещами в этом внутреннем театре. Как только я поколеблю эту веру, и как только вы начнете ее преодолевать, вы сможете увидеть, что вполне разумно думать, что эти вещи сознательны. Я однажды, я закончу анекдотом. Я однажды посетил Microsoft в Сиэтле, и я не мог сидеть, поэтому я добрался туда на поезде. Я взял такси от железнодорожной станции до Редмонда, где находилась их лаборатория. И мы ехали по скоростной автомагистрали, по большому мосту. И водитель такси был сомалийским иммигрантом, который недавно иммигрировал из Сомали. И чтобы поддержать разговор, он спросил: «Какова ваша религия?» Я сказал: «Ну, я на самом деле не думаю, что есть Бог», и водитель такси, он ехал со скоростью около 60 миль в час, повернулся, (смех в зале) и посмотрел на меня в полном изумлении. Как будто он никогда не думал, что встретит кого-то, кто не понимает, что Бог всем управляет. Он был просто совершенно, совершенно поражен. Теперь, вероятно, он повернулся только на три секунды, потому что я все еще здесь. (смех в зале) Но это казалось очень долгим временем. Вот что, надеюсь, многие из вас почувствуют. Я хочу, чтобы вы поняли, вы так же неправы, как и тот водитель такси. (смех в зале) Хорошо. (смех в зале) На самом деле это была просто шутка, и вы засмеялись, так что мы закончили. (смех в зале) (аплодисменты аудитории)