Transcription
Твоя точка зрения с точки зрения обычного человека в том, что ничего не изменится, даже после сингулярности. Нет, я так не думаю.
Ладно. Интересно. Итак, я имел в виду, что ничего не изменится, когда такая-то компания объявит о какой-то труднопостижимой сумме инвестиций в долларах. Точно.
Я не думаю, что кто-то знает, что с этим делать, да. Но я думаю, что влияние искусственного интеллекта будет ощущаться. Искусственный интеллект будет распространяться по экономике. Для этого есть очень сильные экономические факторы. И я думаю, что влияние будет очень сильным, когда ты ожидаешь этого влияния.
Я думаю, что модели кажутся умнее, чем можно было бы предположить по их экономическому влиянию. Да, это одна из самых запутанных вещей в моделях прямо сейчас. Как совместить тот факт, что они так хорошо справляются с оценками? А ты смотришь на оценки и думаешь, что это довольно сложные оценки. Они так хорошо справляются. Но экономическое влияние, похоже, сильно отстаёт. И почти невозможно понять, как модель, с одной стороны, делает такие удивительные вещи, а с другой стороны, повторяет себя дважды в какой-то ситуации.
Например, допустим, ты используешь кодинг для чего-то, идёшь куда-то, а потом получаешь ошибку. И тогда ты говоришь модели: "Пожалуйста, исправь ошибку". А модель отвечает: "Боже мой, ты прав. У меня ошибка. Давай я её исправлю". И она вносит вторую ошибку. Да.
А потом ты говоришь ей: "У тебя новая ошибка". Точно. И она отвечает: "Боже мой, как я могла это сделать? Ты снова прав?" И возвращает первую ошибку. Да. И ты можешь чередовать их. Да. И это похоже на то, как такое возможно. Да, я не уверен, но это наводит на мысль, что происходит что-то странное.
У меня есть два возможных объяснения. Итак, вот более причудливое объяснение. Возможно, обучение с подкреплением делает модели слишком однобокими и узконаправленными, немного слишком, я не знаю, неосведомлёнными, хотя это также делает их осведомлёнными в некоторых других аспектах. И из-за этого они не могут делать элементарные вещи.
Но есть и другое объяснение. Когда люди занимались предварительным обучением, вопрос о том, на каких данных обучать, был решён, потому что ответ был очевиден. Да, когда вы занимаетесь предварительным обучением, вам нужны все данные. Так что вам не нужно думать, что это будут те или иные данные. Но когда люди занимаются обучением с подкреплением, им нужно думать. Они говорят: "Хорошо, мы хотим провести такое-то обучение с подкреплением для этой вещи и такое-то обучение с подкреплением для той вещи". И, насколько я слышал, во всех компаниях есть команды, которые просто создают новые среды обучения с подкреплением и просто добавляют их в обучающий набор. И тогда возникает вопрос: а что это за среды? Существует так много степеней свободы. Можно создать огромное количество различных сред обучения.
И одна из вещей, которую вы можете сделать, и я думаю, что это происходит непреднамеренно, — это черпать вдохновение из оценок. Вы говорите: "Я бы хотел, чтобы наша модель работала хорошо, когда мы её выпустим. Я хочу, чтобы оценки были отличными". Какое обучение с подкреплением могло бы помочь в этой задаче? Верно? Я думаю, что это происходит, и я думаю, что это может многое объяснить. Если объединить это с тем, что обобщение моделей на самом деле неадекватно, это может многое объяснить. Например, несоответствие между результатами оценки и реальной производительностью в реальном мире, которое мы сегодня даже не совсем понимаем.
Мне нравится идея, что настоящие хакеры — это люди-исследователи, которые слишком сосредоточены на оценках. Я думаю, что есть два способа понять или попытаться осмыслить то, на что вы только что указали. Во-первых, если модель просто станет сверхчеловеком на соревнованиях по программированию, это не значит, что она автоматически станет более разборчивой и будет лучше понимать, как улучшить вашу кодовую базу. Что же тогда? Вам нужно расширить набор сред, чтобы вы не просто тестировали её на соревнованиях по программированию. Она также должна уметь создавать лучшие приложения для чего-то или для чего-то другого или для чего-то ещё.
И ещё, может быть, вы намекаете на то, что если модель станет сверхчеловеком на соревнованиях по программированию, это не сделает её более разборчивой или в целом? Может быть, нужно не увеличивать количество сред и их разнообразия, а найти подход, который позволит вам учиться на одной среде и улучшать свои результаты в чём-то другом.
У меня есть человеческая аналогия, которая может быть полезна. Допустим, вы упомянули соревновательное программирование. Предположим, у вас есть два студента. Один из них решил, что хочет стать лучшим программистом. Поэтому будет тренироваться 10 000 часов в этой области. Он решит все задачи, запомнит все методы доказательства и будет очень, очень, ну, знаете, очень хорошо разбираться в быстрой и правильной реализации всех алгоритмов. И благодаря этому он станет одним из лучших. Студент номер два подумал: "О, соревновательное программирование в школе. Может быть, он тренировался 100 часов, намного меньше, и у него тоже всё получилось". Как вы думаете, кто из них добьётся большего успеха в карьере? Второй. Верно.
И я думаю, что в основном так и происходит. Модели больше похожи на первого студента, но даже больше, потому что мы говорим: "Хорошо, модель должна быть хороша в соревновательном программировании". Так что давайте возьмём все задачи по соревновательному программированию, а потом добавим немного данных. У нас будет ещё больше задач по соревновательному программированию, и мы будем тренироваться на них. И теперь у вас есть отличный программист. И с этой аналогией, я думаю, всё становится более понятным. Я думаю, что с этой аналогией становится более понятно, что если модель хорошо обучена, то все алгоритмы и методы доказательства у неё под рукой. И становится более понятно, что с таким уровнем подготовки она не обязательно будет работать в других областях.
Но тогда какова аналогия с тем, что делает второй студент до того, как он потратит 100 часов на тонкую настройку? Я думаю, у него это есть. Я думаю, это фактор. Это Да, верно. И я помню, когда я был студентом, у меня был такой студент, так что я знаю, что это существует. Да, я думаю, что интересно отличать это от того, что делает предварительная подготовка.
Один из способов понять, что вы только что сказали о том, что нам не нужно выбирать данные для предварительной подготовки, — это сказать, что это не отличается от 10 000 часов практики. Просто вы получаете эти 10 000 часов практики бесплатно, потому что они уже есть в распределении предварительной подготовки. Но, может быть, вы на самом деле предполагаете, что предварительная подготовка не так уж сильно влияет на обобщение. Просто в предварительной подготовке так много данных, но это не обязательно лучше, чем обучение с подкреплением. Главное преимущество предварительной подготовки в том, что её много, и вам не нужно думать, какие данные использовать для предварительной подготовки. Это очень естественные данные, и они включают в себя многое из того, что делают люди, их мысли и множество функций. Знаете, это как весь мир, спроецированный людьми на текст. И предварительная подготовка пытается уловить это, используя огромное количество данных.
Предварительная подготовка очень сложна для понимания, потому что трудно понять, как модель использует данные предварительной подготовки. И когда модель ошибается, может ли это быть из-то того, что что-то случайно не поддерживается данными предварительной подготовки? Знаете, поддержка предварительной подготовкой — это, возможно, расплывчатый термин. Я не знаю, могу ли я добавить что-то ещё полезное, но я не думаю, что есть человеческий аналог предварительной подготовки.
Вот аналогии, которые люди предлагают для человеческой аналогии с подготовкой. И мне интересно узнать ваше мнение о том, почему они могут быть неверными. Одна из них — это первые 18, 15 или 13 лет жизни человека, когда он не обязательно экономически продуктивен, но делает что-то, что помогает ему лучше понимать мир и так далее. Другая — это эволюция, которая занимается поиском в течение 3 миллиардов лет, что в итоге приводит к появлению человека. И мне интересно, считаете ли вы, что это действительно похоже на предварительную подготовку или как бы вы описали, по крайней мере, то, на что похоже обучение человека в течение всей жизни, если не предварительная подготовка?
Я думаю, что между этими двумя аналогиями есть некоторое сходство, и предварительная подготовка пытается сыграть роль обеих. Но я думаю, что есть и большие различия. Объём данных предварительной подготовки очень-очень велик. Да, и каким-то образом человек, даже после 15 лет с крошечной долей данных предварительной подготовки, знает гораздо меньше. Но то, что он знает, он знает гораздо глубже. И ошибки, которые он совершает в этом возрасте, не похожи на ошибки, которые совершает Райс. Да, вы можете сказать, что это похоже на эволюцию. И ответ, возможно, да. Но в этом случае, я думаю, у эволюции может быть преимущество.
Например, я помню, как читала случаи, когда нейробиологи изучают людей с повреждениями разных частей мозга. Угу. И у некоторых людей бывают самые странные симптомы, которые только можно себе представить. Это действительно очень интересно. И мне вспоминается один случай. Это важно. Я читал о человеке, у которого было какое-то повреждение мозга, кажется, инсульт или несчастный случай, из-за которого он перестал испытывать эмоции. Он перестал чувствовать какие-либо эмоции, но при этом он оставался очень красноречивым, мог решать небольшие головоломки и на тестах показывал хорошие результаты. Но он не чувствовал никаких эмоций, он не грустил, не злился, не оживлялся, и он стал очень плохо принимать решения. Ему требовались часы, чтобы решить, какие носки надеть. И он принимал очень плохие финансовые решения. Это очень что это говорит о роли наших врождённых эмоций в том, что мы по сути являемся жизнеспособными агентами.
Я думаю, что это связано с вашим вопросом о предварительной подготовке. Возможно, если вы достаточно хорошо разбираетесь в предварительной подготовке, вы тоже сможете это сделать. Но это похоже на Ну, возможно, это можно получить с помощью предварительной подготовки, а может и нет. Что это? Явно не просто в движении. Это похоже на какую-то функцию ценности, которая подсказывает вам, какое решение принять, какой должна быть конечная награда за любое решение. И вы думаете, что это не исходит из >> Я думаю, что может. Я просто говорю, что это не на 100% очевидно.
Да, но что это? Как вы думаете об эмоциях? И какова аналогия эмоций в машинном обучении? Это должна быть какая-то функция ценности, да? Но я не думаю, что есть хорошая аналогия в машинном обучении, потому что сейчас функции ценности не играют большой роли в том, что делают люди. Возможно, стоит объяснить аудитории, что такое функция ценности, если вы хотите это сделать. Конечно, я буду рад это сделать.
Верно? Когда люди занимаются обучением с подкреплением, само обучение с подкреплением происходит прямо сейчас. Как люди обучают этих агентов? У вас есть нейронная сеть, и вы даёте ей задачу, а потом говорите модели: "Реши её". И модель совершает тысячи, сотни тысяч действий, мыслей или чего-то ещё, а затем выдаёт решение. Решение найдено. А затем оценка используется для обучения на каждом действии вашей траектории. Это значит, что если вы делаете что-то, что занимает много времени, если вы обучаете задачу, на решение которой уходит много времени, вы вообще не будете учиться, пока не найдёте решения. Вот как наивно происходит обучение с подкреплением. Вот как якобы происходит обучение с подкреплением.
Функция ценности говорит что-то вроде: "Ладно, послушай, может быть, я иногда не всегда могу сказать тебе: "Хорошо ты делаешь или плохо". Функция ценности более полезна в одних областях, чем в других. Например, когда вы играете в шахматы и теряете фигуру, вы понимаете, что ошиблись. Вам не нужно играть всю партию, чтобы понять, что то, что вы только что сделали, было плохо. И, следовательно, всё, что было до этого, тоже было плохо. Функция ценности позволяет сократить вес до самого конца.
Например, предположим, что вы начали заниматься чем-то вроде математики или программирования и пытаетесь найти конкретное решение. И после, скажем, тысячи шагов размышлений вы пришли к выводу, что это направление бесперспективно. Как только вы это поймёте, вы уже получите сигнал о вознаграждении за тысячу шагов до того, как решили пойти по этому пути. И скажете: "В следующий раз: "Я не должен идти по этому пути в похожей ситуации задолго до того, как вы найдёте решение".
В статье Deep Sкаар говорится, что пространство траектории настолько велико, что, возможно, трудно научиться сопоставлять промежуточную траекторию и ценность. И ещё, например, в программировании, если у вас возникла неправильная идея, вы возвращаетесь и что-то меняете. Это звучит как недоверие к глубокому обучению. Конечно, это может быть сложно, но глубокое обучение может всё. Да, я ожидаю, что функции ценностей будут полезны, и я уверен, что они будут использоваться в будущем, если уже не используются.
То, что я упомянул о человеке, у которого повреждён эмоциональный центр, говорит о том, что функция ценности у людей каким-то образом модулируется эмоциями, что жёстко запрограммировано эволюцией. И возможно это важно для того, чтобы люди были эффективны в мире. Это то, о чём я хотел тебя спросить. В эмоциях функции ценности есть что-то действительно интересное, а именно то, что они очень полезны, но при этом довольно просты для понимания.
У меня есть два ответа. Я согласен, что по сравнению с тем, чему мы учимся, и тем, о чём мы говорим, эмоции относительно просты. Они могут быть настолько простыми, что их можно описать понятным для человека способом. Я думаю, это было бы круто. Что касается полезности, я думаю, что есть компромисс между сложностью и надёжностью, когда сложные вещи могут быть очень полезными, но простые вещи очень полезны в самых разных ситуациях. Я думаю, что один из способов интерпретировать то, что мы видим, заключается в том, что у нас есть эмоции, которые в основном унаследованы от наших предков млекопитающих, а затем немного усовершенствованы, когда мы были гаменидами. У нас есть приличное количество социальных эмоций, которых может не хватать млекопитающим, но они не очень сложные. И поскольку они не сложные, они очень хорошо служат нам в этом совершенно другом мире по сравнению с тем, в котором мы жили. На самом деле они тоже ошибаются. Например, наши эмоции. Ну, я не знаю, можно ли считать голод эмоцией. Это спорно, но я думаю, что, например, наше интуитивное чувство голода не помогает нам правильно ориентироваться в этом мире с изобилием еды. Да.
Люди говорят о масштабировании данных, масштабировании параметров, масштабировании вычислений. Есть ли более общий способ думать о масштабировании? Какие ещё есть оси масштабирования? Вот такая перспектива. Я думаю, что это может быть правдой. Раньше машинное обучение работало так, что люди просто возились с чем-то и пытались получить интересные результаты. Так было раньше. А потом появилось понимание масштабирования. Верно, законы масштабирования GPT-3. И вдруг все поняли, что нужно масштабироваться. И это просто так. Это пример того, как язык влияет на мышление. Масштабирование — это всего лишь одно слово, но оно очень мощное, потому что подсказывает людям, что делать. Они говорят: "Хорошо, давайте попробуем масштабировать". И вы спрашиваете: "Хорошо, а что мы масштабируем?" И предварительное обучение было тем, что нужно масштабировать. Это был особый рецепт масштабирования. Да, большой прорыв в предварительном обучении — это осознание того, что этот рецепт хорош. Вы говорите: "Эй, если вы смешаете вычисление с данными в нейронной сети определённого размера, вы получите результаты и будете знать, что будет лучше, если вы просто увеличите масштаб". И это тоже здорово. Компании это нравится, потому что это даёт возможность инвестировать ресурсы с минимальным риском. Верно? Гораздо сложнее инвестировать ресурсы в исследование. Сравните это. Если вы проводите исследование, вам нужно нанять исследователей, провести исследование и что-то придумать. А если вы получите больше данных, больше вычислений, вы получите что-то от предварительного обучения. И действительно, судя по разным вещам, которые пишут в Твиттере, кажется, что Gemini нашли способ получить больше от предварительного обучения. Но в какой-то момент у предварительного обучения закончатся данные. Данные явно ограничены. И что вы будете делать дальше? Либо вы проведёте какое-то усиленное предварительное обучение по другому рецепту, либо вы будете использовать URL-адреса, либо что-то ещё. Но теперь, когда вычисления стали большими, компьютеры стали очень большими. В каком-то смысле мы вернулись к эпохе исследований. Так что, возможно, вот ещё один способ выразить это. С 2012 по 2020 год это была эпоха исследований, а теперь с 2020 по 2025 год. Это эпоха масштабирования или, может быть, плюс-минус. Давайте добавим погрешность к этим годам, потому что люди говорят, что это потрясающе. Нужно больше масштабироваться, продолжать масштабировать, но теперь масштаб настолько велик. Неужели вы действительно думаете, что если бы у вас было в 100 раз больше, всё было бы по-другому? Конечно, было бы по-другому. Но неужели вы действительно думаете, что если бы вы просто увеличили масштаб в 100 раз, всё изменилось бы? Я так не думаю. Так что мы снова вернулись к эпохе исследований, только с большими компьютерами. Это очень интересный способ выразить это.
Но позвольте мне задать вам вопрос, который вы только что задали. Что мы масштабируем и что значит иметь рецепт? Потому что я не знаю, существует ли какая-то чёткая взаимосвязь, похожая на закон физики, которая существовала в предварительном обучении. Между данными или параметрами компьютера и потерями существовала степенная зависимость. Какую взаимосвязь мы должны искать и как мы должны думать о том, как может выглядеть этот новый рецепт.
Итак, мы уже стали свидетелями перехода от одного типа масштабирования к другому, от предварительного обучения к RL. Теперь люди масштабируют RL. Судя по тому, что пишут в Твиттере, сейчас они тратят больше вычислений на RL, чем на предварительное обучение, потому что RL действительно может потреблять довольно много вычислений. Вы знаете, вы делаете очень-очень длинные прогоны, поэтому для их выполнения требуется много вычислений, а затем вы получаете относительно небольшое количество параллельных прогонов для обучения. Так что вы действительно можете потратить много вычислений. И я могу представить, что на данном этапе это больше похоже на масштабирование. Я бы сказал: "Эй, что ты делаешь? И является ли то, что ты делаешь, самым продуктивным из того, что ты мог бы делать? Можешь ли ты найти более продуктивный способ использования своих вычислений?" Мы уже обсуждали бизнес с функцией ценности. И возможно, когда люди научатся хорошо работать с функциями ценности, они будут использовать свои ресурсы более продуктивно. Если вы найдёте совершенно другой способ обучения моделей, вы можете сказать: "Это масштабирование или просто использование ваших ресурсов". Я думаю, это становится немного двусмысленным. В каком-то смысле, когда люди были в эпоху исследования, они говорили: "Эй, давайте попробуем это, это и это. Давайте попробуем это, это и это". О, смотрите, происходит что-то интересное. И я думаю, что к этому вернутся.
Итак, если мы вернёмся в эпоху исследований, а что нам нужно больше всего обдумать в рецепте? Когда вы говорите о функции ценности, люди уже пробуют текущий рецепт, но затем используют RL в качестве судьи и так далее. Можно сказать, что это функция ценности, но, похоже, вы имеете в виду что-то гораздо более фундаментальное. Нужно ли нам вернуться к предварительному обучению или просто добавить больше шагов в конце этого процесса?
Да, обсуждение функции ценности, я думаю, было интересным. Я хочу подчеркнуть, что функция ценности сделает RL более эффективным. И я думаю, что это имеет значение, но я думаю, что всё, что вы можете сделать с функцией ценности, вы можете сделать и без неё, просто медленнее. Я думаю, что самое важное — это то, что эти модели каким-то образом обобщают гораздо хуже, чем люди. И это очень очевидно, это кажется очень фундаментальным.
Хорошо. Значит, это и есть суть обобщения. Есть два подвопроса. Один из них касается эффективности выборки. Почему этим моделям нужно гораздо больше данных для обучения, чем людям? Второй вопрос касается не только количества данных, но и того, почему так сложно научить модель тому, что мы хотим, чем человек. То есть человеку не обязательно нужна проверяемая награда, чтобы научиться. Вы, наверное, сейчас обучаете группу исследователей, разговариваете с ними, показываете им свой код и то, как вы думаете, и они перенимают ваш образ мышления и то, как им следует проводить исследования. Вам не нужно устанавливать для них проверяемую награду. Например, это следующая часть вашей учебной программы, а это следующая часть вашей учебной программы. И о, это было это обучение было нестабильным, и мы дошли до того, что нет этого утомительного индивидуального процесса. Так что, возможно, эти две проблемы каким-то образом связаны, но мне было бы интересно изучить вторую проблему, которая больше похожа на непрерывное обучение, и первую проблему, которая больше похожа на эффективность выборки.
Да, знаете, можно предположить, что эффективность выборки у людей объясняется эволюцией, и эволюция дала нам небольшое количество самой полезной информации. И для таких вещей, как зрение, слух и передвижение, я думаю, есть веские основания полагать, что эволюция действительно дала нам многое. Например, ловкость человека намного превосходит. Я имею в виду, что роботы тоже могут стать ловкими, если их долго тренировать и моделировать. Но научить робота в реальном мире быстро осваивать новые навыки, как это делает человек, кажется недостижимым. И здесь можно сказать, что, например, для передвижения нашим предкам нужна была отличная ловкость. Так что, возможно, у нас есть какой-то невероятный опыт. То же самое можно сказать и о зрении. Знаете, я думаю, что Ямлиан сказал, что дети учатся водить машины за 16 часов после 10 часов практики. Это правда. Но наше зрение такое хорошее. По крайней мере, когда я вспоминаю себя пятилетним, я был очень увлечён машинами. И я почти уверен, что моё распознавание автомобилей было более чем достаточным для самостоятельного вождения уже в пятилетнем возрасте. В 5 лет вы не видите столько данных. Вы проводите большую часть времени дома у родителей, поэтому у вас очень мало разнообразия данных. Но можно сказать, что это тоже эволюция. Но в языке, математике и программировании, наверное, нет.
Это всё равно лучше, чем модели. Я имею в виду, что модели, очевидно, лучше, чем средний человек в языке, математике и программировании. Но лучше ли они, чем средний человек в обучении? А, да. О, да, абсолютно. Я хотел сказать, что языковая математика и особенно математическое кодирование предполагают, что то, что делает людей хорошими в обучении, это, вероятно, не столько сложный опыт, сколько что-то более фундаментальное. А, подождите, я не уверен, что понял, почему это должно быть так.
Рассмотрим навык, в котором люди проявляют большую надёжность. Или знаете ли, мда. Если этот навык был очень полезен нашим предкам на протяжении многих миллионов лет, сотен миллионов лет, можно сказать, что люди хороши в этом благодаря эволюции, потому что у нас есть опыт, эволюционный опыт, который закодирован каким-то неочевидным образом, что делает нас такими хорошими в этом. Но если люди проявляют большие способности, надёжность, устойчивость, способность учиться в области, которая действительно не существовала до недавнего времени, то это скорее указывает на то, что у людей просто лучше машинное обучение. Но тогда как нам думать об этом? Это вопрос, да? Какова аналогия машинного обучения для этого?
Есть несколько интересных моментов. Для этого требуется меньше образцов. Это больше похоже на обучение без учителя. Вам не нужно учить ребёнка водить машину. Дети не учатся водить машину. Подросток, который учится водить машину, не получает заранее подготовленного, проверяемого вознаграждения. Оно приходит от взаимодействия с машиной и окружающей средой. И да, для этого требуется много образцов. Это больше похоже на обучение без учителя. Это кажется более надёжным, гораздо более надёжным. Надёжность людей действительно поражает. Да.
Хорошо. И у вас есть единое представление о том, почему всё это происходит одновременно. Какая аналогия машинного обучения может объяснить что-то подобное? Вот где возникает вопрос, как водитель, подросток может самообучаться и учиться на своём опыте без внешнего учителя? Ответ в том, что у них есть функция ценности. Верно? У них есть общее чувство, которое, кстати, очень развито у людей. Что бы это ни было, функция ценности человека, за исключением зависимости, на самом деле очень-очень надёжна. И когда подросток учится водить машину, он начинает водить и сразу понимает, насколько неуверенно он себя чувствует. А потом он видит, что всё в порядке. И, конечно, скорость обучения любого подростка настолько высока, что через 10 часов он уже готов. Да, похоже, у людей есть какое-то решение, но мне интересно, как они это делают, и почему так сложно понять, как нам нужно переосмыслить способ обучения моделей, чтобы сделать что-то подобное возможным?
Знаете, это отличный вопрос, и у меня есть много мнений по этому поводу, но, к сожалению, мы живём в мире, где не все идеи машинного обучения обсуждаются свободно, и это одна из них. Так что, вероятно, есть способ это сделать. Я думаю, что это возможно. Тот факт, что люди такие, я думаю, доказывает, что это возможно. Но может быть и другой фактор, который заключается в том, что человеческие нейроны на самом деле выполняют больше вычислений, чем мы думаем. И если это правда и играет важную роль, то всё может быть сложнее. Но, несмотря на это, я думаю, что это указывает на существование какого-то принципа машинного обучения, о котором у меня есть мнение. Но, к сожалению, обстоятельства не позволяют подробно его обсудить. Мне интересно, если вы говорите, что мы вернулись в эпоху исследований, то вы были там с
2012 по 2020 год. И да, какой будет атмосфера, если мы вернёмся в эпоху исследований? Например, даже после Alexnet количество вычислений, используемых для проведения экспериментов, продолжало расти, а размер передовых систем увеличиваться. И как вы думаете, в эту эпоху исследований по-прежнему будут требоваться огромные вычислительные мощности? Как вы думаете, нужно ли будет возвращаться к архивам и читать старые статьи? Какой была атмосфера в Google, Open AI и Стэнфорде, когда исследования были в приоритете? Чего нам стоит ожидать от сообщества?
Итак, одним из последствий эпохи масштабирования стало то, что оно высосало весь воздух из комнаты. Да. И поскольку масштабирование высосало весь воздух из комнаты, все начали делать одно и то же. Мы дошли до того, что в мире больше компаний, чем идей. На самом деле в Силиконовой долине говорят, что идеи дёшевы, а главное - это реализация. И люди часто это повторяют. И в этом есть доля правды. Но потом я увидел в Твиттере что-то вроде: "Если идеи такие дешёвые, почему ни у кого нет идей?" И я думаю, что это тоже правда.
Я думаю, что если рассматривать прогресс в исследованиях с точки зрения узких мест, то их несколько. Если вернуться к одной из них этой идеи, а другое- ваша способность воплотить их в жизнь, что может быть связано с вычислениями, а также с инженерией. Так что, если вернуться, скажем, в девяностые, у вас были люди с неплохими идеями. И если бы у них были компьютеры побольше, возможно, они смогли бы доказать, что их идеи жизнеспособны. Но они не смогли, поэтому они могли провести лишь очень маленькую демонстрацию, которая никого не убедила. Таким образом, узким местом были вычисления.
Затем, в эпоху масштабирования вычислительной мощности значительно выросли. И, конечно, возникает вопрос, сколько вычислений нужно, но вычислительные мощности велики. Так что вычислительных мощностей достаточно, чтобы доказать какую-то идею. Например, я приведу аналогию. Alexnet был построен на двух графических процессорах. Это было общее количество вычислений, использованных для него. Трансформер был построен на 8-64 графических процессорах. Ни в одном эксперименте с Трансформером не использовалось больше 64 графических процессоров в 2017 году, что примерно равно двум современным графическим процессорам. Итак, Рейнет, верно? Многие даже могут сказать, что это не самое ресурсоёмкое решение в мире. Так что для исследования определённо нужно какое-то количество вычислений. Но далеко не очевидно, что для исследования нужно самое большое количество вычислений.
Вы можете возразить, и я думаю, что это правда, что если вы хотите создать самую лучшую систему, то полезно иметь больше вычислительных мощностей. И особенно, если все придерживаются одной парадигмы, то вычислительные мощности становятся одним из главных отличий. Да, я думаю, что эти идеи можно было развить. Я спрашиваю вас об истории, потому что вы были там. Я не знаю, что на самом деле произошло, но похоже, что эти идеи можно было развить с минимальными вычислительными мощностями. Но это было не так. Трансформер не сразу стал знаменитым. Он стал тем, что все начали делать, а затем экспериментировать и развивать, потому что он был проверен на всё более высоких уровнях вычислений. Верно?
>> И если у вас в Си есть 50 разных идей, как вы узнаете, какая из них станет следующим трансформером, а какая окажется хрупкой? Не имея таких вычислительных мощностей, как у других передовых лабораторий.
Я могу это прокомментировать. Вкратце, вы упомянули C. Для нас количество вычислительных мощностей, которые есть у C исследований, на самом деле не так уж мало. И я хочу объяснить, почему. Простая математика может объяснить, почему количество вычислительных мощностей, которые у нас есть, на самом деле, гораздо больше, чем можно подумать. Я объясню. Итак, C привлекла 3 млрд долларов, что не так уж мало, но в любом случае это много. Но вы можете сказать, что другие компании привлекают гораздо больше, но большая часть их вычислительных мощностей уходит на логические выводы. Эти большие суммы, эти большие кредиты предназначены для логических выводов. Это во-первых. Во-вторых, если вы хотите создать продукт, на котором будете делать логические выводы, вам нужен большой штат инженеров и продавцов. Большая часть исследований должна быть посвящена созданию всевозможных функций, связанных с продуктом. Тогда, когда вы посмотрите, что на самом деле осталось для исследований, разница станет намного меньше.
Теперь другое дело. Если вы делаете что-то другое, действительно ли вам нужен максимальный масштаб, чтобы это доказать? Я вообще не думаю, что это так. Я думаю, что в нашем случае у нас достаточно вычислительных мощностей, чтобы доказать, убедить себя и всех остальных, что мы делаем всё правильно. По некоторым оценкам, такие компании, как Open AI, тратят на эксперименты около 5-6 млрд долларов в год. Это не считая денег, которые они тратят на логические выводы и так далее. Получается, что они тратят больше на исследовательские эксперименты, чем вы, ребята, на общее финансирование. Я думаю, это вопрос того, что вы с этим делаете. Это вопрос того, что вы с этим делаете. У них больше, я думаю, в их случае, в случае других, я думаю, что спрос на вычислительные мощности для обучения намного выше. Там гораздо больше разных направлений работы. Есть разные модальности, просто больше всего. И это становится фрагментированным.
>> Как си будет зарабатывать деньги?
>> Знаете, мой ответ на этот вопрос такой. Сейчас мы просто сосредоточены на исследованиях, а ответ на этот вопрос появится сам собой. Я думаю, что будет много возможных ответов. План си по-прежнему заключается в создании сверхразума. Возможно, я думаю, что в этом есть смысл. Я думаю, что в этом есть большой смысл, потому что я считаю, что очень приятно не зависеть от ежедневной рыночной конкуренции. Но я думаю, что есть две причины, по которым мы можем изменить план. Первое, прагматическая, если сроки окажутся слишком долгими, что вполне возможно. И вторая, я думаю, что самый лучший и мощный Ии, который будет влиять на мир, принесёт много пользы.
Да, я думаю, что это очень ценно. Но тогда почему ваш план по умолчанию создание сверхразума? Потому что похоже, что Open AI, Антропик и другие компании думают так. Смотрите, у нас есть всё более слабые интеллекты, к которым люди могут привыкнуть и подготовиться. И почему потенциально лучше сразу создать сверхразум? Я приведу аргументы за и против. Да, аргумент за то, что вы. Одна из проблем, с которой сталкиваются люди на рынке, заключается в том, что им приходится участвовать в крысиных бегах. А крысиные бега довольно сложны, потому что заставляют вас идти на трудные компромиссы. И приятно сказать, что мы изолируем себя от всего этого и просто сосредоточимся на исследованиях и выйдем на рынок только тогда, когда будем готовы, а не раньше.
Но контраргумент тоже справедлив. Это противоположные силы. Контраргумент заключается в том, что миру полезно видеть мощный Ии. Миру полезно видеть мощный Ии, потому что это единственный способ донести это до людей. Ну, я думаю, дело не только в том, что вы можете донести эту идею, но донести и не идею, донести и что вы имеете в виду, говоря донести и Хорошо, давайте представим, что вы пишете эсэ об и в нём говорится, что ИИ будет таким-то и таким-то. И он будет таким-то. Вы читаете его и говорите: "Хорошо, это интересно эсс". Верно? А теперь представьте, что вы видите, как ИИ делает то-то и то-то. Это несравнимо. Я думаю, что и приносит большую пользу обществу. И это причина, по которой мы не должны сразу создавать сверхразум.
Да, ну, я думаю, дело даже не в этом, но я считаю, что это важная часть. Другая важная вещь заключается в том, что я не могу вспомнить ни одной и другой области человеческой инженерии и исследований, где конечный продукт стал бы безопаснее благодаря тому, что люди просто думали о том, как сделать его безопасным, а не о том, почему сегодня количество авиакатастроф на милю намного меньше, чем десятилетие назад. Почему сейчас намного сложнее найти ошибку в Linux, чем это было десятилетие назад? И я думаю, что это в основном потому, что эти системы были развёрнуты в мире. Вы заметили ошибки. Эти ошибки были исправлены, и системы стали более надёжными. И я не уверен, что с и сверхчеловеческим интеллектом будет по-другому, особенно учитывая. И я надеюсь, что мы сможем поговорить. Мы к этому придём. Похоже, что вред от сверхразума заключается не только в том, что где-то есть злобный бумагорезатель, но и в том, что это действительно мощная штука. И мы даже не знаем, как люди будут с ней взаимодействовать, что они будут с ней делать. Постепенный доступ к ней кажется лучшим способом распределить её влияние и помочь людям подготовиться к ней.
Ну я думаю, что даже в сценарии с прямым доступом вы всё равно будете постепенно её внедрять. Я бы так и сделал. Постепенность была бы неотъемлемой частью любого плана. Вопрос только в том, что выпустим первым. Это номер один. Во-вторых, я также думаю, что вы больше других выступаете за непрерывное обучение. И я считаю, что это важно и правильно. И вот почему. Одна из причин, по которой я приведу вам ещё один пример того, как мышление влияет на язык. В данном случае это будут два слова, которые сформировали мышление каждого. Первое слово и второе слово предварительное обучение. Позвольте мне объяснить. Итак, слово и почему существует этот термин. Это очень специфический термин. Почему он существует? На, то есть причина. Причина, по которой существует термины и, на мой взгляд, не столько в том, что это очень важный дескриптор конечного состояния интеллекта. А в том, что это реакция на другой термин, который существовал. И этот термин узкий и если вы вернётесь к древней истории игр Ии в шашках, шахматах, компьютерных играх, все скажут: "Посмотрите на этот узкий интеллект". Конечно, шахматный Ии может победить Каспарова, но больше ничего не умеет. Это такой узкий искусственный интеллект. В ответ на это некоторые люди сказали: "Это нехорошо, он такой узкий. Нам нужен общий и общий и, который может делать всё". Второй термин получил широкое распространение. Да. Второе, что получило широкое распространение - это предварительное обучение. В частности, рецепт предварительного обучения. Я думаю, что то, как люди сейчас обучают ИИ, может разрушить концептуальный отпечаток предварительного обучения. Но у предварительного обучения было свойство. Чем больше вы его обучаете, тем лучше модель справляется совсем более или менее равномерно. Общий и предварительное обучение даёт ИИ. Но с Ииварительным обучением произошло то, что они в некотором смысле промахнулись мимо цели. Потому что, если вы подумаете о термине и, вы поймёте, особенно в контексте предварительного обучения, что человек - это не и потому что у человека, конечно, есть основа навыков, но человеку не хватает огромного количества знаний. Вместо этого мы полагаемся на непрерывное обучение. Мы полагаемся на непрерывное обучение. И тогда, когда вы думаете: "Хорошо, допустим, мы добились успеха и создали какой-то безопасный сверхинтелект", возникает вопрос: как вы его определяете? Где он будет находиться на кривой непрерывного обучения? Я создаю сверхиинтеллектуального пятнадцатилетнего подростка, который очень хочет учиться. И вы говорите: "Хорошо, я буду". Он вообще мало что знает. Отличный ученик, очень старательный. Вы идёте и становитесь программистом. Вы идёте и становитесь врачом. Идите и учитесь. Таким образом, вы можете представить, что само внедрение будет включать в себя период обучения методом проб и ошибок. Это процесс, а не готовое решение.
Хорошо, я понял. То есть вы хотите сказать, что сверхинлект - это не какой-то готовый разум, который знает, как выполнять любую работу в экономике. Потому что, скажем, в первоначальном уставе Open AI или в чём-то подобном Ии определяется как способный выполнять любую работу, которую может выполнять человек. Вместо этого вы предлагаете разум, который может научиться выполнять любую работу. Да, и это сверхинлект. А затем, когда у вас есть алгоритм обучения, он внедряется в мир так же, как человек может присоединиться к организации. И кажется, что может произойти одно из двух, а может не то, ни другое. Во-первых, этот сверхэффективный алгоритм обучения становится сверхчеловеческим, становится таким же хорошим, как вы, а потенциально даже лучше в исследованиях машинного обучения. И в результате сам алгоритм становится всё более и более сверхчеловеческим. Во-вторых, даже если этого не произойдёт, если у вас есть одна модель, я имею в виду, что это именно ваше видение. Если у вас есть одна модель, экземпляры которой внедряются в экономику, выполняют разные задачи, учатся выполнять эти задачи, постоянно учатся на работе, приобретают все навыки, которые может приобрести любой человек, но на самом деле приобретают их все одновременно, а затем объединяют свои знания. А у вас по сути есть модель, которая функционально становится сверхнтеллектуальной даже без какого-либо рекурсивного самосовершенствования программного обеспечения. Верно? Потому что теперь у вас есть одна модель, которая может выполнять любую работу в экономике. А люди не могут объединить свои умы таким же образом. Так вы ожидаете какого-то взрыва интеллекта от широкого внедрения?
Я думаю, что скорее всего у нас будет быстрый экономический рост. Я думаю, что широкое внедрение - это два противоречащих друг другу аргумента. Один из них заключается в том, что если у вас действительно есть и, который может быстро учиться и у вас их много, то они будут внедрены в экономику. Если только не будет какого-то регулирования, которое этому помешает. Что, кстати, может быть? Но я думаю, что очень быстрый экономический рост в течение некоторого времени вполне возможен благодаря широкому внедрению. Другой вопрос, насколько быстрым он будет? Так что я думаю, что это трудно предсказать, потому что с одной стороны у вас есть очень эффективный работник, с другой стороны мир очень большой и в нём много всего, и это всё движется с разной скоростью. Но с другой стороны, теперь и и может. Так что я думаю, что очень быстрый экономический рост возможен. И мы увидим, что в разных странах с разными правилами экономический рост будет быстрее. Но это трудно предсказать. Одна из самых сложных вещей в Ии - это то, что мы говорим о системах, которых ещё не существует, и их трудно представить. Я думаю, что одна из причин этого в том, что на практике очень трудно почувствовать Аджи. Очень трудно почувствовать Аджи. Мы можем говорить об этом, но это всё равно, что говорить о далёком будущем. Например, представить, каково это быть старым, когда ты уже старый и немощный. И ты можешь поговорить об этом. Ты можешь попытаться представить это, но это просто трудно, и ты возвращаешься к реальности, где это не так. И я думаю, что многие проблемы, связанные с Аджи и его будущей мощью, связаны с тем, что это очень трудно представить.
Будущее и и будет другим, он будет мощным. В этом вся проблема. В чём проблема и и аджи? Вся проблема в мощности. И вся проблема в мощности, когда мощность действительно велика, что произойдёт? И один из способов, которым я изменил своё мнение за последний год, и это изменение может отразиться на планах нашей компании, заключается в том, что если это трудно представить, что вы делаете, вы должны показать это. Вы должны показать это. Я считаю, что большинство людей, которые работают над тоже не могут этого представить, потому что это слишком отличается от того, что люди видят каждый день. Я считаю, что произойдёт вот что. Это прогноз. Я считаю, что по мере того, как и становится всё мощнее, люди будут менять своё поведение. И мы увидим множество беспрецедентных вещей, которых сейчас не происходит. И я приведу несколько примеров. Я думаю, что к лучшему или к худшему передовые компании будут играть очень важную роль в том, что произойдёт, как и правительство. И я думаю, что вы увидите, как компании, которые являются жёсткими конкурентами, начинают сотрудничать в области безопасности ИИ. Возможно, вы видели, как Open, AI и Anthropic сделали первый небольшой шаг, но этого не было. На самом деле, я предсказал это в одном из своих выступлений 3 года назад. Я также считаю, что по мере того, как Ии становится всё мощнее, всё более заметным, у правительств и общественности тоже появится желание что-то сделать. И я думаю, что это очень важная сила, демонстрирующая и это номер один. Номер два. Итак, и создаётся, что нужно сделать. Я считаю, что сейчас люди, которые работают над считают, что Ии не чувствуют себя сильным из-то своих ошибок. Я думаю, что в какой-то момент и действительно начнёт чувствовать себя сильным. И я думаю, что когда это произойдёт, мы увидим большие изменения в подходе всех компаний, занимающихся и к безопасности. Они станут гораздо более параноидальными. Я думаю, что это произойдёт. Посмотрим, прав ли я. Но я думаю, что это произойдёт, потому что они увидят, что и становится всё мощнее. Всё, что происходит сейчас, я считаю, происходит, потому что люди смотрят на сегодняшнее и и им трудно представить будущее и есть ещё одна вещь, которая должна произойти. И я думаю, что это я говорю об этом в более широком смысле, не только с точки зрения C, потому что вы спрашиваете меня о нашей компании. Но вопрос в том, к чему должны стремиться компании. К чему они должны стремиться? Есть одна большая идея, на которой все зациклились. Это самосовершенствующийся ИИ. Почему это произошло? Потому что идей меньше, чем компаний. Но я считаю, что есть кое-что получше. И я думаю, что всё этого захотят. Это как и который надёжно настроен на заботу о разумной жизни. Я думаю, что, в частности, будет проще создать и, который заботится о разумной жизни, чем и который заботится только о человеческой жизни, потому что сам и будет разумным. Если вы подумаете о таких вещах, как зеркальные нейроны и человеческое сочувствие к животным, то, возможно, вы скажете, что это недостаточно масштабно, но это существует. Я думаю, что это свойство возникает из-за того, что мы моделируем других. с помощью той же схемы, которую использовали для моделирования самих себя, потому что это наиболее эффективно. Так что даже если вы создадите Ии, который будет заботиться о разумных существах, и мне не совсем понятно, что это то, что вы должны делать, если решите проблему согласования, большинство разумных существ всё равно будут ии. В конечном итоге их будут триллионы, а то и квадриллионы. А люди будут составлять очень небольшую часть разумных существ. Поэтому мне не совсем понятно, является ли целью какой-то контроль человека над этой будущей цивилизацией, что это лучший критерий.
Это правда. Я думаю, что это не лучший критерий. Я скажу две вещи. Во-первых, я думаю, что если я думаю, что забота о разумной жизни имеет смысл. Я считаю, что это нужно учитывать. Я думаю, что было бы полезно, если бы у компании был список идей, которые они могли бы использовать в такой ситуации. Это во-вторых. В-третьих, я думаю, что было бы очень полезно, если бы мощность самого мощного сверхразума была каким-то образом ограничена, потому что это решило бы многие проблемы. Я не знаю, как это сделать, но я думаю, что это было бы очень полезно, когда речь идёт о действительно мощных системах.
Да, прежде чем мы продолжим обсуждение согласования, я хочу ещё раз это подчеркнуть. Сколько места наверху? Что вы думаете о сверхразуме? Вы думаете, что, возможно, использование этой идеи эффективности обучения позволит очень быстро освоить новые навыки или знания, или у него просто больше стратегий? Есть ли в центре что-то единое и мощное? И если да, то представляете ли вы, что это будет похоже на Бога по сравнению с остальной человеческой цивилизацией? Или это просто ещё один агент или группа агентов? Это область, в которой у разных людей разные представления. Да, я думаю, что это будет очень мощно. Это точно. Я думаю, что скорее всего будет создано несколько таких и примерно в одно и то же время. Я думаю, что если кластер будет достаточно большим, например, размером с континент, то он действительно может быть очень мощным. Верно? Если у вас будет кластер размером с континент, то такие и могут быть очень мощными. И всё, что я могу вам сказать это то, что если вы говорите о чрезвычайно мощных ии, то да, было бы неплохо, если бы их можно было как-то ограничить или если бы было какое-то соглашение или что-то в этом роде. Потому что я думаю, что если вы говорите: "Эй, что вас беспокоит в сверхразуме?" Как это объяснить? Если вы представите себе достаточно мощную систему, действительно очень мощную, и скажете: "Хорошо, вам нужно сделать что-то разумное". Например, заботиться о разумной жизни, скажем, очень целеустремлённым. Нам могут не понравиться результаты. Вот в чём дело. И возможно ответ в том, что вы не создаёте агента Р в обычном смысле. И на самом деле я хочу отметить несколько моментов. Я думаю, что люди - это полуагенты. Мы получаем вознаграждение, а потом эмоции или что-то ещё заставляют нас уставать от этого вознаграждения. Мы получаем другое вознаграждение. Рынок - это как бы очень недальновидный агент. Эволюция такая же. Эволюция в чём-то очень умна, но в чём-то очень глупа. Правительство было создано для бесконечной борьбы между тремя частями, что имеет свои последствия. Так что я думаю, что что-то в этом роде. Ещё одна вещь, которая усложняет это обсуждение - это то, что мы говорим о системах, которых не существует и которые мы не знаем, как создать. Верно? Это ещё одна проблема, и это моё убеждение. Я думаю, что то, что люди делают сейчас, будет иметь какой-то эффект, а потом сойдёт на нет. Оно будет улучшаться, но это не будет решением проблемы. Мы не знаем, как это создать. И я думаю, что многое зависит от понимания надёжного обобщения. Я скажу ещё кое-что. Одна из причин, по которой согласование может быть затруднено, заключается в том, что человеческая ценность, то есть ваша способность усваивать человеческие ценности, хрупка, а значит, и ваша способность их оптимизировать тоже хрупка. Вы действительно научитесь их оптимизировать. И разве это не примеры ненадёжного обобщения? Почему люди, кажется, обобщают гораздо лучше? Что если бы обобщение было намного лучше? Что бы произошло в этом случае? Каков был бы эффект? Но мы не можем ответить на эти вопросы прямо сейчас.
А как вы думаете, что будет, если ИИ будет работать хорошо? Потому что я думаю, что вы уже поняли, как может развиваться и у нас будут агенты непрерывного обучения, а, и будет очень мощным. Возможно, будет много разных и как вы думаете, что будет, если вокруг будет много и с разными вычислительными мощностями? Насколько это опасно? А как сделать это менее опасным? И как это сделать так, чтобы защитить равновесие, когда могут быть несогласованные и и плохие актёры? Вот почему мне нравится ии, которые заботится о разумной жизни. И мы можем спорить, хорошо это или плохо. Но если первые несколько таких систем действительно заботятся о человечестве или о чём-то подобном, заботятся о разумной жизни, очевидно, что этого тоже нужно достичь. Этого нужно достичь. Если первые несколько таких систем добьются этого, то я вижу, что всё будет хорошо, по крайней мере, какое-то время. А что будет в долгосрочной перспективе? Что будет в долгосрочной перспективе? Как достичь долгосрочного равновесия? И я думаю, что на этот вопрос тоже есть ответ. И мне не нравится этот ответ, но его нужно рассмотреть. В долгосрочной перспективе вы можете сказать: "Хорошо, если у вас есть мир, в котором существует мощный и в краткосрочной перспективе, вы можете сказать: "Хорошо, у вас есть всеобщий высокий доход. У вас есть всеобщий высокий доход, и у всех всё хорошо, но мы знаем, что говорят буддисты. Перемена- единственная константа, и всё меняется. И есть какая-то политическая структура правительства, и она меняется, потому что у всего есть срок годности. появляется что-то новое, оно работает, а потом перестаёт работать. Это происходит постоянно. И я думаю, что для долгосрочного равновесия можно сказать: "Хорошо, может быть, у каждого человека будет и, который будет выполнять его приказы. И это хорошо. И если это можно поддерживать бесконечно, то это правда. Но обратная сторона этого в том, что Ии зарабатывает деньги для человека и отстаивает его интересы в политической сфере. А потом пишет небольшой отчёт, в котором говорит: "Вот что я сделал". Вот ситуация. И человек говорит: "Отлично, продолжай в том же духе". Но человек больше не участвует. И тогда можно сказать, что это опасное положение. Но я хочу сказать, что мне не нравится это решение, но это решение. И решение в том, что люди становятся частью и с помощью какой-то нейронной связи, потому что в результате и что-то понимает, и мы тоже это понимаем, потому что теперь понимание передаётся целиком. Теперь, если и находится в какой-то ситуации, вы сами полностью в ней участвуете. Я думаю, что это ответ на вопрос равновесия.
>> Интересно, является ли тот факт, что эмоции, которые развивались миллионы или во многих случаях миллиарды лет назад в совершенно другой среде до сих пор так сильно влияют на наши действия примером успешного согласования? И, может быть, я имею в виду, что у ствола мозга есть функция ценности или функция вознаграждения, но у ствола мозга есть директива. которая говорит: "Спаривайся с тем, кто более успешен". Кора головного мозга - это та часть, которая понимает, что значит успех в современном контексте. Но ствол мозга может
согласовать кору и сказать: "Как бы ты не понимал успех, я недостаточно умён, чтобы понять, что это такое, но ты всё равно будешь следовать этой директиве". Я думаю, что да. Я думаю, что есть более общий момент. Я думаю, что на самом деле очень загадочно, как мозг кодирует желание высокого уровня. Извините, как эволюция кодирует желание высокого уровня? Например, довольно легко понять, как эволюция наделила нас желанием есть вкусную еду, потому что запах - это химическое вещество, и мы просто ищем это химическое вещество. Очень легко представить, как эволюция делает это. Но эволюция также наделила нас всеми этими социальными желаниями. Например, мы действительно заботимся о том, чтобы общество воспринимало нас положительно. Мы заботимся о том, чтобы быть на хорошем счету. Нам нравятся все эти социальные интуиции, которые у нас есть. И я уверен, что они заложены в нас. И я не знаю, как эволюция это сделала, потому что это концепция высокого уровня, которая представлена в мозге. Например, что люди думают? Например, вы заботитесь о каких-то социальных вещах. Это не сигнал низкого уровня, как запах. Это не то, для чего есть датчик. Мозгу нужно много обрабатывать, чтобы собрать воедино множество кусочков информации, чтобы понять, что происходит в обществе. И каким-то образом эволюция сказала: "Это то, о чём вы должны заботиться". Да. Как она это сделала? И она сделала это быстро, потому что я думаю, что все эти сложные социальные вещи, которые нас волнуют, появились совсем недавно. Так что эволюции было легко запрограммировать это желание высокого уровня. Я утверждаю или, по крайней мере, скажу, что не знаю, как это было сделано. У меня были некоторые идеи, но ни одна из них меня не удовлетворила.
Да, и что особенно впечатляет, так это то, что это желание появилось у вас в течение жизни. Это имеет смысл, потому что ваш мозг умный. Понятно, почему мы можем научиться разумным желаниям. Но вы хотите сказать, что желание, может быть, это не ваша точка зрения, но один из способов понять это. Желание заложено в геноме, а геном неразумен. Верно? Но вы каким-то образом можете описать эту особенность, которая требует даже неясно, как вы определяете эту особенность, и вы можете внедрить её в гены. Да, по сути. Или, может быть, я скажу по-другому. Если вы подумаете об инструментах, доступных к геному, он скажет: "Вот рецепт создания мозга". И вы можете сказать: "Вот рецепт подключения дофаминовых нейронов к датчику запаха". Да? И если запах хороший, вы хотите его съесть. Я могу представить, как геном это делает. Я утверждаю, что это сложнее представить. Сложнее представить, что геном говорит, что вы должны заботиться о каких-то сложных вычислениях, которые выполняет весь ваш мозг, большая его часть. Это всё, что я утверждаю.
Я могу рассказать вам, как это можно сделать. И позвольте мне предложить свою версию, и я объясню, почему она, скорее всего, не верна. Итак, моя версия такова. У мозга есть определённые области, знаете, области мозга. У нас есть кора головного мозга, верно? У него есть все эти области мозга. Кора головного мозга однородна, но области мозга и нейроны в каре в основном взаимодействуют со своими соседями. И это объясняет, почему у нас есть области мозга. Потому что, если вы хотите обрабатывать речь, все нейроны, отвечающие за речь, должны взаимодействовать друг с другом. А поскольку нейроны могут взаимодействовать только со своими ближайшими соседями, по большей части это должна быть область. Все области мозга у разных людей расположены примерно в одном и том же месте. Так что, возможно, эволюция запрограммировала буквально местоположение в мозге. Например, когда GPS мозга, координаты GPS такие-то и такие-то срабатывают. Это то, о чём вы должны заботиться. Возможно, именно это и сделала эволюция, потому что это было бы в её арсенале. Да, хотя есть примеры, когда, например, у людей, которые родились слепыми, эта область коры головного мозга отвечает за другое чувство. И я понятия не имею, но я был бы удивлён, если бы функции желания или вознаграждения, требующие визуального сигнала, перестали работать. Знаете, у людей, у которых задействованы разные области коры головного мозга, например, если у вас больше нет зрения, можете ли вы по-прежнему чувствовать, что я хочу, чтобы люди вокруг меня любили меня и так далее? Для чего обычно есть визуальные подсказки? Я полностью с этим согласен. Я думаю, что есть ещё более сильный контраргумент этой теории. Например, если вы думаете о людях, то есть люди, которым в детстве удалили половину мозга, и у них всё ещё есть все области мозга, но они каким-то образом перемещаются только в одно полушарие, что говорит о том, что расположение областей мозга не фиксировано. Так что эта теория не верна. Было бы здорово, если бы это было правдой, но это не так. И я думаю, что эта загадка, но интересная загадка. Например, тот факт, что эволюция каким-то образом смогла заставить нас заботиться о социальных вещах, очень-очень надёжно. И даже люди с различными психическими расстройствами, недостатками и эмоциональными проблемами, как правило, тоже заботятся об этом.
А что планируют делать по-другому? Предположительно, ваш план состоит в том, чтобы стать одной из передовых компаний, когда это время наступит. И тогда предположительно вы основали C, потому что подумали, что у вас есть способ сделать это безопасно, чего не делают другие компании. В чём разница? Я бы описал это так. Есть несколько идей, которые кажутся мне многообещающими, и я хочу их изучить и посмотреть, действительно ли они многообещающие или нет. Всё очень просто. Это попытка. Я думаю, что если идеи окажутся верными, то это те идеи, которые мы обсуждали в связи с пониманием обобщения. Если эти идеи окажутся верными, то, я думаю, у нас будет что-то стоящее. Окажутся ли они верными? Мы проводим исследования. Мы исследовательская компания. Мы добиваемся прогресса. За последний год мы действительно добились неплохих результатов, но нам нужно продолжать двигаться вперёд, проводить больше исследований. Вот как я это вижу. Я вижу это как попытку быть голосом и участником.
Недавно ваш соучредитель и предыдущий генеральный директор ушли в МТО. И люди спрашивают: "Неужели было сделано так много прорывов, что это кажется маловероятным?" Интересно, что вы ответите? >> Да, для этого я просто напомню несколько фактов, которые, возможно, были забыты. И я думаю, что эти факты, которые дают контекст, объясняют ситуацию. Контекст был в том, что мы собирали средства на сумму в 32 млрд долларов. А потом пришла Мэта и предложила нас купить. Я сказал: "Нет". Но мой бывший соучредитель в каком-то смысле сказал: "Да". В результате он также смог получить значительную краткосрочную ликвидность. И он был единственным человеком из си, который перешёл в МЕТА. Похоже, что план Си состоит в том, чтобы стать компанией, которая будет на передовой, когда наступит этот очень важный период в истории человечества, когда у вас будет сверхчеловеческий интеллект и идеи о том, как сделать так, чтобы сверхчеловеческий интеллект работал хорошо, но другие компании будут пробовать свои собственные идеи.
Что отличает подход си к созданию сверхинтеллекта? Главное, что отличает сие - это технический подход. У нас другой технический подход, который, я думаю, заслуживает внимания, и мы его придерживаемся. Я уверен, что в конце концов стратегии сойдутся. Я думаю, что в какой-то момент, когда искусственный интеллект станет более мощным, всем станет более или менее ясно, какой должна быть стратегия. И это должно быть что-то вроде, да, вам нужно найти способ общаться друг с другом. И вы хотите, чтобы ваш первый настоящий сверхразумный искусственный интеллект был согласован и каким-то образом заботился о разумной жизни, заботился о людях, был демократичным. Одним из них или их комбинацией. И я думаю, что это то, к чему должны стремиться все. И это то, к чему стремится Си. И я думаю, что со временем, если уже не сейчас, все остальные компании поймут, что они стремятся к тому же. И посмотрим. Я думаю, что мир действительно изменится, когда искусственный интеллект станет более мощным. Да, я думаю, что многие из этих прогнозов будут такими. Я думаю, что всё будет по-другому, и люди будут действовать по-другому.
Кстати, о прогнозах. Каковы ваши прогнозы для этой системы, которую вы описываете, которая может учиться так же, как человек, и в результате становится сверхчеловеком? Я думаю, от пяти до двадцати от 5 до 20 лет. Я просто хочу узнать, каким вы видите будущее. Похоже, что у нас есть ещё пара лет, когда другие компании будут придерживаться текущего подхода, и он застопорится. То есть они будут зарабатывать не больше нескольких сотен миллиардов долларов. Или как вы думаете, что значит застопориться? Да, я думаю, что это может застопориться. И я думаю, что это будет выглядеть очень похоже. Да, среди всех компаний будет что-то вроде этого. Я не уверен, потому что даже сейчас, когда они застопорились, я думаю, что эти компании могут получать колоссальную прибыль. Может быть, не прибыль, потому что им придётся много работать, чтобы отличаться друг от друга, но точно прибыль. Но в вашей модели есть что-то, что подразумевает, что когда появится правильное решение, все компании сойдутся. И мне интересно, почему вы так думаете? Ну, я больше говорил о сближении их основных стратегий. Я думаю, что в конечном итоге произойдёт сближение и в техническом подходе. Но я имел в виду сближение основных стратегий. Так что же именно нужно сделать? Я просто хочу лучше понять, каким вы видите будущее. Сейчас у нас есть разные компании, и вы ожидаете, что их подход будет приносить доход. Да. Но не дойдёт до уровня человеческого обучения. Да.
>> Итак, сейчас у нас есть разные компании. У нас есть вы, у нас есть Finking Machines, есть ещё несколько лабораторий, да, и возможно одна из них найдёт правильный подход. Но когда они выпустят свой продукт, другим людям станет ясно, как это сделать. Я думаю, что не будет ясно, как это сделать, но будет ясно, что возможно что-то другое. Верно? И это информация. И я думаю, что люди будут пытаться понять, как это работает. Я думаю, что одна из вещей, которую здесь не обсуждают - это то, что с каждым увеличением возможностей и будут происходить какие-то изменения, но я не знаю, какие именно. По умолчанию вы ожидаете, что компания, у которой есть модель, будет получать все эти преимущества, потому что у неё есть модель, которая учится делать всё. У неё есть навыки и знания, которые она накапливает в мире. Почему вы думаете, что преимущества этого будут широко распространены, а не только у той компании, которая первой запустит цикл непрерывного обучения? Я думаю, что эмпирически это происходит. Вот что, я думаю, произойдёт. Во-первых, я думаю, что эмпирически, когда давайте посмотрим, как всё происходило с ИИ в прошлом. Одна компания производила заранее, а другая компания через какое-то время выпускала что-то похожее. И они начали конкурировать на рынке и снижать цены. И я думаю, что с точки зрения рынка произойдёт что-то подобное, даже если кто-то Ладно, мы говорим о хорошем мире, кстати. А что такое хороший мир? Что такое хороший мир? Где есть мощные обучающиеся, похожие на людей? И, кстати, может быть, есть ещё одна вещь, которую мы не обсудили в спецификации сверхразумного и, которую, я думаю, стоит рассмотреть. Это то, что он может быть узконаправленным и полезным одновременно. Так что у вас может быть много узконаправленных сверхразумных и, но предположим, что у вас их много, и у вас есть компания, которая получает от этого большую прибыль. А потом появляется другая компания и начинает конкурировать. И конкуренция будет происходить за счёт специализации. Я думаю, что произойдёт то, что конкуренция любит специализацию. И вы видите это на рынке, вы видите это и в эволюции. Так что у вас будет много разных ниш, и у вас будет много разных компаний, которые занимают разные ниши в таком мире, где вы можете сказать, что одна компания и действительно немного лучше в какой-то области действительно сложной экономической деятельности. А другая компания лучше в другой области. А третья компания действительно хороша в судебных разбирательствах. И это та самое.
>> Это противоречит тому, что подразумевает обучение, похожее на человеческое, что оно может учиться. Может, но у вас есть накопленные знания, у вас большие инвестиции, вы потратили много ресурсов, чтобы стать действительно действительно действительно хорошим, феноменальным в этом деле. А кто-то другой потратил огромное количество ресурсов и опыта, чтобы стать действительно действительно хорошим в чём-то другом. Верно? Вы многому научились, но теперь вы достигли такого уровня, когда кто-то другой скажет: "Я не хочу учиться тому, чему вы научились". Я думаю, что для этого нужно, чтобы много разных компаний одновременно начали использовать агент непрерывного обучения, похожий на человеческий, чтобы они могли начать свои исследования в разных областях. Но если одна компания получит этого агента первой или получит этого обучающегося первым, то похоже, что если вы просто подумаете о каждой работе в экономике, то каждая из них будет доступна для компании. Да, это веский аргумент. Я интуитивно чувствую, что всё будет не так. Я интуитивно чувствую, что, да, как говорится в аргументе, всё будет именно так. Но я интуитивно чувствую, что всё будет не так. Что в теории нет разницы между теорией и практикой, а на практике есть. И я думаю, что это будет одна из таких ситуаций. Многие модели рекурсивного самосовершенствования буквально прямо заявляют, что у нас будет миллион ИИ на сервере, которые будут предлагать разные идеи, и это приведёт к очень быстрому появлению сверхразума. У вас есть какое-то представление о том, насколько это можно распараллелить? Каковы преимущества создания копий и я не знаю. Я думаю, что определённо будет убывающая отдача, потому что вам нужны люди, которые думают по-разному, а не одинаково. Я думаю, что если бы они были моими точными копиями, я не уверен, насколько больше пользы вы бы получили. Я так думаю, но вам нужны люди, которые думают по-разному. Почему, если вы посмотрите на разные модели, даже выпущенные совершенно разными компаниями, обученные на потенциально непересекающихся наборах данных? Они на самом деле очень похожи друг на друга. Может быть, наборы данных не так уж и не пересекающиеся, как кажется. Но есть ощущение, что даже если отдельный человек может быть менее продуктивным, чем будущий ИИ, может быть, есть что-то в том, что человеческие команды более разнообразны, чем команды ИИ. Но как нам добиться значимого разнообразия среди ИИ? Я думаю, что просто повышение температуры приводит к бессмыслице. Я думаю, вам нужно что-то вроде того, что у разных учёных разные предубеждения или разные идеи. Как добиться такого разнообразия среди агентов ИИ?
>> Я думаю, что причина отсутствия разнообразия в том, что они прошли предварительное обучение. Все предварительно обученные модели одинаковы, потому что они предварительно обучены на одних и тех же данных. Теперь, когда начинается обучение с подкреплением и постоучение, появляется некоторая разница, потому что разные люди придумывают разные методы обучения с подкреплением. Да. А ещё я слышал, что вы в прошлом намекали на самообучение как способ получить данные или сопоставить агентов с другими агентами с таким же интеллектом, чтобы начать обучение. Как нам следует думать о том, почему нет публичных предложений по такому подходу к работе с ЛОМ? Я бы сказал, что есть две вещи, которые нужно сказать. Я бы сказал, что причина, по которой я считаю само обучение интересным, заключается в том, что оно предлагает способ создавать модели, используя только ресурсы, без данных. Верно? Если вы считаете, что данные - это главное препятствие, то использование только ресурсов очень интересно. Вот почему это интересно. Но дело в том, что самообучение, по крайней мере, в том виде, в котором оно проводилось в прошлом, когда у вас есть агенты, которые каким-то образом соревнуются друг с другом, полезно только для развития определённого набора навыков. Оно слишком узкое. Оно полезно только для переговоров, конфликтов, определённых социальных навыков, разработки стратегий и тому подобного. И если вам важны эти навыки, то самообучение будет полезно. На самом деле, я думаю, что самообучение нашло своё применение, но в другой форме. В другой форме. Например, в дебатах проверки доказательств у вас есть своего рода ИИ в качестве судьи, который также заинтересован в поиске ошибок в вашей работе. Можно сказать, что это не совсем самообучение, но это похожая состязательная установка, которую используют люди, я думаю. И на самом деле самообучение - это частный случай более общего соревнования между агентами. Верно? Естественная реакция на конкуренцию стараться быть другим. И если вы поместите несколько агентов и скажете им, что вам всем нужно работать над какой-то проблемой, и вы агент, и вы проверяете, над чём работают все остальные, вы скажете: "Ну, если они уже используют этот подход, то мне не стоит его использовать. Я должен использовать что-то другое. Я думаю, что что-то подобное может создать стимул для разнообразия подходов".
Да. Последний вопрос. Что такое исследовательский вкус? Вы, очевидно, тот человек в мире, у которого лучший вкус в исследованиях и вы были соавтором многих крупнейших достижений в истории глубокого обучения от Alexnet до ГПТ-3 и так далее. Как вы придумываете эти идеи? Я могу ответить. Я могу прокомментировать это для себя. Я думаю, что разные люди делают это по-разному, но лично меня направляет эстетика того, каким должен быть и когда я думаю о людях, но думаю правильно.
>> Например, очень легко думать о людях неправильно. Но что значит думать о людях правильно? Я приведу вам несколько примеров. Идея искусственного нейрона напрямую вдохновлена мозгом. И это отличная идея. Почему? Потому что вы говорите: "Конечно, у мозга есть все эти разные органы, у него есть недостатки, но они, вероятно, не имеют значения". Почему мы думаем, что нейроны важны? Потому что их много. Это кажется правильным. Поэтому вам нужен нейрон. Да, вам нужно какое-то локальное правило обучения, которое будет изменять связи. Вам нужно какое-то локальное правило обучения, которое будет изменять связи между нейронами. Верно? Кажется правдоподобным, что мозг это делает. Идея распределённого представления. Идея о том, что мозг реагирует на опыт. Наша нейронная сеть должна учиться на опыте, а не на реакции. Мозг учится на опыте. Нейронная сеть должна учиться на опыте. И вы спрашиваете себя, является ли что-то фундаментальным или нет. Да. И я думаю, что это во многом меня направляет, когда я смотрю на вещи с разных сторон, ищу красоту, простоту и уродство. Здесь нет места уродства, только красота, простота, элегантность, правильное вдохновение от мозга. И всё это должно присутствовать одновременно. И чем больше их, тем больше вы можете быть уверены в своих убеждениях. А убеждения - это то, что поддерживает вас, когда эксперименты противоречат вам. Потому что если вы просто доверяете данным, иногда вы можете делать правильные вещи, но есть ошибка. Но вы не знаете, что есть ошибка. Как вы можете определить, что есть ошибка? Как вы понимаете, стоит ли продолжать отладку или вы пришли к выводу, что это неправильное направление? Это всё сверху вниз. Как вы можете сказать, что всё должно быть именно так? Что-то вроде этого должно работать? Поэтому нужно продолжать. Это сверху вниз. И это основано на многогранной красоте и вдохновении от мозга. by the brain.