Андрей Карпаты: AGI похоже откладывается

Обучение с подкреплением ужасно. Так уж получилось, что всё, что у нас было раньше, намного хуже. На самом деле я настроен оптимистично. Думаю, это сработает. Думаю, это решаемо. Я только звучу пессимистично, потому что, когда я захожу в свою ленту в Твиттере, я вижу все эти вещи, которые мне не имеют смысла. Многое из этого, я думаю, честно говоря, просто сбор средств. Мы не строим животных, мы строим призраков. Эти, как бы, эфирные духи, потому что они полностью цифровые и они как бы имитируют людей. И это другой вид интеллекта. Это обычное дело, потому что мы уже находимся во взрыве интеллекта и были в нем десятилетиями. Всё графично. Случайная автоматизация происходит уже сотни лет. Не пишите посты в блогах, не делайте слайды, не делайте ничего подобного. Как бы, создавайте код, упорядочивайте его, заставляйте его работать. Это единственный путь. Иначе вы упустите знания. Если у вас есть идеальный ИИ-репетитор, возможно, вы сможете продвинуться очень далеко. Гении сегодняшнего дня едва царапают поверхность того, на что способен человеческий разум. Я думаю. Сегодня я разговариваю с Андреем Карпатым. Андрей, почему вы говорите, что это будет Десятилетие Агентов, а не Год Агентов? Ну, прежде всего, спасибо, что пригласили меня. Я рад быть здесь. Итак, цитата, которую вы только что упомянули, "Десятилетие Агентов", это на самом деле реакция на существующую, я бы сказал, уже имеющуюся цитату, где, я думаю, некоторые из лабораторий, я не уверен, кто именно это сказал, но они намекали на то, что это будет Год Агентов по отношению к LLM и тому, как они будут развиваться. И я думаю, меня это задело, потому что я чувствую, что в индустрии происходят некоторые завышенные прогнозы. И в моем понимании, это гораздо точнее описывается как Десятилетие Агентов. И у нас есть некоторые очень ранние агенты, которые на самом деле чрезвычайно впечатляют и которыми я пользуюсь ежедневно: Claude и Codex и так далее. Но я всё ещё чувствую, что предстоит проделать огромную работу. И поэтому я думаю, моя реакция такова: мы будем работать с этими вещами в течение десятилетия, они будут становиться лучше, и это будет замечательно. Но я думаю, я просто реагировал на временные рамки, я полагаю, на подразумеваемое. И что, по вашему мнению, займет десятилетие для достижения? Чего бы то ни было, узких мест. Ну, на самом деле, чтобы это заработало. Так что в моем понимании, я имею в виду, когда вы говорите об агенте, я полагаю, или о том, что имеют в виду лаборатории. И что, возможно, я тоже имею в виду, это. Вы должны думать об этом почти как о сотруднике или стажере, которого вы бы наняли для работы с вами. Например, вы работаете с некоторыми сотрудниками здесь. Когда бы вы предпочли, чтобы агент, такой как Claude или Codex, выполнял эту работу? В настоящее время, конечно, они не могут. Что потребуется, чтобы они могли это делать? Почему вы не делаете это сегодня? И причина, по которой вы не делаете это сегодня, заключается в том, что они просто не работают. Так, например, у них недостаточно интеллекта, они недостаточно мультимодальны. Они не могут использовать компьютер и всё такое прочее. И они не делают многих вещей, на которые вы намекали ранее. У них нет непрерывного обучения. Вы не можете просто сказать им что-то, и они запомнят это, и им просто не хватает когнитивных способностей, и это просто не работает. И я просто думаю, что потребуется около десятилетия, чтобы разобраться со всеми этими проблемами. Интересно. Так что как профессиональный подкастер и наблюдатель ИИ издалека, мне легко определить, например, вот чего не хватает. Не хватает непрерывного обучения, или не хватает мультимодальности. Но у меня нет хорошего способа определить сроки. Если кто-то спросит: "Сколько времени займет непрерывное обучение?" У меня нет никаких предварительных знаний. Это проект, который должен занять пять лет, 10 лет, 50 лет. Почему десятилетие? Почему не один год? Почему не 50 лет? Да, я думаю, здесь вступает в игру моя собственная интуиция, а также просто экстраполяция моего собственного опыта в этой области. Так что я, наверное, занимаюсь ИИ уже почти два десятилетия. Я имею в виду, это будет, может быть, 15 лет или около того. Не так уж и долго. У вас здесь был Ричард Саттон, который, конечно, был здесь гораздо дольше. Но у меня есть около 15 лет опыта прогнозирования, наблюдения за тем, как они на самом деле сбываются. А также я некоторое время работал в индустрии, и я занимался исследованиями, и я некоторое время работал в индустрии. Так что я думаю, у меня просто есть общее интуитивное понимание, которое осталось у меня от этого. И я чувствую, что проблемы решаемы, они преодолимы, но. Но они всё ещё сложны. И если я просто усредню, это просто кажется. Билет, я думаю, для меня. Это на самом деле довольно интересно. Я хочу услышать не только историю. Но и то, что люди в комнате чувствовали, что вот-вот произойдет в различные прорывные моменты. Какими были способы, которыми их чувства были либо чрезмерно пессимистичными, либо чрезмерно оптимистичными. Должны ли мы просто пройти через каждый из них по очереди? Да, я имею в виду, это гигантский вопрос, потому что, конечно, вы говорите о 15 годах событий. Я имею в виду, ИИ на самом деле так замечателен, потому что произошло ряд, я бы сказал, сейсмических сдвигов, где всё поле как бы внезапно изменило свой вид. Правильно. И я думаю, я, возможно, пережил два или три из них, и я всё ещё думаю, что они будут продолжаться, потому что они приходят с некоторой почти удивительной нерегулярностью. Ну, когда началась моя карьера, конечно, когда я начал работать над глубоким обучением, когда я заинтересовался глубоким обучением, это было просто как бы случайно, оказавшись рядом с Джеффом Хинтоном в Университете Торонто. И Джефф Хинтон, конечно, является своего рода крестным отцом ИИ, и он обучал все эти нейронные сети. И я думал, что это невероятно и интересно, но это не было главной вещью, которой занимались все в ИИ, далеко не так. Это была нишевая маленькая подгруппа сбоку, которая, возможно, была первым драматическим, своего рода сейсмическим сдвигом, который произошел с Alexnet и так далее. Я бы сказал, что Alexnet как бы переориентировал всех, и все начали обучать нейронные сети, но это всё ещё было, как бы, очень по задачам, по конкретным задачам. Так что, возможно, у меня есть классификатор изображений, или у меня есть нейронный машинный переводчик или что-то в этом роде, и люди стали очень медленно, на самом деле, интересоваться, по сути, агентами, я бы сказал. И люди начали думать: "Хорошо, может быть, у нас есть галочка рядом с зрительной корой или что-то в этом роде. Но что насчет других частей мозга? И как мы можем получить настоящего полноценного агента или сущность, которая может взаимодействовать с миром? И я бы сказал, что сдвиг в области глубокого обучения с подкреплением Atari примерно в 2013 году был частью этих ранних усилий по созданию агентов, в моем понимании, потому что это была попытка получить агентов, которые не просто воспринимают мир, но и совершают действия, взаимодействуют и получают вознаграждения от среды. И в то время это были игры Atari, верно? И я думаю, что это был просчет, на самом деле. И это был просчет, который даже ранний OpenAI, частью которого я, конечно, был, как бы принял, потому что в то время царил дух обучения с подкреплением. Среды, игры, игры, победа в играх, получение множества различных типов игр. И OpenAI занимался многим из этого. Так что это, возможно, была еще одна видная часть, я бы сказал, ИИ, где, возможно, в течение двух, трех или четырех лет все занимались обучением с подкреплением на играх. И, по сути, это был небольшой просчет. И то, что я пытался сделать в OpenAI на самом деле, я всегда был немного подозрителен к играм как к тому, что на самом деле приведет к AGI, потому что в моем понимании, вам нужен кто-то вроде бухгалтера или кого-то, кто на самом деле взаимодействует с реальным миром. И я просто не видел, как игры складываются. И поэтому мой проект в OpenAI, например, в рамках проекта Universe по приложению для агентов, заключался в использовании клавиатуры и мыши для управления веб-страницами. И я действительно хотел иметь что-то, что взаимодействует с реальным цифровым миром и может выполнять интеллектуальную работу. И так уж получилось, что это было чрезвычайно рано, слишком рано. Так рано, что мы не должны были этим заниматься. Потому что если вы просто спотыкаетесь и бьете по клавиатуре и щелкаете мышью, пытаясь получить вознаграждение в этих средах, ваше вознаграждение слишком разрежено, и вы просто не научитесь, и вы сожжете лес вычислительных ресурсов, и вы никогда ничего не добьетесь. И поэтому то, чего вам не хватает, это сила представления в нейронной сети. И поэтому, например, сегодня люди обучают эти компьютерные агенты, но они делают это поверх большой языковой модели. И поэтому вам действительно нужно сначала получить языковую модель, вам нужно получить представления, и вам нужно сделать это с помощью всего предварительного обучения и всего этого LLM-материала. Так что я думаю, что, возможно, в широком смысле, люди как бы пытаются получить всё сразу слишком рано, несколько раз, когда люди действительно пытаются получить агентов слишком рано, я бы сказал. И это были Atari и Universe, и даже мой собственный опыт. И вам действительно нужно сделать некоторые вещи сначала, прежде чем вы сможете перейти к этим агентам. И, возможно, сейчас агенты гораздо более компетентны, но, возможно, нам всё ещё не хватает некоторых частей этого стека. Но я бы сказал, что это, возможно, три основные категории того, чем занимались люди: обучение нейронных сетей для задач, попытка первого раунда агентов, а затем, возможно, LLM и фактический поиск репрезентативной силы нейронных сетей, прежде чем добавлять всё остальное сверху. Интересно. Да, я думаю, если бы я хотел представить другую точку зрения, то внезапная перспектива заключалась бы в том, что люди на самом деле могут справляться со всем сразу, или даже животные могут справляться со всем сразу. Правильно. Животные, возможно, лучший пример, потому что у них даже нет языковой опоры. Они просто выбрасываются в мир, и им приходится разбираться во всем без каких-либо меток. И видение AGI тогда должно быть чем-то, что просто смотрит на сенсорные данные, смотрит на экран компьютера, и оно просто разбирается в том, что происходит, с нуля. Я имею в виду, если бы человека поставили в подобную ситуацию, его пришлось бы обучать с нуля. Я имею в виду, это как рост человека или рост животного. Так почему бы не быть этому видением для ИИ, а не этой вещью, где мы проводим миллионы лет обучения? Я думаю, это очень хороший вопрос. И я думаю, я имею в виду, Саттон был в вашем подкасте, и я видел подкаст, и у меня была заметка об этом подкасте, которая почти касается того, как я вижу вещи. И я думаю, я очень осторожен, когда провожу аналогии с животными, потому что они появились в результате совершенно другого процесса оптимизации. Животные эволюционировали, и они на самом деле поставляются с огромным количеством встроенного оборудования. И когда, например, мой пример в посте был зеброй, зебра рождается, и через несколько минут она бегает и следует за своей матерью. Это чрезвычайно сложная вещь. Это не обучение с подкреплением, это что-то встроенное. И эволюция, очевидно, имеет какой-то способ кодирования весов наших нейронных сетей в ATCG. И я понятия не имею, как это работает, но, видимо, работает. Так что я думаю, что мозги просто появились в результате совершенно другого процесса. И я очень не хочу черпать вдохновение из него, потому что мы на самом деле не проводим этот процесс. Так что в моем посте я как бы сказал, что мы на самом деле не строим животных, мы строим призраков или духов, или как бы люди ни хотели это назвать, потому что мы не обучаемся путем эволюции. Мы обучаемся, по сути, имитируя людей и данные, которые они разместили в Интернете. И поэтому вы получаете эти своего рода эфирные духи, потому что они полностью цифровые и они как бы имитируют людей. И это другой вид интеллекта. Как бы, если представить пространство интеллектов, мы начинаем с другой точки, почти. Мы на самом деле не строим животных, но я думаю, что со временем их можно сделать немного более похожими на животных. И я думаю, что мы должны это делать. И поэтому я думаю, что. Извините, просто. Я думаю, еще один момент в том, что я действительно чувствую, что Саттон в основном имеет очень, как бы, его рамки таковы: мы хотим строить животных. И я на самом деле думаю, что это было бы замечательно, если бы мы могли добиться этого. Это было бы потрясающе. Если бы был один алгоритм, который вы могли бы просто запустить в Интернете, и он всему научится. Это было бы невероятно. Я почти подозреваю, что. Я на самом деле не уверен, что он существует. И это, конечно, не то, что делают животные, потому что у животных есть этот внешний цикл эволюции. И многое из того, что выглядит как обучение, на самом деле является созреванием мозга. И я думаю, что для животных на самом деле очень мало обучения с подкреплением. И я думаю, что большая часть обучения с подкреплением на самом деле больше похожа на моторные задачи, это не задачи интеллекта. Так что я на самом деле думаю, что люди на самом деле не используют RL, грубо говоря, вот что я бы сказал. Можете повторить последнее предложение? Большая часть этого интеллекта — это не моторная задача, это что. Извините. Большая часть обучения с подкреплением, с моей точки зрения, будет относиться к вещам, которые гораздо более моторные, как простые задачи. Бросание кольца, что-то в этом роде. Но я не думаю, что люди используют обучение с подкреплением для многих интеллектуальных задач, таких как решение проблем и так далее. Интересно. Это не значит, что мы не должны этого делать для исследований, но я просто чувствую, что именно это делают или не делают животные. Я возьму секунду, чтобы переварить это, потому что есть много разных идей. Возможно, один уточняющий вопрос, который я могу задать, чтобы понять эту точку зрения. Итак, я думаю, вы предлагаете, что, смотрите, эволюция делает то, что делает предварительное обучение в смысле создания чего-то, что затем может понимать мир. Разница, я думаю, в том, что эволюция должна быть титрована в случае людей через 3 гигабайта ДНК. И это очень отличается от весов модели. Я имею в виду, буквально веса модели — это мозг, который, очевидно, не закодирован в сперматозоидах и яйцеклетках или не существует в сперматозоидах и яйцеклетках. Так что его нужно вырастить. И также информация для каждого отдельного синапса в мозге просто не может существовать в 3 гигабайтах, которые существуют в ДНК. Эволюция кажется ближе к поиску алгоритма, который затем выполняет обучение в течение жизни. Теперь, возможно, обучение в течение жизни не является аналогом RL. По вашему мнению, совместимо ли это с тем, что вы говорили, или вы бы с этим не согласились? Я думаю, да. Я согласен с вами, что происходит какое-то чудесное сжатие, потому что, очевидно, веса нейронной сети не хранятся в ATCG. Происходит какое-то драматическое сжатие, и есть какие-то обучающие алгоритмы. Закодированные, которые берут на себя управление и выполняют часть обучения онлайн. Так что я определенно согласен с вами в этом. По сути, я бы сказал, что я гораздо более, как бы, практичен. Я не подхожу к этому с точки зрения, как бы, давайте строить животных. Я подхожу к этому с точки зрения, как бы, давайте строить полезные вещи. Так что у меня на голове каска, и я просто наблюдаю, что, смотрите, мы не будем заниматься эволюцией, потому что я не знаю, как это сделать. Но так уж получилось, что мы можем строить эти призрачные, духовные сущности, имитируя интернет-документы. Это работает. И это на самом деле как бы, это способ поднять вас до чего-то, что имеет много встроенных знаний и интеллекта в некотором роде, похожего на то, что сделала эволюция. Поэтому я как бы называю предварительное обучение своего рода "дерьмовой эволюцией". Это как бы практически возможная версия с нашими технологиями и тем, что у нас есть в распоряжении, чтобы достичь отправной точки, где мы можем фактически делать такие вещи, как обучение с подкреплением и так далее. Просто чтобы представить другую точку зрения. Потому что после того, как я сделал это в интервью и немного подумал об этом, у него есть важный момент. Эволюция на самом деле не дает нам знаний. Правильно. Она дает нам алгоритм для поиска знаний. И это кажется отличным от предварительного обучения. Так что, если, возможно, точка зрения заключается в том, что предварительное обучение помогает создать сущность, которая может лучше учиться, оно обучает метаобучению и, следовательно, похоже на поиск алгоритма. Но если это как бы эволюция дает нам знания, а предварительное обучение дает нам знания, эта аналогия, кажется, рушится. Так что это тонко, и я думаю, вы правы, что возражаете. Но, по сути, то, что делает предварительное обучение, так это то, что вы, по сути, получаете предсказатель следующего токена в Интернете, и вы обучаете это в нейронной сети, оно делает две вещи, которые на самом деле как бы не связаны. Во-первых, оно усваивает все эти знания, как я их называю. Во-вторых, оно на самом деле становится умным. Наблюдая за алгоритмическими паттернами в Интернете, оно фактически загружает все эти маленькие схемы и алгоритмы внутри нейронной сети для выполнения таких вещей, как обучение в контексте, и всего этого. И на самом деле вам не нужны или не нужны знания. Я на самом деле думаю, что это, вероятно, сдерживает нейронные сети в целом, потому что это как бы заставляет их слишком сильно полагаться на знания иногда. Например, я думаю, что агенты, одна вещь, в которой они не очень хороши, это выход за пределы многообразия данных того, что существует в Интернете. Если бы у них было меньше знаний или меньше памяти, на самом деле, возможно, они были бы лучше. И поэтому я думаю, что нам нужно сделать в будущем, и это будет частью исследовательских парадигм, это на самом деле подумать, нам нужно найти способы удалить часть знаний и сохранить то, что я называю этим когнитивным ядром как этой интеллектуальной сущностью, которая как бы лишена знаний, но содержит алгоритмы и содержит магию интеллекта и решения проблем и стратегии этого и всего этого. Там так много интересного. Хорошо, давайте начнем с обучения в контексте. Это очевидный момент, но я думаю, стоит просто сказать это вслух и поразмыслить над этим. Ситуация, в которой эти модели кажутся наиболее интеллектуальными, в которой они как бы, я разговариваю с ними, и я говорю: "Вау, там действительно кто-то на другом конце, кто отвечает мне, думая о вещах". Если он совершает ошибку, это как бы: "О, подождите, это на самом деле неправильный способ думать об этом". Я отступаю назад, всё это происходит в контексте. Вот почему я чувствую, что настоящий интеллект вы можете видеть визуально. И этот процесс обучения в контексте разработан градиентным спуском на предварительном обучении. Правильно? Как бы, он спонтанно метаобучается в обучении в контексте, но само обучение в контексте не является градиентным спуском. В том же смысле, что наш жизненный интеллект как людей, чтобы быть способными делать вещи, обусловлен эволюцией, но наше фактическое обучение в течение нашей жизни происходит по какому-то другому процессу. Я на самом деле не полностью согласен с этим, но вы должны продолжить свою мысль. Хорошо, на самом деле, тогда мне очень любопытно понять, как эта аналогия рушится. Я думаю. Я не решаюсь сказать, что обучение в контексте не является градиентным спуском, потому что, я имею в виду, это не явный градиентный спуск. Но я всё ещё думаю, что. Так что обучение в контексте, по сути, это завершение паттерна в пределах окна токенов. Правильно. И так уж получилось, что в Интернете огромное количество паттернов. И поэтому вы правы, модель как бы учится завершать паттерн, и это внутри весов. Веса нейронной сети пытаются обнаружить паттерны и завершить паттерн. И происходит какая-то адаптация внутри нейронной сети, верно? Что как бы волшебно и просто вытекает из Интернета, просто потому, что там много паттернов. Я скажу, что были некоторые статьи, которые я считал интересными, которые на самом деле рассматривают механизмы обучения в контексте. И я действительно думаю, что возможно, что обучение в контексте на самом деле запускает небольшой цикл градиентного спуска внутри слоев нейронной сети. И поэтому я вспоминаю одну статью, в частности, где они делали линейную регрессию на самом деле, используя обучение в контексте. Так что, по сути, ваши входные данные в нейронную сеть — это пары XY, XY, XY, XY, которые случайно оказались на линии, а затем вы вводите X и ожидаете Y. И нейронная сеть, когда вы обучаете ее таким образом, на самом деле выполняет линейную регрессию. И обычно, когда вы выполняете линейную регрессию, у вас есть небольшой оптимизатор градиентного спуска, который фактически смотрит на X, Y, смотрит на ошибку, вычисляет градиент весов и выполняет обновление несколько раз. Так уж получилось, что когда они смотрели на веса этого алгоритма обучения в контексте, они на самом деле нашли некоторые аналогии с механизмами градиентного спуска. Фактически, я думаю, что статья была даже сильнее, потому что они фактически жестко закодировали веса нейронной сети для выполнения градиентного спуска через внимание и все внутренние механизмы нейронной сети. Так что, я думаю, это просто мое единственное возражение: кто знает, как работает обучение в контексте, но я на самом деле думаю, что оно, вероятно, выполняет немного какого-то внутреннего градиентного спуска, и я думаю, что это возможно. Так что я, я думаю, просто возражал против. Вы говорите, что это не обучение в контексте. Кто знает, что это такое. Но, вероятно, это делает что-то похожее, но мы не знаем. Так что тогда стоит подумать. Хорошо, если оба реализуют градиент. Извините. Если обучение в контексте и предварительное обучение оба реализуют что-то вроде градиентного спуска, почему кажется, что обучение в контексте на самом деле приводит нас к непрерывному обучению, реальному интеллекту, тогда как вы не получаете аналогичного ощущения просто от предварительного обучения. По крайней мере, можно утверждать. И если это один и тот же алгоритм, что может быть иначе? Ну, один из способов, которым вы можете думать об этом, это сколько информации модель хранит на единицу информации, которую она получает от обучения. И если вы посмотрите на предварительное обучение, если вы посмотрите на Llama 3, например, я думаю, что она обучена на 15 триллионах токенов. И если вы посмотрите на модель 70B, это будет эквивалентно 0,07 бита на токен в том, что она видит при предварительном обучении, с точки зрения информации и весов модели по сравнению с токенами, которые она читает. В то время как если вы посмотрите на KV-кэш и как он растет на каждый дополнительный токен, в обучении в контексте это около 320 килобайт. Так что это разница в 35 миллионов раз в том, сколько информации на токен усваивается моделью. Интересно, имеет ли это какое-либо значение. Я думаю, я как бы согласен. Я имею в виду, обычно я говорю так: всё, что происходит во время обучения нейронной сети, знания — это лишь своего рода туманное воспоминание о том, что произошло во время обучения. И это потому, что сжатие драматично. Вы берете 15 триллионов токенов и сжимаете их до вашей финальной нейронной сети из нескольких миллиардов параметров. Так что, очевидно, происходит огромное сжатие. Так что я как бы называю это туманным воспоминанием об интернет-документах. В то время как всё, что происходит в контекстном окне нейронной сети, вы вставляете все токены, и она строит всю эту KV-кэш-репрезентацию, которая очень непосредственно доступна нейронной сети. Так что я сравниваю KV-кэш и то, что происходит во время тестирования, с рабочей памятью. Как бы, всё, что находится в контекстном окне, очень непосредственно доступно нейронной сети. Так что всегда есть эти почти удивительные аналогии между LLM и людьми. И я нахожу их как бы удивительными, потому что мы, конечно, не пытаемся напрямую построить человеческий мозг. Мы просто обнаруживаем, что это работает, и мы делаем это. Но я действительно думаю, что всё, что находится в весах, это как бы туманное воспоминание о том, что вы читали год назад. Всё, что вы даете ему в качестве контекста во время тестирования, находится непосредственно в рабочей памяти. И я думаю, что это очень мощная аналогия для размышлений. Так что, когда вы, например, обращаетесь к LLM и спрашиваете ее о какой-то книге и о том, что в ней произошло, например, о книге Ника Лейна или что-то в этом роде, LLM часто дает вам что-то, что примерно правильно. Но если вы дадите ей полную главу и зададите вопросы, вы получите гораздо лучшие результаты, потому что она теперь загружена в рабочую память модели. Так что я, по сути, согласен с вашим очень долгим способом сказать это. Я как бы согласен. И именно поэтому, если отступить, что является той частью человеческого интеллекта, которую мы наиболее неудачно воспроизвели с помощью этих моделей? Я почти чувствую, что всё ещё многое. Так что, возможно, один из способов подумать об этом. Я не знаю, лучший ли это способ, но я почти чувствую, что, опять же, проводя эти аналогии, которые несовершенны, мы споткнулись с трансформерной нейронной сетью, которая чрезвычайно мощная, очень общая. Вы можете обучать трансформеры на аудио или видео или тексте или на чем угодно, и она просто учится паттернам, и они очень мощные, и это работает очень хорошо. Это, на мой взгляд, почти указывает на то, что это своего рода часть кортикальной ткани. Это что-то вроде этого. Потому что кора также известна своей пластичностью. Вы можете перестраивать части мозга. И были немного жуткие эксперименты по перестройке зрительной коры в слуховую кору, и это животное, как бы, учится, находит и так далее. Так что я думаю, что это своего рода кортикальная ткань, я думаю, когда мы занимаемся рассуждениями и планированием внутри нейронных сетей, то есть, по сути, выполняем следы рассуждений для моделей мышления, это своего рода префронтальная кора. И тогда я думаю, что это, возможно, маленькие галочки. Но я всё ещё думаю, что есть много частей мозга и ядер, которые не исследованы. Так что, возможно, например, есть базальные ганглии, которые занимаются обучением с подкреплением. Когда мы донастраиваем модели на обучение с подкреплением. Но что касается гиппокампа, не очевидно, что это будет. Некоторые части, вероятно, не важны. Возможно, мозжечок не важен для познания. Так думают, так что, возможно, мы можем пропустить некоторые из них. Но я всё ещё думаю, что есть, например, миндалевидное тело, все эмоции и инстинкты, и, вероятно, есть куча других ядер в мозге, которые очень древние, и я не думаю, что мы действительно их воспроизвели. Я на самом деле не знал, что мы должны стремиться к созданию аналога человеческого мозга. Я снова в основном инженер в душе, но я всё ещё чувствую, что, возможно, другой способ ответить на вопрос — вы не будете нанимать это как стажера. И ему не хватает многого, потому что он приходит со многими из этих когнитивных дефицитов, которые мы все интуитивно чувствуем, когда разговариваем с моделями. И поэтому он просто как бы не совсем готов. Вы можете рассматривать это как то, что не все части мозга отмечены галочкой. Это, возможно, имеет отношение к вопросу о том, как быстро эти проблемы будут решены. Так что иногда люди говорят о непрерывном обучении: "Смотрите, на самом деле вы можете легко воспроизвести эту возможность. Точно так же, как обучение в контексте спонтанно возникло в результате предварительного обучения. Непрерывное обучение на более длительных горизонтах возникнет спонтанно, если модель будет стимулирована вспоминать информацию на более длительных горизонтах или горизонтах, превышающих одну сессию. Так что, если есть какой-то внешний цикл RL, который имеет много сессий в этом внешнем цикле, то это непрерывное обучение, где он использует донастройку себя или записывает во внешнюю память или что-то в этом роде, просто возникнет спонтанно. Думаете ли вы, что есть правдоподобные вещи? У меня нет реального априорного знания о том, насколько это правдоподобно. Насколько вероятно, что это произойдет? Я не знаю, полностью ли я резонирую с этим, потому что я чувствую, что эти модели, когда вы их загружаете, и у них ноль токенов в окне, они всегда перезапускаются с нуля, где они были. Так что я на самом деле не знаю, как это выглядит в этом мировоззрении, потому что, опять же, возможно, проводя некоторые аналогии с людьми, просто потому, что я думаю, что это примерно конкретно и интересно для размышлений. Я чувствую, что когда я бодрствую, я создаю контекстное окно вещей, которые происходят в течение дня. Но я чувствую, что когда я ложусь спать, происходит что-то волшебное, где я на самом деле не думаю, что это контекстное окно остается. Я думаю, что происходит какой-то процесс дистилляции в веса моего мозга, и это происходит во время сна и всего этого. У нас нет эквивалента этого в больших языковых моделях. И это, на мой взгляд, ближе к тому, когда вы говорите о непрерывном обучении и так далее, как отсутствующем. Эти модели на самом деле не имеют этой фазы дистилляции, когда они берут то, что произошло, анализируют это одержимо, думают об этом, по сути, выполняют какой-то процесс генерации синтетических данных и дистиллируют это обратно в веса, и, возможно, имеют специфическую нейронную сеть на человека. Возможно, это LoRA. Это не полная. Да, это не полная нейронная сеть с весами. Это просто некоторые из малых, разреженных подмножеств весов изменяются. Но, по сути, мы хотим создать способы создания этих индивидов, которые имеют очень длинные контексты. Это не только остается в контекстном окне, потому что контекстные окна становятся очень, очень длинными. Например, у нас может быть очень сложная, разреженная схема внимания. Но я всё ещё думаю, что у людей, очевидно, есть какой-то процесс для дистилляции некоторых из этих знаний в веса. Мы этого не имеем. И я также думаю, что у людей есть какая-то очень сложная схема разреженного внимания, где, я думаю, мы начинаем видеть некоторые ранние намеки. Так что DeepSeq v3.2 только что вышел, и я видел, что у них есть, например, разреженное внимание в качестве примера. И это один из способов иметь очень, очень длинные контекстные окна. Так что я почти чувствую, что мы повторяем многие когнитивные трюки, которые придумала эволюция, через совершенно другой процесс, но мы, я думаю, сходимся к похожей архитектуре. Когнитивно интересно. Через 10 лет, думаете ли вы, это всё ещё будет что-то вроде трансформера, но с гораздо более модифицированным вниманием и более разреженными MLP и так далее. Ну, я люблю думать об этом так: хорошо, давайте переведем инвариантность во времени, верно? Так где мы были 10 лет назад? 2015 год, у нас были сверточные нейронные сети, в основном остаточные сети, только что вышли. Так что удивительно похоже, но всё ещё довольно отличается. Я имею в виду, трансформера тогда не было. Вы знаете, все эти более современные модификации трансформера тогда не существовали. Так что, возможно, некоторые вещи, на которые мы можем делать ставки, я думаю, через 10 лет, благодаря трансляционной, так сказать, эквивариантности, мы всё ещё будем обучать гигантские нейронные сети с прямым обратным проходом и обновлением через градиентный спуск, но, возможно, это будет выглядеть немного иначе, и всё будет намного больше. На самом деле, недавно я также вернулся в 1989 год, что было для меня забавным упражнением несколько лет назад, потому что я воспроизводил сверточную сеть Яна ЛеКуна 1989 года, которая была первой нейронной сетью, которую я знаю, обученной с помощью градиентного спуска, как современная нейронная сеть, обученная градиентным спуском на распознавании цифр. И мне было просто интересно: "Хорошо, как я могу это модернизировать? Сколько из этого — алгоритмы? Сколько из этого — данные? Сколько из этого прогресса — вычислительные мощности и системы?" И я смог очень быстро уменьшить скорость обучения вдвое, просто зная, путешествуя во времени на 33 года. Так что, если я путешествую во времени по алгоритмам на 33 года, я могу скорректировать то, что сделал Ян ЛеКун в 1989 году, и я могу, по сути, уменьшить ошибку вдвое. Но чтобы получить дальнейшие улучшения, мне пришлось добавить гораздо больше данных. Мне пришлось увеличить обучающий набор в 10 раз, а затем мне пришлось добавить больше вычислительных оптимизаций, пришлось, по сути, обучаться гораздо дольше с помощью dropout и других методов регуляризации. И поэтому почти так, как все эти вещи должны улучшаться одновременно. Так что, вероятно, у нас будет гораздо больше данных, вероятно, у нас будет гораздо лучшее оборудование, вероятно, у нас будут гораздо лучшие ядра и программное обеспечение. Вероятно, у нас будут лучшие алгоритмы, и все это. Почти так, как будто никто из них не выигрывает слишком много. Все они удивительно равны. И эта тенденция сохраняется уже некоторое время. Так что, я думаю, чтобы ответить, возможно, на ваш вопрос, я ожидаю различий в алгоритмическом плане по сравнению с тем, что происходит сегодня. Но я также ожидаю, что некоторые из вещей, которые сохранились очень долго, вероятно, всё ещё будут там. Это, вероятно, всё ещё гигантская нейронная сеть, обученная градиентным спуском. Это было бы моим предположением. Удивительно, что все эти вещи вместе только вдвое уменьшили ошибку, что составляет около 30 лет прогресса. Возможно, половина — это много, потому что если вы уменьшаете ошибку вдвое, это на самом деле означает. Что половина — это много. Да. Но я думаю, что меня шокировало то, что всё должно улучшаться повсеместно. Архитектура оптимизировала функцию потерь и также улучшалась повсеместно навсегда. Так что я думаю, что все эти изменения будут живы и здоровы. Да. На самом деле, я собирался задать вам очень похожий вопрос о NanoChat, потому что, поскольку вы недавно кодировали его, каждый отдельный шаг в процессе создания чат-бота свеж в вашей оперативной памяти. И мне интересно, были ли у вас похожие мысли о том, что, например, не было одной вещи, которая была бы важна для перехода от GPT2 к NanoChat. Какие, своего рода, неожиданные выводы из опыта создания NanoChat? Так что NanoChat — это своего рода репозиторий, который я выпустил. Это было вчера или позавчера? Я не помню. Мы можем увидеть тщательное обдумывание, которое было вложено в. Ну, это просто попытка быть. Это попытка быть самым простым полным репозиторием, который охватывает весь конвейер от начала до конца создания клона ChatGPT. И поэтому, вы знаете, у вас есть все шаги, а не просто какой-либо отдельный шаг, который представляет собой кучу. Я работал над всеми отдельными шагами в прошлом, и действительно маленькими фрагментами кода, которые показывают вам, как это делается в алгоритмическом смысле, в простом коде. Но это, как бы, обрабатывает весь конвейер. Я думаю, с точки зрения обучения, это не столько. Я не знаю, что я на самом деле узнал из этого, обязательно. Я как бы уже имел в виду, как это построить. И это просто процесс механического построения и обеспечения его чистоты, чтобы люди могли действительно учиться на нем и находить его полезным. Да. Какой лучший способ для кого-то учиться на нем? Это просто как бы удалить весь код и попытаться переписать с нуля, попытаться добавить модификации к нему? Да, я думаю, это отличный вопрос. Я бы, вероятно, сказал так. По сути, это около 8000 строк кода, которые проведут вас через весь конвейер. Я бы, вероятно, поместил его на правый монитор. Как бы, если у вас два монитора, поместите его справа. И вы хотите построить его с нуля, вы строите его с нуля, вам не разрешается копировать и вставлять, вам разрешается ссылаться, вам не разрешается копировать и вставлять. Возможно, так бы я и сделал. Но я также думаю, что сам репозиторий — это довольно большой зверь. Я имею в виду, вы знаете, когда вы пишете этот код, вы не идете сверху вниз, вы идете по фрагментам, и вы выращиваете фрагменты, и эта информация отсутствует. Как бы, вы не знали, с чего начать. И поэтому я думаю, что нужен не только финальный репозиторий, но и само построение репозитория, которое является сложным процессом роста фрагментов. Так что этой части пока нет. Я бы хотел добавить это, вероятно, на этой неделе или что-то в этом роде, каким-то образом. Как бы, либо это, вероятно, видео, либо что-то в этом роде. Но. Но, возможно, в общих чертах, вот что бы я попытался сделать: построить всё самостоятельно, но не разрешать себе копировать и вставлять. Я действительно думаю, что есть два типа знаний, почти как есть поверхностные знания высокого уровня. Но дело в том, что когда вы действительно строите что-то с нуля, вы вынуждены смириться с тем, что вы на самом деле не понимаете, и вы не знаете, что вы не понимаете. Интересно. И это всегда приводит к более глубокому пониманию. И это как бы единственный способ строить: если я не могу это построить, я этого не понимаю. Это код Фейнмана, я полагаю, или что-то в этом роде. Я на 100%. Я всегда очень сильно верил в это, потому что есть все эти микро-вещи, которые просто неправильно расположены, и у вас нет реальных знаний. Вы просто думаете, что у вас есть знания. Так что не пишите посты в блогах, не делайте слайды, не делайте ничего подобного. Создавайте код, упорядочивайте его, заставляйте его работать. Это единственный путь, иначе вы упустите знания. Вы написали в Твиттере, что кодирующие модели на самом деле были очень мало полезны вам при сборке этого репозитория. И мне интересно, почему это так. Да, так что репозиторий, я думаю, я строил его в течение чуть более месяца. И я бы сказал, что есть три основных класса того, как люди взаимодействуют с кодом прямо сейчас. Некоторые люди полностью отвергают все LLM, и они пишут с нуля. Я думаю, это, вероятно, не правильный подход больше. Промежуточная часть, где я нахожусь, это то, что вы всё ещё пишете много вещей с нуля, но вы используете автодополнение, которое, по сути, доступно сейчас из этих моделей. Так что, когда вы начинаете писать небольшой фрагмент, он будет. Они все будут завершать его для вас, и вы можете просто нажать, и в большинстве случаев это правильно, иногда нет, и вы редактируете это, но вы всё ещё очень сильно являетесь архитектором того, что вы пишете. А затем есть "вайб-кодинг". Привет, пожалуйста, реализуй это или то, введите, а затем позвольте модели сделать это. И это агенты. Я действительно чувствую, что агенты работают в очень специфических условиях, и я бы использовал их в специфических условиях. Но опять же, это все инструменты, доступные вам, и вы должны научиться тому, на что они способны, а на что нет, и когда их использовать. Так что агенты на самом деле довольно хороши. Например, если вы занимаетесь шаблонным кодом, шаблонным кодом, который является просто копированием и вставкой, они очень хороши в этом. Они очень хороши в вещах, которые очень часто встречаются в Интернете, потому что есть много примеров этого в обучающих наборах этих моделей. Так что есть, как бы, особенности вещей, в которых модели будут работать очень хорошо. Я бы сказал, что NanoChat не является примером этого, потому что это довольно уникальный репозиторий. Там не так много кода, я думаю, в том виде, в котором я его структурировал. И, и это не шаблонный код. Это как бы, на самом деле, интеллектуально интенсивный код, почти. И всё должно быть очень точно упорядочено. И модели всегда пытались, они продолжали пытаться. Я имею в виду, у них так много когнитивных дефицитов, верно? Так что, например, они продолжают неправильно понимать код, потому что у них слишком много памяти от всех типичных способов делать вещи в Интернете, которые я просто не использовал. Так что модели, например, я имею в виду, я не знаю, хочу ли я вдаваться в полные детали, но они продолжают, они продолжают думать, что я пишу обычный код, а я нет. Может быть, один пример, может быть, один пример. Так что способ синхронизации. Так что у вас есть восемь GPU, которые все выполняют прямой и обратный проход. Способ синхронизации градиентов между ними — использовать контейнер распределенного параллелизма данных PyTorch, который автоматически делает всё, как бы, когда вы делаете обратный проход, он начнет обмениваться данными и синхронизировать градиенты. Я не использовал DDP, потому что я не хотел его использовать, потому что он не нужен. Так что я выбросил его и, по сути, написал свою собственную процедуру синхронизации, которая находится внутри шага оптимизатора. И поэтому модели пытались заставить меня использовать контейнер DDP, и они очень беспокоились о, хорошо, это становится слишком техническим, но я не использовал этот контейнер, потому что он мне не нужен. И у меня есть пользовательская реализация. Чего-то похожего на это, и они просто не могли этого понять. У вас была своя. Да, они не могли пройти мимо этого. И тогда они продолжали пытаться испортить стиль. Они слишком оборонительны. Они делают все эти операторы try-catch. Они продолжают пытаться сделать производную кодовую базу. И у меня есть куча предположений в моем коде, и это нормально, и это просто как бы, мне не нужно всё это дополнительное в нем. И поэтому я просто думаю, что они раздувают кодовую базу, они раздувают сложность. Они продолжают неправильно понимать, они используют устаревшие API много раз. Так что это полный беспорядок, и это просто не так полезно. Я могу зайти, я могу это почистить, но это не является чистой пользой. Я также чувствую, что раздражает необходимость набирать то, что я хочу, на английском языке, потому что это слишком много набора. Если я просто перейду к части кода, где я хочу, и пойду туда, где я знаю, что код должен появиться, и начну набирать первые три буквы, автодополнение получит это и просто даст мне код. И поэтому я думаю, что это очень высокая пропускная способность информации для указания того, что вы хотите. Если вы укажете на код, где вы хотите его, и наберете первые несколько частей, модель завершит его. Так что, я думаю, что я имею в виду, я думаю, что эти модели хороши в определенных частях стека. На самом деле я использую модели немного. Есть два примера, где я на самом деле использую модели, которые, я думаю, иллюстративны. Один был, когда я генерировал отчет, который на самом деле более шаблонный. Так что я на самом деле частично кодировал некоторые из этих вещей, что было нормально, потому что это не критически важные вещи, и это работает нормально. А затем другая часть — когда я переписывал токенизатор на Rust, я на самом деле не так хорош в Rust, потому что я довольно новичок в Rust. Так что я делал. Там было немного "вайб-кодинга", когда я писал часть кода на Rust. Но у меня была реализация на Python, которую я полностью понимаю, и я просто убеждаюсь, что я делаю более эффективную версию этого, и у меня есть тесты, так что я чувствую себя безопаснее, делая это. И поэтому, по сути, они снижают или как бы повышают доступность к языкам или парадигмам, с которыми вы, возможно, не так хорошо знакомы. Так что я думаю, что они очень полезны и там, потому что существует тонна кода на Rust, с которым модели на самом деле довольно хороши. Я, случайно, не очень хорошо знаю это. Так что модели очень полезны там. Причина, по которой я думаю, что этот вопрос так интересен, заключается в том, что основная история, которую люди рассказывают о взрывном росте ИИ и быстром достижении сверхинтеллекта, — это автоматизация ИИ, инженерного дела ИИ и исследований ИИ. Так что они будут смотреть на тот факт, что вы можете иметь облачный код, создавать целые CRUD-приложения с нуля, и говорить: "Если бы у вас была эта возможность внутри OpenAI и DeepMind и всего остального, ну, просто представьте уровень тысячи вас или миллиона вас параллельно, находящих небольшие архитектурные твики". И поэтому довольно интересно слышать, что вы говорите, что это то, в чем они асимметрично хуже. И это довольно актуально для прогнозирования, произойдет ли взрыв типа "AI 2027" в ближайшее время. Я думаю, это хорошее изложение. И я думаю, вы затрагиваете некоторые из моих, как бы, почему мои временные рамки немного длиннее. Вы правы. Я думаю, да, они не очень хороши в коде, который, возможно, никогда раньше не писался, это, как бы, один из способов сказать это, что, как бы, чего мы пытаемся достичь, когда мы строим эти модели. Очень наивный вопрос, но архитектурные твики, которые вы добавляете к NanoChat, они где-то в статье, верно? Они, возможно, даже где-то в репозитории. Так почему удивительно, что они не смогли интегрировать это. Когда вы, например, добавляете rope embeddings или что-то в этом роде, они делают это неправильно. Это сложно. Я думаю, они вроде как знают, но не полностью знают, и они не знают, как полностью интегрировать это в репозиторий и ваш стиль, и ваш код, и ваше место, и некоторые из пользовательских вещей, которые вы делаете, и как это сочетается со всеми предположениями репозитория и всем этим. Так что я думаю, что у них есть некоторые знания, но они не добрались до места, где они могут фактически интегрировать это, осмыслить это и так далее. Я также думаю, что многое из этого, кстати, продолжает улучшаться. Так что я думаю, что в настоящее время, вероятно, самая передовая модель, к которой я обращаюсь, это GPT5 Pro. И это очень мощная модель. Так что, если у меня есть 20 минут, я скопирую и вставлю весь свой репозиторий, и обращусь к GPT5 Pro, Оракулу, с некоторыми вопросами, и часто это не так уж и плохо, и удивительно хорошо по сравнению с тем, что существовало год назад.

Но я думаю, что в целом модели еще не готовы, и мне кажется, что индустрия делает слишком большой скачок и пытается выдать это за нечто удивительное, хотя это не так. Это халтура. И я думаю, они не смиряются с этим, и, возможно, они пытаются привлечь финансирование или что-то в этом роде. Я не уверен, что происходит, но мы находимся на этой промежуточной стадии. Модели потрясающие. Им все еще нужна большая доработка. Пока что автодополнение — это моя стихия. Но иногда для некоторых типов кода я обращаюсь к агенту Нолана. Да, на самом деле, вот еще одна причина, почему это действительно интересно. На протяжении всей истории программирования было множество улучшений производительности: компиляторы, линтинг, лучшие языки программирования и т. д., которые повысили производительность программирования, но не привели к взрыву. Так что это похоже на то, что звучит очень похоже на автодополнение вкладок, а другая категория — это просто автоматизация программиста. Да. И интересно, что вы видите больше в категории исторических аналогий, таких как лучшие компиляторы или что-то еще, возможно, потому что. Это порождает еще одну мысль: мне кажется, мне трудно различить, где начинается и заканчивается ИИ, потому что я считаю ИИ фундаментальным продолжением вычислений в некотором довольно фундаментальном смысле. И мне кажется, я вижу континуум этого типа рекурсивного самосовершенствования или ускорения программистов с самого начала. Даже, я бы сказал, редакторы кода, подсветка синтаксиса, проверка синтаксиса, даже типов, как проверка типов данных, все эти инструменты, которые мы создали друг для друга. Даже поисковые системы. Почему поисковые системы не являются частью ИИ? Я не знаю, ранжирование как своего рода ИИ. В какой-то момент Google был похож, даже на ранних этапах они считали себя компанией, занимающейся ИИ, создающей поисковую систему Google, что, я думаю, совершенно справедливо. И поэтому я вижу это скорее как континуум, чем, думаю, другие люди. И мне трудно провести черту. И мне кажется, что мы сейчас получаем гораздо лучшее автодополнение, а теперь мы также получаем некоторых агентов, которые вроде как похожи на эти петлевые вещи, но они иногда выходят из-под контроля. И происходит то, что человек постепенно делает все меньше и меньше низкоуровневой работы. Например, мы не пишем ассемблерный код, потому что у нас есть компиляторы, верно? Компиляторы возьмут мой высокоуровневый язык на C и напишут ассемблерный код. Так мы очень, очень медленно абстрагируемся. И есть то, что я называю ползунком автономии: все больше и больше вещей автоматизируется из того, что может быть автоматизировано в любой момент времени. И мы делаем все меньше и меньше, повышая себя в трудовой абстракции над автоматизацией. Одна из больших проблем с RL заключается в том, что она невероятно информационно разрежена. Labelbox может помочь вам с этим, увеличив объем информации, из которой ваш агент может учиться в каждом эпизоде. Например, один из их клиентов хотел обучить кодирующего агента. Поэтому Labelbox дополнил IDE набором дополнительных инструментов для сбора данных и привлек команду экспертов-разработчиков программного обеспечения из своей сети выравнивателей для создания траекторий, оптимизированных для обучения. Теперь, очевидно, эти инженеры оценивали эти взаимодействия на основе пройдено/не пройдено, но они также оценивали каждый ответ по ряду различных параметров, таких как читаемость и производительность. И они записывали свои мыслительные процессы для каждой данной оценки. Таким образом, вы показываете каждый шаг, который делает инженер, и каждую мысль, которая у него возникает во время работы. И это то, чего никогда нельзя получить только из данных использования. И поэтому Labelbox упаковал все эти оценки и включил все траектории агентов и корректирующие человеческие правки для клиента, чтобы он мог обучаться. Это всего лишь один пример. Так что проверьте, как Labelbox может предоставить вам высококачественные передовые данные по различным областям, модальностям и парадигмам обучения. Свяжитесь с нами по адресу Labelbox.com. Дваркеш, давайте поговорим немного о RL. Вы двое сделали кое-что очень интересное по этому поводу. Концептуально, как мы должны думать о том, как люди способны построить богатую модель мира, просто взаимодействуя с окружающей средой, и так, что это кажется почти не зависящим от конечной награды? В конце эпизода, если кто-то начинает начинать бизнес, и в конце 10 лет она узнает, преуспел бизнес или потерпел неудачу, мы говорим, что она получила много мудрости и опыта, но это не потому, что журналы каждого события за последние 10 лет были взвешены или понижены. Происходит что-то гораздо более целенаправленное и богатое. Какова аналогия ML, и как это сравнивается с тем, что мы делаем с LLM прямо сейчас? Да, возможно, я бы сказал так: люди не используют обучение с подкреплением, возможно, это то, что я сказал. Я думаю, они делают что-то другое, где это просто, да, вы испытываете. Так что обучение с подкреплением намного хуже, чем я думаю, думает средний человек. Обучение с подкреплением ужасно. Просто так получилось, что все, что у нас было раньше, намного хуже, потому что раньше мы просто имитировали людей. Так что у него есть все эти проблемы. Итак, в обучении с подкреплением, скажем, вы работаете с. Вы решаете математическую задачу, потому что это очень просто. Вам дана математическая задача, и вы пытаетесь найти решение. Теперь, в обучении с подкреплением, вы сначала попробуете много вещей параллельно. Итак, вам дана задача, вы пробуете сотни различных попыток. И эти попытки могут быть сложными, верно? Они могут быть такими: о, позвольте мне попробовать это. Позвольте мне попробовать то. Это не сработало. То не сработало и так далее. И тогда, возможно, вы получите ответ, и теперь вы проверяете конец книги и видите: хорошо, правильный ответ — это это. И тогда вы можете увидеть, что, хорошо, этот, этот и тот получили правильный ответ, но эти другие 97 — нет. Так что буквально, что делает обучение с подкреплением, это оно идет к тем, которые сработали очень хорошо, и каждая вещь, которую вы сделали по пути, каждый токен взвешивается: делайте больше этого. Проблема в том, я имею в виду, люди скажут, что ваша оценка имеет высокую дисперсию, но, я имею в виду, это просто шумно. Это шумно. Так что, по сути, это почти предполагает, что каждый маленький кусочек решения, который вы сделали, который привел к правильному ответу, был правильным действием, что неверно. Вы могли пойти по неправильным путям. Пока вы не придете к правильному решению, каждая из этих неправильных вещей, которые вы сделали, пока вы пришли к правильному решению, будет взвешена как: делайте больше этого. Это ужасно. Это шум. Вы проделали всю эту работу только для того, чтобы найти одно. В конце вы получаете одно число: о, вы сделали правильно. И на основе этого вы взвешиваете всю эту траекторию как, например, взвешивайте вверх или вниз. И поэтому я люблю говорить, что вы высасываете надзор через соломинку, потому что вы проделали всю эту работу, которая могла быть минутой развертывания, и вы, как бы, высасываете биты надзора из конечного сигнала вознаграждения через соломинку, и вы, как бы, помещаете его. По сути, вы транслируете это по всей траектории и используете это для взвешивания вверх или вниз этой траектории. Это безумие. Человек никогда бы так не сделал. Во-первых, человек никогда бы не сделал сотни развертываний. Во-вторых, когда человек находит решение, у него будет довольно сложный процесс обзора: хорошо, я думаю, эти части я сделал хорошо, эти части я сделал не очень хорошо, мне, вероятно, следует сделать это или то. И они обдумывают вещи. В текущих LLM нет ничего подобного. Эквивалента этому нет. Но я вижу, как появляются статьи, которые пытаются это сделать, потому что это очевидно всем в этой области. Так что я вижу это как первое обучение имитации, кстати, было чрезвычайно удивительным и чудесным, и удивительным, что мы можем доработать имитацией на людях. И это было невероятно, потому что в начале у нас были только базовые модели. Базовые модели — это автодополнение, и мне тогда это не было очевидно, и мне пришлось это узнать. И статья, которая взорвала мне мозг, была InstructGPT, потому что она указала, что вы можете обучить предварительно обученную модель, которая является автодополнением, и если вы просто доработаете ее на тексте, который выглядит как разговоры, модель очень быстро адаптируется, чтобы стать очень разговорной. И она сохраняет все знания из предварительного обучения. И это взорвало мне мозг, потому что я этого не понимал. Это просто стилистически может так быстро адаптироваться и стать помощником для пользователя, просто через несколько циклов доработки на таких данных. Это было для меня очень чудесно, что это так невероятно сработало. И это было около двух-трех лет работы. А теперь пришло RL. И RL позволяет вам делать немного лучше, чем просто обучение имитации, потому что у вас могут быть эти функции вознаграждения, и вы можете подниматься по лестнице вознаграждения. И поэтому у некоторых задач есть просто правильные ответы. Вы можете подниматься по лестнице на этом, не получая экспертных траекторий для имитации. Так что это удивительно. И модель также может обнаруживать решения, которые человек никогда не мог бы придумать. Так что это невероятно, и все же это глупо. Так что я думаю, нам нужно больше. И я видел вчера статью от Google, в которой пытались воплотить эту идею отражения и обзора. Была ли это статья о банке памяти или что-то в этом роде? Я не знаю. Я на самом деле видел несколько статей в этом направлении. Так что я ожидаю какого-то крупного обновления того, как мы будем использовать алгоритмы для LLM в этой области. А затем, я думаю, нам нужно еще три-четыре-пять, что-то в этом роде. Но вы так хорошо придумываете выразительные фразы. "Высасывание надзора через соломинку" — это так хорошо. Почему. Итак, вы говорите, что ваша проблема с вознаграждением, основанным на результате, заключается в том, что у вас есть эта огромная траектория, а затем в конце вы пытаетесь узнать все возможное о том, что вы должны делать и что вы узнаете о мире из этого. Последний момент: почему, учитывая, что это очевидно, процессное надзорное обучение, как альтернатива, не стало успешным способом сделать модели более способными? Что мешало нам использовать эту альтернативную парадигму? Итак, процессное надзорное обучение просто относится к тому факту, что у нас не будет функции вознаграждения только в самом конце, после того, как вы проделали 10 минут работы. Я не скажу вам, хорошо вы справились или нет. Я скажу вам на каждом шагу, насколько хорошо вы справляетесь. И это, по сути, причина, по которой у нас этого нет. Сложно правильно это сделать, потому что у вас есть частичные решения, и вы не знаете, как присвоить кредит. Так что, когда вы получаете правильный ответ, это просто равенство с ответом. Очень просто реализовать. Если вы делаете, по сути, процессное надзорное обучение, как вы присваиваете в автоматизированном виде частичное присвоение кредита? Не очевидно, как это сделать. Я думаю, многие лаборатории пытаются сделать это с помощью этих LLM-судей. По сути, вы заставляете LLM пытаться это сделать. Итак, вы задаете LLM промпт. Эй, посмотри на частичное решение ученика. Как хорошо, по-твоему, он справляется, если ответ такой, и они пытаются настроить промпт. Причина, по которой я думаю, что это сложно, довольно тонка. И это тот факт, что всякий раз, когда вы используете LLM для присвоения вознаграждения, эти LLM — это гигантские вещи с миллиардами параметров, и они подвержены манипуляциям. И если вы используете обучение с подкреплением по отношению к ним, вы найдете враждебные примеры для ваших LLM-судей, почти гарантированно. Вы не можете делать это слишком долго. Вы делаете, может быть, 10 шагов или 20 шагов, может быть, это сработает. Но вы не можете сделать 100 или 1000. Потому что это не очевидно. Потому что я понимаю, что это не очевидно. Но по сути, модель найдет маленькие лазейки. Она найдет все эти ложные вещи в укромных уголках гигантской модели и найдет способ обмануть ее. Итак, один пример, который мне ярко запомнился, я думаю, это, вероятно, было публично. Но по сути, если вы используете LLM-судью для вознаграждения, вы просто даете ему решение от ученика и спрашиваете, хорошо ли ученик справился или нет. Мы обучались с помощью обучения с подкреплением против этой функции вознаграждения, и это сработало очень хорошо. А потом внезапно вознаграждение стало чрезвычайно большим, как будто был огромный скачок, и он справился идеально. И вы смотрите на это и думаете: вау, это означает, что ученик идеален во всех этих задачах. Он полностью решил математику. Но на самом деле происходит то, что когда вы смотрите на завершения, которые вы получаете от модели, они — полная чушь. Они начинаются нормально, а затем превращаются в да-да-да-да-да-да. Так что это просто: о, хорошо, давайте возьмем два плюс три, и мы делаем это и это, а затем. И вы смотрите на это. Это похоже на безумие. Как она получает вознаграждение 1 или 100%? И вы смотрите на LLM-судью, и оказывается, что это враждебный пример для модели, и она присваивает ему 100% вероятность. И это просто потому, что это пример вне выборки для LLM. Он никогда не видел его во время обучения, и вы находитесь в чистой зоне обобщения. Он никогда не видел его во время обучения. И в чистой зоне обобщения вы можете найти эти примеры, которые ломают его. Вы по сути обучаете DLM быть моделью для инъекций промптов. Даже не это, инъекция промптов — это слишком сложно. Вы находите враждебные примеры, как их называют. Это бессмысленные решения, которые очевидно неправильны, но модель считает их удивительными. Так что, в той степени, в какой вы считаете, что это узкое место для повышения функциональности RL, это потребует улучшения LLM. Судьи, если вы хотите сделать это автоматически, и тогда будет ли это просто какой-то подход, похожий на GAN, где нам придется обучать модели быть более устойчивыми? Я думаю, лаборатории, вероятно, делают все это. Например, очевидная вещь — это то, что не должно получать 100% вознаграждения. Хорошо, возьмите это, поместите в обучающий набор LLM-судьи и скажите, что это не 100%, это 0%. Вы можете это сделать. Но каждый раз, когда вы это делаете, вы получаете новую LLM, и у нее все еще есть враждебные примеры. Существует бесконечное количество враждебных примеров. И я думаю, вероятно, если вы повторите это несколько раз, найти враждебные примеры будет все труднее и труднее. Но я не на 100% уверен, потому что у этой штуки триллион параметров или около того. Так что, я ставлю на то, что лаборатории пытаются. Я на самом деле не. Я все еще думаю, что нам нужны другие идеи. Интересно. У вас есть представление о том, какой может быть другая идея? Итак, эта идея обзора решений охватывает синтетические примеры, такие как, когда вы обучаетесь на них, вы становитесь лучше и метаобучаетесь каким-то образом. И я думаю, есть несколько статей, которые я начинаю видеть, появляющиеся. Я только на этапе чтения абстрактов, потому что многие из этих статей — это просто идеи. Кто-то должен на самом деле воплотить это в жизнь в масштабах передовой LLM-лаборатории в полной общности, потому что когда вы видите эти статьи, они появляются, и это просто немного шумно. Это крутые идеи, но я на самом деле не видел, чтобы кто-то убедительно демонстрировал, что это возможно. Тем не менее, LLM-лаборатории довольно закрыты, так что кто знает, что они делают сейчас. Так что, я думаю, я вижу очень. Нелегко. Но я могу концептуализировать, как вы могли бы обучаться на синтетических примерах или синтетических проблемах, которые вы создали для себя. Но кажется, есть еще одна вещь, которую делают люди. Возможно, сон — это это, возможно, мечтание — это это, которое не обязательно придумывает фальшивые проблемы, а просто, как бы, размышляет. И я не уверен, какова аналогия ML для мечтания или сна, но просто размышления. Я не придумал новую проблему. Я имею в виду, очевидно, самая базовая аналогия была бы как доработка на отражающих битах, но я чувствую, что на практике это, вероятно, не сработает так хорошо. Так что я не знаю, есть ли у вас какое-то мнение о том, какова аналогия этой вещи. Да, я думаю, что нам не хватает некоторых аспектов. Например, когда вы читаете книгу, мне почти кажется, что в настоящее время, когда LLM читают книгу, это означает, что мы растягиваем последовательность текста, и модель предсказывает следующий токен, и она получает от этого некоторые знания. Это не совсем то, что делают люди. Верно? Так что, когда вы читаете книгу, мне почти не кажется, что книга — это экспозиция, на которую я должен обращать внимание и обучаться. Книга — это набор промптов для меня, чтобы генерировать синтетические данные, или для вас, чтобы пойти в книжный клуб и поговорить об этом с друзьями. И именно путем манипулирования этой информацией вы действительно получаете эти знания. И у нас нет эквивалента этому. Опять же, с LLM, они на самом деле этого не делают. Но я хотел бы увидеть во время предварительного обучения какой-то этап, который обдумывает материал и пытается примирить его с тем, что он уже знает, и обдумывает его в течение некоторого времени и добивается успеха. И поэтому эквивалента этому нет. Это все исследования. Есть некоторые тонкие, очень тонкие, которые, как мне кажется, очень трудно понять причины, по которым это не тривиально. Итак, если я могу просто описать одну вещь: почему мы не можем просто синтетически генерировать и обучаться на ней? Ну, потому что каждый синтетический пример, как если бы я просто дал синтетическую генерацию модели, думающей о книге, вы смотрите на нее и говорите: это выглядит здорово. Почему я не могу на этом учиться? Ну, вы могли бы попробовать, но модель на самом деле станет намного хуже, если вы продолжите попытки. И это потому, что все образцы, которые мы получаем от моделей, молчаливо сжаты. Они молчаливо. Не очевидно, если посмотреть на любой отдельный пример. Они занимают очень маленькое многообразие возможного пространства мыслей о контенте. Так что LLM, когда они появляются, они то, что мы называем сжатыми. У них сжатое распределение данных. Если вы возьмете один простой способ увидеть это: зайдите в ChatGPT и попросите его рассказать шутку. У него всего около трех шуток. Он не дает вам всего спектра возможных шуток. Он знает около трех шуток. Они молчаливо сжаты. Так что, по сути, вы не получаете богатства и разнообразия и энтропии от этих моделей, как вы получили бы от людей. Так что люди гораздо более, как бы, шумные, но, по крайней мере, они не предвзяты. Они не являются статистически. Они молчаливо не сжаты. Они поддерживают огромное количество энтропии. Так как же получить работающую синтетическую генерацию данных, несмотря на сжатие и сохраняя энтропию, это исследовательская проблема. Просто чтобы убедиться, что я понял, причина, по которой сжатие имеет отношение к синтетической генерации данных, заключается в том, что вы хотите иметь возможность придумывать синтетические проблемы или размышления, которых еще нет в вашем распределении данных. Я думаю, я говорю, скажем, у нас есть глава книги, и я прошу анонима подумать, даст мне что-то, что выглядит очень разумно. Но если я попрошу его 10 раз, вы заметите, что все они одинаковы. Вы не можете продолжать масштабировать размышления на том же объеме информации из промпта и получать отдачу от этого. Да. Так что любой отдельный образец будет выглядеть нормально, но его распределение довольно ужасно. И оно настолько ужасно, что если вы продолжите тренироваться на слишком большом количестве своих собственных данных, вы фактически сожметесь. Я на самом деле думаю, что фундаментальных решений для этого, возможно, нет. И я также думаю, что люди сжимаются со временем. Я думаю, это снова, эти аналогии удивительно хороши. Но люди сжимаются в течение своей жизни. Вот почему у детей есть совершенно. Они еще не переобучились. И они скажут вещи, которые вас шокируют, потому что это как бы. Вы видите, откуда они исходят, но это просто не то, что говорят люди, потому что они еще не сжаты, но мы сжаты, мы в конечном итоге возвращаемся к тем же мыслям, мы в конечном итоге говорим все больше и больше одного и того же, и скорость обучения снижается, и сжатие продолжает ухудшаться, а затем все ухудшается. Вы видели очень интересную статью о том, что сновидения — это способ предотвратить такое переобучение и сжатие? Что причина, по которой сновидения эволюционно адаптивны, заключается в том, чтобы поместить вас в странные ситуации, которые очень отличаются от вашей повседневной реальности. Так что, чтобы предотвратить такое переобучение. Это интересная идея. Я имею в виду, я думаю, что когда вы генерируете вещи в своей голове, а затем обращаете на них внимание, вы как бы обучаетесь на своих собственных образцах, вы обучаетесь на своих синтетических данных, и если вы делаете это слишком долго, вы выходите из-под контроля и слишком сильно сжимаетесь. Так что вы всегда должны искать энтропию в своей жизни. Так что общение с другими людьми — отличный источник энтропии и тому подобное. Так что, возможно, мозг также создал некоторые внутренние механизмы для увеличения энтропии в этом процессе. Но да, возможно, это интересная идея. Это очень плохо сформулированная мысль, поэтому я просто изложу ее, и вы отреагируете. Лучшие ученики, которых мы знаем, дети, чрезвычайно плохо вспоминают информацию. Фактически, на самых ранних этапах детства вы забудете все. Вы просто амнезиак обо всем, что произошло до определенной даты. Но вы чрезвычайно хорошо осваиваете новые языки и учитесь у мира. И, возможно, есть какой-то элемент способности видеть лес за деревьями, в то время как если сравнить это с противоположным концом спектра, у вас есть предварительное обучение LLM, где эти модели буквально смогут дословно воспроизвести, что будет дальше на странице Википедии. Но их способность быстро учиться абстрактным концепциям, как ребенок, гораздо более ограничена. А взрослые где-то посередине: у них нет гибкости обучения в детстве, но они могут. Знаете, взрослые могут запоминать факты и информацию так, как детям сложнее. И я не знаю, есть ли в этом спектре что-то интересное. Я думаю, есть что-то очень интересное, да, 100%. Я думаю, что люди на самом деле, они как бы имеют гораздо больше элементов по сравнению с LLM в плане видения леса за деревьями. И мы на самом деле не так уж хороши в запоминании, что на самом деле является особенностью, потому что мы не так уж хороши в запоминании. Мы на самом деле вынуждены находить закономерности в более общем смысле. Я думаю, LLM в сравнении чрезвычайно хороши в запоминании. Они будут цитировать отрывки из всех этих обучающих источников. Вы можете дать им совершенно бессмысленные данные, как если бы вы хешировали какое-то количество текста или что-то в этом роде. Вы получаете совершенно случайную последовательность. Если вы обучаетесь на ней, даже просто, я думаю, одна или две итерации, она внезапно сможет воспроизвести все это. Она запомнит это. Нет способа, чтобы человек мог прочитать одну последовательность случайных чисел и процитировать ее вам. И это особенность, а не ошибка, почти потому, что это заставляет вас учить только обобщаемые компоненты. В то время как LLM отвлекаются на всю память, которую они имеют из предварительно обученных документов, и это, вероятно, очень отвлекает их в определенном смысле. Поэтому, когда я говорю о когнитивном ядре, я на самом деле хочу удалить память, о чем мы говорили. Я хотел бы, чтобы у них было меньше памяти, чтобы им приходилось искать информацию, и они поддерживали только алгоритмы мышления и идею эксперимента и весь этот когнитивный клей действия. И это также важно для предотвращения сжатия модели. Позвольте мне подумать. Я не уверен. Я думаю, это почти отдельная ось. Это почти как если бы модели были слишком хороши в запоминании, и каким-то образом мы должны это убрать. И я думаю, люди гораздо хуже. Но это хорошо. Каково решение проблемы сжатия модели? Есть очень наивные вещи, которые вы могли бы попытаться. Это как если бы распределение нагрузки должно было быть шире или что-то в этом роде. Есть много наивных вещей, которые вы могли бы попробовать. Что в итоге становится проблемой с наивными подходами? Да, я думаю, это отличный вопрос. Я имею в виду, вы можете представить себе наличие регуляризации для энтропии и тому подобного. Я полагаю, они просто не работают так хорошо эмпирически, потому что сейчас модели сжаты. Но я скажу, что большинство задач, которые мы от них хотим, на самом деле не требуют. Разнообразие, вероятно, является ответом на то, что происходит. И поэтому просто то, что передовые лаборатории пытаются сделать модели полезными, и мне как бы кажется, что разнообразие выходных данных не так уж важно. Во-первых, с ним гораздо труднее работать и оценивать, и все такое прочее. Но, возможно, это не то, что на самом деле захватывает большую часть ценности. Фактически, это активно наказывается. Верно? Если вы супер креативны в RL, это. Не хорошо. Да, или, может быть, если вы много пишете, помогаете с LLM и тому подобное. Я думаю, это, вероятно, плохо, потому что модели будут давать вам молчаливо одно и то же, так что они не будут исследовать множество разных способов ответа на вопрос. Верно? Но мне как бы кажется, что, возможно, это разнообразие не так уж и велико. Да, возможно, не так много приложений в нем нуждаются, поэтому у моделей его нет, но тогда это на самом деле проблема при синтетической генерации и так далее. Так что мы на самом деле стреляем себе в ногу, не позволяя этой энтропии сохраняться в модели. И я думаю, возможно, лаборатории должны стараться больше. И тогда я думаю, вы намекнули, что это очень фундаментальная проблема, ее нелегко решить, и. Да, какова ваша интуиция по этому поводу? Я на самом деле не знаю, супер ли это фундаментально. Я на самом деле не знаю, хотел ли я это сказать. Я думаю, что я не проводил этих экспериментов, но я думаю, что вы, вероятно, могли бы регулировать энтропию, чтобы она была выше. Так что вы поощряете модель давать вам все больше и больше решений, но вы не хотите, чтобы она слишком сильно отклонялась от обучающих данных. Она начнет придумывать свой собственный язык, она начнет использовать слова, которые чрезвычайно редки. Так что она слишком сильно отклонится от распределения. Так что я думаю, контроль над распределением — это просто как бы сложно. Это как если бы кто-то просто должен. Вероятно, это не тривиально в этом смысле. Сколько бит должно быть оптимальным ядром интеллекта? Если бы вам пришлось угадать? То, что мы помещаем на зонды фон Неймана, насколько большим оно должно быть? Это очень интересно в истории области, потому что в какой-то момент все были очень ориентированы на масштабирование, в смысле: о, мы сделаем гораздо большие модели, триллионы параметрических моделей. И на самом деле, что сделали модели в плане размера, они увеличились, а теперь они фактически даже уменьшились, их модели меньше, и даже тогда я на самом деле думаю, что они запомнили слишком много. Так что я думаю, у меня был прогноз некоторое время назад, что мне почти кажется, что мы можем получить когнитивные ядра, которые очень хороши даже для миллиарда параметров. Это должно быть очень, если вы поговорите с моделью на миллиард параметров, я думаю, через 20 лет вы сможете вести очень продуктивный разговор. Она думает, и она гораздо больше похожа на человека, но если вы зададите ей какой-то фактический вопрос, ей, возможно, придется его поискать, но она знает, что не знает, и ей, возможно, придется его искать, и она просто будет делать все разумные вещи. На самом деле удивительно, что вы думаете, что это займет миллиард, потому что уже у нас есть модели на миллиард параметров или несколько миллиардов параметров, которые очень умны. Ну, некоторые модели RL имеют около триллиона параметров. Верно? Но они помнят так много всего. Да, но я удивлен, что через 10 лет, учитывая темп, хорошо, у нас есть GPT OSS 20B. Это намного лучше, чем оригинальный GPT 4, который был триллион плюс параметров. Так что, учитывая эту тенденцию, я на самом деле удивлен, что вы думаете, что через 10 лет когнитивное ядро все еще будет миллиардом параметров. Да, я удивлен, что вы не думаете, что это будет десятки миллионов или миллионы. Нет, потому что я, по сути, думаю, что обучающие данные — это. Вот в чем проблема. Обучающие данные — это Интернет, который действительно ужасен. Так что есть огромный потенциал для gains, потому что Интернет ужасен. Как если бы вы на самом деле. И даже Интернет, когда вы и я думаем об Интернете, вы думаете о Wall Street Journal или это не то. Когда вы на самом деле смотрите на набор данных предварительного обучения в передовой лаборатории и смотрите на случайный документ из Интернета, это полный мусор. Я даже не знаю, как это вообще работает. Это какие-то биржевые тикеры. Это огромное количество хлама и мусора со всех уголков Интернета. Это не похоже на вашу статью в Wall Street Journal. Это чрезвычайно редко. Так что мне почти кажется, что, поскольку Интернет так ужасен, нам приходится как бы строить очень большие модели, чтобы сжать все это. Большая часть этого сжатия — это работа по запоминанию, а не когнитивная работа. Интересно. Но на самом деле нам нужна когнитивная часть, на самом деле удалить память. Я думаю, я хочу сказать, что нам нужны умные модели, чтобы помочь нам уточнить даже набор для предварительного обучения, чтобы сузить его до когнитивных компонентов. И тогда я думаю, вы сможете обойтись гораздо меньшей моделью, потому что это гораздо лучший набор данных, и вы можете обучить ее на нем, но, вероятно, она не обучается напрямую на нем. Она, вероятно, дистиллируется для гораздо лучшей модели. Но почему дистиллированная версия все еще миллиард? Я думаю, я просто любопытен. Мне просто кажется, что дистилляция работает чрезвычайно хорошо. Так что почти каждая маленькая модель. Если у вас есть маленькая модель, она почти наверняка дистиллирована. Зачем тренироваться на ней? Нет, нет, но почему дистилляция через 10 лет не опускается ниже миллиарда? О, вы думаете, она должна быть меньше миллиарда? Я имею в виду, ну же, верно? Я не знаю. В какой-то момент должно быть по крайней мере миллиард ручек, чтобы сделать что-то интересное. Вы думаете, она должна быть еще меньше. Да. Я имею в виду, просто если посмотреть на тенденцию за последние несколько лет, просто найти легкие достижения и перейти от моделей на триллион плюс, которые буквально на два порядка меньше за два года, имея лучшую производительность, заставляет меня думать, что ядро интеллекта может быть даже намного, намного меньше. Много места внизу. Перефразируя Фейнмана. Я имею в виду, мне почти кажется, что я уже контркультурен, говоря о когнитивном ядре на миллиард параметров, а вы превосходите меня. Я думаю, да, возможно, мы можем получить немного меньше. Я имею в виду, я все еще думаю, что должно быть достаточно. Да, возможно, это может быть меньше. Я думаю, что практически говоря, вы хотите, чтобы модель имела некоторые знания. Вы не хотите, чтобы она искала все, потому что тогда вы не можете думать в своей голове. Вы постоянно ищете слишком много всего. Так что я думаю, что должен быть какой-то базовый учебный план, он должен быть там для знаний, но он не должен иметь эзотерических знаний. Да. Итак, мы обсуждаем, что, вероятно, может быть когнитивным ядром. Есть отдельный вопрос: каков будет фактический размер передовых моделей с течением времени? И мне интересно, есть ли у вас прогнозы. Итак, у нас был рост масштаба до, возможно, 4.5, а теперь мы видим снижение плато. Есть много причин, по которым это может происходить. Но у вас есть прогноз на будущее? Будут ли самые большие модели больше? Будут ли они меньше? Будут ли они такими же? Да, я не знаю, что у меня есть супер сильный прогноз. Я думаю, что лаборатории просто практичны. У них есть бюджет FLOPs и бюджет затрат, и просто так получилось, что предварительное обучение — это не то, куда вы хотите вкладывать большую часть своих FLOPs или затрат. Поэтому модели стали меньше, потому что они немного меньше, стадия предварительного обучения меньше и так далее, но они компенсируют это в обучении с подкреплением и всем этим в середине обучения и всем этим, что следует за этим. Так что они просто практичны с точки зрения всех этапов и того, как получить максимальную отдачу от вложенных средств. Так что, я думаю, прогнозировать эту тенденцию довольно сложно. Я все еще ожидаю, что есть так много тоски по этому. Это мое базовое ожидание, и поэтому у меня очень широкое распределение здесь. Вы говорите, что они тоскуют по тому, чтобы это было похоже на то, что происходило в последние два-пять лет? Просто в плане. Если я посмотрю на Nanochat против Nano GPT, а затем на архитектурные изменения, которые вы внесли, это в основном тот тип вещей, которые продолжают происходить, или вы не ожидаете ничего гигантского? По большей части, да. Я ожидаю, что наборы данных станут намного, намного лучше. Потому что, когда вы смотрите на средние наборы данных, они чрезвычайно ужасны. Настолько плохие, что я, честно говоря, даже не знаю, как что-то работает. Посмотрите на средний пример в обучающем наборе: фактические ошибки, неточности, бессмысленные вещи. Каким-то образом, когда вы делаете это в масштабе, шум смывается, и вы остаетесь с частью сигнала. Так что наборы данных улучшатся в тонну. Просто все становится лучше. Так что наше оборудование, наши старые ядра для запуска оборудования и максимизации того, что вы получаете от оборудования. Так что Nvidia медленно настраивает само оборудование, тензорные ядра и так далее. Все это должно произойти и будет продолжаться. Все ядра станут лучше и максимально используют чип. Все алгоритмы, вероятно, улучшатся в оптимизации архитектуры и просто во всех модельных компонентах того, как все делается, и в алгоритмах, с которыми мы даже обучаемся. Так что я действительно ожидаю, как бы. Просто очень. Просто все. Ничто не доминирует над всем плюс 20%. Верно, интересно. Это примерно то, что я видел. Хорошо. Это мой генеральный менеджер, Макс. Приятно быть здесь, здесь каждый день. И вы здесь с момента вашего найма? Около шести месяцев назад, но когда я вас нанял, я был во Франции, и поэтому мы, по сути, почти не имели возможности поговорить. И вы, по сути, просто дали мне один логин. Я дал вам доступ к моей платформе Mercury, которая является банковской платформой, которую я использовал в то время для ведения подкаста. И поэтому я вошел в Mercury, предполагая, что это будет первый из многих шагов. Но я понял, что именно так вы. вели весь подкаст-бизнес, даже вплоть до того, что многие наши редакторы — международные подрядчики. И поэтому вы разобрались. Как настроить эти регулярные платежи. Настроить базовую зарплату. Я имею в виду, Mercury сделал опыт всех этих вещей, которые я делал раньше, настолько бесшовным, что мне даже не приходило в голову, пока вы не указали на это, что это не естественный способ настройки зарплаты или выставления счетов или любых других вещей. Я был удивлен, но я подумал: пока это работает. Это верно. Так что, возможно, я доверюсь этому. И теперь я не могу представить, чтобы делал что-то другое. Хорошо, вы слышали его. Посетите mercury.com, чтобы подать заявку онлайн за несколько минут. Круто. Спасибо, Макс. Спасибо, что пригласили. Чувак, ты отлично справляешься. Я так нервничаю, но спасибо. Mercury — это компания, занимающаяся финансовыми технологиями, а не банк. Банковские услуги предоставляются через Choice Financial Group, Column NA и Evolve Bank and Trust, члены FDIC. Люди предлагали разные способы отслеживания прогресса на пути к полному AGI. Потому что, если вы можете придумать какие-то линии, то вы можете увидеть, где эта линия пересекается с AGI и где это произойдет на оси X. И поэтому люди предлагали: о, это как уровень образования. Например, у нас был старшеклассник, а затем он пошел в колледж с RL, и он получит докторскую степень. Мне это не нравится. Или тогда они предложат Horizon Link. Итак, возможно, они могут выполнять задачи, которые занимают минуту. Они могут выполнять их автономно, затем они могут автономно выполнять задачи, которые занимают час, человеческий час, человеческую неделю и так далее. Как вы думаете о том, что такое соответствующая ось Y? Как нам думать о том, как ИИ добивается прогресса? Я думаю, у меня есть два ответа на это. Во-первых, мне почти хочется отклонить вопрос полностью, потому что, опять же, я вижу это как продолжение вычислений. Говорили ли мы о том, как отслеживать прогресс в вычислениях? Или как вы отслеживаете прогресс в вычислениях с 1970-х годов или около того? Что такое ось X? Так что мне как бы кажется, что весь вопрос несколько забавен с этой точки зрения. Но я скажу, я думаю, когда люди говорят об ИИ и первоначальном AGI, и как мы говорили об этом, когда OpenAI начинал, AGI была системой, к которой вы могли обратиться, которая может выполнять любую задачу, которая экономически ценна, любую экономически ценную задачу на уровне человеческой производительности или лучше. Хорошо, это было определение, и я был вполне доволен им в то время. И мне кажется, я придерживался этого определения всегда. А затем люди придумали всевозможные другие определения. Но мне кажется, что мне нравится это определение сейчас. Во-первых, первая уступка, которую люди делают все время, это они просто убирают все физическое, потому что мы говорим только о цифровой интеллектуальной работе. Мне кажется, это довольно серьезная уступка по сравнению с первоначальным определением, которое было: любая задача, которую может выполнить человек, я могу поднимать вещи и так далее. ИИ, очевидно, не может этого сделать. Итак. Хорошо, но мы примем это. Какую долю экономики мы забираем, говоря: о, только интеллектуальная работа? Я на самом деле не знаю цифр. Мне кажется, это около 10-20%, если бы мне пришлось угадывать, это только интеллектуальная работа, кто-то мог бы работать из дома и выполнять задачи, что-то в этом роде. Я все еще думаю, что это очень большой рынок. Каков размер экономики и что такое 10-20%? Мы все еще говорим о нескольких триллионах долларов даже в США доли рынка или работы. Так что это все еще очень массивный сегмент. Но я думаю, возвращаясь к определению, я думаю, что я бы искал, в какой степени это определение верно. Итак, есть ли рабочие места или много задач? Если мы думаем о задачах, а не о рабочих местах, это сложно, потому что проблема в том, что общество будет перестраиваться на основе задач, которые составляют рабочие места, по сравнению с тем, что основано на том, что автоматизировано или нет. Но сегодня, какие рабочие места могут быть заменены ИИ? Хорошим примером недавно было предсказание Джеффа Хинтона о том, что радиологи больше не будут профессией. И это оказалось очень ошибочным во многих отношениях, верно? Так что радиологи живы и процветают, и даже растут, хотя компьютерное зрение очень, очень хорошо распознает все различные вещи, которые им приходится распознавать на изображениях. И это просто беспорядочная, сложная работа с множеством поверхностей и общением с пациентами и всем, что с этим связано. Так что, я думаю, я на самом деле не знаю, что по этому определению ИИ оказал огромное влияние. Но некоторые из рабочих мест, возможно, которые я бы искал, имеют некоторые особенности, которые, как мне кажется, делают их очень восприимчивыми к автоматизации раньше, чем позже. Например, сотрудники колл-центров часто упоминаются, и я думаю, справедливо, потому что сотрудники колл-центров имеют ряд упрощающих свойств по отношению к тому, что может быть автоматизировано. Сегодня их работа довольно проста. Это последовательность задач, и каждая задача выглядит одинаково. Как вы принимаете телефонный звонок с человеком, это 10 минут взаимодействия или что-то в этом роде. Вероятно, это немного дольше по моему опыту, намного дольше. И вы выполняете какую-то задачу в какой-то схеме и меняете какие-то записи в базе данных или что-то в этом роде. Так что вы постоянно повторяете что-то снова и снова, и это ваша работа. Так что, по сути, вы хотите ввести горизонт задач, сколько времени занимает выполнение задачи. А затем вы хотите также убрать контекст, как будто вы не имеете дело с различными частями услуг, компаний или других клиентов. Это просто база данных, вы и человек, которому вы служите. И поэтому она более закрыта, более понятна и чисто цифровая. Так что я бы искал эти вещи. Но даже там я на самом деле не ищу полной автоматизации. Я ищу ползунок автономии. И мне почти кажется, что мы не будем мгновенно заменять людей. Мы будем подменять ИИ, которые выполняют 80% объема. Они делегируют 20% объема людям, а люди будут руководить командами из пяти ИИ, выполняющих работу в колл-центре, которая более рутинна. Так что я бы искал новые интерфейсы или новые компании, которые предоставляют какой-то слой, который позволяет вам управлять некоторыми из этих ИИ, которые еще не идеальны. А затем я бы ожидал, что по всей экономике. И многие рабочие места намного сложнее, чем сотрудник колл-центра. Я думаю о радиологах. Я полностью спекулирую. Я понятия не имею, как на самом деле выглядит рабочий процесс радиолога. Но одна аналогия, которая может быть применима, это когда Waymo впервые были выпущены. В переднем сиденье сидел человек, и вам просто нужно было, чтобы он там был, чтобы убедиться, что если что-то пойдет действительно не так, он будет там, чтобы следить. И я думаю, даже сегодня люди следят, чтобы все шло хорошо. Роботакси, который был только что развернут, на самом деле все еще имеет человека внутри. И мы можем оказаться в похожей ситуации, когда, если вы автоматизируете 99% работы, последние 1%, которое должен выполнить человек, невероятно ценно, потому что оно является узким местом для всего остального. И если бы это было так, как с радиологами, где человек, сидящий впереди Uber или впереди Waymo, должен быть специально обучен годами, чтобы иметь возможность предоставить последние 1%, его зарплата должна была бы резко возрасти, потому что он является единственным узким местом для широкого развертывания. Так что радиологи, я думаю, зарплаты выросли по схожим причинам. Если вы являетесь последним узким местом, вы должны. Вы как бы. И вы не взаимозаменяемы, что, как вы знаете, водитель Waymo может быть взаимозаменяем с другими вещами. Так что вы можете увидеть эту вещь, где ваша зарплата идет, как бы, ух, а затем, чтобы достичь 90%, а затем, как бы, вот так, а затем последние 1% исчезают. Я понимаю. И я думаю, видим ли мы похожие вещи с радиологией или зарплатами сотрудников колл-центров или чем-то в этом роде? Да, я думаю, это интересный вопрос. Я не думаю, что мы сейчас видим это с радиологией, и у меня нет, насколько я понимаю, но я думаю, радиология — плохой пример. В основном. Я не знаю, почему Джефф Хинтон выбрал радиологию, потому что я думаю, что это чрезвычайно беспорядочная, беспорядочная, сложная профессия. Так что я бы больше интересовался тем, что происходит с сотрудниками колл-центров сегодня, например, потому что я бы ожидал, что большая часть рутинной работы может быть автоматизирована сегодня, и у меня нет прямого доступа к этому. Но, возможно, я бы искал тенденции того, что происходит с сотрудниками колл-центров. Возможно, некоторые вещи, которые я бы также ожидал, это, возможно, они внедряют ИИ, но тогда я бы все равно подождал год или два, потому что я потенциально ожидал бы, что они отступят и фактически снова наймут некоторых людей. Я думаю, что уже есть свидетельства того, что это происходит в целом в компаниях, которые внедряют ИИ, что, как мне кажется, очень удивительно. И я также нахожу действительно удивительным. Хорошо, AGI, верно? Вещь, которая должна делать все, и хорошо, мы уберем физическую работу. Так что вещь, которая должна быть способна выполнять всю интеллектуальную работу. И вы бы наивно предположили, что прогрессия будет такой: вы берете маленькую задачу, которую выполняет консультант, вы берете ее из ведра, вы берете маленькую задачу, которую выполняет бухгалтер, вы берете ее из ведра, а затем вы просто делаете это по всей интеллектуальной работе. Но вместо этого, если мы верим, что мы на пути к AGI с текущей парадигмой, прогрессия очень отличается от этого. По крайней мере, просто не кажется, что консультанты и бухгалтеры или кто-либо еще получают огромные продуктивные улучшения. Это очень похоже на то, что программисты получают все больше и больше инструментов для своей работы. Если вы посмотрите на доходы этих компаний, исключая просто обычный доход от чата, который, я думаю, похож на Google или что-то в этом роде. Просто глядя на доходы API, они в основном доминируют в кодировании, верно? Так что эта вещь, которая является общей, так сказать, которая должна быть способна выполнять любую интеллектуальную работу, в подавляющем большинстве случаев выполняет только кодирование. И это удивительный способ, которым, как вы ожидали бы, будет развернут AGI. Так что я думаю, здесь есть интересный момент, потому что я действительно считаю, что кодирование — это идеальная первая задача для этих LLM и агентов.

И это потому, что программирование всегда принципиально работало с текстом. Это компьютерные терминалы и текст, и все основано на тексте. А LLM, поскольку они обучаются в Интернете, любят текст. И поэтому они являются идеальными текстовыми процессорами, и существует так много данных, и это просто идеальное совпадение. Кроме того, у нас есть много готовой инфраструктуры для работы с кодом и текстом. Например, у нас есть Visual Studio Code или ваш любимый IDE, показывающий вам код, и агент может подключиться к этому. Например, если у агента есть diff, где он внес какие-то изменения, у нас внезапно появляется весь этот код, который показывает все различия в кодовой базе с использованием diff. Так что это почти так, как если бы мы заранее построили большую часть инфраструктуры для кода. Теперь сравните это с некоторыми вещами, которые вообще не имеют этого. Например, есть люди, которые пытаются создавать автоматизацию не для программирования, а, например, для слайдов. Я видел компанию, которая занимается слайдами, это намного, намного сложнее. И причина, по которой это намного, намного сложнее, заключается в том, что слайды — это не текст. Слайды — это маленькие графические изображения, и они расположены пространственно, и в них есть визуальные компоненты. И у слайдов нет этой готовой инфраструктуры. Например, если агент должен внести другое изменение в ваши слайды, как эта штука покажет вам diff? Как вы увидите diff? Нет ничего, что показывало бы diff для слайдов, поэтому кому-то придется это создавать. Так что некоторые из этих вещей просто не подходят для ИИ в их нынешнем виде, которые являются текстовыми процессорами. А код, как ни странно, подходит. На самом деле, я не уверен, что это одно только объясняет, потому что я лично пытался сделать LLM полезными в областях, которые являются чисто языковыми, то есть язык на входе, язык на выходе, например, переписывание транскриптов, создание клипов на основе транскриптов и так далее. И вы можете сказать: "Ну, очень вероятно, что я не сделал всего, что мог". Я поместил кучу хороших примеров в контекст, но, возможно, мне следовало бы провести какую-то тонкую настройку, что угодно. Так что наш общий друг Энди Матущак сказал мне, что он на самом деле попробовал 50 миллиардов вещей, чтобы попытаться сделать модели хорошими в написании подсказок для интервального повторения. Опять же, очень много задач типа "язык на входе, язык на выходе". То, что должно быть в центре репертуара этих LLM. И он пробовал обучение в контексте, очевидно, с несколькими примерами, он пробовал, я думаю, он сказал мне кучу вещей, таких как контролируемое тонкое обучение и извлечение, что угодно, и он просто не смог заставить их создавать карточки к своему удовлетворению. Поэтому я нахожу поразительным, что даже в областях "язык на выходе" на самом деле очень трудно получить большую экономическую ценность от этих моделей, кроме программирования. И я не знаю, что это объясняет. Да, я думаю, это имеет смысл. Я бы сказал, да, я не говорю, что все текстовое тривиально. Правильно. Я думаю, что код очень структурирован. Текст, возможно, гораздо более цветистый, и в тексте гораздо больше энтропии. Я бы сказал. Я не знаю, как еще это выразить. И кроме того, код сложен, и поэтому люди чувствуют себя очень уверенно благодаря LLM, даже благодаря простым знаниям, по сути. У меня на самом деле нет очень хорошего ответа. Я имею в виду, очевидно, текст делает это намного, намного проще, возможно, поэтому я это и сказал. Но это не значит, что весь текст тривиален. Как вы думаете о сверхинтеллекте? Ожидаете ли вы, что он будет качественно отличаться от обычных людей или человеческих компаний? Я думаю, я вижу это как прогрессию автоматизации в обществе. Правильно. И опять же, экстраполируя тенденцию развития вычислительной техники, я просто чувствую, что будет постепенная автоматизация многих вещей, а сверхинтеллект будет своего рода экстраполяцией этого. Так что я думаю, мы ожидаем все больше и больше автономных сущностей со временем, которые выполняют большую часть цифровой работы, а затем, в конечном итоге, и физическую работу, вероятно, через некоторое время. Но, по сути, я вижу это просто как автоматизацию. Грубо говоря, я думаю, автоматизация включает в себя вещи, которые люди уже могут делать, а сверхинтеллект применяет вещи, которые люди делают, ну, некоторые из. Вещи, которые люди делают, это изобретать новые вещи, которые я бы просто отнес к автоматизации, если это имеет смысл. Да, но я думаю, возможно, менее абстрактно и более качественно. Ожидаете ли вы, что что-то будет ощущаться так, как будто, потому что эта вещь может думать так быстро или имеет так много копий, или копии могут сливаться обратно в себя, или намного умнее. Любое количество преимуществ, которые может иметь ИИ, будет качественным. Цивилизация, в которой существуют эти ИИ, будет ощущаться качественно иначе, чем люди. Я имею в виду, это фундаментально автоматизация, но я имею в виду, что это будет очень чуждо. Я думаю, это будет выглядеть очень странно, потому что, как вы упомянули, мы можем запускать все это на кластере компьютеров и так далее. И намного быстрее. И все это, я имею в виду, возможно, некоторые сценарии, например, которые начинают меня беспокоить в отношении того, когда мир будет выглядеть так, это своего рода постепенная потеря контроля и понимания происходящего. И я думаю, что это на самом деле наиболее вероятный исход, вероятно, будет постепенная потеря понимания. И мы будем постепенно накладывать все это повсюду, и будет все меньше и меньше людей, которые это понимают. И тогда будет своего рода сценарий постепенной потери контроля и понимания происходящего. Это мне кажется наиболее вероятным исходом того, как все это пойдет. Позвольте мне немного углубиться в это. Мне не совсем ясно, что потеря контроля и потеря понимания — это одно и то же. Совет директоров TSMC, Intel, назовите случайную компанию, это просто престижные 80-летние старики, у них очень мало понимания, и, возможно, у них на самом деле нет практического контроля, но. Или на самом деле, возможно, лучший пример — президент Соединенных Штатов. Президент имеет много чертовой власти. Я не пытаюсь сделать хорошее заявление о текущем операторе, но, возможно, я делаю. Но фактический уровень понимания очень отличается от уровня контроля. Да, я думаю, это справедливо. Это хорошее возражение, я думаю. Я думаю, я ожидаю потери обоих. Как так? Я имею в виду, потеря понимания очевидна, но почему потеря контроля? Так что мы очень далеко зашли в территорию. Я не знаю, как это выглядит, но если бы я писал научно-фантастические романы, они бы выглядели не как одна сущность, которая захватывает все. Но на самом деле множество конкурирующих сущностей, которые постепенно становятся все более и более автономными, и некоторые из них выходят из-под контроля, а другие борются с ними, и все такое прочее, и это как этот горячий котел полностью автономной деятельности, которую мы делегировали. Я чувствую, что это будет иметь такой оттенок. Не то, что они умнее нас, приводит к потере контроля. Это факт, что они конкурируют друг с другом, и то, что возникает из этой конкуренции, приводит к потере контроля. Я имею в виду, я в основном ожидаю, что будет, я имею в виду, много этих вещей. Я имею в виду, они будут инструментами для людей, и люди могут. Часть населения, как будто они действуют от имени людей или что-то в этом роде. Так что, возможно, эти люди контролируют, но, возможно, это потеря контроля в целом для общества в смысле желаемых нами результатов или чего-то в этом роде. Где сущности действуют от имени отдельных лиц, которые все еще в некотором роде вне контроля. Да, это вопрос, который я должен был задать раньше. Итак, мы говорили о том, как в настоящее время кажется, что когда вы занимаетесь разработкой ИИ или исследованиями ИИ, эти модели больше относятся к категории компиляторов, чем к категории замены. В какой-то момент, если у вас есть AGI, он должен быть способен делать то, что вы делаете. И вы чувствуете, что наличие миллиона копий вас параллельно приводит к какому-то огромному ускорению прогресса ИИ? По сути, если это произойдет, ожидаете ли вы увидеть взрыв интеллекта или даже когда у нас будет настоящий AGI? Я не говорю о сегодняшних LLM, но. На самом деле я имею в виду, что я делаю. Но это обычное дело, потому что мы уже находимся во взрыве интеллекта, и так было десятилетиями. И когда вы смотрите на ВВП, это, по сути, кривая ВВП, которая является экспоненциальной взвешенной суммой по многим аспектам отрасли. Все постепенно автоматизируется, так было сотни лет. Промышленная революция — это автоматизация и некоторые физические компоненты, создание инструментов и все такое прочее. Компиляторы — это раннее программное обеспечение, автоматизация и так далее. Так что я чувствую, что мы рекурсивно самосовершенствуемся и взрываемся уже очень давно. Возможно, другой способ взглянуть на это — я имею в виду, Земля была довольно. Я имею в виду, если вы не смотрите на биомеханику и так далее, это было довольно скучное место, я думаю, и выглядело очень похоже. Если вы просто смотрите из космоса, а Земля вращается, а затем мы находимся в середине этого события, похожего на фейерверк, верно? Но мы видим это в замедленной съемке. Но я определенно чувствую, что это уже происходит очень давно. И опять же, я не вижу ИИ как отдельную технологию по отношению к тому, что уже давно происходит. Так вы думаете, это непрерывно с этой гиперэкспоненциальной тенденцией. И именно поэтому это было мне очень интересно, потому что я пытался найти ИИ в ВВП. Долгое время я думал, что ВВП должен расти, но потом я посмотрел на некоторые другие технологии, которые, как я думал, были очень трансформационными, например, компьютеры или мобильные телефоны и так далее. Вы не можете найти их в ВВП. ВВП — это тот же экспоненциальный рост. И дело в том, что даже, например, у первого iPhone не было магазина приложений, и у него не было многих наворотов, которые есть у современного iPhone. И поэтому, хотя мы думаем, что 2008 год, когда вышел iPhone, был своего рода крупным сейсмическим сдвигом, на самом деле это не так. Все так рассредоточено и так медленно диффундирует, что все усредняется в тот же экспоненциальный рост. И то же самое с компьютерами. Вы не можете найти их в ВВП как: "О, у нас теперь есть компьютеры". Такого не произошло. Потому что это такой медленный прогресс. И с ИИ мы увидим то же самое. Это просто больше автоматизации. Это позволяет нам писать разные виды программ, которые мы раньше не могли писать. Но ИИ по-прежнему является фундаментальной программой, и это новый вид компьютера и новая система вычислений. Но у него есть все эти проблемы, он будет диффундировать со временем, и он все равно будет складываться в тот же экспоненциальный рост, и мы все равно будем иметь экспоненциальный рост, который станет чрезвычайно вертикальным, и жить в такой среде будет очень чуждо. Вы говорите, что произойдет то, что если посмотреть на тенденцию до промышленной революции до настоящего времени, у вас есть гиперэкспонента, где вы переходите от 0% роста к 10 000 лет назад, 0,02% роста, а затем в настоящее время мы имеем 2% роста. Так что это гиперэкспонента. И вы говорите, что если вы наложите ИИ на это, то ИИ приведет вас к 20% росту или 200% росту. Или вы можете сказать, что если посмотреть на последние 300 лет, то вы видели технологию за технологией, компьютеры, электрификацию, паровые машины, железные дороги и так далее, но темп роста точно такой же, 2%. Так вы говорите, что темп роста будет. На самом деле я ожидаю, что темп роста также останется примерно постоянным. Правильно, только за последние 200-300 лет. Но за всю историю человечества он взорвался, верно? Он вырос с 0% практически до все быстрее и быстрее. Промышленный взрыв, по сути, 2%. Я думаю, что я пытался найти ИИ или искать ИИ на кривой ВВП, и я убедил себя, что это ложь, и что даже когда люди говорят о рекурсивном самосовершенствовании и лабораториях и тому подобном, я даже не. Это обычное дело, конечно, он будет рекурсивно самосовершенствоваться. И он рекурсивно самосовершенствовался. LLM позволяют инженерам работать гораздо эффективнее, чтобы создавать следующее поколение LLM. И гораздо больше компонентов автоматизируется, настраивается и так далее. Так что все инженеры, имеющие доступ к поиску Google, являются частью этого. Все инженеры, имеющие IDE, все они имеют автодополнение или имеют облачный код и так далее, все это просто часть того же ускорения всего этого. Так что это просто так гладко. Но чтобы уточнить, вы говорите, что темп роста не изменится. Взрыв интеллекта проявится как то, что он просто позволил нам продолжать оставаться на траектории роста в 2%. Так же, как Интернет помог нам оставаться на траектории роста в 2%. Да, мое ожидание, что это останется тем же паттерном. Да. Просто чтобы привести противоположный аргумент против вас, мое ожидание, что это взорвется, потому что я думаю, что настоящий AGI, и я не говорю о ботах для написания кода LLM, я говорю о реальном. Это как замена человека на сервере качественно отличается от этих других продуктивных технологий, потому что это труд. Правильно. Я думаю, мы живем в очень ограниченном мире труда. Например, если вы поговорите с любым основателем стартапа или любым человеком, вы можете просто сказать: "Хорошо, чего вам нужно больше всего?". Вам просто нужны действительно талантливые люди. И если у вас есть миллиарды дополнительных людей, которые изобретают вещи, интегрируются, создают компании от начала до конца, это кажется качественно отличным от просто какой-то одной технологии. Это как будто вы просто спрашиваете, если у вас появится 10 миллиардов дополнительных людей на планете. Я имею в виду, возможно, контраргумент. Я имею в виду, во-первых, я на самом деле очень, очень готов убедиться в том или ином направлении по этому вопросу. Но я скажу, например, вычисления — это труд. Вычисления были трудом. Компьютеры, как и многие рабочие места, исчезли, потому что компьютеры автоматизируют кучу цифровой обработки информации, которая вам больше не нужна человеку. И поэтому компьютеры — это труд, и это уже произошло. И самодвижение как пример — это тоже как компьютеры, выполняющие труд. Так что, я думаю, это уже произошло. Так что это все еще обычное дело. Да, я думаю, у вас есть машина, которая выдает больше таких вещей, возможно, с более высокой скоростью. И поэтому исторически у нас есть примеры изменения режима роста, когда вы перешли от 0,2% роста к 2% роста. Так что мне кажется очень вероятным, что машина, которая затем выдает следующий самодвижущийся автомобиль и следующий Интернет и что угодно, я имею в виду. Я как бы, да, я вижу, откуда это исходит. В то же время я чувствую, что люди делают это предположение, как будто, хорошо, у нас есть Бог в коробке, и теперь он может делать все, и это просто не будет выглядеть так, как будто он сможет делать некоторые вещи, он потерпит неудачу, некоторые другие вещи будут постепенно внедряться в общество, и, по сути, мы получим тот же паттерн, — это мой прогноз. Потому что это предположение о внезапном наличии полностью разумного, полностью гибкого, полностью общего человека в коробке. И мы можем применять его к произвольным проблемам в обществе. Я не думаю, что у нас будет это дискретное изменение. И поэтому я думаю, что мы придем к тому же типу постепенной диффузии этого по всей отрасли. Я думаю, что часто в этих разговорах сбивает с толку то, что люди. Я не люблю использовать слово "интеллект" в этом контексте, потому что интеллект подразумевает, вы думаете, как будто, о, сверхинтеллект будет сидеть. Будет один сверхинтеллект, сидящий на сервере, и он будет божественно придумывать новые технологии и изобретения, которые вызывают этот взрыв. И это не то, что я себе представляю. Когда я представляю 20% роста. Я представляю, что есть миллиарды, по сути, очень умных, похожих на человека разумов, возможно, или это все, что требуется. Но тот факт, что их сотни миллионов, миллиарды, каждый из которых индивидуально создает новые продукты, придумывает, как интегрироваться в экономику. Точно так же, как если бы очень опытный умный иммигрант приехал в страну, вам не нужно было бы придумывать, как мы его интегрируем в экономику. Они сами придумают, они могут основать компанию, они могут сделать изобретения или просто повысить производительность в мире. И у нас есть примеры даже в текущем режиме мест, где был экономический рост на 10-20%. Если у вас просто много людей и меньше капитала по сравнению с людьми, у вас может быть Гонконг или Шэньчжэнь или что-то в этом роде, где десятилетиями был рост на 10% и более. И я думаю, что просто есть много очень умных людей, которые готовы использовать ресурсы и пройти этот период догоняющего развития, потому что у нас был этот разрыв. И я думаю, что ИИ может быть похож. Так что я думаю, я понимаю, но я все еще думаю, что вы предполагаете какой-то дискретный скачок, какой-то прорыв, который мы ждем, чтобы заявить, и внезапно у нас появятся гении в центрах обработки данных. И я все еще думаю, что вы предполагаете какой-то дискретный скачок, который, как мне кажется, не имеет прецедентов в истории, который я не могу найти ни в одной статистике и который, как мне кажется, скорее всего, не произойдет. Я имею в виду, промышленная революция — это такой скачок, верно? Вы перешли от 0,2% роста к 2% роста. Я просто говорю, что вы увидите еще один такой скачок. Я немного подозрителен. Мне придется посмотреть. Я немного подозрителен, и мне придется посмотреть, например, как, возможно, некоторые журналы до промышленной революции не очень хороши или что-то в этом роде. Так что я немного подозрителен к этому. Но да, возможно, вы правы. У меня нет твердых мнений. Возможно, вы говорите, что это было единичное событие, которое было чрезвычайно волшебным, и вы говорите, что, возможно, будет еще одно событие, которое будет точно таким же, чрезвычайно волшебным, оно сломает парадигму и так далее. На самом деле я не думаю, что решающее значение промышленной революции заключалось в том, что она не была волшебной. Правильно. Если бы вы просто увеличили масштаб, то, что вы увидели бы в 1770 или 1870 году, это не то, что было какое-то ключевое изобретение. Да, именно. Но в то же время вы переместили экономику в режим, где прогресс был намного быстрее, и экспонента увеличилась в 10 раз. И я ожидаю чего-то подобного от ИИ, где не будет такого момента, когда мы сделаем. Ключевое изобретение, которое разблокируется. Например, есть новый источник энергии, есть какой-то прорыв в данном случае — своего рода когнитивная способность, и есть перегрузка когнитивной работы, которую нужно выполнить. Это верно. И вы ожидаете, что эта перегрузка будет заполнена этой новой технологией, когда она пересечет порог. И я имею в виду, возможно, один из способов взглянуть на это — это через историю, много роста. Я имею в виду, рост происходит потому, что люди придумывают идеи, а затем люди выполняют эти идеи и создают ценный продукт. И на протяжении большей части этого времени население взрывалось. Это двигало рост. За последние 50 лет. Люди утверждают, что рост стагнировал. Население в развитых странах также стагнировало. Я думаю, мы возвращаемся к гиперэкспоненциальному росту населения и производства. Простите, экспоненциальный рост населения, вызывающий гиперэкспоненциальный рост производства. Да, я имею в виду, да, очень трудно сказать. Я понимаю эту точку зрения. Я интуитивно не чувствую эту точку зрения. Итак, мы только что получили доступ к VO 3.1 от Google, и было очень здорово поиграть с ним. Первое, что мы сделали, это прогнали кучу подсказок через VO3 и 3.1, чтобы увидеть, что изменилось в новой версии. Вот VO3. Привет, я Макс, и я снова застрял в локальном минимуме. Ничего страшного, Макс, мы все там были. Мне потребовалось 3F бокса, чтобы выбраться. А вот VO 3.1. Привет, я Макс, и я снова застрял в локальном минимуме. Ничего страшного, Макс, мы все там были. Мне потребовалось три эпохи, чтобы выбраться. Вывод трех брендов просто последовательно более связный, а звук заметно выше качества. Мы уже некоторое время используем VO. На самом деле. Ранее в этом году мы опубликовали эссе о фирмах ИИ, полностью анимированных VO2, и было удивительно видеть, как быстро эти модели улучшаются. Это обновление делает VO еще более полезным для анимации наших идей и объяснений. Вы можете попробовать VO прямо сейчас в приложении Gemini с подписками Pro и Ultra. Вы также можете получить доступ к нему через Gemini API или через Google Flow. Вы порекомендовали мне книгу Ника Лейна, а затем на этой основе я тоже нашел ее очень интересной и взял у него интервью, и поэтому у меня есть вопросы о мышлении об интеллекте и эволюционной истории. Теперь, когда вы за последние 20 лет исследований ИИ, возможно, имеете более ощутимое представление о том, что такое интеллект, что требуется для его развития. Вы больше или меньше удивлены в результате того, что эволюция просто спонтанно наткнулась на него? Мне очень нравятся книги Ника Лейна, кстати. Так что да, я просто слушал его подкаст по дороге сюда. В отношении интеллекта и его эволюции, я пришел. Это пришло довольно. Я имею в виду, это очень, очень недавнее событие, верно? Я удивлен, что оно эволюционировало. Да, мне кажется увлекательным думать обо всех мирах там. Скажем, есть тысяча планет, похожих на Землю, и как они выглядят. Я думаю, Ник Лейн был здесь, говоря о самых ранних частях, верно? Например, он ожидает, по сути, очень похожих форм жизни, грубо говоря, и бактерий, и большинства из них, а затем есть несколько прорывов. Я бы ожидал, что эволюция интеллекта интуитивно кажется мне довольно редким событием. И животные существуют уже. Я думаю, возможно, стоит основываться на том, как долго что-то существует. Например, если бактерии существуют 2 миллиарда лет, и ничего не произошло, то переход к эукариотам, вероятно, довольно сложен, потому что бактерии появились довольно рано в эволюции или истории Земли. И поэтому, я думаю, как долго у нас есть животные? Может быть, пара сотен миллионов лет. Например, многоклеточные животные, которые бегают, ползают и так далее, что составляет, возможно, 10% продолжительности жизни Земли или что-то в этом роде. Так что, возможно, в этом масштабе это на самом деле не слишком сложно. Мне все еще кажется удивительным. Я думаю, интуитивно, что это развилось. Я бы, возможно, ожидал просто множество животных, похожих на животных, делающих животные вещи. Тот факт, что вы можете получить что-то, что создает культуру и знания и накапливает их, удивляет меня. Хорошо, на самом деле есть пара интересных продолжений, если вы принимаете солнечную перспективу, что на самом деле суть интеллекта — это животный интеллект. Цитата, которую он сказал: "Если бы вы добрались до белки, вы были бы на полпути к AGI". Затем мы добрались до интеллекта белки, я думаю, сразу после кембрийского взрыва, 600 миллионов лет назад. Кажется, что это было вызвано насыщением кислородом 600 миллионов лет назад. Но сразу же появился алгоритм интеллекта, чтобы создать интеллект белки. Так что это предполагает, что животный интеллект был таким. Как только у вас появился кислород в окружающей среде, у вас появился эукариот. Вы могли просто получить алгоритм. Возможно, это была своего рода случайность, на которую эволюция так быстро наткнулась. Но я не знаю, предполагает ли это, что на самом деле это будет довольно просто. Да. По сути. Так трудно сказать. Правильно. С любой из этих вещей, я думаю, вы можете основывать это немного на том, как долго что-то существует, или как долго кажется, что что-то было узким местом. Так что Николайн очень хорошо описывает это очевидное узкое место у бактерий и архей. В течение 2 миллиардов лет происходило, как бы, крайнее разнообразие биохимии, и тем не менее, ничего, что вырастает до животных. Два миллиарда лет. Я не знаю, видели ли мы именно такой эквивалент у животных и интеллекта, к вашему пункту. Правильно. Но я думаю, возможно, мы могли бы также посмотреть на это с точки зрения того, сколько раз, по нашему мнению, определенный интеллект возникал индивидуально. Это очень хорошая вещь для исследования. Возможно, одна мысль по этому поводу заключается в том, что я почти чувствую, ну, есть гоминидный интеллект, и есть, я бы сказал, птичий интеллект. Правильно. Например, вороны и так далее, чрезвычайно умны, но их мозговые части на самом деле довольно отличаются, и у нас не так много существования. Так что, возможно, это небольшое событие. Есть небольшое указание на то, что интеллект возникает несколько раз. И в этом случае вы, возможно, ожидаете его чаще или что-то в этом роде. Да. Бывший гость, Гверн, а также Карл Шульман сделали действительно интересное замечание по этому поводу, которое заключается в том, что их точка зрения заключается в том, что масштабируемый алгоритм, который есть у людей и приматов, возник и у птиц, и, возможно, в других случаях. Но люди нашли эволюционную нишу, которая вознаграждала за незначительное увеличение интеллекта, а также имела масштабируемый мозговой алгоритм, который мог достичь этих увеличений интеллекта. И поэтому, например, если бы у птицы был больший мозг, она бы просто рухнула с воздуха. Так что она очень умна для размера своего мозга, но она не находится в нише, которая вознаграждает увеличение мозга. Да. Возможно, то же самое с некоторыми очень умными дельфинами и так далее. Точно. Да. В то время как люди, вы знаете, у нас есть руки, которые вознаграждают возможность научиться использовать инструменты. Мы можем экстернализировать пищеварение, больше энергии в мозг, и это запускает маховик. Да. И просто есть с чем работать. Я имею в виду, я предполагаю, что было бы сложнее, если бы я был дельфином. Я имею в виду, как вы это делаете. Вы не можете иметь огонь, например, и тому подобное. Я имею в виду, вероятно, вселенная вещей, которые вы можете делать в воде, например, внутри воды, вероятно, меньше, чем то, что вы можете делать на суше, просто химически. Да. Я согласен с этой точкой зрения о нишах и о том, что стимулируется. Мне все еще кажется чудом, что я, возможно, ожидал, что вещи застрянут на животных с большими мышцами. Интеллект на самом деле является действительно захватывающей точкой разрыва. Как сказал Горн, причина, по которой это было так сложно, заключается в очень тонкой грани между ситуацией, когда что-то настолько важно выучить, что не стоит просто выводить точные схемы прямо в вашу ДНК, против того, что это неважно, чтобы учиться вообще. Это должно быть что-то, что стимулирует создание алгоритма для обучения в течение жизни. Да, именно. Вы должны стимулировать некоторую адаптивность. Вы на самом деле хотите, чтобы среды были непредсказуемыми. Так что эволюция не может запечь ваши алгоритмы в ваши веса. Многие животные, по сути, предварительно запечены в этом смысле. И поэтому людям приходится выяснять это во время тестирования, когда они рождаются. И поэтому, возможно, вы на самом деле хотите таких сред, которые действительно быстро меняются или что-то в этом роде, где вы не можете предвидеть, что будет работать хорошо. И поэтому вы на самом деле вкладываете весь этот интеллект, вы создаете интеллект, чтобы выяснить это в это время. Так что Квентин Поуп написал интересный пост в блоге, где он говорит, что причина, по которой он не ожидает резкого взлета, заключается в том, что у людей был резкий взлет, где 60 000 лет назад у нас, похоже, были когнитивные архитектуры, которые у нас есть сегодня, и 10 000 лет назад. Аграрная революция, современность. Что происходило в эти 50 000 лет? Ну, вам пришлось построить своего рода культурный каркас, где вы можете накапливать знания на протяжении поколений. Это способность, которая существует бесплатно в том, как мы обучаем ИИ, где, если вы переобучаете модель, она все еще может, я имею в виду, во многих случаях они буквально дистиллируются. Но их можно обучать друг на друге, их можно обучать на том же предварительно обученном корпусе. Им не нужно буквально начинать с нуля. Так что есть смысл в том, что то, что заняло у людей много времени, чтобы запустить этот культурный цикл, просто приходит бесплатно с тем, как мы обучаем LLM. Да и нет. Потому что LLM на самом деле не имеют эквивалента культуры, и, возможно, мы даем им слишком много и стимулируем их не создавать ее или что-то в этом роде. Но я думаю, изобретение культуры и письменной записи и передачи заметок друг другу, я не думаю, что есть эквивалент этого с LLM прямо сейчас. Так что LLM на самом деле не имеют культуры прямо сейчас, и это, я думаю, одно из препятствий. Я бы сказал, можете ли вы дать мне представление о том, как может выглядеть культура LLM? В простейшем случае это будет гигантская блокнот, который LLM может редактировать, и когда он читает что-то или помогает с работой, он редактирует блокнот для себя. Почему LLM не может написать книгу для других LLM? Это было бы здорово. Почему другие LLM не могут прочитать книгу этого LLM и вдохновиться ею или шокироваться ею или что-то в этом роде? Для всего этого нет эквивалента. Интересно. Когда вы ожидаете, что такой тип вещей начнет происходить? И более общий вопрос о многоагентных системах и своего рода независимой цивилизации и культуре ИИ. Я думаю, есть две мощные идеи в области многоагентных систем, которые обе еще не были действительно заявлены или тому подобное. Первое, я бы сказал, это культура, а LLM, по сути, расширяет репертуар знаний для своих собственных целей. Второе выглядит очень похоже на мощную идею самоигры в моем представлении чрезвычайно мощной. Так что эволюция на самом деле имеет много конкуренции, по сути, движущей интеллект, а в AlphaGo более алгоритмически, AlphaGo играет против себя, и именно так он учится быть очень хорошим в го. И нет эквивалента самоиграющих LLM, но я бы ожидал, что это тоже будет существовать, но никто еще этого не сделал. Например, почему LLM не может, например, создавать кучу проблем, которые другой LLM учится решать, а затем LLM всегда пытается ставить все более и более сложные проблемы, и тому подобное. Так что я думаю, есть много способов организовать это, и я думаю, что это область исследований, но я думаю, что я еще не видел ничего, что убедительно заявляло бы оба этих момента, как многоагентные улучшения. Я все еще думаю, что мы в основном находимся в области одного индивидуального агента, но я также думаю, что это изменится. И в области культуры я бы также включил организации. И мы еще не видели ничего убедительного в этом отношении. Так что именно поэтому мы все еще на ранней стадии. И можете ли вы определить ключевое узкое место, которое препятствует такому сотрудничеству между LLM? Возможно, я бы сказал, что, как ни удивительно, опять же, некоторые из этих аналогий работают, и они не должны, но, как ни удивительно, они работают. Многие из меньших моделей или более глупые, меньшие модели каким-то образом удивительно напоминают студента детского сада, или затем студента начальной школы, старшеклассника и так далее. И каким-то образом мы еще не закончили достаточно, чтобы это могло взять верх. Это все еще в основном мой плащ или кодекс. Они все еще чувствуют себя как ученики начальной школы. Я знаю, что они могут сдавать тесты для получения докторской степени, но они все еще когнитивно чувствуют себя как в детском саду или в начальной школе. Интересно. Так что я не думаю, что они могут создавать культуру, потому что они все еще дети, вы знаете, как будто они вундеркинды, у них идеальная память обо всем этом и так далее. И они могут убедительно создавать всевозможную чушь, которая выглядит очень хорошо, но я все еще думаю, что они на самом деле не знают, что делают, и у них на самом деле нет когнитивных способностей по всем этим маленьким флажкам, которые нам все еще нужно собрать. Да. Итак, вы говорили о том, что вы руководили разработкой автопилота в Tesla с 2017 по 2022 год, а затем вы лично видели этот прогресс от крутых демонстраций до тысяч автомобилей, которые сейчас фактически автономно ездят. Почему это заняло десятилетие? Что происходило в это время? Да, я бы сказал, что одно, на что я почти сразу же возражу, это то, что это еще далеко не закончено. Так что во многих отношениях, к которым я перейду. Я думаю, что автопилот очень интересен, потому что именно оттуда я получаю много своих интуиций, потому что я провел на нем пять лет. И у него есть вся эта история, где на самом деле первые демонстрации автопилота восходят к 1980-м годам. Вы можете увидеть демонстрацию из CMU в 1986 году. Есть грузовик, который едет сам по себе по дорогам. Но хорошо, перенесемся вперед. Я думаю, когда я присоединился к Tesla, у меня была очень ранняя демонстрация Waymo, и она, по сути, дала мне идеальную поездку в 2014 году или около того. Так что идеальная поездка Waymo десятилетие назад провела нас по Пало-Альто и так далее, потому что у меня был друг, который там работал, и я думал, что это очень близко, а потом все равно потребовалось много времени. И я думаю, что для некоторых видов задач и работ и так далее существует очень большой разрыв между демонстрацией и продуктом, где демонстрация очень проста, но продукт очень сложен. И это особенно актуально в случаях, таких как автопилот, где стоимость отказа слишком высока. Правильно. Многие отрасли, задачи и работы, возможно, не имеют этого свойства, но когда у вас есть это свойство, это определенно увеличивает сроки. Я думаю, что, например, в разработке программного обеспечения, я на самом деле думаю, что это свойство существует. Я думаю, что для многих кодов для написания кода этого нет. Но я думаю, что если вы пишете настоящий производственный код, я думаю, что это свойство должно существовать, потому что любая ошибка на самом деле приводит к уязвимости безопасности или чему-то в этом роде, и миллионы и сотни миллионов личных номеров социального страхования людей и так далее утекают или что-то в этом роде. И поэтому я думаю, что в случае с программным обеспечением люди должны быть осторожны. Похоже на автопилот. Как и в автопилоте, если что-то пойдет не так, вы можете получить травму. Я думаю, есть худшие исходы. Но я думаю, что в программном обеспечении я почти чувствую, что это почти безгранично. Насколько ужасно. Некоторые вещи могут быть интересными. Так что я думаю, что они разделяют это свойство. А затем я думаю, что, по сути, то, что занимает много времени, и способ думать об этом, это марш девяток. И каждая девятка — это постоянное количество работы. Так что каждая девятка — это то же количество работы. Так что, когда вы получаете демонстрацию, и что-то работает в 90% случаев, это просто первая девятка, а затем вам нужна вторая, третья, четвертая, пятая девятка. И пока я был в Tesla, в течение пяти лет или около того, я думаю, мы прошли, возможно, три девятки или две девятки. Я не знаю, что это, но как бы несколько девяток итераций, еще есть девятки. И поэтому эти вещи занимают так много времени. И поэтому это определенно формирует меня, как видеть что-то, что было демонстрацией. Я очень впечатлен демонстрациями. Так что всякий раз, когда я вижу демонстрации чего-либо, я чрезвычайно впечатлен этим. Это работает лучше, если вы можете. Если это демонстрация, которую кто-то приготовил и просто показывает вам, это худшее. Если вы можете взаимодействовать с ней, это немного лучше. Но даже тогда вы не закончили. Вам нужен настоящий продукт. Он столкнется со всеми этими проблемами, когда столкнется с реальностью, и со всеми этими различными карманами поведения, которые нужно исправить. И поэтому я думаю, что мы увидим, как все это развернется. Это марш девяток. Каждая девятка постоянна. Демонстрации обнадеживают. Еще огромная работа. Я думаю, что это действительно критическая область безопасности, если вы не занимаетесь написанием кода, что приятно и весело и так далее. И поэтому я думаю, что это также повлияло на мои сроки с этой точки зрения. Очень интересно слышать, как вы это говорите. Гарантии безопасности, которые вам нужны от программного обеспечения, на самом деле не сильно отличаются от автопилота, потому что люди часто говорят, что автопилот занял так много времени, потому что стоимость отказа очень высока. Например, человек совершает ошибку в среднем каждые 400 000 миль или каждые семь лет. И если бы вам пришлось выпустить агент по написанию кода, который не мог бы ошибаться по крайней мере семь лет, его было бы намного сложнее развернуть. Но я думаю, ваш пункт в том, что если вы совершите катастрофическую ошибку в коде, например, сломаете какую-то важную систему каждые семь лет, это очень легко сделать. И на самом деле, с точки зрения времени, это было бы намного меньше семи лет, потому что вы постоянно выдаете код, подобный этому. Правильно. Так что на токены, с точки зрения токенов, это было бы семь лет. Но с точки зрения времени. Да, в некотором смысле это гораздо более сложная проблема. Я имею в виду, автопилот — это лишь одна из тысяч вещей, которые делают люди. Это почти как одна вертикаль, я бы предположил. В то время как когда мы говорим об общем программном обеспечении, это еще больше, там больше поверхности. Есть еще одно возражение, которое люди выдвигают против этой аналогии, а именно то, что в случае автопилота большая часть этого времени ушла на решение проблемы построения базового, надежного восприятия и построения представлений и модели, которая имеет здравый смысл, чтобы она могла обобщать, когда я вижу что-то, что немного выходит за рамки распределения, если кто-то машет мне с дороги, вам не нужно тренироваться для этого. Эта вещь будет иметь некоторое понимание того, как реагировать на что-то подобное. И это то, что мы получаем бесплатно с LLM или VLM сегодня. Так что нам не нужно решать эти очень базовые проблемы представления. И поэтому теперь развертывание ИИ в различных областях будет похоже на развертывание автомобиля с автопилотом с текущими моделями в другом городе, что сложно, но не задача на 10 лет. Да, по сути. Я не на 100% уверен, что полностью согласен с этим. Я не знаю, сколько мы получаем бесплатно. И я все еще думаю, что есть много пробелов в понимании того, что мы получаем. Мы определенно получаем более обобщаемый интеллект в одной сущности, в то время как автопилот — это очень специализированная задача, которая требует, в некотором смысле, построения специализированной задачи, возможно, даже более сложной в обстоятельствах, потому что она не вытекает из более общего, что вы делаете в масштабе, если это имеет смысл. Но я все еще думаю, что аналогия не. Я все еще не знаю, полностью ли она резонирует, потому что LLM все еще довольно ошибочны. И я все еще думаю, что у них есть много пробелов, и их все еще нужно заполнить. И я не думаю, что мы получаем магическое обобщение полностью из коробки, в некотором смысле. И другой аспект, к которому я хочу вернуться, когда я был в начале, — это то, что автомобили с автопилотом еще далеко не готовы. Так что развертывания все еще довольно минимальны. Правильно. Так что даже Waymo и так далее имеют очень мало автомобилей. И они делают это, грубо говоря, потому что они не экономичны, верно? Потому что они построили что-то, что живет в будущем. И поэтому им пришлось отступить в будущее, но им пришлось сделать это неэкономичным. Так что у них есть все эти. Есть все эти расходы, не только маржинальные расходы на эти автомобили и их эксплуатацию и обслуживание, но и капитальные затраты на все это. Так что сделать это экономичным все равно будет тяжело, я думаю, для них. А затем, когда вы смотрите на эти автомобили, и никто не за рулем, я думаю, это немного обманчиво, потому что на самом деле существуют очень сложные центры телеоперации людей, которые на самом деле как бы в петле с этими автомобилями. И я не знаю полного объема этого, но я думаю, что там больше людей, чем вы могли бы ожидать. И есть люди где-то там, которые, по сути, транслируют из космоса. И я на самом деле не знаю, что они полностью вовлечены в вождение. Я думаю, что иногда они вовлечены, но они, безусловно, вовлечены. И есть люди, и в некотором смысле мы на самом деле не убрали человека. Мы переместили его туда, где его нельзя увидеть. Я все еще думаю, что будет какая-то работа, как вы упомянули, переход от среды к среде. И поэтому я думаю, что все еще есть проблемы, чтобы сделать автопилот реальным. Но я согласен, что он определенно пересек порог, где он ощущается реальным. Если только это не телеоперация. Например, Waymo не может ездить по всем разным частям города. Мое подозрение, что это части города, где у вас в любом случае нет хорошего сигнала. Так что, по сути, я на самом деле ничего не знаю о стеке. Я имею в виду, я просто выдумываю. Извините, вы руководили автопилотом пять лет в Tesla. Извините, я ничего не знаю о специфике Waymo. Мне кажется, я говорил о них. На самом деле, кстати, я люблю Waymo и пользуюсь им все время. Так что я не хочу говорить, что я просто думаю, что люди иногда слишком наивны в отношении некоторого прогресса, и я все еще думаю, что есть огромная работа, и я думаю, что Tesla заняла, на мой взгляд, гораздо более масштабируемый подход, и я думаю, что команда работает чрезвычайно хорошо и будет. И я как бы нахожусь на записи, предсказывая, как это будет, как гораздо более ранний старт, потому что вы можете упаковать так много датчиков. Но я думаю, что Tesla выбирает более масштабируемую стратегию, и это будет выглядеть гораздо больше так. Так что я думаю, что это еще предстоит развернуться, и этого еще не произошло. Но, по сути, я не хочу говорить об автопилоте как о чем-то, что заняло десятилетие, потому что это еще не заняло, если это имеет смысл. Потому что, во-первых, старт в 1980 году, а не 10 лет назад, а во-вторых, конец еще не наступил. Да, конец еще не наступил, потому что когда мы говорим об автопилоте, обычно в моем представлении это автопилот в масштабе, люди не должны получать водительские права и так далее. Мне интересно обсудить два других способа, которыми аналогия может отличаться. И причина, по которой я особенно интересуюсь этим, заключается в том, что я думаю, что вопрос о том, как быстро развертывается ИИ, насколько он ценен на ранних стадиях, — это, возможно, самый важный вопрос в мире прямо сейчас. Правильно? Например, если вы пытаетесь смоделировать, как выглядит 2020, 2030 или 2030 годы, это вопрос, который вы хотите понять. Так что еще одно, о чем вы можете подумать, это то, что у вас есть требование к задержке с автопилотом, где у вас есть. Я понятия не имею, каковы фактические модели, но я предполагаю, что десятки миллионов параметров или что-то в этом роде, что не является необходимым ограничением для работы со знаниями с LLM. Или, возможно, это будет с использованием компьютера и так далее. Но в любом случае, другое большое — это, возможно, более важно, этот вопрос капитальных затрат. Да, есть дополнительные расходы на обслуживание дополнительной копии модели, но операционные расходы сессии довольно низкие. И вы можете амортизировать стоимость ИИ в самом учебном прогоне, в зависимости от того, как масштабируется вывод и так далее. Но это, конечно, не так много, как создание совершенно нового автомобиля для обслуживания еще одной копии модели. Так что просто экономика развертывания в более широком масштабе гораздо более благоприятна. Я думаю, это правильно. Я думаю, если вы остаетесь в сфере битов, биты в миллион раз проще, чем что-либо, что касается физического мира. Я определенно признаю, что биты полностью изменяемы, произвольно перетасовываемы с очень высокой скоростью. Так что вы бы ожидали гораздо более быстрой адаптации также в отрасли и так далее. А затем, что было первым? Требования к задержке и их влияние на размер модели? Я думаю, это примерно правильно. Я также думаю, что если мы говорим о работе со знаниями в масштабе, то будут некоторые требования к задержке, практически говоря, потому что нам придется создать огромное количество вычислительных мощностей вместо этого. А затем я думаю, что последний аспект, о котором я хочу очень кратко поговорить, — это все остальное, просто все остальное. Так что думает общество об этом? Как это работает юридически? Как это работает со страховкой? Каковы эти уровни и аспекты этого? Что происходит с тем, что эквивалентно тому, что люди ставят конус на Waymo? Будут эквиваленты всего этого. И поэтому я думаю, что я почти чувствую, что автопилот — это очень хорошая аналогия, из которой вы можете заимствовать вещи. Да. Что эквивалентно конусу на машине? Что эквивалентно работнику телеоперации, который скрыт и почти во всех аспектах этого? Да. У вас есть какие-либо мнения о том, подразумевает ли это, что текущее наращивание ИИ, которое увеличит в 10 раз объем доступных вычислительных мощностей в мире за год или два, и, возможно, более чем в 100 раз к концу десятилетия, если использование ИИ будет ниже, чем некоторые люди наивно предсказывают, означает ли это, что мы перестраиваем вычислительные мощности, или это отдельный вопрос? Похоже на то, что произошло с железными дорогами и всем этим? Что? Простите, это были железные дороги? Простите, есть исторический прецедент. Или это было с телекоммуникационной отраслью? Правильно? Например, до прокладки Интернета, который появился только через десятилетие, вы знаете, и создание вроде

целый пузырь в телекоммуникационной индустрии в конце 90-х, что-то вроде того. Да. Так что, я не знаю. Я имею в виду, я понимаю, что звучу очень пессимистично. Я делаю это только потому, что на самом деле я оптимист. Я думаю, что это сработает. Я думаю, что это решаемо. Я звучу пессимистично только потому, что когда я просматриваю свою ленту в Твиттере, я вижу все эти вещи, которые не имеют для меня смысла, и я думаю, что есть много причин, почему это существует. И я думаю, что многое из этого, честно говоря, просто сбор средств. Это просто структура стимулов. Многое из этого может быть сбором средств. Многое из этого — просто внимание, конвертация внимания в деньги в Интернете, тому подобное. Так что я думаю, что многое из этого происходит, и я думаю, что я только реагирую на это. Но в целом я по-прежнему очень оптимистичен в отношении технологий. Я думаю, мы разберемся со всем этим, и я думаю, что был достигнут быстрый прогресс. Я на самом деле не знаю, есть ли перепроизводство. Я думаю, что мы сможем поглотить то, что, насколько я понимаю, строится, потому что я действительно думаю, что, например, облачный код или кодеки OpenAI и тому подобное, их не существовало даже год назад. Верно. Это так? Я думаю, примерно так. Это чудесная технология, которой не существовало. Я думаю, будет огромный спрос, как мы уже видим спрос на ChatGPT и так далее. Так что, да, я на самом деле не знаю, есть ли перепроизводство, но, думаю, я просто реагирую на некоторые очень быстрые сроки, которые люди продолжают неправильно называть. И я слышал это много, много раз за мои 15 лет в области ИИ, когда очень уважаемые люди постоянно ошибаются. И я думаю, я хочу, чтобы это было правильно откалибровано. И я думаю, что некоторые из этого также имеют геополитические последствия и тому подобное. Некоторые из этих вопросов. И я думаю, я не хочу, чтобы люди совершали ошибки в этой сфере. Поэтому я хочу, чтобы мы опирались на реальность того, что такое технология, а что нет. Так что давайте поговорим об образовании в Eureka и тому подобном. Одна из вещей, которую вы могли бы сделать, — это основать еще одну лабораторию ИИ, а затем попытаться решить эти проблемы. Да. Мне интересно, чем вы сейчас занимаетесь. А затем, почему бы не само исследование ИИ? Я думаю, возможно, я бы сформулировал это так: я чувствую некоторую предопределенность в отношении того, что делают лаборатории ИИ, и я чувствую, что мог бы помочь там, но я не знаю, буду ли я уникален. Я не знаю, смогу ли я уникально улучшить это. Но я думаю, мой личный большой страх заключается в том, что многое из этого происходит на стороне человечества, и человечество теряет силу из-за этого. И меня волнуют не только все сферы Дайсона, которые мы построим, и которые ИИ построит полностью автономным образом. Меня волнует то, что происходит с людьми, и я хочу, чтобы люди были в благополучии в этом будущем. И я чувствую, что именно здесь я могу принести гораздо больше уникальной ценности, чем инкрементальное улучшение в передовой лаборатории. И поэтому, я думаю, я больше всего боюсь чего-то, возможно, похожего на то, что изображено в фильмах, таких как «ВАЛЛ-И» или «Идиократия» или что-то в этом роде, где человечество находится как бы на обочине всего этого. И я хочу, чтобы люди были намного, намного лучше в этом будущем. И поэтому, я думаю, для меня это своего рода образование, с помощью которого вы можете этого достичь. Так чем вы там занимаетесь? Да, так вот, Eureka пытается построить. Я думаю, возможно, самый простой способ описать это — мы пытаемся построить Академию Звездного Флота. Я не знаю, смотрели ли вы «Звездный путь». Я не смотрел. Хорошо. Академия Звездного Флота — это это элитное учреждение для передовых технологий, строительство космических кораблей и выпуск кадетов для пилотирования этих космических кораблей и тому подобное. Так что я просто представляю себе элитное учреждение для технических знаний и, по сути, своего рода школу, которая очень современна и является очень престижным учреждением. Одна из категорий вопросов, которые у меня есть к вам, — это просто объяснение того, как преподавать технический или научный контент. Хорошо, потому что вы один из мировых мастеров в этом. И тогда мне интересно как то, как вы думаете об этом для контента, который вы уже опубликовали на YouTube, так и, в той мере, в какой это отличается, как вы думаете об этом для вас. Eureka. Да. Что касается Eureka, я думаю, одна вещь, которая меня очень увлекает в образовании, это то, что я действительно думаю, что образование будет фундаментально меняться с появлением ИИ. И я думаю, что его придется перестроить и изменить в некоторой степени. Я все еще думаю, что мы находимся на очень ранней стадии. Я думаю, будет много людей, которые попытаются сделать очевидные вещи, такие как: «О, давайте возьмем LLM и будем задавать ему вопросы и делать все базовые вещи, которые вы делали бы с помощью подсказок». Прямо сейчас я думаю, что это полезно, но мне это все еще кажется немного неряшливым. Я хотел бы сделать это правильно, и я думаю, что возможности для того, что я хочу, еще нет. Я хотел бы, возможно, получить настоящий опыт репетитора. Ярким примером в моей голове является то, что я недавно изучал корейский язык, так что изучение языка. И у меня был период, когда я сам учил корейский язык в Интернете. У меня был период, когда я был частью небольшого класса в Корее, где я учил корейский с кучей других людей, что было очень забавно. Но у нас был учитель и около 10 человек, изучающих корейский. А затем я переключился на индивидуального репетитора. И, думаю, что меня поразило, это то, что у меня был очень хороший репетитор. Но я имею в виду, просто размышляя о том, что этот репетитор делал для меня и насколько невероятным был этот опыт, и насколько высока планка для того, что я действительно хочу в конечном итоге построить, потому что я имею в виду, она была чрезвычайно такой. Она мгновенно, после очень короткого разговора, поняла, где я нахожусь как студент, что я знаю, а чего не знаю. И она смогла задавать именно те вопросы или вещи, которые помогли мне понять мою модель мира. Нет, LLM не сделает этого для вас на 100% прямо сейчас. Даже близко нет, верно? Но репетитор сделает это, если он хорош. Хорошо. Как только она поймет, она действительно предоставила мне все, что мне было нужно на моем текущем уровне возможностей. Мне нужно, чтобы меня всегда соответствующим образом бросали вызов. Я не могу столкнуться с чем-то слишком трудным или слишком тривиальным. И репетитор действительно хорошо предоставляет вам именно то, что нужно. И поэтому я чувствовал, что я был единственным ограничением в обучении, как моем собственном. Я был единственным ограничением. Мне всегда предоставляли идеальную информацию. Я единственный ограничитель. И я чувствовал себя хорошо, потому что я был единственным препятствием, которое существовало. Дело не в том, что я не могу найти знания или что они не объяснены должным образом и так далее, а просто в моей способности запоминать и так далее. И вот чего я хочу для людей. Как это автоматизировать? Очень хороший вопрос о текущих возможностях. Вы не можете. Но я думаю, что с, и именно поэтому я думаю, что сейчас не самое подходящее время для создания такого рода ИИ-репетитора. Я все еще думаю, что это полезный продукт, и многие люди будут его создавать, но я все еще чувствую, что планка так высока, и возможности нет. Но я имею в виду, даже сегодня я бы сказал, что ChatGPT — это чрезвычайно ценный образовательный продукт. Но я думаю, для меня было так увлекательно видеть, насколько высока планка. И когда я был с ней, я почти чувствовал, что нет никакого способа, которым я. Могу это построить, но вы это строите, верно? Любой, у кого был действительно хороший репетитор, думает: «Как вы собираетесь это построить?» Так что я думаю, я жду этой возможности. Я действительно думаю, что во многих отношениях в индустрии, например, я занимался ИИ-консалтингом для компьютерного зрения. Много раз ценность, которую я приносил компании, заключалась в том, чтобы сказать им не использовать ИИ. Это было не так, будто я был экспертом по ИИ. И они описывали проблему, а я говорил: «Не используйте ИИ». Это была моя добавленная стоимость. И я чувствую, что сейчас то же самое в образовании, где я как бы чувствую, что для того, что у меня на уме, еще не время, но время придет. Но пока я строю что-то, что выглядит, возможно, более обычным, что имеет физический и цифровой компонент и так далее. Но я думаю, очевидно, очевидно, как это должно выглядеть в будущем. Говорят ли они, что вы готовы сказать, что это то, что вы надеетесь выпустить в этом или следующем году? Ну, так вот, я строю первый курс и хочу иметь действительно, действительно хороший курс. Передовое, очевидно, передовое место назначения. Вы идете учиться ИИ в данном случае, потому что это то, что я знаю. Так что я думаю, это действительно хороший первый продукт, чтобы стать действительно хорошим. И вот что я строю. А Nanochat, который вы кратко упомянули, — это финальный проект LLM101N, который является курсом, который я строю. Так что это действительно большая часть этого. Но теперь мне нужно разработать много промежуточных курсов, а затем мне нужно нанять небольшую команду ТА и так далее и фактически построить весь курс. И, возможно, еще одна вещь, которую я хотел бы сказать, это то, что многие люди, когда думают об образовании, думают о более. Что я бы сказал, своего рода мягкий компонент распространения знаний. Но на самом деле у меня есть что-то очень сложное и техническое на уме. И поэтому в моем представлении образование — это своего рода очень сложный технический процесс построения пандусов к знаниям. Так что в моем представлении Nanochat — это пандус к знаниям, потому что это очень простой. Это как супер упрощенный полный стек. Если вы дадите этот артефакт кому-то, и он его изучит, он узнает кучу всего. И поэтому он дает вам много того, что я называю эвриками в секунду, что является пониманием в секунду. Вот чего я хочу. Много эвриков в секунду. И поэтому для меня это техническая проблема того, как мы строим эти пандусы к знаниям. И поэтому я почти думаю о Eureka как почти о. Это не так уж и отличается, возможно, через некоторые из передовых лабораторий или некоторую работу, которая будет проводиться. Потому что я хочу выяснить, как очень эффективно строить эти пандусы, чтобы люди никогда не застревали, и все всегда было не слишком сложно и не слишком тривиально, и у вас был именно тот материал, чтобы фактически прогрессировать. Да. Так что вы представляете себе краткосрочную перспективу, что вместо того, чтобы репетитор мог проверять ваше понимание, если у вас достаточно самосознания, чтобы проверять себя, вы никогда не застрянете. Вы можете найти правильный ответ. Между разговором с ТА или разговором с LLM и просмотром эталонной реализации, похоже, что автоматизация или ИИ на самом деле не являются значительными до сих пор. На самом деле, здесь большая альфа — это ваша способность объяснять ИИ, закодированный в исходном материале курса. Верно. Это, по сути, то, что представляет собой курс. Я имею в виду, я думаю, вы всегда должны быть откалиброваны к тому, какие возможности существуют в индустрии. И я думаю, что многие люди будут стремиться к: «О, просто спросите ChatGPT» и так далее. Но я думаю, что прямо сейчас, например, если вы зайдете в ChatGPT и скажете: «О, научи меня ИИ», нет никакого способа, я имею в виду, он даст вам какую-то ерунду. Верно. ИИ никогда не напишет nanochat прямо сейчас. Но nanochat — это очень полезная, я думаю, промежуточная точка. Так что я сотрудничаю с ИИ, чтобы создать весь этот материал. Так что ИИ по-прежнему фундаментально очень полезен. Ранее я создал CS231N в Стэнфорде, который был одним из первых на самом деле. Извините, я думаю, это был первый курс по глубокому обучению в Стэнфорде, который стал очень популярным. И разница в создании 231N и LL101N сейчас очень велика, потому что я чувствую себя действительно уполномоченным LLM, как они существуют сейчас. Но я очень вовлечен. Так что они помогают мне создавать небольшие материалы, я работаю намного быстрее, они делают много скучной работы и так далее. Так что я чувствую, что разрабатываю курс намного быстрее, и эти LLM встроены в него, но он еще не находится в месте, где я могу творчески создавать контент. Я все еще там, чтобы сделать это. Так что я думаю, что хитрость всегда заключается в том, чтобы откалибровать себя к тому, что существует. И поэтому, когда вы представляете, что будет доступно через Eureka через пару лет, кажется, что основным узким местом будет поиск экспертов в каждой области, которые смогут преобразовать свое понимание в эти пандусы. Верно. Да. Так что я думаю, что это будет меняться со временем. Так что я думаю, что прямо сейчас это будет найм преподавателей, которые помогут работать рука об руку с ИИ и командой людей, вероятно, для создания передовых курсов. А затем, я думаю, со временем, возможно, некоторые из ТА смогут фактически стать ИИ, потому что некоторые из ТА, например, хорошо, вы просто берете все материалы курса, а затем я думаю, вы можете предоставить очень хорошего автоматизированного ТА для студента, когда у них есть более простые вопросы или что-то в этом роде. Верно. Но я думаю, вам понадобятся преподаватели для общей архитектуры курса и обеспечения его соответствия. И поэтому я как бы вижу прогрессию того, как это будет развиваться, и, возможно, в какой-то будущий момент я даже не буду так полезен, а ИИ будет делать большую часть дизайна намного лучше, чем я мог бы. Но я все еще думаю, что это займет некоторое время, чтобы развернуться. Но вы представляете, что люди, обладающие опытом в других областях, затем вносят свой вклад в курсы, или вы чувствуете, что это на самом деле очень важно для видения, что вы, учитывая ваше понимание того, как вы хотите преподавать, являетесь тем, кто разрабатывает контент? Я не знаю. Сэл Хан озвучивает все видео на Khan Academy. Вы представляете что-то подобное? Нет. Я найму преподавателей, я думаю, потому что есть области, в которых я не эксперт, и я думаю, что это единственный способ предложить студенту передовой опыт в конечном итоге. Так что, да, я ожидаю, что найму преподавателей, но я, вероятно, останусь в области ИИ на некоторое время. Но у меня есть что-то, я думаю, более обычное на уме для текущих возможностей, я думаю, чем то, что люди, вероятно, ожидают. И когда я строю Академию Звездного Флота, я, вероятно, представляю себе физическое учреждение, а может быть, и уровень ниже этого, цифровое предложение. Это не передовой опыт, который вы получите, когда кто-то приходит физически на полный рабочий день, и мы проходим материал от начала до конца и убеждаемся, что вы его понимаете. Это физическое предложение. Цифровое предложение — это, да, куча всего в Интернете и, возможно, какой-то ИИ-ассистент. И это немного более трюковое в более низком уровне, но, по крайней мере, оно доступно 8 миллиардам человек. Да, я думаю, вы, по сути, изобретаете колледж с нуля для инструментов, доступных сегодня, а затем отбираете людей, у которых есть мотивация и интерес к реальному взаимодействию с материалом. Да. И я думаю, что будет много не только образования, но и переобучения. И я хотел бы помочь там, потому что рабочие места, вероятно, сильно изменятся. И поэтому, например, сегодня многие люди пытаются повысить свою квалификацию именно в области ИИ. Так что я думаю, это очень хороший курс для преподавания в этом отношении. И да, я думаю, что с точки зрения мотивации до AGI мотивация очень проста для решения, потому что люди хотят зарабатывать деньги, и это то, как вы зарабатываете деньги в индустрии сегодня. Я думаю, что после AGI гораздо интереснее, возможно, потому что, да, если все автоматизировано, и никому нечего делать, зачем кому-то идти в школу и так далее. Так что, я думаю, я, как я часто говорю, что образование до AGI полезно. Образование после AGI — это весело, и в том же смысле, как люди. Например, люди ходят в спортзал сегодня, но нам не нужна их физическая сила, чтобы манипулировать тяжелыми предметами, потому что у нас есть машины, которые делают это. Они все еще ходят в спортзал. Зачем они ходят в спортзал? Ну, потому что это весело, это здорово, и вы выглядите горячо, когда у вас есть пресс. Я не знаю. Так что, я думаю, я хочу сказать, что это привлекательно для людей делать это в определенном очень глубоком психологическом эволюционном смысле для человечества. И поэтому я как бы думаю, что образование будет развиваться таким же образом, как вы будете ходить в школу, как вы ходите в спортзал. И я думаю, что прямо сейчас я думаю, что не так уж много людей учатся, потому что учиться трудно. Вы отскакиваете от материала, и некоторые люди преодолевают этот барьер. Но для большинства людей это трудно. Но я думаю, что это техническая проблема, которую нужно решить. Это техническая проблема, которую нужно решить. То, что мой репетитор делал для меня, когда я учил корейский, я думаю, это решаемо и построимо, и кто-то должен это построить. И я думаю, что это сделает обучение чему-либо тривиальным и желательным, и люди будут делать это ради удовольствия, потому что это тривиально. Если бы у меня был такой репетитор для любого произвольного знания, я думаю, учиться чему-либо было бы намного проще, и люди бы это делали, и они бы делали это по тем же причинам, по которым они ходят в спортзал. Я имею в виду, это звучит иначе, чем использование этого предполагаемого AGI. Вы используете это в основном как развлечение или как самосовершенствование. Но мне казалось, что у вас также было видение, что это образование имеет отношение к тому, чтобы человечество сохраняло контроль над ИИ. Я понимаю. И они звучат по-разному, и мне интересно, это как бы развлекает одних, а других — расширяет возможности. Как вы думаете об этом? Я думаю, это. Так что я определенно чувствую, что люди будут. Я думаю, что в конечном итоге это немного проигрышная игра, если это имеет смысл. Я думаю, что в долгосрочной перспективе. Долгосрочная перспектива, которая, я думаю, длиннее, чем я думаю, возможно, большинство людей в индустрии, это проигрышная игра. Я думаю, что люди могут зайти так далеко, и что мы едва коснулись поверхности того, как далеко может зайти человек. И это просто потому, что люди отскакивают от материала, который слишком легкий или слишком сложный. И я на самом деле думаю, что люди смогут зайти гораздо дальше. Любой говорит на пяти языках, потому что почему бы и нет? Потому что это так тривиально. Любой знает всю базовую учебную программу бакалавриата и так далее. Теперь, когда я понимаю видение, это очень интересно. Я думаю, что у него есть идеальный аналог в культуре спортзала. Я не думаю, что 100 лет назад кто-нибудь был бы накачан. Никто не смог бы спонтанно поднять два или три блина или что-то в этом роде. Сейчас это на самом деле очень распространено, потому что эта идея систематических тренировок и поднятия тяжестей в спортзале или систематических тренировок для марафона, что является способностью, которой спонтанно у вас не было бы, или у большинства людей не было бы. И вы представляете себе подобные вещи для обучения в различных областях, гораздо более интенсивно, глубоко, быстрее. Да, именно так. И я как бы чувствую, что я немного неявно ставлю на некоторую вечность человеческой природы. И я думаю, что будет желательно делать все эти вещи. И я думаю, что люди будут смотреть на это так же, как они смотрели на это на протяжении тысячелетий. И я думаю, что это будет продолжаться. И на самом деле, возможно, есть и исторические свидетельства этого, потому что если вы посмотрите, например, на аристократов или на древнюю Грецию или что-то в этом роде, когда у вас были небольшие карманные среды, которые были пост-AGI. В определенном смысле я действительно чувствую, что люди провели много времени, процветая определенным образом, либо физически, либо когнитивно. И поэтому я думаю, что я спокоен по поводу перспектив этого. И я думаю, что если это ложно, и я ошибаюсь, и мы окажемся в будущем «ВАЛЛ-И» или «Идиократии», то я думаю, это очень. Мне даже неважно, есть ли сферы Дайсона. Это ужасный исход. Мне действительно очень важна человечность. Как будто каждый должен быть сверхчеловеком в определенном смысле. Я думаю, это все еще мир, в котором это не дает нам возможности. Это мир культуры, верно? Вы не сможете фундаментально изменить траекторию технологий или влиять на решения своим собственным трудом или познанием. Возможно, вы сможете влиять на решения, потому что ИИ запрашивает ваше одобрение, но вы не. Как будто это не потому, что я изобрел что-то или придумал новый дизайн. Я действительно влияю на будущее. Да, возможно. Я на самом деле так не думаю. Я думаю, будет переходный период, когда мы сможем быть вовлечены и продвигать вещи, если мы действительно многое поймем. Я думаю, что в долгосрочной перспективе это, вероятно, исчезнет. Верно. Но, возможно, это даже станет спортом. Например, сейчас есть пауэрлифтеры, которые идут в крайность в этом направлении. Так что такое пауэрлифтинг в когнитивную эпоху? Возможно, это люди, которые действительно пытаются сделать Олимпиаду из знания вещей. И если у вас есть идеальный ИИ-репетитор, возможно, вы сможете зайти очень далеко. Я почти чувствую, что мы едва. Гении сегодняшнего дня едва касаются поверхности того, на что способна человеческая психика. Я думаю, да, мне нравится это видение. Я чувствую, что у вас самый большой продукт-маркет фит со мной, потому что моя работа включает в себя необходимость каждую неделю изучать разные предметы, и я, я очень взволнован, если вы можете. Я в этом отношении похож. Я имею в виду, вы знаете, многие люди, например, ненавидят школу и хотят из нее выбраться. Я был, я на самом деле, мне очень нравилась школа. Я любил учиться и так далее. Я хотел остаться в школе. Я оставался до самой аспирантуры, а потом меня не пустили остаться дольше. Так что я пошел в индустрию. Но я имею в виду, я, по сути, грубо говоря, я люблю, я люблю учиться даже ради обучения. Но я также люблю учиться, потому что это форма расширения возможностей и быть полезным и продуктивным. Я думаю, вы также сделали тонкий момент. Так что, просто чтобы прояснить. Я думаю, что произошло до сих пор с онлайн-курсами, почему они еще не позволили нам дать каждому человеку возможность знать все? И я думаю, что они просто очень мотивированы, потому что нет очевидных пандусов, и очень легко застрять. И если бы у вас вместо этого была эта вещь, по сути, как действительно хороший человеческий репетитор, это было бы таким прорывом с точки зрения мотивации. Я думаю, да, потому что неприятно отскакивать от материала. Это неприятно. Вы получаете отрицательное вознаграждение от вложения времени во что-то, и это не оправдывается, или вы полностью скучаете, потому что то, что вы получаете, слишком легко или слишком сложно. Так что, я думаю, да, я думаю, когда вы делаете это правильно, обучение приносит удовольствие. И я думаю, что это техническая проблема, чтобы добраться туда. И я думаю, что какое-то время это будет сотрудничество ИИ и человека. А в какой-то момент, возможно, это будет просто ИИ. Могу ли я задать несколько вопросов об обучении? Ну, если бы вам пришлось дать совет другому преподавателю в другой области, которая вас интересует, чтобы создавать такие же обучающие видео на YouTube, как вы, возможно, особенно интересно было бы поговорить о областях, где вы не можете просто, как вы не можете проверить техническое понимание кого-либо, заставив их кодировать что-то или что-то в этом роде. Какой совет вы бы им дали? Я думаю, это довольно широкая тема. Я действительно чувствую, что есть, по сути. Я почти чувствую, что есть 10-20 советов и хитростей, которые я как бы полусознательно, вероятно, делаю. Но, я думаю, на высоком уровне я всегда стараюсь. Я думаю, многое из этого исходит из моего физического образования. Я действительно, действительно наслаждался своим физическим образованием. У меня есть целая тирада о том, как, я думаю, каждый должен изучать физику в раннем школьном образовании. Потому что я думаю, я думаю, раннее школьное образование — это не про криминальные знания или память для задач позже в индустрии, это про загрузку мозга. И я думаю, что физика уникально загружает мозг лучше всего, потому что некоторые вещи, которые они заставляют вас делать в вашем мозгу во время физики, чрезвычайно ценны позже. Идея построения моделей и абстракций и понимания того, что существует аппроксимация первого порядка, описывающая большую часть системы, но затем существует второй порядок, третий порядок, члены первого порядка, которые могут присутствовать или отсутствовать. И идея того, что вы наблюдаете очень зашумленную систему, но на самом деле есть эти фундаментальные частоты, которые вы можете абстрагировать. Как когда физик входит в класс и говорит: «Предположим, есть сферическая корова», и все смеются над этим. Но на самом деле это блестяще. Это блестящее мышление, которое очень обобщается по всей индустрии, потому что, да, корову можно аппроксимировать как сферу, я думаю, во многих отношениях. Есть действительно хорошая книга, например, «Масштаб». Это, по сути, от физика, говорящего о биологии. И, возможно, это также книга, которую я бы рекомендовал прочитать. Но вы можете получить много действительно интересных аппроксимаций и построить законы масштабирования животных, и вы можете посмотреть на их сердцебиение и тому подобное, и они фактически совпадают с размером животного и тому подобное, вы можете говорить о животном как об объеме, и вы можете фактически вывести многое. Вы можете говорить о рассеивании тепла, потому что ваше рассеивание тепла растет как площадь поверхности, которая растет как квадрат, но ваше создание или генерация тепла растет как куб. И поэтому я просто чувствую, что у физиков есть все правильные когнитивные инструменты для решения проблем в мире. Так что из-за этого обучения я всегда стараюсь найти члены первого порядка или члены второго порядка всего. Когда я наблюдаю систему или вещь, у меня есть клубок идей или знаний в моем мире, в моем разуме, и я пытаюсь найти, что действительно важно, какой компонент первого порядка, как я могу его упростить? Как я могу получить простейшую вещь, которая действительно показывает эту вещь правильно, показывает ее в действии, а затем я могу заняться другими членами. Возможно, пример из одного из моих репозиториев, который, я думаю, хорошо иллюстрирует это, называется micrograd. Я не знаю, знакомы ли вы с этим, но. Так вот, micrograd — это 100 строк кода, которые показывают обратное распространение ошибки. Вы можете создавать нейронные сети из простых операций, таких как плюс и умножение, и так далее, как блоки Lego нейронных сетей. И вы строите вычислительный граф и выполняете прямой проход и обратный проход, чтобы получить градиенты. Теперь это сердце всего обучения нейронных сетей. Так что micrograd — это 100 строк интерпретируемого кода Python, и он может выполнять прямой и обратный проход для произвольных нейронных сетей, но не эффективно. Так что micrograd, эти сто строк Python — это все, что вам нужно, чтобы понять, как обучаются нейронные сети. Все остальное — это просто эффективность, все остальное — это эффективность. И есть огромный объем работы, которую нужно сделать. Эффективность. Вам нужны ваши тензоры, вы их раскладываете и располагаете, вы убеждаетесь, что ваши ядра правильно оркестрируют движение памяти и так далее. Все это просто эффективность, грубо говоря. Но основная интеллектуальная часть обучения нейронных сетей — это micrograd. Это 100 строк. Вы можете легко понять это. Вы цепочкой, это рекурсивное применение цепного правила для вывода градиента, который позволяет вам оптимизировать любую произвольную дифференцируемую функцию. Так что. Так что я люблю находить эти небольшие члены порядка и подавать их на блюде и открывать их. И я чувствую, что образование — это самая интеллектуально интересная вещь, потому что у вас есть клубок понимания, и вы пытаетесь разложить его таким образом, чтобы создать пандус, где все зависит только от предыдущего. И я нахожу, что это распутывание знаний — это такая интеллектуально интересная когнитивная задача. И поэтому я люблю делать это лично, но у меня просто есть увлечение попытками разложить вещи определенным образом, и, возможно, это мне помогает. Это также делает процесс обучения гораздо более мотивированным. Ваш учебник по трансформеру начинается с биграмм. Буквально как таблица поиска: вот слово сейчас, или вот предыдущее слово, вот следующее слово. И это буквально просто таблица поиска. Суть этого. Да. Я имею в виду, это такой блестящий способ. Например, начните с таблицы поиска, а затем перейдите к трансформеру, и тогда каждая часть будет мотивирована. Зачем вы это добавите? Зачем вы добавите следующее? Вы можете запомнить формулу внимания, но просто имея понимание того, почему каждая часть важна, какую проблему она решает. Да, да, да. Вы представляете проблему, прежде чем представляете решение. И насколько это умно. И вы хотите провести студента через этот прогресс. Так что есть много других мелких вещей, подобных этим, которые, я думаю, делают его приятным, увлекательным и интересным, и всегда подталкивают студента. Есть много мелких вещей, подобных этим, которые, я думаю, являются. Важны, и многие хорошие преподаватели делают это. Например, как бы вы это решили? Я не собираюсь представлять решение, прежде чем вы его угадаете. Это было бы расточительно. Это немного. Я не хочу ругаться, но это дерьмовое отношение к вам — представить вам решение, прежде чем я дам вам шанс попробовать придумать его самостоятельно. Потому что, если вы попробуете придумать его самостоятельно, я думаю, вы лучше поймете, что такое пространство действий, а затем что такое цель. Тогда почему только это действие выполняет эту цель? Верно. Да. Ну, у вас есть шанс попробовать себя, и вы оцените, когда я дам вам решение. И это максимизирует количество знаний на новый добавленный факт. Именно так. Да. Почему, по вашему мнению, по умолчанию люди, которые являются настоящими экспертами в своей области, часто плохо объясняют ее кому-то, наращивая. Ну, это проклятие знания и опыта. Это реальное явление, и я сам страдал от него, насколько я стараюсь от него не страдать. Но вы принимаете некоторые вещи как должное и не можете поставить себя на место новых людей, которые только начинают. И это повсеместно, и это случается и со мной. Одна вещь, которая, я думаю, чрезвычайно полезна. Например, кто-то пытался показать мне статью по биологии недавно, и у меня мгновенно возникло так много ужасных вопросов. Поэтому я использовал ChatGPT, чтобы задавать вопросы с статьей в контекстном окне, а затем он разобрал некоторые простые вещи. А затем я фактически поделился этой веткой с человеком, который поделился ею, который фактически написал эту статью или работал над ней. И я почти чувствую, что это было похоже, если бы они могли видеть глупые вопросы, которые у меня были, это могло бы помочь им лучше объяснить в будущем или что-то в этом роде. Потому что, например, для моего материала я хотел бы, чтобы люди делились своими глупыми разговорами с ChatGPT о том, что я создал, потому что это действительно помогает мне снова поставить себя на место того, кто начинает. Еще один такой трюк, который работает поразительно хорошо. Если кто-то пишет статью, пост в блоге или объявление, то в 100% случаев верно, что просто повествование или транскрипция того, как они объяснили бы это вам за обедом, гораздо более не только понятно, но и более точно и научно, в том смысле, что люди имеют предвзятость объяснять вещи самым абстрактным, полным жаргона способом и очищать свое горло в течение четырех абзацев, прежде чем объяснить центральную идею. Но есть что-то в общении один на один с человеком, что заставляет вас просто сказать это. Просто скажи это. Да, я на самом деле видел этот твит, я подумал, что он очень хорош. Я поделился им со многими людьми, на самом деле, я думаю, он был очень хорош. И я заметил это много, много раз. Возможно, самый яркий пример — я помню, еще в дни моей аспирантуры, занимаясь исследованиями и так далее, вы читаете чью-то статью, верно? И вы работаете над тем, чтобы понять, что она делает, и так далее. А затем вы встречаете их, вы пьете пиво на конференции позже, и вы спрашиваете их: «Итак, эта статья, что вы делали? О чем эта статья?» И они просто скажут вам эти три предложения, которые идеально отражают суть этой статьи и полностью дадут вам идею. И вам не пришлось читать статью. И только когда вы сидите за столом с пивом или что-то в этом роде, и говорите: «О, да, статья просто, о, вы берете эту идею, вы берете ту идею и пробуете этот эксперимент, и вы пробуете эту вещь», и у них есть способ просто выразить это в разговорной форме и просто идеально, как, почему это не ответ? Именно. Это исходит с точки зрения того, как кто-то, кто пытается объяснить идею, должен лучше ее сформулировать. Какой у вас совет как студента другим студентам, если у вас нет Карпати, который занимается изложением идеи? Если вы читаете статью кого-то или читаете книгу, какие стратегии вы используете для изучения материала, который вас интересует в областях, в которых вы не являетесь экспертом? Я на самом деле не знаю, есть ли у меня уникальные советы и хитрости, честно говоря. По сути, это своего рода болезненный процесс. Но переписывание один. Я думаю, одна вещь, которая всегда мне очень помогала, это то, что у меня был небольшой твит об этом на самом деле. Так что, например, обучение по требованию довольно приятно, обучение в глубину. Я действительно чувствую, что вам нужно некоторое чередование обучения в глубину по требованию. Вы пытаетесь достичь определенного проекта, за который вы получите вознаграждение, и обучение в ширину, которое просто, о, давайте сделаем что угодно, один на один. И вот все вещи, которые вам могут понадобиться, что является школой, делает много обучения в ширину, например, «О, поверьте мне, вам это понадобится позже». Вы знаете, такого рода вещи, например, «Хорошо, я верю вам, я научусь этому, потому что, думаю, мне это нужно». Но я люблю тот вид обучения, где вы фактически получаете вознаграждение за то, что делаете, и вы учитесь по требованию. Другая вещь, которая оказалась чрезвычайно полезной, — это, возможно, аспект, где образование немного более бескорыстно, потому что объяснение вещей людям — это прекрасный способ узнать что-то более глубоко. Это случается со мной все время. Я думаю, это, вероятно, случается и с другими людьми, потому что я понимаю, что если я действительно чего-то не понимаю, я не могу этого объяснить. И я пытаюсь, и я думаю: «На самом деле я этого не понимаю». И это так раздражает, смириться с этим. А затем вы можете вернуться и убедиться, что вы это поняли. И поэтому это заполняет эти пробелы в вашем понимании. Это заставляет вас смириться с ними и примирить их. Я люблю пересказывать и тому подобное. И я думаю, что люди должны делать это чаще. Я думаю, это заставляет вас манипулировать знаниями и убедиться, что вы знаете, о чем говорите, когда объясняете это. О да. Я думаю, это отличная нота для завершения. Да, Андрей, это было здорово. Да, спасибо. Спасибо. В следующий раз. Привет всем. Надеюсь, вам понравился этот выпуск. Если да, то самое полезное, что вы можете сделать, — это просто поделиться им с другими людьми, которым, по вашему мнению, он может понравиться. Также полезно, если вы оставите оценку или комментарий на любой платформе, на которой вы слушаете. Если вы заинтересованы в спонсировании подкаста, вы можете связаться по адресу dwarkesh.com/advertise. В противном случае, увидимся в следующем выпуске.