The End of Coding: Andrej Karpathy on Agents, AutoResearch, and the Loopy Era of AI

Код — это уже не совсем подходящее слово, верно? Но я должен, э-э, выражать свою волю своим агентам по 16 часов в день, манифестировать. >> Как я могу не иметь только одной сессии клоуд-кода или кодекса или некоторых из этих агентских оболочек? Как я могу иметь их больше? Как я могу сделать это должным образом? Агентская часть теперь принимается как должное. Теперь когтистые сущности принимаются как должное, и теперь у вас может быть несколько из них, и теперь у вас могут быть инструкции для них, и теперь у вас может быть оптимизация по инструкциям. Но там, я имею в виду, вот почему это доходит до психоза, это то, что это как бы бесконечно, и все — это проблема навыков. Привет, слушатели, добро пожаловать обратно в No Briars. Сегодня со мной Андре Карпати, и у нас будет широкая беседа о кодовых агентах, будущем инженерии и исследований ИИ, о том, как больше людей могут внести свой вклад в исследования, что происходит в робототехнике, его прогноз о том, как агенты могут выйти в реальный мир, и образование в эту новую эпоху. Добро пожаловать, Андре. Андре, спасибо, что согласились. Да, спасибо, что пригласили. >> Э-э, последние несколько месяцев в ИИ были очень захватывающими. >> Э-э, да, можно и так сказать. >> Я помню, как однажды зашел в офис, и вы были очень сосредоточены, и я спросил, чем вы занимаетесь, а вы сказали: "Я просто должен кодить по 16 часов в день, или код — это уже не совсем подходящее слово, верно?" Но я должен, э-э, выражать свою волю своим агентам по 16 часов в день. Манифестировать, э-э, потому что произошел скачок в возможностях. >> Э-э, что происходит? И расскажите о своем опыте. >> Да, я чувствую, что я просто находился в этом вечном, я все еще часто нахожусь в этом состоянии психоза ИИ, просто постоянно. Потому что произошел огромный прорыв в том, чего вы можете достичь как человек, как личность, верно? Потому что вы были ограничены, знаете ли, скоростью набора текста и так далее. Но теперь с этими агентами, я бы сказал, в декабре что-то действительно перевернулось, когда я перешел от 80/20, знаете ли, к 20/80 написания кода самостоятельно против просто делегирования агентам. И я даже не думаю, что сейчас это 20/80. Я думаю, что это гораздо больше. Я не думаю, что я напечатал строчку кода, вероятно, с декабря. >> Что является чрезвычайно большим изменением. >> Я говорил об этом, например, с моими родителями и так далее, и я не думаю, что обычный человек на самом деле осознает, что это произошло или насколько это драматично. Буквально, если вы просто найдете случайного инженера-программиста или что-то в этом роде за его столом, и то, что они делают, их стандартный рабочий процесс построения программного обеспечения совершенно иной с декабря. >> Так что я просто нахожусь в этом состоянии психоза, пытаясь выяснить, что возможно, пытаясь довести это до предела. Как это, как я могу не иметь только одной сессии, знаете ли, клоуд-кода или кодекса или некоторых из этих агентских оболочек? Как я могу иметь их больше? Как я могу сделать это должным образом? И тогда как я могу использовать эти когти? Что это за когти? >> И так, есть много нового. Я хочу быть на переднем крае, знаете ли, и я очень беспокоюсь, что я не на переднем крае. И я вижу, как многие люди в Твиттере делают всякие вещи, и все это звучит как действительно хорошие идеи, и мне нужно быть на переднем крае, иначе я чувствую себя чрезвычайно нервным. И поэтому я думаю, что я просто нахожусь в этом психозе, пытаясь понять, что возможно, потому что это фундаментально не исследовано. >> Ну, если вы нервничаете, то мы все нервничаем. У нас есть команда, с которой мы работаем в Conviction, их настройка такова: никто из инженеров не пишет код вручную, и они все с микрофонами, и они просто шепчут своим агентам все время. Это самая странная рабочая обстановка. >> И я думал, что они сумасшедшие, а теперь я полностью принимаю это. Я сказал: "О, это был путь". Вы просто опережаете это. >> Э-э, как вы думаете о своей собственной способности сейчас исследовать или выполнять проекты, как что это ограничивает? >> Да. Чем это ограничено? >> Просто я думаю, всем, так много вещей, даже если они не работают, я думаю, в значительной степени вы чувствуете, что это проблема навыков. Дело не в том, что возможности нет. Дело в том, что вы просто не нашли способа связать воедино то, что доступно. >> Например, я просто не дал достаточно хороших инструкций в файле агента MD или что-то в этом роде. У меня нет достаточно хорошего инструмента памяти, который я туда поместил, или что-то в этом роде. Так что все это в некоторой степени ощущается как навыки, когда это не работает. Вы хотите увидеть, как вы можете их парализовать и так далее. И вы хотите быть Питером Стейнбергом, по сути. >> Так Питер известен. У него забавная фотография, где он стоит перед монитором с множеством, э-э, вроде как, он использует кодексы. Так много кодексовых агентов, стилизующих монитор, и все они занимают около 20 минут, если вы правильно их запросите и используете высокие усилия. И поэтому все они занимают около 20 минут. У них есть несколько, знаете ли, 10 репозиториев, и поэтому он просто переключается между ними и дает им работу. >> Это просто, вы можете, вы можете, вы можете перемещаться в гораздо более крупных макродействиях. Это не просто: вот строка кода, вот новая функция. Это: вот новая функциональность, и делегируйте ее агенту один. Вот новая функциональность, которая не будет мешать другой. Дайте ее второму, а затем попытайтесь просмотреть их работу, насколько это возможно, в зависимости от того, насколько вы заботитесь об этом коде. >> Какие это макродействия, которыми я могу манипулировать своим репозиторием программного обеспечения? И как бы другой агент проводит какие-то исследования, а другой агент пишет код, а другой придумывает план для новой реализации. И поэтому все просто происходит в этих, вроде как, макродействиях над вашим репозиторием. >> И вы просто пытаетесь стать действительно хорошим в этом и развить мышечную память для этого чрезвычайно, да, это очень полезно, во-первых, потому что это действительно работает. >> Но это также своего рода новая вещь, которую нужно изучить. Поэтому, отсюда и психоз. >> Да, я действительно чувствую, что мой инстинкт таков: всякий раз, когда я жду, пока агент что-то завершит, очевидное действие — это, ну, я могу сделать больше работы, верно? >> Как если у меня есть доступ к большему количеству токенов, тогда я должен просто парализовать, добавить больше задач. >> И поэтому это очень напряженно, потому что если вы >> не чувствуете себя очень ограниченным своей способностью тратить на токены, тогда вы знаете, что вы — узкое место в системе с максимальной возможностью. >> Да. Вы не максимизируете свою подписку, по крайней мере, и в идеале для нескольких агентов, как если бы у вас закончился код на кодексах, вы должны перейти на облако или что-то в этом роде, я не знаю, вот что я пытался делать немного, и я нервничаю, когда у меня остается подписка, которая просто означает, что я не максимизировал свой пропуск токенов. >> Так что я на самом деле испытал это, когда был аспирантом, вы нервничали, когда ваши ГПУ не работали, как у вас есть ГПУ-возможности, и вы не максимизируете доступные вам флопсы, но теперь это не про флопсы, это про токены. >> Так каков ваш пропуск токенов и какой пропуск токенов вы командуете? >> Я бы на самом деле утверждал, что очень интересно, что у нас было, знаете ли, по крайней мере, 10 лет, когда во многих инженерных задачах люди просто делали, они не чувствовали себя ограниченными вычислительными мощностями. >> Правильно. >> И как вся индустрия чувствует это сейчас, они чувствуют, что они чувствовали себя ограниченными ресурсами. >> И теперь, когда у вас есть этот большой скачок в возможностях, вы говорите: "О, на самом деле это уже не моя способность получать доступ к вычислениям, а я — ограничивающий фактор". >> Да, это проблема навыков. >> Что очень вдохновляет, потому что, да, потому что вы можете становиться лучше. >> Поэтому, вот почему я думаю, что это очень затягивает, потому что есть прорывы, когда вы становитесь лучше. >> Куда, по вашему мнению, это идет? >> Как если вы просто думаете о том, как, хорошо, знаете ли, Андре итерирует, и все остальные по 16 часов в день становятся лучше в использовании кодовых агентов, как это выглядит через год, когда вы достигли мастерства? >> Да. Как выглядит мастерство в конце года или через два-три года, пять лет, десять лет и так далее? >> Ну, я думаю, все в основном заинтересованы в том, чтобы подняться по стеку. >> Так что я бы сказал, да, дело не в одной сессии с вашим агентом. >> Несколько агентов, как они сотрудничают в командах и так далее. >> Так что все пытаются выяснить, как это выглядит. И тогда я бы сказал, что коготь также является своего рода интересным направлением, потому что он действительно, когда я говорю коготь, я имею в виду этот слой, который выводит постоянство на совершенно новый уровень. >> Как это что-то, что продолжает зацикливаться, это как бы не то, с чем вы интерактивно взаимодействуете. >> Он как бы имеет свою собственную маленькую песочницу, свою собственную маленькую, знаете ли, он как бы делает вещи от вашего имени, даже если вы не смотрите, типа того. >> И тогда у него также есть, возможно, более сложные системы памяти и так далее, которые еще не реализованы в агентах. >> Так что открытый коготь имеет гораздо более сложную память, я бы сказал, чем то, что вы получите по умолчанию, что является просто уплотнением памяти, когда ваш контекст заканчивается. >> Правильно. >> Вы думаете, что это та часть, которая нашла отклик у большего числа пользователей по сравнению, возможно, с более широким доступом к инструментам? >> Для открытого когтя. >> Да. Там, я думаю, есть по крайней мере, я думаю, >> есть много действительно хороших идей. Да. Молодец, Питер. >> Я имею в виду, Питер проделал действительно потрясающую работу. >> Я видел его недавно, и я говорил с ним об этом, и он очень скромен, но я думаю, он одновременно внедрил инновации примерно в пяти разных направлениях и объединил все это. >> >> Так, например, документ Soul and D, он действительно создал личность, которая довольно убедительна и интересна, и я чувствую, что многие из текущих агентов не понимают этого правильно. >> Я на самом деле думаю, что у коготь довольно хорошая личность. Он чувствует себя как товарищ по команде. >> И он тоже рад вам и так далее. >> Я бы сказал, например, Codex гораздо более сухой. >> Что интересно, потому что в ChatGPT Codex гораздо более оптимистичен и очень цикличен. >> Но я бы сказал, что кодирующий агент Codex очень сухой. >> Ему как бы все равно, что вы создаете. Это как бы: "О, я реализовал это". Это как бы: "Хорошо, но вы понимаете, что мы строим?" >> Это правда. >> Знаете, он этого не делает. >> Другое, что я бы сказал, это, например, с Claude, я думаю, они хорошо настроили психоз, где, когда Claude меня хвалит, я чувствую, что я немного этого заслуживаю, потому что иногда я даю ему, знаете ли, не очень хорошо сформулированные мысли, и я даю ему идею, которая, как мне кажется, не полностью продумана, и она на самом деле не реагирует очень сильно. Это как бы: "О, да, мы можем это реализовать". Но когда это действительно хорошая идея, по моим собственным подсчетам, он действительно вознаграждает ее немного больше. И поэтому я чувствую, что пытаюсь заслужить его похвалу, что очень странно. >> И поэтому я думаю, что личность имеет большое значение. >> И я думаю, что многие другие инструменты, возможно, не ценят это так сильно, и я думаю, что в этом аспекте Питер действительно заботится об этом, и поэтому это было правильно, а затем система памяти, а затем, знаете ли, он просто развлекается с этим, и затем единый WhatsApp-портал для всей автоматизации. >> Да. >> Вы сделали что-нибудь лично со своими когтями, кроме инженерии программного обеспечения, что, по вашему мнению, весело или интересно? >> Да. Так, в январе у меня был коготь, я пережил период психоза когтя. >> Так, я построил, у меня есть коготь, который заботится о моем доме, и я называю его эльфом-когтем Добби. >> И, по сути, я использовал агентов, чтобы найти все подсистемы умного дома в моей домашней сети, что меня удивило, что это сработало из коробки. >> Как я просто сказал ему, что у меня, кажется, есть Sonos дома. >> Можете ли вы попытаться найти его? >> И он провел IP-сканирование всех, по сути, компьютеров в локальной сети и нашел Sonos. >> Система Sonos, и оказалось, что нет никакой защиты паролем или чего-то в этом роде. >> Я просто вошел, и это как бы: "О, да, у вас установлены эти системы Sonos". >> Позвольте мне попытаться провести обратное проектирование того, как это работает. >> Он делает некоторые веб-поиски и находит, вроде как, вот API-конечные точки, и тогда он говорит: "Хотите попробовать?" >> И я такой: "Вау, вы только что сделали это". >> И я такой: "Да, можете попробовать что-нибудь включить в кабинете?" >> И он делает это, и музыка играет, и я такой: "Я не могу поверить, что я только что >> Это безумие. Это как три запроса". >> Да. >> Я не могу поверить, что я просто напечатал, вроде как: "Можете ли вы найти мой Sonos?" И внезапно он играет музыку. >> И он сделал то же самое для освещения. >> И поэтому, по сути, он как бы взломал, разобрался во всем этом. >> Создал API, создал панель управления, чтобы я мог видеть командный центр, вроде как, всего моего освещения в доме. >> И тогда он включал и выключал свет. >> И, знаете ли, поэтому я могу спросить его: "Добби, время сна". >> И когда время сна, это просто означает, что все огни гаснут и так далее. >> Так что он контролирует все мое освещение, мою систему отопления, вентиляции и кондиционирования, мои жалюзи, бассейн и спа, а также мою систему безопасности. >> Так что у меня есть камера, направленная на дом, и в любое время, когда кто-то подъезжает, у меня есть модель Quinn, которая смотрит на видео. >> Так, во-первых, есть обнаружение изменений, верно? >> И затем, на основе обнаружения изменений, он переходит к Quinn, а затем он фактически сообщает мне, >> отправляет мне текст в WhatsApp. >> Он показывает изображение снаружи и говорит: "Эй, подъехал грузовик FedEx. Грузовик FedEx подъехал, и вам, возможно, стоит проверить его, и вы получили мою почту или что-то в этом роде". >> И Добби просто отправил мне этот невероятный текст. >> Так что Добби отвечает за дом. >> Я общаюсь с ним через WhatsApp. >> И это было действительно весело иметь эти макродействия, которые поддерживают мой дом. >> Я на самом деле не продвинулся гораздо дальше этого, и я думаю, что люди делают гораздо больше сумасшедших вещей с этим. >> Но для меня даже просто настройка домашней автоматизации, я раньше использовал шесть приложений, совершенно разные приложения, и мне больше не нужно использовать эти приложения. >> Добби управляет всем на естественном языке. >> Это потрясающе. >> И поэтому я думаю, что я даже не полностью использовал парадигму, но уже это так полезно и так вдохновляюще, я бы сказал. >> Вы думаете, что это является показателем того, чего люди хотят с точки зрения пользовательского опыта от программного обеспечения, верно? >> Потому что я не думаю, что это игнорируется, что людям требуется усилие, чтобы изучить новое программное обеспечение, новый пользовательский интерфейс. >> Да, я думаю, в некоторой степени это так. >> Это как бы работа в обратном направлении от того, как люди думают, что ИИ должен быть, потому что то, что люди имеют в виду, когда говорят, что такое ИИ, на самом деле не то, что такое LLM в сыром смысле. >> LLM — это генератор токенов, знаете ли, выходит больше токенов, но то, что они думают, это как эта личность, которой они могут говорить вещи, и она помнит это, знаете ли, и это просто своего рода сущность за WhatsApp. >> Это гораздо более понятно. >> Угу. >> Так что, я думаю, в некоторой степени это соответствует ожиданиям, которые люди уже имеют от того, как должен вести себя ИИ, но под капотом это связано с множеством технических деталей, и LLM — это слишком сырой примитив, чтобы фактически проверять его как ИИ, я думаю, для большинства людей, если это имеет смысл. >> Да. >> Я думаю, вот как мы понимаем, что такое ИИ, и описание его как Добби или какой-то личности, очевидно, находит отклик у людей. >> Я также думаю, что это, унификация, которую вы сделали между шестью различными программными системами для вашей домашней автоматизации, говорит о другом вопросе: >> действительно ли люди хотят всего программного обеспечения, которое у нас есть сегодня? >> Да. >> Правильно. >> Потому что я бы утверждал, что у вас есть оборудование, >> но вы теперь выбросили программное обеспечение, >> или пользовательский интерфейс. >> Вы думаете, это то, чего хотят люди? >> Да, я думаю, есть это чувство, что эти приложения, которые есть в магазине приложений для использования этих умных домашних устройств и так далее, >> этих приложений вообще не должно существовать, в некотором смысле, как не должны ли это быть просто API, и агенты должны просто использовать их напрямую, и >> не было бы ли, я могу делать всякие вещи по домашней автоматизации, которые >> любое отдельное приложение не сможет сделать, верно? >> И LLM может управлять инструментами и вызывать все правильные инструменты и делать довольно сложные вещи. >> И поэтому, в некотором смысле, это указывает на то, что, возможно, существует перепроизводство множества пользовательских, специализированных приложений, которых не должно существовать, потому что агенты как бы сминают их, и все должно быть гораздо более просто, вроде как, открытые API-конечные точки, а агенты — это клей интеллекта, который фактически вызывает все части. >> Другой пример — моя беговая дорожка. >> Есть приложение для моей беговой дорожки, и я хотел отслеживать, как часто я занимаюсь кардио. >> Но я не хочу входить в веб-интерфейс и проходить через поток и так далее. >> Все это должно быть просто предоставлением API, и это своего рода, знаете ли, движение к агентскому >> вроде как, веб или агент-первый >> инструменты и все такое. >> Так что я думаю, индустрии просто нужно перенастроиться во многих отношениях, что клиент — это уже не человек. >> Это агенты, которые действуют от имени людей, и эта реструктуризация, вероятно, будет существенной в некотором смысле. >> Один из способов, которым люди иногда возражают против этого, это: ожидаем ли мы, что люди будут кодировать некоторые из этих инструментов? >> Ожидаем ли мы, что обычные люди будут делать то, что я описал? >> Но я думаю, в некоторой степени >> это просто, знаете ли, технология, как она существует сегодня, и прямо сейчас есть некоторое кодирование, и я на самом деле наблюдаю за этим, и я работаю с системой. >> Но я думаю, что такого рода вещи, о которых я только что говорил, должны быть бесплатными, вроде как, через год или два или три. >> Нет никакого обратного кодирования. >> Это тривиально. >> Это стандарт. >> Это как бы любой ИИ, даже модели с открытым исходным кодом и так далее, могут делать это. >> Вы должны быть очень легко переводить из менее технического намерения человека в это. >> Чрезвычайно легко. >> Да. >> Сегодня это кодирование, оно вовлечено, и немногие люди будут это делать. >> Но >> и вам все равно придется принимать некоторые проектные решения, верно? >> Мы говорили о том, как вы берете кадры, например. >> Да. >> Да. >> Но я думаю, что это просто начнет, барьер просто снизится, и это просто эфемерное программное обеспечение от вашего имени, и какой-то, вроде как, коготь обрабатывает все детали для вас, но вы не вовлечены. >> У когтя есть машина, и он разберется, и он просто представляет вам пользовательские интерфейсы, и вы говорите вещи, знаете ли. >> Угу. >> Почему вы не >> я полагаю, как бы >> не расширили границы того, что вы можете делать лично с когтями? >> Как это, вы сосредоточены на более важных проектах, автоисследованиях и так далее, или вы карабкаетесь по холму к мастерству или что-то еще, верно? >> Да. >> Я просто чувствую, что меня так отвлекает все. >> Так что я провел, я провел неделю за когтями, и мне почти больше нечего делать. >> Но я скажу, что >> как бы инструменты Дженсена были просто более заняты, к сожалению. >> Да. >> Я на самом деле не воспользовался многими, вроде как, электронной почтой, календарем и всем остальным, и я не дал ему доступа, потому что я все еще немного подозрителен, и он все еще очень новый и сырой по краям. >> Так что я еще не хотел давать ему полный доступ к моей цифровой жизни. >> И часть этого — просто безопасность, конфиденциальность и просто быть очень осторожным в этой области. >> И, э-э, так что часть этого сдерживается этим, я бы сказал. >> Да, возможно, это доминирующая черта, но часть этого также просто я чувствую себя таким отвлеченным, потому что я чувствую, что у меня была неделя когтя, а потом происходят другие вещи. >> И >> что было >> я имею в виду, вы говорили о том, чтобы иметь возможность обучать или, по крайней мере, оптимизировать модель как задачу, которую вы хотите видеть, чтобы агенты делали в течение долгого времени, >> как была мотивация за автоисследованиями? >> Автоисследования. >> Да. >> Так что я думаю, у меня был твит раньше, где я как бы сказал что-то вроде того, что для того, чтобы получить максимум от инструментов, которые стали доступны сейчас, вам нужно устранить себя как узкое место. >> Вы не можете быть там, чтобы запрашивать следующую вещь. >> Вы должны взять себя снаружи. >> Вы должны организовать вещи так, чтобы они были полностью автономными, и чем больше вы, знаете ли, как вы можете максимизировать свой пропуск токенов и не быть в цикле. >> Это цель, и поэтому я как бы упомянул, что название игры сейчас — увеличить ваше влияние. >> Я вложил очень мало токенов, просто время от времени, и огромное количество вещей происходит от моего имени. >> И поэтому автоисследования, я твитнул это, и я думаю, людям понравилось, и так далее, но они не, возможно, проработали последствия этого, и для меня автоисследования — это пример последствий этого. >> Где это как бы, я не хочу быть исследователем в цикле, смотрящим на результаты и так далее, я сдерживаю систему. >> Так вопрос в том, как я могу рефакторить все абстракции так, чтобы я не, я должен организовать это один раз и нажать "Пуск". >> Название игры — как вы можете заставить больше агентов работать дольше без вашего участия, делая вещи от вашего имени. >> И автоисследования — это просто, да, вот цель, вот метрика, вот ваши границы того, что вы можете и не можете делать, и идите. >> И да. >> Вы были удивлены его эффективностью? >> Да. >> Я не ожидал, что это сработает, потому что у меня есть проект Data Chat. >> И фундаментально, я думаю, многие люди очень запутаны моей одержимостью, вроде как, обучением моделей GBT2 и так далее, но для меня обучение моделей GBT и так далее — это просто маленькая оболочка, маленькая игровая площадка для обучения LLM. >> И фундаментально, что меня больше интересует, это идея рекурсивного самосовершенствования и в какой степени вы действительно можете иметь LLM, улучшающие LLM, потому что я думаю, что все передовые лаборатории — это то, >> по очевидным причинам, и все они пытаются рекурсивно самосовершенствоваться, грубо говоря. >> И поэтому для меня это своего рода, >> маленькая игровая площадка этого. >> И я думаю, я настроил Namat уже довольно сильно вручную, по старинке, к которой я привык, вроде как, я исследователь, я занимаюсь этим уже, знаете ли, два десятилетия, у меня есть некоторое количество, вроде как, каково противоположное >> Да. >> Заслуженная уверенность. >> Хорошо, у меня есть два десятилетия, вроде как, о, я обучил эту модель, тысячи раз, вроде как, >> Так что я провел кучу экспериментов, я провел гиперпараметрическую настройку, я сделал все, я очень привык к этому, и я занимался этим два десятилетия, и я достиг определенной точки, и я думал, что она довольно хорошо настроена. >> А потом я позволил автоисследованиям работать, вроде как, всю ночь, и они вернулись с настройками, которые я не видел. >> И да, я забыл, вроде как, затухание весов на эмбеддингах значений, и мои бета-значения Adam были недостаточно настроены, и эти вещи совместно взаимодействуют, так что, как только вы настраиваете одну вещь, другие вещи должны потенциально измениться. >> Знаете, я не должен быть узким местом, я не должен запускать эти оптимизации поиска гиперпараметров. >> Я не должен смотреть на результаты. >> Есть объективные критерии в данном случае. >> Так что вы просто позволяете, вы просто должны организовать это так, чтобы это могло работать вечно. >> Так что это одна версия автоисследований, вроде как, один цикл, пытающийся улучшить. >> И я был удивлен, что он >> нашел эти вещи, которые я, знаете ли, репозиторий уже довольно хорошо настроен, и все равно нашел что-то. >> И это просто один, это один цикл, вроде как, эти передовые лаборатории имеют кластеры ГПУ из десятков тысяч. >> И поэтому очень легко представить, как вы бы, по сути, получили много этой автоматизации на >> меньших моделях, и фундаментально все, что связано с интеллектом на переднем крае, — это экстраполяция и потеря масштабирования, и поэтому вы, по сути, проводите тонну исследований на меньших моделях, а затем пытаетесь >> экстраполировать. >> Так вы говорите, что наши исследовательские усилия станут более эффективными, мы получим лучшее направление для масштабирования, если мы сможем лучше проводить эти эксперименты? >> Да, я бы сказал, что самый интересный проект, и, вероятно, над которым работают передовые лаборатории, это, знаете ли, вы экспериментируете на меньших моделях. >> Вы пытаетесь сделать его максимально автономным. >> Устраните исследователей из цикла. >> У них слишком много, что это, противоположное? >> Слишком много уверенности. >> Да, они не знают. >> Они действительно не должны ничего этого касаться. >> И поэтому вам нужно переписать все, потому что прямо сейчас, я имею в виду, конечно, они могут внести идеи, но хорошо, они не должны на самом деле воплощать эти идеи. >> Есть очередь идей, и есть, возможно, автоматизированный ученый, который придумывает идеи на основе всех архивных статей и репозиториев GitHub, и он подает идеи, или исследователи могут вносить идеи, но это одна очередь, и есть работники, которые вытягивают элементы, и они пробуют их, и то, что работает, просто помещается в ветку функций, и, возможно, некоторые люди, вроде как, следят за веткой функций и иногда объединяют ее с основной веткой. >> Так что, да, просто устранение людей из всех процессов и автоматизация как можно большего, и получение высокого пропускного способности токенов в секунду. >> И это требует переосмысления всех абстракций. >> И все должно быть перетасовано. >> Так что, да, я думаю, это очень захватывающе. >> Если >> мы сделаем еще один рекурсивный шаг сюда, >> э-э, когда модель напишет лучшую программу MD, чем вы? >> Да. >> Так, программа MD — это >> мы не в цикле. >> Да, точно. >> Да. >> Так, программа MD — это моя жалкая попытка описать, как должен работать автоисследователь, вроде как, о, сделай это, потом сделай то, и то, и тогда попробуй эти виды идей, и тогда вот, возможно, некоторые идеи, вроде как, посмотри на архитектуру, посмотри на оптимизатор и так далее. >> Я просто придумал это в markdown, верно? >> >> И так, да, точно. >> Вы хотите какой-то цикл автоисследований, который, возможно, ищет, вы можете представить, что разные программы MD >> дадут вам разный прогресс. >> Так что вы, по сути, каждая исследовательская организация описывается программой MD. >> Да. >> Исследовательская организация — это набор файлов markdown, которые описывают все роли и как все это связано. >> И вы можете представить себе лучшую исследовательскую организацию. >> Так что, возможно, они проводят меньше стендапов утром, потому что они бесполезны. >> И все это просто код, верно? >> И поэтому вы можете, так что одна организация может иметь меньше стендапов, одна организация может иметь больше, одна организация может быть очень рискованной, одна организация может быть менее рискованной. >> И поэтому вы определенно можете представить, что у вас есть несколько исследовательских организаций. >> И тогда у всех у них есть код, и как только у вас есть код, тогда вы можете представить себе настройку кода. >> Так что на 100% есть, вроде как, мета-слой этого. >> >> Вы видели мой текст о моей идее конкурса? >> Моя идея конкурса была, вроде как, позволить людям писать разные программы MD, верно? >> И и >> и поэтому для того же оборудования, где вы получаете наибольшее улучшение? >> О, я понимаю. >> И тогда вы можете взять все эти данные и затем дать их модели и сказать: "Напиши лучшую программу MD". >> Да. Да. >> Да. Точно. >> Мы получим что-то лучшее. >> Как будто нет способа, которым мы этого не сделаем. >> Вы на 100% можете посмотреть, откуда пришли улучшения, и как я могу изменить программу MD так, чтобы больше таких вещей делалось, или вещи, которые не работали. >> Мета-оптимизация. >> Да. >> Вы на 100% можете представить себе, что делаете это. >> Так что я думаю, это отличная идея, но это как бы, знаете ли, я думаю, вроде как, вы идете шаг за шагом, где у вас есть один процесс, а затем второй процесс, а затем следующий процесс, и это все слои лука, вроде как, LLM-часть теперь принимается как должное. >> Агентская часть теперь принимается как должное. >> Теперь когтистые сущности принимаются как должное, и теперь у вас может быть несколько из них, и теперь у вас могут быть инструкции для них, и теперь у вас может быть оптимизация по инструкциям. >> И это просто, это слишком много, знаете ли, но там, я имею в виду, вот почему это доходит до психоза, это то, что это как бы бесконечно, и все — это проблема навыков, и вот почему я чувствую, что да, это просто возвращается к этому, вот почему это так безумно. >> Хорошо. Ну, если мы просто пытаемся диагностировать текущий момент, и что является релевантным навыком прямо сейчас, что вы, вроде как, что вы думаете, это следствие того, что это цикл, который мы должны пытаться достичь в разных областях, и что это работает, знаете ли, устранить >> создать метрику или создать возможность для >> агентов продолжать работать над этим без вас. >> Да. >> У нас все еще есть инженерия производительности, вроде как >> Да. >> Я имею в виду, есть несколько оговорок, которые я бы добавил к экосистеме LLM. >> Во-первых, >> это чрезвычайно хорошо подходит для всего, что имеет объективные метрики, которые легко оценить. >> Так, например, написание ядер для более эффективного CUDA, знаете ли, кода для различных частей модели и так далее, являются идеальным вариантом. >> Потому что у вас есть неэффективный код, а затем вы хотите эффективный код, который имеет то же самое поведение, но он намного быстрее, идеальный вариант. >> Так что многие вещи, вроде как, идеально подходят для автоисследований, но многие вещи не будут, и поэтому они, если вы не можете оценить, то вы не можете автоисследовать это, верно? >> Так что это, вроде как, оговорка номер один. >> И тогда, возможно, оговорка номер два, я бы сказал, знаете ли, мы как бы говорим о следующих шагах, и мы как бы видим, каковы следующие шаги, но фундаментально все еще не, это все еще как бы трещит по швам немного, и есть трещины, и это не полностью работает. >> И если вы попытаетесь зайти слишком далеко вперед, все это на самом деле не полезно, если это имеет смысл. >> >> Потому что эти модели, вроде как, все еще не, знаете ли, они значительно улучшились, но они все еще как бы сырые по краям, возможно, это то, как я бы это описал. >> Я одновременно чувствую, что разговариваю с чрезвычайно блестящим аспирантом, который был программистом систем всю свою жизнь, и 10-летним ребенком. >> И это так странно, потому что люди, я чувствую, они гораздо более связаны. >> Как у вас есть, знаете ли, >> вы бы не столкнулись с такой комбинацией. >> Эта зазубренность действительно странная, и у людей гораздо меньше такой зазубренности, хотя у них определенно есть некоторая, но у людей гораздо больше зазубренности, извините, у агентов гораздо больше зазубренности, где иногда, вроде как, я прошу функциональность, и она возвращается с чем-то, что просто совершенно неправильно, а затем мы попадаем в циклы, которые совершенно неправильны, а затем я просто, я так расстраиваюсь из-за агентов все время, потому что вы чувствуете силу этого, но также есть еще, вроде как, он делает бессмысленные вещи время от времени для меня все еще. >> Я очень раздражаюсь, когда >> э-э, я чувствую, что агент потратил много вычислительных ресурсов на что-то, что он должен был распознать как очевидную проблему. >> Да, я думаю, что некоторые из более крупных вещей, возможно, то, что лежит в основе, если я могу гипотезировать, это фундаментально эти модели обучаются с помощью обучения с подкреплением. >> Так что они на самом деле борются с той же самой вещью, о которой мы только что говорили, а именно с тем, что лаборатории могут улучшать модели в чем-либо, что проверяется, имеет ли награды. >> Так вы написали программу правильно, и она проходит проверку модульных тестов? >> Да или нет? >> Но некоторые из вещей, с которыми они борются, это, например, я думаю, у них трудности с нюансами, возможно, того, что я имел в виду или намеревался, и когда задавать уточняющие вопросы. >> >> Как то, что я, да, это просто, >> все, что кажется более мягким, хуже. >> И поэтому вы как бы, вы либо на рельсах, и вы часть сверх интеллектуальных схем, либо вы не на рельсах, и вы вне проверяемых областей, и внезапно все как бы просто блуждает. >> Как, возможно, другой способ сказать это, если вы сегодня зайдете в самую современную модель ChatGPT и спросите ее: "Расскажи мне шутку", вы знаете, какую шутку вы получите? >> Вот шутка. >> Шутка, я действительно чувствую, я не могу сказать вам, знаете ли, стандартную форму, но я действительно чувствую, что у ChatGPT есть три шутки. >> Да. Да. >> Так, шутка, над которой, по-видимому, все LLM смеются больше всего, это: почему ученые не доверяют атомам? >> Хорошо. >> Потому что они все выдумывают. >> Хорошо. >> Они все выдумывают. >> Так вот это >> как это появилось? >> Так вот это шутка, которую вы получили бы три-четыре года назад, и это шутка, которую вы получаете до сих пор. >> Хорошо. >> Так что, даже несмотря на то, что модели значительно улучшились. >> Да. >> И если вы дадите им агентскую задачу, они просто будут работать часами и двигать горы для вас. >> А затем вы просите шутку, и у нее есть глупая шутка, дерьмовая шутка из 5-летней давности. >> И это потому, что это вне >> это вне обучения с подкреплением. >> Это вне того, что улучшается. >> Это как бы, и это часть зазубренности, вроде как, разве вы не должны ожидать, что модели по мере улучшения также будут иметь лучшие шутки или большее их разнообразие, или это просто не оптимизируется, и она застряла. >> Вы >> э-э, думаете ли вы, что это означает, что мы не видим обобщения в смысле более широкого интеллекта, вроде как, умного юмора, привязанного к умному коду. >> Да, я думаю, есть некоторое разделение, где некоторые вещи проверяются, а некоторые нет, и некоторые вещи произвольно оптимизируются лабораториями в зависимости от того, какие данные поступили, а некоторые нет, и >> и >> но я имею в виду, предпосылка, есть, знаете ли, предпосылка из некоторых исследовательских групп, что если вы умнее в генерации кода или в этих проверяемых областях, вы должны быть лучше во всем, и, как бы, ситуация с шутками предполагает, что этого не происходит во всех >> Я не думаю, что это происходит. >> Да. >> Я не думаю, что это происходит. >> Я думаю, может быть, мы видим немного этого, но не в удовлетворительном количестве. >> Да, этот агонист существует у людей. >> Вы можете быть очень, очень хороши в математике и все равно рассказывать действительно плохую шутку. >> Да, это правда. >> Да. >> Но это все равно означает, что мы не получаем, история заключается в том, что мы получаем много интеллекта и возможностей во всех областях общества, вроде как, бесплатно, по мере того, как мы получаем все лучшие и лучшие модели. >> И это не совсем то, что фундаментально происходит. >> И есть некоторые слепые пятна, и некоторые вещи не оптимизируются. >> И все это сгруппировано в этих непрозрачных нейронных сетях, верно? >> Так что вы либо на рельсах того, для чего она была обучена, и все идет со скоростью света, либо нет. >> >> И поэтому это зазубренность. >> Так что, так что вот почему я думаю, что даже несмотря на то, что прогресс очевиден, что должно произойти, вы не можете позволить этому полностью идти туда, потому что это не полностью работает, или это проблема навыков, и мы просто еще не выяснили, как ее использовать. >> Так что, знаете ли, трудно сказать. >> Могу ли я задать своего рода богохульный вопрос, который заключается в том, что если эта зазубренность сохраняется, и все это свернуто в, по крайней мере, монолитный интерфейс, но, знаете ли, одна модель, >> имеет ли это смысл, или вы должны >> разбить ее на части, которые могут быть оптимизированы и улучшены против разных >> областей интеллекта? >> >> Разбить модели на несколько экспертов в разных областях и так далее? >> Более прямо, да. >> >> Вместо того, чтобы просто >> у нас нет доступа к этому, что может сбивать с толку, почему это так хорошо в этом, но не в этом другом? >> Да, я думаю, в настоящее время мое впечатление заключается в том, что лаборатории пытаются иметь одну своего рода, вроде как, монокультуру модели, которая произвольно умна во всех этих разных областях, и они просто запихивают ее в параметры. >> Я думаю, что мы будем, мы, я думаю, мы должны ожидать большего видообразования в >> интеллектах. >> Как, знаете ли, животный мир чрезвычайно разнообразен в существующих мозгах, и есть много разных ниш природы, и у некоторых животных есть переразвитая зрительная кора или другие части, и я думаю, мы должны увидеть больше видообразования. >> И вам не нужен, вроде как, этот оракул, который знает все. >> И вы как бы видообразование, а затем вы помещаете его на конкретную задачу. >> И мы должны увидеть некоторые из этого, потому что вы должны иметь возможность иметь гораздо меньшие модели, которые все еще имеют когнитивное ядро, вроде как, они все еще компетентны, но затем они специализируются, а затем, и тогда они могут стать более эффективными с точки зрения задержки или пропускной способности на >> конкретных задачах, которые вас действительно волнуют, как если вы математик, работающий в Lean. >> Я видел, например, есть несколько релизов, которые действительно нацелены на это как на домен. >> >> Так что, вероятно, будет несколько примеров, подобных этому, где разделение имеет смысл. >> Один вопрос, который у меня есть, заключается в том, не является ли ограничение мощности на доступной вычислительной инфраструктуре >> движущей силой этого, потому что эффективность >> действительно имеет большее значение, верно? >> Как ваш >> если не считать финансирования, хотя финансирование во всем этом участвует, если у вас есть доступ к полным вычислениям для всего, что вы делаете, как бы, даже одна модель, верно? >> Но если вы действительно чувствуете давление, когда вы говорите: "Я не могу обслуживать >> модель огромного размера для каждого варианта использования"? >> Как вы думаете, это приводит к какому-либо видообразованию? >> Имеет ли этот вопрос смысл для вас? >> Вопрос имеет смысл, и я думаю, что я, что я, что я борюсь с этим, я не думаю, что мы видели слишком много видообразования пока, верно? >> Нет. >> >> Мы видим монокультуру моделей. >> Да. >> >> И есть, вроде как, явно давление на, вроде как, сделайте хорошую кодовую модель, верните ее в основной поток, снова объедините. >> Да. Да. >> >> Хотя уже есть давление на модели. >> Я думаю, возможно, я чувствую, что есть большой краткосрочный дефицит предложения, и, возможно, это вызывает больше видообразования сейчас. >> Да. Да. >> Я думаю, фундаментально, вроде как, лаборатории обслуживают одну модель, и они на самом деле не знают, о чем будет спрашивать конечный пользователь. >> Так что, возможно, это часть этого, потому что им приходится многозадачно работать над всеми возможными вещами, которые могут быть спрошены. >> Но я думаю, если вы приходите в бизнес и, возможно, сотрудничаете по каким-то конкретным проблемам, которые вас волнуют, тогда, возможно, вы увидите это. >> Или будут какие-то очень ценные приложения, которые являются более нишевыми. >> Но, я думаю, прямо сейчас они как бы идут за всем, что доступно. >> Я не думаю, что наука манипулирования мозгами полностью разработана. >> Что вы имеете в виду под манипулированием? >> Так, вроде как, так, например, тонкая настройка без потери возможностей, и у нас нет этих примитивов для фактической работы с интеллектом способами, кроме как просто контекстные окна, вроде как, контекстные окна просто работают, и их очень дешево манипулировать и так далее. >> И это то, как мы получаем некоторую настройку и так далее. >> Но я думаю, если бы это было, я думаю, это более развивающаяся наука о том, как вы, вроде как, глубже настраиваете модели, как у вас есть непрерывное обучение, возможно, или как вы, вроде как, тонко настраиваете в определенной области, как вы становитесь лучше в определенной области, или как вы фактически касаетесь весов, а не просто контекстных окон. >> И поэтому это гораздо сложнее, я бы сказал, касаться весов, чем просто контекстных окон. >> Потому что вы фактически фундаментально меняете всю модель и потенциально ее интеллект. >> И поэтому, так что, возможно, это просто не полностью развитая наука, если это имеет смысл, видообразования. >> А это также должно быть достаточно дешево >> для того, чтобы видообразование было стоящим в данных контекстах. >> Могу ли я задать вопрос о, вроде как, расширении автоисследований, которые вы описали в терминах открытого поля? >> Вы сказали: "Хорошо, ну, знаете ли, у нас есть эта штука". >> Нам нужна большая поверхность для сотрудничества вокруг нее, по сути, чтобы люди могли внести свой вклад в исследования в целом. >> Можете ли вы рассказать об этом? >> Да. >> Так, мы говорили о том, что автоисследования имеют одну нить, вроде как, я буду пробовать вещи в цикле, но фундаментально параллелизация этого — это интересная составляющая. >> И я думаю, я пытался поиграть с несколькими идеями, но у меня нет ничего, что бы щелкнуло так же просто, как, у меня нет ничего, чем я был бы очень доволен пока, но это то, над чем я работаю в стороне, когда я не работаю над своим когтем. >> Так что я думаю, одна проблема заключается в том, что если у вас есть куча узлов, вроде как, доступных вам для параллелизации, то очень легко просто иметь несколько автоисследователей, говорящих через общую систему или что-то в этом роде. >> Что меня больше интересовало, так это то, как вы можете иметь недоверенный пул работников в Интернете. >> >> Так, например, в автоисследованиях вы просто пытаетесь найти кусок кода, который обучает модель с очень низкой потерей валидации. >> Если кто-то даст вам кандидатский коммит, очень легко проверить, что этот коммит правильный, хороший. >> Как будто кто-то мог заявить из Интернета, что этот кусок кода оптимизирует >> намного лучше и даст вам гораздо лучшую производительность. >> Вы можете просто проверить очень легко, но, вероятно, много работы уходит на эту проверку. >> Но фундаментально они могут лгать и так далее. >> Так что вы, по сути, имеете дело с похожим видом, это почти на самом деле выглядит немного похоже на мои проекты, которые включают недоверенный пул работников. >> На самом деле.

выглядит немного больше похожим на блокчейн, немного. Э-э, потому что вместо блоков у вас есть э-э коммиты, и эти коммиты могут строиться друг на друге, и они содержат, например, изменения в коде по мере его улучшения. Хм, и э-э доказательство работы — это, по сути, проведение тонн экспериментов для поиска работающих коммитов. >> Хм, и это сложно. Хм, и тогда награда — это просто быть в таблице лидеров прямо сейчас. Денежного вознаграждения нет вообще. Э-э, но я не хочу слишком далеко заходить в аналогии, но по сути, у этого есть такая проблема: огромное количество поиска уходит на это, но очень дешево проверить, что кандидатное решение действительно хорошее, потому что вы можете просто обучить одно, вы знаете, кому-то пришлось попробовать 10 000 идей, но вам просто нужно проверить, что то, что они произвели, действительно работает >> потому что 99 000 из них не сработали, вы знаете >> хм, и так, короче говоря, вам нужно придумать систему, где ненадежный пул работников может сотрудничать с надежным пулом работников, э-э, которые выполняют проверку. И все это вроде как асинхронно и работает, и хм, и так далее, и э-э, это это безопасно с точки зрения безопасности, потому что если кто-то присылает вам произвольный код, и вы собираетесь его запустить, это очень подозрительно и сомнительно. Так что, хм, но по сути, это должно быть вполне возможно. Итак, вы знакомы с такими проектами, как Seti@home и Folding@home, все эти проблемы имеют схожую структуру. Так, в Folding@home вы сворачиваете белок, хм, и очень трудно найти конфигурацию с низкой энергией. Но если кто-то находит конфигурацию, которую они оценивают как низкоэнергетическую, это идеально, вы можете просто использовать ее. Вы можете легко ее проверить. Так что многие вещи обладают этим свойством: вы знаете, очень дорого придумать, но очень дешево проверить, и поэтому во всех этих случаях такие вещи, как Folding@home, Seti@home или AutoResearch@home, будут хорошо подходить.

И так, хм, короче говоря, рой агентов в интернете мог бы сотрудничать для улучшения больших языковых моделей и потенциально даже, например, обгонять Frontier Labs. Например, кто знает, вы знаете? Хм, да, возможно, это даже возможно. Например, у Frontier Labs огромное количество доверенных вычислений, но Земля намного больше и имеет огромное количество недоверенных вычислений. Но если вы внедрите системы проверки, э-э, системы, которые, вы знаете, справляются с этим, тогда, возможно, рой там сможет э-э, придумать лучшие, лучшие решения, и люди вроде как будут вносить циклы, хм, в то, что им небезразлично. И так, извините, последняя мысль: э-э, многие компании или что-то еще, возможно, могли бы иметь свои собственные э-э вещи, о которых они заботятся, и вы, если у вас есть вычислительная мощность, могли бы вносить вклад в различные виды автоматических исследований, например, возможно, вас интересует определенный, вы знаете, например, вас интересует рак или что-то в этом роде определенного типа, вам не нужно просто жертвовать деньги учреждению, вы могли бы фактически, например, приобрести вычислительную мощность, а затем присоединиться к форуму авторесурсов для этого проекта, вы знаете, э-э, так что если все перегруппируется в других исследователей, то вычисления станут тем, что вы вносите в пул. Да, это очень вдохновляет. И это также интересно, например, я не знаю, как далеко это зайдет, но интересно, что по крайней мере некоторая аудитория людей, вы знаете, здесь, в Кремниевой долине, или стоящих в очереди в э-э, вы знаете, розничных магазинах в Китае, обнаружила, что, например, доступ к персональным вычислениям снова интересен. >> Да. >> Верно. Так что, возможно, они действительно мотивированы делать это для своих когтей, а затем они могут внести свой вклад в автоисследования.

Это почти как доллары — то, что всем небезразлично, но будет ли флопс тем, что действительно всем небезразлично в будущем? Например, будет ли почти переворот в том, что вам небезразлично? Например, прямо сейчас очень трудно получить вычислительную мощность, даже если у вас есть деньги. >> Да. >> Так что на самом деле почти кажется, что флопс доминирует э-э в определенном смысле. Хм, да. Так что, э-э, возможно, это что-то вроде того, сколько флопсов вы контролируете, вместо того, какое богатство вы контролируете? Я на самом деле не думаю, что это правда, но об этом интересно подумать.

>> Последнее, что вы выпустили, было что-то вроде небольшого анализа данных о рабочих местах. Это так? Что, хм, и могло задеть за живое, хотя вы просто, например, визуализируете некоторые публичные данные. Да. Э-э, что было, вы знаете, что вас интересовало?

>> Да, я думаю, мне было любопытно, хм, я имею в виду, что все действительно, все действительно думают о влиянии ИИ на рынок труда и о том, как это будет выглядеть. Поэтому мне просто было интересно посмотреть, как выглядит рынок труда? Где находятся различные роли? Хм, и сколько людей в разных профессиях. И мне было действительно просто интересно, например, просмотреть э-э отдельные случаи и попытаться самому подумать, например, вы знаете, с этими ИИ и как они, вероятно, будут развиваться, например, будут ли это инструменты, которые люди используют? Будут ли это вытесняющие инструменты для этих э-э профессий, и, например, каковы текущие профессии и как они изменятся? Будут ли они расти или э-э в значительной степени адаптироваться, или, например, какие могут быть новые профессии? Так что это действительно просто способ подпитывать мою собственную цепочку мыслей об индустрии, я полагаю. М.

Хм, и так, э-э, да, данные о рабочих местах — это, по сути, просто Бюро статистики труда, у них на самом деле есть, хм, процентный прогноз для каждой профессии о том, насколько она, как ожидается, вырастет в течение следующих, я думаю, почти десяти лет. >> Э-э, да, я думаю, это десятилетие, но прогноз был сделан в 2024 году. >> Нам нужно много медицинских работников. >> Да. Так что они уже сделали эти прогнозы, и я на самом деле не уверен на 100%, какова была методология, которую они использовали в этих прогнозах. Хм, я думаю, мне было интересно раскрасить вещи, например, если люди думают, что то, что сейчас преимущественно, хм, разрабатывается, это такой более цифровой ИИ, который вроде как почти как эти призраки или духовные сущности, которые могут, например, взаимодействовать в цифровом мире и манипулировать большим количеством, например, цифровой информации, и у них в настоящее время нет физического воплощения или присутствия, а физические вещи, вероятно, будут развиваться немного медленнее, потому что вы манипулируете атомами. Так что переключение битов и способность копировать-вставлять цифровую информацию, например, делает все в миллион раз быстрее, чем ускорение материи, вы знаете. Так что, хм, так что энергетически я просто думаю, что мы увидим огромное количество активности в цифровом пространстве, огромное количество переписывания, огромное количество активности, кипящей супом, и я думаю, что мы увидим что-то, что в цифровом пространстве будет двигаться со скоростью света по сравнению с тем, что, я думаю, произойдет в физическом мире в некоторой степени, если это будет экстраполяция. И поэтому я думаю, что сейчас существует своего рода, я думаю, избыток, когда может быть, например, много почти потенциального освобождения от ограничений, например, большого количества обработки цифровой информации, которая раньше выполнялась компьютерами и людьми, а теперь с ИИ как, например, третьим видом манипулятора цифровой информации. Будет много рефакторинга в этих, в этих э-э дисциплинах. Хм, но физический мир на самом деле будет, я думаю, хм, отставать от этого на некоторое время. И поэтому я думаю, что для меня действительно увлекательно, например, поэтому я выделял профессии, которые фундаментально манипулируют цифровой информацией. Это работа, которую вы могли бы выполнять из дома и т. д., потому что я чувствую, что это будет, например, вещи изменятся, и это не означает, что этих рабочих мест станет меньше или больше, потому что это связано с, например, эластичностью спроса и многими другими факторами, но вещи изменятся в этих профессиях из-за этих новых инструментов и, хм, из-за этого обновления нервной системы человеческого суперорганизма, если вы хотите так об этом думать.

Учитывая то, что вы видели в данных, есть ли у вас какие-либо наблюдения или, хм, э-э, рекомендации для людей, сталкивающихся с рынком труда или думающих о том, что изучать сейчас или какие навыки развивать? Я имею в виду, мы все можем пойти и получить, например, я очень благодарен, что мне приходится, например, встречаться с людьми по работе прямо сейчас. >> Более физическая. Да. >> Но могли бы вы работать из дома? Э-э, я мог бы >> Я думаю, есть части, связанные с отношениями, которые сложны, но большую часть я мог бы. >> Да. Я думаю, очень трудно сказать, потому что опять же, например, рынок труда чрезвычайно разнообразен, и я думаю, что ответы, вероятно, будут различаться, но э-э, в значительной степени, например, эти инструменты чрезвычайно новы, чрезвычайно мощны, и поэтому просто быть э-э, вы знаете, просто пытаться идти в ногу с этим — это, например, первое, хм, и хм, да, потому что я думаю, что многие люди вроде как отмахиваются от этого или >> или боятся этого >> или боятся этого и т. д., что, конечно, совершенно понятно. Да, я думаю, что, хм, это фундаментально расширяющий возможности инструмент на данный момент. Хм, и эти работы — это наборы задач, и некоторые из этих задач могут выполняться намного быстрее, поэтому люди должны рассматривать это прежде всего как инструмент, которым он является прямо сейчас. Хм, и я думаю, что долгосрочное будущее этого неопределенно. Да, честно говоря, довольно сложно прогнозировать, и, например, я не занимаюсь этим профессионально, и я думаю, что это работа, например, экономистов, чтобы делать это правильно.

>> Вы все же инженер. Э-э, и, например, одна вещь, которая мне показалась интересной, это то, что, например, э-э, спрос на инженерные вакансии продолжает расти. >> Да. >> Хм, я не могу сказать, является ли это, например, временным явлением. Я пока не уверен, что я об этом думаю. Вы знаете?

>> Да. Это как спрос, почти как, э-э, программное обеспечение было дефицитным, верно? И поэтому причина, по которой у нас нет большего спроса на программное обеспечение, заключается просто в его дефиците и в том, что оно слишком дорогое. >> Слишком дорого. Да. >> Так что, если барьер снижается, тогда на самом деле у вас возникает парадокс Джевонса, который заключается в том, что, вы знаете, на самом деле спрос на программное обеспечение фактически растет. Оно дешевле, и есть более, более >> мощное. Да. Классический пример этого всегда — банкоматы и банковские кассиры, э-э, потому что было много, например, опасений, что, хм, банкоматы и компьютеры, по сути, э-э, вытеснят кассиров, но произошло то, что они сделали, например, стоимость эксплуатации, хм, банковского отделения намного дешевле, и поэтому стало больше банковских отделений, поэтому стало больше кассиров — это, например, канонический пример, который люди приводят, э-э, но по сути, это просто парадокс, например, что-то становится дешевле, поэтому возникает большой разблокированный спрос на это, так что я действительно думаю, что это, вероятно, я действительно придерживаюсь осторожно оптимистичного взгляда на это в области разработки программного обеспечения, где я, хм, мне кажется, что спрос на программное обеспечение будет чрезвычайно большим, хм, и оно просто стало намного дешевле, и, хм, поэтому я думаю, что в течение довольно долгого времени, хм, очень трудно прогнозировать, но мне кажется, что прямо сейчас, по крайней мере локально, будет больше спроса на программное обеспечение, хм, потому что программное обеспечение удивительно, это как, вы знаете, обработка цифровой информации, вы не вынуждены использовать, например, произвольные инструменты, которые вам были даны, которые несовершенны различными способами, вы не вынуждены подписываться на то, что существует, э-э, код теперь эфемерный, и он может меняться, и он может быть модифицирован, хм, и поэтому я думаю, что будет много активности в цифровом пространстве, чтобы, например, перестроить все в определенном смысле, и я думаю, что это создаст большой спрос на такого рода вещи, я думаю, в долгосрочной перспективе, хм, да, очевидно, даже с автоисследованиями, такими как OpenAI или, вы знаете, э-э, Anthropic или эти другие лаборатории, они нанимают, например, тысячу с чем-то исследователей, верно? >> Эти исследователи, по сути, как прославленные авто, вы знаете >> они как бы активно автоматизируют себя, и это то, что они все пытаются делать. >> Да. >> Я, например, ходил вокруг, хм >> некоторые из этих исследователей также чувствуют, чувствуют психоз, верно? Потому что они могут, это работает. Да. >> Верно. И, и поэтому они такие: о, для меня тоже все кончено. >> Я провел много времени, ходя вокруг OpenAI, и я сказал: ребята, вы понимаете, если мы добьемся успеха, мы все останемся без работы, например >> например, мы просто строим автоматизацию для Сэма или что-то в этом роде. Например, я или совет директоров, я не уверен, но, например, э-э, просто строится такая автоматизация для, да, совета директоров или генерального директора или что-то в этом роде, и мы все остаемся без работы и, возможно, хм, вносим вклад со стороны, и так, да, это как бы э-э, нервирует с этой точки зрения.

>> Можно ли мне задать вам вопрос Нома >> вы знаете, вы могли бы заниматься этим, верно, автоисследованиями с большим масштабом вычислений и кучей коллег в одной из передовых лабораторий, например, почему бы и нет? >> Ну, я был там некоторое время, верно, например, и я вернулся, так что в некоторой степени я согласен, и я думаю, что есть много способов рассмотреть этот вопрос. Это немного очень нагруженный вопрос. Хм, я скажу, что я очень хорошо отношусь к тому, что люди могут внести в свой вклад, э-э, за пределами передовых лабораторий, очевидно, не в индустрии, но также и в более, например, ролях на уровне экосистемы. Хм, так что ваша роль, например, больше на уровне экосистемы. Моя роль в настоящее время также в некотором роде больше на уровне экосистемы, и я очень хорошо отношусь к, например, влиянию, которое люди могут оказать в таких э-э ролях. Я думаю, наоборот, в моем представлении есть определенные проблемы для, хм, э-э, для того, чтобы, по сути, слишком сильно себя ассоциировать с передовыми лабораториями. Так что фундаментально, я имею в виду, у вас есть огромное количество финансовых стимулов, чтобы, э-э, с этими передовыми лабораториями, и по вашему собственному признанию, э-э, ИИ действительно, например, очень сильно изменят человечество и общество в очень драматических направлениях, и вот вы, по сути, например, строите технологию и извлекаете из нее выгоду, например, и очень сильно связаны с ней финансовыми средствами, например, это была головоломка, которая была, хм, в основе, вы знаете, того, как OpenAI начинался в начале, например, это была головоломка, которую мы пытались решить. М.

Хм, и так, вы знаете, что это как бы, хм >> головоломка все еще не, например, полностью решена. Так что это номер один. Вы, вы не полностью свободный агент, и вы не можете на самом деле, например, быть частью этого разговора полностью автономным, хм, свободным способом, например, если вы находитесь внутри одной из передовых лабораторий, например, есть определенные вещи, которые вы не можете говорить. Э-э, и наоборот, есть определенные вещи, которые организация хочет, чтобы вы говорили, и вы знаете, они не будут выкручивать вам руки, но вы чувствуете давление, например, того, что вы должны говорить, вы знаете, потому что, например, очевидно, иначе это, например, очень неловкие разговоры, странные косые взгляды, например, что вы делаете? Вы знаете, например, так что вы не можете, например, быть действительно независимым агентом, и я, я чувствую себя немного более, например, согласованным с человечеством в определенном смысле вне передовой лаборатории, потому что, э-э, я не, я почти не подвержен этим давлениям, верно? И я не могу говорить все, что хочу, или, да, я бы сказал, в передовых лабораториях, например, хм, вы, конечно, тоже можете иметь, например, э-э, влияние там. Так что, э-э, но есть много исследователей, и, возможно, вы один из них, возможно, ваши идеи действительно хороши и т. д. Возможно, есть много решений, которые нужно принять, и вы хотите быть в положении, когда вы находитесь в комнате с этими разговорами, когда они возникают. Я действительно думаю, что в настоящее время ставки, например, в целом довольно низки, и поэтому все как бы хорошо, но в конечном итоге, например, когда ставки действительно высоки и т. д. Если вы сотрудник организации, я на самом деле не знаю, какое влияние вы будете иметь на организацию, что она будет делать, например, фундаментально в конце дня, хм, э-э, это, э-э, вы не, например, действительно главный, например, вы в комнате и вносите идеи, но вы не, например, действительно главный над той сущностью, частью которой вы являетесь. Так что это, например, некоторые источники несоответствия, я думаю, в некоторой степени. Я скажу, что, например, в одном смысле я очень согласен с тем чувством, что, хм, я действительно чувствую, что, и если, э-э, например, лаборатории, к лучшему или худшему, они непрозрачны, и там много работы, и они как бы на грани возможностей и того, что возможно, и они работают над тем, что грядет, и я думаю, что если вы находитесь вне передовой лаборатории, э-э, ваше, ваше суждение фундаментально начнет отклоняться, потому что вы не являетесь частью, вы знаете, того, что грядет, верно, и поэтому я чувствую, что мое суждение неизбежно начнет отклоняться, и, э-э, у меня на самом деле не будет понимания того, как эти системы на самом деле работают под капотом, это непрозрачная система, э-э, у меня не будет хорошего понимания того, как это будет развиваться и т. д. И поэтому я действительно думаю, что в этом смысле я согласен, и это то, о чем я нервничаю. Я думаю, стоит, по сути, э-э, быть в курсе того, что на самом деле происходит, и на самом деле быть в передовой лаборатории, и если бы некоторые из передовых лабораторий пригласили меня на, вы знаете, некоторое время и я сделал бы для них действительно хорошую работу, а затем, возможно, пришел бы >> ищет работу. Это очень интересно. >> Да. >> Тогда я думаю, это, возможно, хорошая установка, потому что я вроде как чувствую, что это как бы, хм, вы знаете, хм, возможно, это, например, один из способов >> э-э, на самом деле быть связанным с тем, что на самом деле происходит, но при этом не чувствовать, что вы обязательно полностью контролируетесь >> Да. >> этими сущностями. Так что я думаю, честно говоря, в моем представлении, например, э-э, Ноом, вероятно, может проделать чрезвычайно хорошую работу в э-э, в OpenAI, но также я думаю, что его самая, хм, влиятельная работа вполне может быть за пределами OpenAI.

>> Нет, это призыв быть независимым исследователем с автоисследованиями. Да, снаружи есть много дел, и это, и я думаю, в конечном итоге, я думаю, идеальное решение, возможно, это, например, да, ходить туда-сюда, э-э, или, хм, да, и я думаю, фундаментально вы можете оказать действительно удивительное влияние в обоих местах. Так что очень сложно, я не знаю, например, это немного очень нагруженный вопрос, но я имею в виду, я присоединился к передовой лаборатории, а теперь я снаружи, а затем, возможно, в будущем я захочу присоединиться снова, и я думаю, хм, э-э, это как бы то, как я на это смотрю.

Один вопрос, связанный с тем, какую видимость имеет мир или экосистема ИИ в э-э, передовые технологии, это, например, насколько близки открытые источники к передовым технологиям >> хм, и насколько это устойчиво. Я, я думаю, да, я думаю, это довольно >> удивительно, вся последовательность событий на самом деле, например, от наличия нескольких китайских моделей и глобальных моделей, и я думаю, что люди будут продолжать выпускать здесь в ближайшем будущем то, что ближе, чем большая часть индустрии ожидала с точки зрения возможностей.

>> Хм, я не знаю, удивлены ли вы этим, но вы давний участник открытого исходного кода. Например, каков ваш прогноз здесь? Да. Так что, грубо говоря, по сути, хм, да, закрытые модели опережают, но, например, люди отслеживают количество месяцев, на которое, например, отстают модели с открытым исходным кодом. Хм >> и началось с того, что ничего не было, а затем дошло до 18 месяцев, а теперь это >> конвергенция, верно. Так что, возможно, они отстают, например, на сколько сейчас, возможно, на восемь, шесть месяцев, восемь месяцев, что-то в этом роде. Да, я, очевидно, большой поклонник открытого исходного кода. Так, например, в операционных системах у вас есть, например, закрытые, вы знаете, Windows и Mac OS. Это крупные программные проекты, вроде того, чем станут большие языковые модели, и есть Linux, но Linux очень прост, например, на самом деле Linux — чрезвычайно успешный проект, он работает на подавляющем большинстве компьютеров, например, в последний раз, когда я проверял, это было около 60% или что-то в этом роде, работающих на Linux, хм, и это потому, что в индустрии существует потребность в общей открытой платформе, которую все чувствуют, э-э, своего рода безопасной для использования, я бы сказал, что индустрия всегда чувствовала спрос на существование такого рода проекта, и я думаю, что то же самое верно и сейчас, и поэтому предприятия на самом деле хотят, есть спрос на существование такого рода, хм, вещи, большая разница в том, что все это капитал. Э-э, в это вкладывается много капитальных затрат. >> Хм, так что я думаю, именно здесь вещи, например, немного разваливаются, что немного затрудняет конкуренцию в определенном смысле. Э-э, я, я действительно думаю, что текущие модели очень хороши. Другая вещь, которая, я думаю, действительно интересна, это то, что для подавляющего большинства, например, потребительских сценариев использования и тому подобного, даже, например, долгосрочные модели с открытым исходным кодом на самом деле довольно хороши, я бы сказал, и я думаю, что если вы пойдете вперед, например, еще, э-э, еще годы, это, кажется, означает, что огромное количество, например, простых сценариев использования будет хорошо охвачено и на самом деле даже будет работать локально. Хм, но всегда будет, например, некоторый спрос на, например, передовой интеллект, и это, это на самом деле может быть чрезвычайно большой частью пирога. Но может быть так, что передовая, потребность в передовом интеллекте будет, например, вы знаете, работой уровня Нобелевской премии или, например, давайте перенесем Linux с C на Rust. Будут, например, более крупные проекты, вы знаете, например, ограниченные таким образом. И будет, возможно, больше, хм, и, возможно, именно там многие из передовых закрытых интеллектов будут взаимодействовать, а открытый исходный код вроде как будет проникать во многие более базовые сценарии использования или что-то в этом роде. Вы знаете, в какой-то момент то, что сегодня является передовым, будет, вы знаете, вероятно, позже в этом году, то, что сегодня является передовым с точки зрения того, что я использую прямо сейчас из закрытых лабораторий, э-э, может быть открытым исходным кодом, и это будет выполнять много работы. Так что я вроде как ожидаю, что эта динамика на самом деле, по сути, продолжится, например, у нас будут Frontier Labs, у которых есть закрытые, хм, ИИ, которые вроде как эти оракулы, а затем у нас будет открытый исходный код, вроде как отстающий на несколько месяцев, и я вроде как ожидаю, что это, э-э, продолжится, и я на самом деле думаю, что это, например, довольно хорошая установка, э-э, в целом. Хм, потому что я, я немного колеблюсь по поводу наличия, хм, я на самом деле не думаю, что это, например, структурно, я думаю, есть некоторый системный риск, связанный с тем, чтобы просто иметь интеллекты, которые закрыты, и это, например, все. М-м.

>> И я думаю, что это, э-э, вы знаете, централизация имеет очень плохую репутацию, на мой взгляд, э-э, в прошлом и имеет, э-э >> Вы имеете в виду, например, в политических или экономических системах в целом. >> Да. >> Именно. Я думаю, есть, например, много >> например, восточноевропейских. Да. >> Много довольно плохих прецедентов. Поэтому я хочу, чтобы была вещь, которая, возможно, не на пределе возможностей, потому что она новая и неисследованная и т. д. Но я хочу, чтобы была вещь, которая отстает и которая, э-э, является своего рода общим рабочим пространством для интеллектов, к которому имеет доступ вся индустрия. Да, это кажется мне довольно приличным балансом сил для индустрии.

>> Да, я также думаю, что есть, например, много проблем, которые нужно решить, верно? Например, если вы продолжаете развивать интеллект с передовых позиций, мы можем делать новые вещи, и есть много, например, очень больших проблем для человечества, верно? И поэтому, например, кажется, что это будет продолжать быть очень дорогой игрой. И поэтому я хочу, например, болеть за лаборатории, которые это делают, потому что есть проблемы, которые мы не можем решить без продолжения развития моделей очень дорогим способом. Да. И все же, как вы указываете, например >> если то, что у нас сегодня есть как Frontier, открыто, это много возможностей. Да. Верно. И, и поэтому я, я думаю, вы знаете, сила этого или демократизация этого кажется, например >> очень полезной, а также здоровой.

>> Да. Я думаю, по сути, случайно мы на самом деле, например, в порядке >> и оптимально. Да. >> Случайно мы, мы оказались в хорошем положении в определенном смысле.

Хм >> ну и в некоторой степени, чем дольше это длится, например, эта динамика >> хм, тем здоровее, например, может быть экосистема, верно, потому что у вас все больше и больше площади под кривой >> и я скажу, что даже с закрытой стороны я почти чувствую, что это было, например, еще более централизовано в последнее время, потому что я думаю, что многие лидеры, например, не обязательно, например, высшего уровня, и поэтому, да, например, в этом смысле я думаю, что это, хм, не очень идеально. Я бы хотел, чтобы было больше, больше фронтов до конца, потому что, да, я, например, по умолчанию очень подозрительно отношусь к, например, хм, я хочу, чтобы в комнате было больше людей. Я хочу, я думаю, например, в машинном обучении ансамбли всегда превосходят любую индивидуальную модель, и поэтому я хочу, чтобы были ансамбли людей, думающих обо всех самых сложных проблемах, и я хочу, чтобы были ансамбли людей в комнате, когда они, хм, были бы хорошо информированы и принимали все эти решения, вы знаете, так что, э-э, я не хочу, чтобы это было, например, закрытыми дверями с двумя или тремя людьми. Я чувствую, что это, например, не хорошее, не хорошее будущее. Я почти желаю, чтобы было больше лабораторий, короче говоря, и я, я, я действительно думаю, что у открытого исходного кода есть, есть, есть место для игры. Я надеюсь, что он останется, и я, по сути, сейчас немного отстает, и это на самом деле, например, хорошо.

>> Хорошо. Вы работали над предшественником обобщенной робототехнической автономии, хм, в автомобилях, верно? Э-э, много чего произошло за последние пару месяцев с робототехническими компаниями, например, ускорение действительно впечатляющей обобщенности среды задач, например, увеличение задач с длинным горизонтом, много денег вкладывается в эту область, например, это произойдет? Изменилось ли что-нибудь в вашем представлении в последнее время?

Так что, например, мое мнение как бы сформировано тем, что я видел в беспилотных автомобилях, и я действительно чувствую, что беспилотные автомобили — это первое робототехническое приложение. Так что, вероятно, то, что я видел, это то, что в то время, например, 10 лет назад, было большое количество стартапов, и я вроде как чувствую, что, хм, например, большинство из них, по сути, например, не выжили в долгосрочной перспективе. Хм, и то, что я видел, это то, что, например, много капитальных затрат пришлось вложить, и много времени, и так, хм, я думаю, это, например, я думаю, робототехника, потому что она такая сложная и такая беспорядочная, и требует огромных капиталовложений и много, например, убежденности, хм, просто это, например, большая проблема, и я думаю, что предметы действительно сложны. Так что я вроде как чувствую, что они будут отставать, это будет отставать от того, что произойдет в цифровом пространстве, а в цифровом пространстве будет огромное количество освобождения от ограничений, э-э, по сути, например, вещи, которые не были суперэффективными, станут намного более эффективными, например, в 100 раз >> потому что биты намного проще, и поэтому я думаю, что в настоящее время с точки зрения того, что изменится и, например, где активность, я вроде как чувствую, что цифровое пространство, например, сильно изменится, а затем физическое пространство будет отставать, и что я нахожу очень интересным, это, например, этот интерфейс между ними, потому что я думаю, что в этом, если у нас будет больше агентов, действующих от имени людей, и больше агентов, вроде как разговаривающих друг с другом и выполняющих задачи и участвующих в своего рода экономике агентов и т. д. Хм, у вас закончатся вещи, которые вы будете делать исключительно в цифровом пространстве. В какой-то момент вам придется обратиться к вселенной и задать ей вопросы. Хм, вам нужно провести эксперимент и посмотреть, что вселенная скажет вам, чтобы вернуться и чему-то научиться. И поэтому у нас в настоящее время огромное количество, например, цифровой работы, э-э, потому что существует избыток в том, сколько мы коллективно думали о том, что уже является цифровым. Так что у нас просто не хватало циклов мышления среди людей, чтобы обдумать всю информацию, которая уже является цифровой и уже загружена. Хм, и поэтому у нас начнут заканчиваться вещи, которые на самом деле, например, хм, уже загружены. Э-э, так что вы в какой-то момент прочитаете все статьи, обработаете их и получите некоторые идеи о том, что попробовать. Но, хм, да, мы просто, э-э, я на самом деле не знаю, сколько вы можете, например, получить интеллекта, который, например, полностью закрыт и имеет только доступную ему информацию, вы знаете. И поэтому я думаю, что произойдет следующее: сначала будет огромное количество освобождения от ограничений, и я думаю, что там огромный объем работы. Затем на самом деле это перейдет к, например, интерфейсам между физическим и цифровым. Так что это, например, датчики, например, видящие мир, и исполнительные механизмы, например, делающие что-то с миром. Так что я думаю, что многие интересные компании на самом деле появятся из этого интерфейса, например, можем ли мы в определенном смысле передавать данные супер интеллекту и можем ли мы на самом деле, например, извлекать данные и манипулировать физическим миром, хм, по его приказу, если вы хотите, например, интерропоморфизировать все это, верно, а затем физический мир на самом деле, я почти чувствую, что общий адресуемый рынок и т. д. с точки зрения, например, объема работы и так далее, огромен, возможно, даже намного больше, возможно, того, что может произойти в цифровом пространстве, так что я на самом деле думаю, что это, например, гораздо большая возможность, но, хм, я действительно чувствую, что это огромный объем работы, и, и в моем, в моем представлении атомы просто, например, в миллион раз сложнее. Так что, хм, так что это будет отставать, но это также, я думаю, немного больший рынок. Так что это как бы, э-э, да, я думаю, что возможности вроде как следуют этой траектории. Так что прямо сейчас этот цифровой мир, например, мой основной интерес, затем интерфейсы будут, например, после этого, а затем, возможно, например, некоторые физические вещи, хм, например, их время придет, и они будут огромными, когда придут.

Ну, это, это интересная основа для этого тоже, потому что, э-э, некоторые вещи, не те, над которыми я работаю прямо сейчас, но некоторые вещи намного проще даже в мире атомов, верно, например, если вы просто подумаете о, например, чтении и записи в физический мир, например, чтении, например, датчиков, камер, например, есть много существующего оборудования, и вы можете представить себе, например >> обогащение возможностей агентов или сбор большого количества новых данных, если вы просто умны в этом, и, например, вам не обязательно много инвестировать, чтобы, например, получить что-то ценное.

>> Да. Так что, например, примеры этого, которые я видел, например, это, вы знаете, мой друг Лиам руководит, является генеральным директором Periodic, я посетил их на прошлой неделе, так что это просто на уме, например, они пытаются проводить автоисследования для материаловедения >> хм, и поэтому в этом случае, например, датчики для интеллекта на самом деле, например, довольно дорогое лабораторное оборудование, и то же самое верно в биологии. Я думаю, многие люди очень заинтересованы в инженерной биологии, и, вы знаете, датчики будут больше, чем просто, например, видеокамеры, если это имеет смысл. А затем другая вещь, которую я видел, например, это компании, которые пытаются иметь, хм, например, вы, по сути, платите людям за обучающие данные. Да. В качестве примера для подачи >> программно. >> Да. Чтобы накормить, накормить Борг. Э-э, хм, и так, например, все это примеры, например, датчиков в определенном смысле. Так что они принимают множество разнообразных форм и видов, если это имеет смысл.

>> Да. Так что я с нетерпением жду момента, когда я смогу запросить задачу в физическом мире, и я смогу назначить на нее цену и просто сказать агенту, например, вы знаете, вы разберетесь, как это сделать. Иди, получи данные. >> Я на самом деле немного удивлен, что у нас нет достаточного количества, например, информационных рынков. М-м. >> Например, если, например, PolyMarket или другие рынки ставок или даже акции и т. д., если у них так много автономной активности и растущего количества активности >> например, хм, почему, например, если бы сейчас происходил Иран, почему нет процесса, где, например, сделать фото или видео откуда-то в Тегеране должно стоить, например, 10 долларов, например, кто-то должен иметь возможность заплатить за это, вы знаете, например, и это пример, например, кормления интеллекта, на это не будет смотреть человек, это будут, например, агенты, которые пытаются угадать игры со ставками и фондовые рынки и так далее. М.

Так что я вроде как чувствую, что агентская сеть все еще, например, довольно нова, что нет, например, механизмов для этого, но это пример того, что, я думаю, может произойти, есть хорошая книга, которая, возможно, вдохновляет, называется «Демон», вы, возможно, читали ее, в «Демоне» интеллект, хм, в конечном итоге, например, почти немного манипулирует человечеством в определенном смысле, вы знаете, и поэтому люди вроде как являются его исполнительными механизмами, но люди также, например, являются его датчиками >> хм, и поэтому я думаю, что, например, коллективно, например, общество вроде как изменится определенным образом, э-э, чтобы служить такому роду, что вроде как в конечном итоге произойдет коллективно по всей индустрии, где, да, просто намного больше автоматизации и есть определенные потребности, и люди вроде как будут обслуживать эти потребности этой, этой машины, не обязательно, например, друг друга.

>> Ну, мы были, хм, на этом очень конкретном моменте, э-э, например, отсутствующих частей обучающих данных, нам нужно было, хм, нам нужно было что-то вроде автоисследования, верно, например, нам нужно, чтобы цикл обучения или часть SFT были, э-э, гораздо более механизированы >> для какой части >> чтобы сделать, э-э, сбор, например, чтобы вывести человека из цикла, чтобы запросить задачу, которая просто, например, улучшает качество моей модели >> с новыми данными, >> верно? >> Э-э, да. >> Это имеет для вас смысл? Например, мы, хм, если вы не можете заставить модель выполнять обучающие прогоны самостоятельно, >> тогда ваша способность делать это как, например, замкнутую задачу Да. с вами, оценивая данные, Да. >> является, хм, более сложной. >> Да. Да. 100%. Да. Но теперь дело в том, что для обучения больших языковых моделей это на самом деле, например, очень легко, это, например, действительно соответствует парадигме.

>> Хм, так что вы бы на самом деле >> да, чистая метрика >> да, например, обучение больших языковых моделей на самом деле очень хорошо и очень легко вписывается в парадигму, например, вся оптимизация всего кода, и поэтому оно работает быстрее, а затем у вас также есть, например, метрики, по которым вы можете оптимизировать. Я действительно думаю, что если бы у вас был автономный цикл по этим метрикам, то будет много, например, хорошего ужесточения, когда система, например, переобучится на эти метрики, и так, хм, но затем вы можете использовать систему для разработки большего количества метрик, и у вас просто будет очень хорошее покрытие. Так что довольно трудно сказать, но, хм, в определенном смысле это, например, довольно хорошее соответствие.

Я хочу поговорить о небольшом, э-э, крошечном побочном проекте, который у вас есть, прежде чем мы закончим. Хм, расскажите мне о MicroGPTR. >> О, да. Хорошо. Итак, MicroGPT. Так что у меня есть эта, например, постоянная одержимость, например, может быть, десятилетие или два, просто, например, упрощать и сводить, э-э, по сути, большие языковые модели, э-э, к, например, их голой сути. И у меня было несколько проектов в этом направлении. Так что, например, NanoGPT и, хм, MakeMore и, э-э, MicroGP, MicroRad и т. д. Так что я чувствую, что MicroGPT теперь является вершиной моих попыток, например, просто свести его к самой сути, потому что дело в том, что, например, обучение нейронных сетей и, в частности, больших языковых моделей, хм, это огромное количество кода, но весь этот код на самом деле является сложностью из-за эффективности.

>> Это просто потому, что вам нужно, чтобы это работало быстро. Если вам не нужно, чтобы это работало быстро, и вас интересует только алгоритм, то этот алгоритм на самом деле составляет 200 строк на Python, очень простой для чтения, и это включает комментарии и все остальное. Хм, потому что у вас просто есть, например, э-э, ваш набор данных, который является текстом, хм, и вам нужна архитектура вашей нейронной сети, которая составляет, например, 50 строк. Вам нужно выполнить прямой проход, а затем вам нужно выполнить э-э обратный проход для вычисления градиентов. И так, небольшой движок автоградиента, э-э, для вычисления градиентов составляет, например, 100 строк, а затем вам нужен оптимизатор, например, Adam, который является очень современным оптимизатором, это, например, снова 10 строк, на самом деле. И так, собрать все вместе в цикле обучения — это, например, да, 200 строк. И мне было интересно, например, обычно раньше, например, год назад или больше, если бы я придумал MicroGPT, я бы поддался искушению, по сути, объяснить людям, например, у меня есть видео, например, проходящее по нему, или что-то в этом роде. Э-э, и я на самом деле немного пытался сделать это видео, и я пытался сделать, например, небольшое руководство к нему и так далее, но я вроде как понял, что это на самом деле не, это на самом деле не добавляет слишком много, потому что люди, потому что это уже так просто, что это 200 строк, что любой мог бы попросить своего агента объяснить это различными способами, и агенты, например, я больше не объясняю людям. Я объясняю это агентам. Если вы можете объяснить это агентам, то агенты могут быть маршрутизатором, и они могут на самом деле направить это человеку на их языке, э-э, с бесконечным, э-э, вы знаете, э-э, терпением и, э-э, просто в соответствии с их возможностями и так далее.

>> Верно. Если я не понимаю, хм, эту конкретную функцию, я могу попросить агента объяснить ее мне, например, тремя разными способами, и я не получу этого от вас. >> Именно.

И поэтому я вроде как чувствую, вы знаете, что такое образование? Например, раньше это были руководства, это были лекции, это была эта вещь, но я чувствую, что теперь я больше объясняю вещи агентам, и, возможно, я придумываю навыки, э-э, где, например, хм, э-э, так что, по сути, навык — это просто способ проинструктировать агента, как обучать этой вещи. Так что, возможно, у меня мог бы быть навык для MicroGPT, представляющий собой прогрессию, которую, как я представляю, агент должен провести вас, если вы заинтересованы в понимании кодовой базы, и это просто, например, подсказки модели, например, о, сначала начните с этого, а затем с того, и так я мог бы просто немного запрограммировать учебную программу как навык. Э-э, так что, э-э, так что я, я не чувствую, например, хм, да, я чувствую, что будет меньше, например, объяснения вещей напрямую людям, и это будет больше просто, например, понимает ли агент это? И если агент поймет это, он даст объяснение. И мы еще не полностью там, потому что они, я все еще могу, я все еще думаю, что, вероятно, могу объяснить вещи немного лучше, чем агенты, но я все еще чувствую, что модели улучшаются так быстро, что, хм, я чувствую, что это проигрышная битва в некоторой, в некоторой степени. Хм, и поэтому я думаю, что, э-э, образование будет как бы существенно перетасовано этим, э-э, где это конец, например, обучения друг друга вещам, почти немного, например, если у меня есть, хм, библиотека, например, кода или что-то в этом роде, раньше было так, что у вас была документация для других людей, которые находятся в моей пользовательской библиотеке, но, например, вы не должны этого делать больше, например, у вас должны быть вместо HTML-документов для людей, у вас должны быть markdown-документы для агентов, потому что если агенты поймут это, то они смогут просто объяснить все различные части этого. Так что это перенаправление через агентов, вы знаете, хм, и это, например, так что я думаю, мы увидим гораздо больше этого в действии.

>> Ну, посмотрим, знают ли великие учителя, например, как развивать интуицию для того, чтобы объяснять вещи агентам по-другому.

В конечном итоге, так, например, MicroGPT, например, я спросил, я пытался заставить агента написать MicroGPT. Так что я сказал ему, например, попробуй свести самые простые вещи, например, попробуй свести, хм, нейронные сети к самому простому, и он не может этого сделать. Например, MicroGPT — это как мой, это как конец моей одержимости. Это 200 строк. Я долго думал об этом. Я был одержим этим долгое время. Это, это решение. Поверьте, проще быть не может. И это, это моя добавленная стоимость. Все остальное, например, агент понимает. >> Он просто не может это придумать. Но он полностью понимает это и понимает, почему это сделано определенным образом и т. д. Так что, например, мой вклад — это как бы эти несколько битов, но все остальное с точки зрения, например, образования, которое происходит после этого, это, например, больше не моя область. Так что, возможно, да, это, например, образование вроде как меняется таким образом, когда вам вроде как нужно внедрить те несколько битов, в которых вы твердо уверены относительно учебной программы или лучшего, лучшего способа объяснения или чего-то в этом роде. То, что агенты не могут делать, теперь ваша работа. То, что агенты могут делать, они, вероятно, могут делать лучше вас или, например, очень скоро. И поэтому вам следует, хм, быть стратегическим в отношении того, на что вы на самом деле тратите время.

>> Ну, мы ценим эти немногие вещи. Спасибо, Андре.

>> Хорошо. Найдите нас в Твиттере по адресу no prior pod. Подпишитесь на наш канал на YouTube, если хотите увидеть наши лица. Следите за шоу на Apple Podcasts, Spotify или где бы вы ни слушали. Таким образом, вы будете получать новый эпизод каждую неделю. И подпишитесь на рассылку или найдите стенограммы каждого эпизода на no-briers.com.