Transcription
Тайлер заключил пари с Илоном. Ты получаешь киберт, если сможешь запустить тренировочный прогон на этих GPU за 24 часа. Получил ли он кибертрак? Да.
В мой первый день мне просто дали ноутбук и бейдж. И я такой: "О'кей, что дальше? У меня даже команды нет, мне не сказали, что делать". В то время раскручивался азгрок нашей интеграции секс. Они такие: "Можешь помочь?" Я такой: "Да".
Что самое кайфовое в работе в XI? Никто не говорит мне нет. Если у меня есть хорошая идея, я обычно могу реализовать её в тот же день, показать Илону или кому-нибудь ещё и получить ответ. Прямо сейчас, по-моему, это около 2,5 млн долларов за один комит в основной репозитории, а я сегодня сделал пять. Так что рычаги воздействия невероятные.
Сегодня у меня есть прекрасная возможность пообщаться с Сали Кангори. Он один из инженеров в XI. Я давно слежу за XI, где-то с двадцать третьего года, когда Илон только начал. По-моему, это одна из самых быстрорастущих компаний всех времён. Можешь просто рассказать, что за фигня вообще происходит в XI?
Да, у нас нет реальных дедлайнов. Всегда всё должно быть сделано ещё вчера. Нет никаких блокеров, по крайней мере искусственных. Вся эта история Илона про уход к корням, к фундаменту, к физике, мы до этого добираемся довольно быстро, настолько быстро, насколько можем. Что забавно, в софте ты обычно не думаешь о физике, но мы реально часто пытаемся. И мы не совсем софтверная компания, учитывая весь выстроенный инфраструктурный слой. Сейчас это скорее железо. Вы ограничены железом. Наверное, наше главное преимущество - это аппаратное обеспечение, потому что по развёртыванию никто даже близко не стоит. Хотя плотность талантов в софте просто невероятная. Я нигде такого не видел. Это очень круто.
Илон очень хорошо умеет заранее понимать, где будут узкие места, даже за пару месяцев или лет вперёд, а потом идти назад от этого и убеждаться, что он в очень хорошей позиции. Как это выглядит в повседневной работе для обычных людей в XI и как вообще перенимается такой образ мышления?
Обычно, когда мы очень быстро запускаем что-то новое, либо кто-то из нас, либо он сам придумывает метрику. Она, как правило, очень базовая, либо финансовая, либо физическая отдача, а иногда и то, и другое. И тогда всё фокусируется на том, чтобы давить именно на эту метрику. Нет никаких фундаментальных ограничений. Или если они есть, они должны быть глубоко укоренены, они искусственные. А искусственных ограничений люди видят очень много, особенно в мире софта, если смотреть на последние 10 лет Webде или что-то в таком духе, люди просто принимают и считают нормы определённые ограничения, особенно по скорости и задержкам. Но они нереальны. Можно убрать кучу оверхедов. В стеке очень много тупых вещей. Если выкинуть большую часть этого, то почти что угодно можно ускорить в 2-8 раз. По крайней мере, всё, что придумано относительно недавно. Некоторые вещи не очень, но в целом, да.
Когда в последний раз у тебя случалось, что существовала некая общепринятая мудрость и есть какие-то таймлайны, а вы просто взяли и полностью это разнесли?
Совсем недавно это наши итерации модели на макрохарт. Мы работаем над несколькими новыми архитектурами одновременно, и мы выпускаем новые версии ежедневно, иногда по несколько раз в день. в некоторых случаях прямо с этапа предобучения, что, вообще-то, почти нигде не увидишь. Но это, во-первых, потому что у нас реально крутая команда по суперкомпьютингу, и они убрали кучу типичных барьеров, которые обычно мешают обучать такие модели, даже с учётом того, насколько у нас переменное железо. Типа в течение дня после установки стойки ты уже, как правило, можешь начинать тренировать модель. Иногда в тот же день, а в отдельных случаях вообще через несколько часов. И это вообще не норма. Обычные таймлайны дни или недели. Ну, обычно это долго. По крайней мере, так было последние 10 лет, когда всё абстрагировали и отдавали Amazon или Google. И тогда ты ограничен тем, какая у них есть мощность. Но так больше нельзя и при этом выигрывать в и так единственное решение, либо умереть, либо строить всё самому.
Можешь рассказать про свой опыт, как ты пришёл, почему ты решил присоединиться и каким был анбординг в первые пару недель?
Да, я тогда работал над своим стартапом, когда переехал в Бей. И именно в тот период мне написал Грег Янг, один из соснователей XI. Как оказалось, он очень хорош в рекрутинге. И что он написал? Я получил письмо и подумал, что это спам, потому что в то время мне постоянно писали всякие письма для фаундеров в духе: "Эй, давай поболтаем, мне нравится, что ты делаешь" и всё такое. Я уже собирался удалить, но потом увидел Доменнекс и я и такой: "Подожди-ка, я знаю этих ребят". Тогда компании было, наверное, месяцев восемь. И я подумал: "О'кей, давай пообщаемся". Мы несколько раз созвонились. Я хотел сделать найм под свой стартап, но тогда было слишком рано, и та компания в итоге развалилась. В основном, потому что довольно быстро стало понятно, макрохарт нельзя построить с бюджетом в миллион долларов. Но сама идея была здравой. И следующие 6-7 месяцев я просто сжигал все свои деньги, делая аэрокосмические проекты и работая над концепцией астероидного майнинга. Я тоже понял, что, скорее всего, это не сработает. Но попробовать стоило. Я снова написал Грегу, типа: "Эм, может ещё раз созвонимся?" А он такой: "Да, конечно, хочешь пройти интервью завтра?" Я такой: "О'кей". И, видимо, я показал себя неплохо, потому что в понедельник я переехал и сразу начал работать. И это было очень круто. Никто не говорил мне, что делать. В первый день мне просто дали ноутбук и бейдж. Я такой: "Ладно". А дальше что? Я пошёл искать Грега, потому что у меня даже команды не было. Мне вообще никто не сказал, что делать. Грег просто взял меня, потому что, думаю, ему понравилось то, чем я занимался раньше. И это как-то совпадало с долгосрочным видением макрохарт, который тогда вообще ещё не был полноценным проектом. В итоге я начал работать на Дасгрок. Тогда как раз запускались интеграции секс. Они такие: "Можешь помочь?" Я такой: "Да, могу". И в первую же неделю я работал буквально с одним человеком. Я очень быстро понял, что всё, что мы строим, я могу просто делать, сидя за столом, который мне, кстати, даже не дали. Я просто садился за случайные столы людей, которых в тот день не было. И я мог встать и пальцем показать на человека, который это сделал в XI. Это было очень круто. И в тот момент там почти вообще не было людей. Да, там было пару сотен человек. Да, да, примерно около сотни человек в инженерной команде. Я не знаю точно, как тогда выглядела команда по строительству инфраструктуры. И это вообще сложно понять, потому что часть людей со временем переходит из строительно-монтажной команды прямо к нам в штат. Но в тот момент компания была довольно маленькой, на порядок меньше, чем другие лаборатории. И при этом мы уже выпустили Грок 3, что было довольно круто.
Мне очень нравится, насколько быстро XI прошла путь с момента основания. Я помню, как Илон в начале говорил, что они вообще не уверены, получится ли добиться успеха. Учитывая, что у других компаний уже было многолетнее преимущество по скорости и таймингу, а потом вы построили первый дата-центр Колоossus за 122 дня. Это было просто неслыханно. И Дженсон сейчас публично поёт диферамбы X и Илону. Какую культуру это позволило сформировать?
Это точно позволило нам со стороны моделей и продуктов исходить из того, что у нас будут ресурсы для всего, что нам нужно делать. И это действительно так. Мы не супер жёстко ограничены по ресурсам, хотя мы всё равно каким-то образом умудряемся упираться в потолок просто потому, что у нас одновременно запущено 20 разных направлений. Даже больше, намного больше. Одновременно в параллельном режиме идёт какое-то абсурдное количество запусков, обучений и всего остального. И обычно это делают буквально несколько человек. Именно поэтому мы можем так быстро итерироваться по моделям и продуктам. Загрузка ресурсов действительно очень высокая, и эта скорость, в свою очередь, позволяет нам мыслить более долгосрочно. Так что грок 4 или Грок пть были спланированы и спроектированы по размеру и ожиданиям сильно заранее. Ещё до того, как я пришёл, я присоединился где-то на этапе ГРОК 3. То есть вы думали как минимум на год вперёд. Ты можешь гораздо больше закладывать заранее и исходить из того, что эти оценки будут выполнены просто потому, что все очень крутые и надёжные. Это очень сильно освобождает тебя с точки зрения ограничений. Например, у нас предполагаемая минимальная задержка изначально была примерно в три раза выше, чем реально требовалось. И инфраструктура строилась с этим запасом.
Что именно ты имеешь в виду?
Одна из новых архитектур, над которой мы работаем, в принципе, невозможно, если ты не масштабируешь скорость экспериментов, потому что она не опирается ни на какой существующий массив исследований. Тебе нужен новый корпус для притренинга, нужен новый датасет. И при этом всё это ограничено не столько ресурсами, сколько физической инфраструктурой. Хотя есть ещё тема с Тесла-компьютером. Думаю, мы, может быть, к этому дойдём. Хотя, вообще-то, это уже публичная информация. Мы начинали думать так: "О'кей, мы строим эмулятор человека с помощью макрохарт. Как мы будем его деплоить?" Потому что, если мы хотим задеплоить 1 млн человеческих эмуляторов, нам нужен 1 млн компьютеров. Как это сделать? И ответ буквально появился через 2 дня в виде тесла-компьютера, потому что, как оказалось, эти штуки очень капиталоэффективны. Мы потенциально можем запускать нашу модель и весь рабочий компьютер человека на teslкомпьютере гораздо дешевле, чем на виртуалках VWS, Oracle или где угодно ещё. Даже просто покупать железо у Nvidia выходит дороже. Автомобильный компьютер Tтеesla реально намного эффективней по капиталу, и это позволяет нам предполагать, что мы можем разворачиваться гораздо быстрее и в намного большем масштабе. Мы просто скорректировали наши ожидания под это.
То есть вы фактически можете просто бутстпить за счёт сети автомобилей.
Да, это один из потенциальных вариантов. Типа о'кей, нам нужно 1 млн виртуальных машин. В Северной Америке уже около 4 млн Тесла. И, допустим, у двух/ третий или хотя бы у половины из них есть нужное железо. И где-то 70-80% времени они просто стоят без дела. Чаще всего на зарядке. Мы потенциально можем просто платить владельцам за аренду времени их машины и запускать прямо на ней человеческий эмулятор. Digital Optimist. Владельцам оплачивается лизинг. А мы получаем полноценного человеческого эмулятора, которого можно поставить работать. И это всё без какого-либо дополнительного строительства инфраструктуры. Требуется только чисто софтовая реализация. Актив просто стоит без дела, и вы можете взять и использовать его.
А для чего вообще нужны человеческие эмуляторы в макрохарт? Зачем масштабировать миллионы минилюдей?
В общем-то, базовая идея очень простая. С Оптимус ты берёшь любую физическую задачу, которую может выполнять человек, и позволяешь роботу делать её автоматически за долю стоимости и с аптаймом 24x7. Мы делаем то же самое со всем, что человек делает в цифровой среде. То есть всё, где человеку нужно вводить данные из клавиатуры и мыши, смотреть на экран и принимать решения. А это, по сути, есть большая часть цифровой работы человека. Мы просто напрямую эмулируем действие человека. При этом вообще не требуется никакой адаптации со стороны софта. Мы можем деплоиться в любой ситуации, где потенциально сейчас находится человек.
Интересно, а как это будет выглядеть на практике при развёртывании?
Я думаю, мы пока публично не детализировали планы по конкретному роуту. Сначала это будет медленно, потом очень быстро. По сути для нас, учитывая, что инфраструктура уже построена или мы можем просто использовать сеть Тесла или можем построить датацентр из Тесла-компьютеров, переход от тысячи человеческих эмуляторов к миллиону, на самом деле не такая уж большая разница. Это не самая сложная часть.
Я знаю, что одна из сильных сторон Илона, он просто переходит от пожара к пожару внутри компании и тушит их, грубо говоря, разгребает любую проблему. Как это выглядит на практике? Когда ты видел, что проблема возникала и была очень быстро решена именно таким образом?
Определённо на стороне инфраструктурной сборки. Это самое заметное. На стороне моделей у нас были заминки, но в целом всё шло достаточно гладко. Но именно на модельной стороне есть много очень специфических операций, под которые, по сути, заточены эти А6 процессоры. И когда мы выкатываем новые продукты, например, когда получаем новое железо от Nvidia или кого-то ещё, не всё сразу работает. На некоторых встречах с ним в начале прошлого года он слышал о таких проблемах. делал один телефонный звонок, и софтверная команда выкатывала патч уже на следующий день, а мы работали бок обок, пока всё не решалось. После этого мы могли очень быстро запускать модель или тренировочный прогон на этом железе. В противном случае это заняло бы недели переписки и согласований. Такие блокеры обычно решаются буквально одним звонком или просто мы поднимаем вопрос перед ним или он сам предлагает помощь. Часто, когда встреча заканчивается или возникает пауза в разговоре, он говорит: "О'кей, чем я могу помочь? Как это можно ускорить?" И кто-то сразу предлагает решение: "Я знаю, что вы делаете много разных продуктов параллельно." И понятно, что так и нужно, но в большинстве организаций очень сложно сохранять фокус на чём-то одном и одной цели. Как у вас получается одновременно эффективно работать сразу по нескольким направлениям?
Очень часто у нас, и это только усиливается с ростом компании, нет полной картины до общего созвона или пока мы просто не пообщаемся друг с другом и не поймём, кто над чем работает и на какой стадии находятся разные проекты. Например, когда мы делали нашу голосовую модель и её деплой, большая часть работы по сверхнизкой задержке, по низколатентной передаче пакетовэн до клиента уже была сделана заранее. И по факту это был вопрос того, чтобы просто переключить нужные тумблеры и правильные конфигурации, чтобы довольно сильно сократить задержку, примерно в два-три раза end toend. И так бывает очень часто. Где-то в софте или в железе есть какая-нибудь глупая штука, и кто-то уже придумал решение. Ты находишь его, когда начинаешь копаться в нашем коде. Или ты просто спрашиваешь вокруг, и кто-то говорит: "А, да, вот этот человек X YZ уже это сделал. Поговори с ним". Тут почти нет времени, потраченного на синхронизации, разрешения или ожидания кого-то. Обычно, когда ты предлагаешь что-то, реакция либо: "Нет, это глупо". Либо "Почему это ещё не сделано? Тебе говорят это ты идёшь и делаешь и всё готово.
>> Подпишись прямо сейчас на мой Telegram-канал по ссылке в описании. Я подготовил для тебя топ-три материала, которые, на мой взгляд, должен знать каждый. Первое, карта сотни топовых AI стартапов - это будущее на одной картинке. Второе- прогноз от инсайдера из Open AI, который ещё до появления чат GPT предсказал всё, что сейчас происходит с нейронками. И вот в этом году он выпустил новый прогноз до двадцать седьмого года. И третье, самое мощное - это мой разбор эссе основателя компании Anтропик, который по сути второй человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и главное, каким будет универсальный AI, которого все так боятся или ждут. Переходи по ссылке в описании.
В компаниях Илона ты можешь просто попросить ответственность и дальше живёшь по принципу: взявшие меч от меча и погибнут. Если ты делаешь результат, можешь просить ещё больше ответственности и двигаться дальше, а если нет, ты просто вылетаешь. Какой у тебя здесь опыт?
Да, всё именно так. Я прыгал между разными проектами, в основном потому, что кто-то просил помочь. Я продолжал помогать и в итоге начинал владеть частью стека или даже большим его куском. Итак, у всех это просто стандартный режим работы. Если у тебя есть какой-то конкретный опыт или ты можешь очень быстро итерировать решение, через несколько дней этот компонент становится твоим. Формально ничего нет. Если смотреть по HR-системе, я официально числюсь в Voice и iOS или что-то в этом роде. А наша система безопасности до сих пор думает, что я работаю над интеграцией секс. Никто это никогда не обновляет? Да, вообще никто. Это немного абсурдно.
То есть твой путь в компании выглядел так: Ты приходишь, нет чёткого понимания, над чем ты будешь работать, а потом просто начинаешь что-то делать и перепрыгиваешь с проекта на проект в зависимости от того, кто просит помощи.
Да, в этом есть элемент такого перетекания. После анбординга я обычно одновременно участвую в двух-трёх проектах. И тот, который наиболее срочный или где я могу помочь больше всего, начинает забирать основную часть моего времени, а дальше всё это просто плавно перетекает.
Какой у тебя был путь с самого начала и до сейчас? Над какими проектами ты работал?
Да, если конкретно, то я начал со сгрок и нашей интеграции там. Потом немного поработал с бэкэнд-командой над надёжностью и масштабированием, потому что в тот момент мы очень быстро росли. После этого я в одиночку занялся созданием нашего комплексного ПО и довёл его до внутреннего релиза. А потом меня попросили помочь с роллатом Imagine iOS. И да, iOS-команда у нас очень маленькая для такого количества пользователей. Типа это просто смешно. Ты не угадаешь число. Пять человек, три было, три. И я был третьим человеком на тот момент, когда мы это выкатывали. Это было просто безумие. И при этом все невероятно крутые. Да, это первое место, где мне реально пришлось очень сильно напрягаться, чтобы просто поспевать за скоростью и уровнем таланта.
Какой был первый момент, когда ты подумал, что тебя действительно используют на полную?
Думаю, Имаджин, это точно был такой момент. Это был очень хороший буст, потому что у нас был двадцатичетырёхчасовой цикл итерации. Ты каждый вечер получаешь фидбек потому, что сделал. Но мы выкатывали обновление ночью. Утром получали весь фидбэк, сразу же фиксили все баги, добавляли новые фичи, которые люди просили. Всё, что модель предлагала, мы это тоже реализовали. Это был очень-очень быстрый цикл. И это был, наверное, самый длинный непрерывный период, когда я каждый день находился в офисе.
Как это выглядело тогда?
Это было месяца два-три, да? Да. Какое-то время вообще не было выходных. Это было полезно понять, что я способен на такое. Мне это даже нравилось. А после этого меня перетянули на макрохарт продукт, где на тот момент был всего один человек. Так что какое-то время нас было двое. И с тех пор я, по сути, всё время работаю над этим проектом.
Я не знаю, насколько ты в курсе, но вся эта история с постройкой колоссу и тем безумным набором задач, которые ранней команде XI пришлось решить, чтобы запустить колоссу, получить питание, все необходимые ресурсы и вообще всё это заставить работать. И даже сейчас, кажется, там одни сплошные бутылочные горлышки. Всегда хочется больше, больше чипов, больше GPU, чтобы всё работало быстрее, как это выглядело изнутри. Там куча военных баек и ставок. Расскажешь несколько?
Да. Тайлер заключил пари с Илоном. Мы настраивали новые стойки. Я уже не помню, какие именны GPU мы тогда разворачивали. И было пари. Илан сказал что-то вроде: "О'кей, ты получаешь киберт сегодня же, если сможешь запустить тренировочный прогон на этих GPU за 24 часа". И мы запустили обучение в тот же вечер. Он получил киберт? Да, он получил. Я его вижу из окна столовой, из кафетерии. Да, он крут.
Если говорить про электроэнергию, нам на самом деле приходится очень плотно взаимодействовать с муниципальными и региональными энергокомпаниями. Потому что, когда нагрузка на их стороне становится слишком высокой, мы должны отключаться и полностью переходить на, окажется 80, а может и больше, около 80 мобильных генераторов, которые мы привозим на грузовиках и полностью работаем на них, просто чтобы не влиять на энергосеть вокруг. И всё это нужно делать плавно, не прерывая ничьих процессов. А у нас при этом идут сверхнестабильные тренировочные прогоны, сверхчувствительные GPU и железо, где потребление может меняться на мегаватты за миллисекунды. Это это много. Это ещё и часть логики размещения огромных батарей прямо рядом с датацентрами, потому что тогда можно гораздо быстрее повышать и понижать нагрузку, а батареи могут масштабироваться гораздо быстрее.
Да, масштабироваться вверх и вниз и балансировать нагрузку намного быстрее, потому что с генератором ты буквально просишь физический объект ускориться или замедлиться, вращающуюся штуку. И это, очевидно, занимает какое-то время. Батареи могут реагировать на изменение нагрузки гораздо быстрее. И да, если смотреть с физической точки зрения, там есть локальные конденсаторы на уровне датахоллов, потом батареи, затем генераторы, а потом уже публичная энергосеть. Хотя, возможно, мы уже поменяли эту архитектуру. Особенно быстро всё это проявляется на стороне охлаждения.
Есть ещё какие-нибудь крутые байки, типа вещей, которые вообще не должны были быть возможны, но вдруг стали возможными?
Ну, аренда земли под это всё была технически временной. Это был самый быстрый способ получить все разрешения и начать строиться. Я предполагаю, что в какой-то момент она станет постоянной, но формально сейчас это краткосрочная аренда для всех датацентров. Это просто самый быстрый способ всё запустить. Как это удалось провернуть? Насколько я понимаю, есть некое специальное исключение на уровне местных и региональных властей. Мол, если вы хотите временно изменить участок земли, кажется, это обычно используется для ярмарок или карнавалов. То есть XI - это, по сути, карнавальная компания. Это был способ сделать всё максимально быстро. И это реально было сделано за 122 дня.
Если говорить про внутреннее планирование, я знаю, что всё будет масштабироваться просто безумно. И Илон говорил, что энергия - это главное узкое место, а затем доступ к чипам. Как вы вообще планируете работу, когда крайне сложно предсказать, чем вы будете заниматься через 12-24 месяца и какие ресурсы для этого понадобятся?
Мы очень стараемся работать от обратного, от того, что даёт наибольший рычаг влияния, и уже потом определяем физические требования. То есть, если мы хотим выйти на 10 или 100 млрд выручки к определённой дате, мы спрашиваем себя: "Какие действия дают наибольший эффект с экономической точки зрения? Как мы можем реально построить системы, которые это обеспечат?" А потом уже смотрим, что для этого нужно на физическом и программном уровне, чтобы всё это развернуть и довести до результата. Итак, шаг за шагом идём в обратном направлении. Так что мы обычно не начинаем с физических ограничений. Они, как правило, идут в самом конце.
Есть ли какой-то SpaceX подобный алгоритм, по которому у вас всё происходит? В смысле классическое удалить?
Да. Да, это происходит постоянно. Мы реально делаем так, удаляем что-то, а потом при необходимости добавляем обратно. Когда это было в последний раз? Сегодня. Сегодня, да. Например, с макрохарт мы разворачиваемся на большом количестве физического железа, которое постоянно меняется. И тестовый контур для этого довольно сложный. Поэтому мы стараемся минимизировать количество специальных кейсов ниже по стеку, где это возможно. Скажем, масштабирование дисплеев. Нам нужно поддерживать экраны, которым уже 30 лет, и одновременно самые новые, вроде 5к дисплеев Apple. И всё это должно работать на одном и том же стеке. Оказалось, что не все системы этому рады. Приходится ковыряться с кодировщиками, в частности с видеокодировщиками. Я сам не знал, но, как выяснилось, у некоторых кодировщиков есть ограничения на максимальное количество пикселей. В итоге я убрал один специальный кейс для нескольких кодировщиков, и мы нашли проблему на разрешении выше 5к, после чего пришлось добавить этот кейс обратно.
Какие вещи внутри XAI ты считаешь самыми интересными, о которых действительно стоит поговорить?
Там очень много ярких персонажей, и мы нанимаем людей довольно нестандартными способами. Есть вещи, которые я раньше считал глупыми, а их одобряют, мы просто делаем и пробуем. Например, мы проводим хакатон. Если в результате мы нанимаем хотя бы пять человек, это уже оправдано, потому что ожидаемая отдача для выручки или оценки компании выше, чем стоимость проведения хакатона на 500 человек. Ценность одного сотрудника получается очень высокой, что довольно забавно. Мы считали на этой неделе. Сейчас у нас, кажется, примерно 2,5 млн долларов ценности на один комит в основной репозитории. А я сегодня сделал пять. Ты принёс примерно 12,5 млн долларов ценности. Лёгкий день. Да, именно хороший день. И смешно, что такие вещи вообще возможны. Рычаги воздействия здесь невероятно мощные. Ты можешь сделать очень много, затратив гораздо меньше усилий и времени, чем раньше. И это, безусловно, из-за того, с кем ты работаешь. из-за внутреннего инструментария, который мы построили, и из-за моего руководителя.
А какой вообще тип людей хочет здесь работать? Потому что, когда ты рассказываешь, создаётся ощущение, ты приходишь в первый день и такой: "Я хочу работать по выходным, по ночам, полностью погружаться во всё это". Какие вообще особенные персонажи там работают?
Люди, которые приходят, определённо очень воодушевлены. Прямо очень-очень. ориентированы на выполнение задач. И, конечно, есть разные типы амбиций. Кто-то хочет расти по управленческой лестнице, владеть большим количеством людей, в смысле, сколько человек мне подчиняется, а кто-то хочет владеть огромными частями технического стека. Например, сейчас мы делаем большой рефакторинг наших ключевых prodдакш API. Этим занимается один человек с двадцатью агентами. И они очень хорошие. Они реально способны сделать это. И это неплохо работает. Так что ты можешь без проблем владеть огромными кусками кодовой базы. Это немного
похоже на Экс, где после покупки людей стало гораздо меньше. Но и до этого их было не так много. И в итоге один человек отвечает за огромную часть продукта. Да, абсолютно.
А если говорить про найм, какие необычные практики, кроме хакатонов, используют Xai? Ну, мы сейчас очень жёстко давим на макрохарт. В течение 2-3 недель я проводил по 20 с лишним собеседований в неделю. Некоторые из них быстрые, по 15 минут, некоторые полноценные часовые технические интервью. Так что значительная часть моего времени уходит на привлечение новых людей, и многие из них реально очень хороши.
Как ты их оцениваешь? У меня есть одна очень конкретная задача, которую я решил несколько лет назад для одного из своих стартапов. Я не буду раскрывать её, потому что тогда люди начнут готовиться, но я даю кандидатам полчаса, чтобы попробовать реализовать решение. На самом деле оно очень простое, обманчиво простое. Люди почти всегда его переусложняют. И это то, на что я особенно смотрю в своей команде. Способен ли человек не усложнять и прийти к простому решению? Это критически важно, потому что мы разворачиваемся на очень широком спектре железа из-за огромного разнообразие клиентов. Буквально 30-40 лет разного оборудования, разные операционные системы и всё такое. Ты обязан находить простые решения, иначе через неделю у тебя будет кодовая база на 10 млн строк. И это особенно важно сейчас, когда мы всё больше полагаемся на агентов и при написании кода и с радостью напишет 200 строк кода там, где достаточно решения из 10ти строк, и, вероятно, даже сделает это лучше. Поэтому на это нужно обращать внимание. Я хочу людей и целенаправленно нанимаю тех, кто сначала способен найти решение на 10 строк. Мы совершенно нормально относимся к тому, что люди используют и для написания кода. Это нужно использовать как мультипликатор силы. Но пока что мы умнее. Посмотрим, что будет дальше.
Какие ещё мультипликаторные силы ты обычно ищешь? Мне нравятся люди, которые готовы оспаривать требования и оспаривать меня. Частично я перенял это у Честера Цвая из German Force. Он рассказал мне об этом, и я подумал, что это отличная идея. Он обычно специально добавляет неправильные требования. вопрос или невозможные условие в задании для кандидатов при найме, например, в кодинговые челленджи. И он ожидает, что люди вернутся и скажут: "Эй, здесь ошибка. Это невозможно. Вы ошиблись. Если они этого не делают, он их не нанимает". У меня то же самое. Я перенял этот подход. Это отличная идея.
Темп просто безумный. И, как ты сказал, ты работал над множеством разных вещей. Как ты вообще так быстро входишь в курс дела, когда берёшься за новую задачу или проект? Зависит от того, что именно это за задача. Если нужно читать много кода, вычитывать код вручную, постоянно переходить к месту объявления элемента снова и снова, и ты очень быстро начинаешь всё понимать. На самом деле это не так сложно. В большинстве случаев реализации это меньше строк кода, чем ты ожидал бы увидеть. И это приятно. Не всегда, но в большинстве случаев. Если это что-то, что находится в очень активной разработке, тогда да, всё иначе. Там может быть 20 разных версий, которые разрабатываются параллельно. И вообще не очевидно, какая из них сейчас основная. Тогда тебе просто нужно говорить с людьми. И люди очень открыты. Это, кстати, одна из вещей, которая меня приятно удивила, когда я пришёл. Я думал, что люди будут суперумными и высокомерными, но нет, люди просто супермные, очень добрые и готовые помогать. Все в одной команде, все болеют друг за друга. Люди готовы помочь и ответить на вопросы. Это хорошо, потому что мы не очень любим писать документацию. Мы делаем всё слишком быстро, чтобы реально писать доки. На самом деле, мы сейчас пытаемся придумать у себя в команде системы, которые бы автоматически генерировали документацию по мере того, как мы что-то строим. Изгрок - это особенно круто, потому что у нас есть неограниченный доступ к очень умному ИИ. Благодаря этому мы можем попробовать кучу глупых идей и смотреть, что сработает. В обычном стартапе это стоило бы тебе, не знаю, сотни тысяч или миллион долларов в кредитах или чём-то подобном. А мы делаем это бесплатно. Поэтому с экспериментами можно много раз облажаться, пробовать гораздо больше вещей, чем ты бы мог иначе. И в результате проводится больше экспериментов и чаще.
И как вы на стороне экспериментов максимализируете количество попыток или, условно, точных попаданий, которые можете сделать? Часто есть какое-то временное ограничение, и мы очень часто запускаем сразу несколько экспериментов, особенно на стороне моделей одновременно. И иногда это даже не столько из-за жёсткого дедлайна в стиле: "Мне нужно попробовать X количество вещей за игни". Просто через 2 недели будет готова какая-то предпосылка. Либо по железу, либо по тренировочным данным, либо ещё по чему-то. Но прямо сейчас мне нужно выкатить что-то уже сегодня. Что я могу сделать? И тогда ты запускаешь два-три эксперимента, смотришь, что можно задеплоить сегодня и принести выручку, результат для клиента или что-то ещё уже сегодня, а через 2 недели просто переключаешься. Мы делаем так постоянно, особенно в Макрохарт.
Ты видел ситуации, когда по идее таймлайн проекта должен был быть гораздо длиннее, но вам каким-то образом удавалось сократить его на неделе или месяца постоянно? И как это обычно происходит? Всегда каждый раз, когда мы выходим со встречи с Илоном или с какого-то внутреннего созвона, где кто-то сильно давит, чтобы что-то было сделано, или когда кто-то внешний, неответственный за эту задачу, запрашивает требования или просит сделать что-то за срок, который изначально кажется нам нереалистичным. Мы пару минут думаем об этом, может, немного жалуемся, а потом всё остальное время просто посвящаем тому, чтобы сделать это в заданный срок. Да, очень часто оценка времени на выполнение задачи вообще всегда строится на каком-то наборе допущений. А когда у тебя появляется срок в два раза или в 10 раз короче, чем обычно, ты смотришь на эти допущения и говоришь: "Окей, насколько каждый из них реально влияет на таймлайн?" Потом ты убираешь или меняешь их и внезапно получаешь ускорение в два раза. Сделай так несколько раз, и ты можешь уложиться практически в любой требуемый срок. Да, в какой-то момент ты упираешься в физические ограничения, но но ты никогда не упираешься в них с самого начала.
Я знаю, что, например, с полным автопилотом и с ракетами SpaceX таймлайн Илана обычно заметно короче. Его сроки могут быть в четверть или в половину от того, сколько в итоге реально требуется, но из-за этого всё всё равно происходит в четыре раза быстрее. Это примерно так же работает в XAI, потому что здесь всё больше про софт, но даже на стороне дата-центров всё происходит просто безумно быстро. И кажется, что это происходит примерно в те сроки, которые он называет. Он говорит, это произойдёт примерно через столько-то месяцев. И оно действительно происходит. Я думаю, он сам откалибровал свои таймлайны после того, как он развернул огромное количество самого разного железа в продакшене и в масштабе. Так что его собственные оценки сейчас определённо намного точнее. И это действительно так. Думаю, он ещё и обновляет свои таймлайны гораздо быстрее, иногда буквально ежедневно. Он общается с нами и понимает, каким должен быть апдейт. сроком на основе разных параметров. Иногда эти апдейты идут от него самого, особенно по инфраструктуре. Если, например, удаётся договориться или попасть в производственную партию какого-то чипа, мы можем сэкономить месяц или два, а иногда и больше. Зависит от конкретного деплоя. И на стороне софта всё то же самое. Он всегда говорит, что ты всегда можешь попытаться сделать за один месяц то, что обычно занимает год. И в итоге, скорее всего, сделаешь это за два. Всё равно намного быстрее.
Я помню, что в ранние годы SpaceX было такое внутреннее ощущение. Кажется, Илон говорил, что каждый день задержки стоит около 10 млн потерянной выручки. Я даже не представляю, как это выглядит для XAI. Всё движется настолько быстро. Есть ли у тебя в голове что-то вроде каждый день, когда мы не давим сильнее или не двигаем что-то вперёд, мы теряем x количество потенциальной ценности? Да, конкретно для макрохарт у нас есть несколько довольно чётких целей по выручке. Я не могу называть цифры, но у меня в голове, когда что-то задерживается или наоборот ускоряется, я очень быстро могу прикинуть, сколько денег мы только что заработали или потеряли. Это прямо дикие колебания. Да, цифры огромные, просто потому, что ожидаемая отдача очень большая, а таймлайн очень быстрый. Так что несколько дней - это пропорционально, довольно серьёзная величина по сравнению с тем, какую выручку ты обычно ожидал бы.
Илон известен тем, что очень быстро делает реально крупные ставки. Какое самое большое решение принималось на одной встрече, где сразу закладывались огромные объёмы капитала, времени или обязательств? Думаю, одно из таких решений - это выбор модели, которая для макрохарт должна быть как минимум в полтора раза быстрее человека, а по факту выглядит так, что она будет значительно быстрее, может в восемь раз, а может и больше. В других лабораториях, где пытаются делать человеческие эмуляторы, подход был другим. Давайте добавим больше рассуждений и сделаем модель побольше. А мы этим решением пошли вообще в противоположную сторону по сравнению со всеми остальными. И практически всё, что мы делаем - это следствие этого выбора. Но не абсолютно всё, но почти всё. И это было решено очень рано. В каком-то смысле это даже ожидалось, особенно если проводить аналогию с полным автопилотом. Никто не будет ждать 10 минут, пока компьютер сделает то, что я могу сделать за пять. Но если это можно сделать за 10 секунд, я с радостью заплачу за это любые деньги. Это просто очевидно. Обычно мы, инженеры, в таких ситуациях начинаем сопротивляться и говорить: "Ну вот 20 причин, почему это должно быть по-другому. Но решение принято, и ты начинаешь идти от него назад. Жизнь найдёт путь".
Я помню, как Илон говорил, кажется, это было в Комбинетор. Он делал Q&A с Гаританом, и Гери заговорил про иследователей. А Илон сказал: "Нет, теперь это просто и инженеры". Да, было такое. Кто-то сказал это на одну из встреч с ним, когда мы обсуждали рекрутинг, типа вот описание вакансий или что-то такое. И он минут 10 подряд повторял: "Инженеры, просто инженеры, неважно какие, хорошие инженеры. Инженеры как люди, которые по своей сути решают проблемы. Неважно, занимались ли они раньше чем-то вроде X или Y, инфраструктурой или какой-то конкретной архитектурой, инженеры. Почему это так важно? Почему определение так важно? Потому что это оставляет определение максимально широким. Это значит, что к нам могут прийти люди из самых разных сфер. И так и происходит. Возможно, в Имире это чуть меньше заметно, но я думаю, было много историй в SpaceX, где люди приходили из очень нетипичных жизненных путей, от которых этого вообще не ожидали, и в итоге делали огромные вещи в инженерном мире SpaceX. Так что широкий подход даёт таким людям путь к нам и помогает нам ускоряться ещё больше.
Если говорить лично про тебя, что самое кайфовое в работе там изо дня в день? Никто не говорит мне: "Нет". Да, если у меня есть хорошая идея, я обычно могу реализовать её в тот же день и показать результат. И дальше мы смотрим, имеет ли это смысл. прогоняем какие-то тесты, оценки, показываем заказчику Илону или кому угодно. И обычно в тот же день получаем ответ, было ли это правильным решением или нет. Нет долгих обсуждений, нет ожидания бюрократии. Мне это очень нравится. Я ожидал, что придётся пожертвовать частью этого, переходя из очень маленьких стартапов в более крупную компанию. Типа я пришёл, когда нас было около 100 человек. Для меня это был скачок раз в 10 по сравнению со всем, где я работал раньше. Но по меркам компании Илона это всё равно очень мало, и это реально ощущается. Практически нет никакого оверхеда.
Были ли у тебя какие-то крупные предположения перед выходом, которые оказались полностью неверными? Я думал, что будет больше жёсткого тапдауна. Он есть, но не так много, особенно с учётом того, что по сути у нас всего три уровня управления: линейные сотрудники, кофаундеры и несколько новых менеджеров. И потом Илон, и всё. И поскольку у менеджеров сейчас очень много прямых отчётов, от них почти ничего не спускается сверху вниз. Обычно мы сами приходим к решению, его одобряют, Илон говорит: "О'кей, всё нормально. Если есть фидбэк, мы его учитываем и обновляем". То есть всё как будто специально устроено так, чтобы все именно строили вещи. А менеджеров-менеджеров было меньше и больше было просто разработчиков. Да. Когда я пришёл, по-моему, каждый менеджер ещё и писал код. И в целом сейчас это всё ещё так, но не так много, как раньше, потому что у некоторых теперь по 100 плюс человек в подчинении, но по сути все инженеры.
Я помню, кстати, в первую же неделю я сел ужинать, рядом со мной садится парень, и я говорю что-то вроде: "Ты в какой команде, как дела? Я только что пришёл". А он говорит: "Я в продажах корпоративные сделки". И я такой: "Ой, я не хочу разговаривать с этим чуваком. Он продажник". А потом он начинает рассказывать про модель, которую он тренирует. И он тоже инженер. Команда продаж инженеры. Вообще все инженеры. Думаю, на тот момент было, может, меньше восьми человек в компании, которые не были инженерами хоть в каком-то смысле. И даже это было очень круто. Все вносят свой вклад. Это больше похоже на то, что над каким-то проектом может работать один человек. Если ты инженер и делаешь эту вещь, у тебя гораздо более прямой контакт с заказчиком. Ты лучше понимаешь его проблему и можешь очень быстро реализовывать решение. Да, да. Чем меньше слоёв, тем меньше информации теряется, происходит меньше сжатия, потому что тебе нужно меньше раз передавать информацию. А язык сам по себе очень склонен к потерям по сравнению с тем, что происходит у тебя в голове. Если ты идёшь от мозга клиента к словам, потом в мозг продажника, потом снова в слова, потом к менеджеру, на каждом слое теряется огромное количество информации. А если ты убираешь как можно больше слоёв, у тебя остаётся всего один шаг сжатия. Клиент напрямую говорит тебе, что он хочет, какой у него опыт, что не работает, и ты как инженер сразу решаешь проблему.
Есть ли что-то конкретное, чего ты никогда не видел и не слышал ни в одной другой компании, но что XI делает и из-за чего всё просто происходит намного быстрее? Вот эта размытость между командами и зонами ответственности. Это точно не то, чего я ожидал. И, по-моему, такого почти нигде нет ни в крупных компаниях, ни даже в компаниях сопоставимого размера. Типа, если мне нужно что-то починить в нашей VM-инфраструктуре. Я просто это делаю, показываю человеку, который за это отвечает. Он говорит: "О'кей". И это сразу же мёрджится и деплоится. Нет жёсткой регламентации, типа ты не можешь трогать это. По сути, всем разрешено править всё. Есть какие-то проверки для реально опасных вещей, но в целом тебе доверяют делать правильные вещи и делать их правильно. И это очень круто.
Я помню, когда Илон ещё активно занимался дож, был момент, когда они, кажется, удалили что-то вроде защиты от эболы или что-то в этом роде, а потом очень быстро вернули это обратно. Какие вещи были удалены из-за этого быстрого процесса попыток понять, что на самом деле не нужно, а потом реализовано заново? Практически никогда не происходит ничего необратимо разрушительного. Честно говоря, я вообще не знаю ни одного случая, где что-то было удалено без возможности восстановления. Но, как я уже говорил, довольно часто что-то удаляется или убирается, и кто-то потом говорит: "Эй, мне это же нужно было через час-два". И тогда ты просто откатываешь изменения. Или знаешь, иногда проходит несколько месяцев, пока кто-то строит какой-то проект, и он зависит, не знаю, от какого-то куска инфраструктуры или чего-то подобного. И оказывается, что к моменту, когда ты доходишь до деплоя и тебе это реально нужно, мы уже три раза заново пересобрали эту штуку. И тогда ты просто обновляешься и идёшь дальше.
Как ты думаешь, помогает ли то, что в инженерной команде работает так мало людей? Да, определённо. Чем больше людей задействовано, тем медленнее. Я бы точно сказал, что работа, которую один человек может сделать сам, если её делают двое, займёт в два раза больше времени. И, по-моему, это применимо к любому навыку, особенно сейчас, когда тебе не нужное физически писать столько кода, сколько раньше. Ты можешь быть больше тем, кто принимает решения и проектирует архитектуру. Каждый может быть архитектором. Просто не нужно так много рук. Один мозг может делать гораздо больше.
До этого ты пробовал запускать несколько компаний и занимался кучей разных проектов. что именно в работе здесь, в миссии, в культуре тебя зацепило? Почему ты решил работать именно тут? Я всегда был, так сказать, сильно заряжен Илоном. Он всегда был для меня большим личным героем, особенно когда я рос. Я видел первые посадки Falcon. А ещё я ездил на пятый запуск старшип, и это того стоило. Это был первый раз, когда они его поймали, и это было просто невероятно. Так что быть частью чего-то хоть отдалённо связанного с этим звучит офигенно.
А почему ты выбрал именно эту компанию, а не SpaceX или Tesla, например? Да, я по натуре предприниматель, а XI - это определённо самая маленькая и самая новая компания из всех. Моё предположение, и думаю, оно в целом подтвердилось, что именно здесь у одного человека может быть максимальное влияние и возможность что-то менять, потому что пропорционально ты гораздо большая часть компании, чем был бы в других местах. Не в том смысле, что там не делают крутые вещи или что люди там не важны, но да, просто пропорциональное влияние. Рычаг влияния на решение здесь намного выше. Да, причём не только на решение, но и на реализацию, на то, чтобы увидеть результат. Всё происходит очень быстро. И ещё одно моё предположение, которое, как оказалось, было неверным. Я думал, что буду быстрее работать в одиночку, строить XYZ штуки или пробовать XYZ эксперименты. Но на самом деле я обычно быстрее в XI просто потому, что у меня есть база и команда, которая, скорее всего, уже сделала кучу шагов, которые мне иначе пришлось бы делать вручную. И никто не говорит: "Нет".
Ты упоминал, что между людьми, которые работают над разными вещами, есть такая размытая нечёткая граница. Есть ли у тебя возможность просто подойти к другим людям в компании и попросить помощи постоянно? И как это работает? Я просто подхожу к столу и говорю: "Эй, вот мой вопрос. Над чем сейчас работаешь? Могу ли я чем-то тебе помочь? И можешь ли ты помочь мне с этим? И всё, все находятся в одном здании. Так что, И, кстати, забавный момент. Мы начали тестировать некоторых из наших человеческих эмуляторов внутри компании, как будто это сотрудники. И в некоторых случаях мы даже особо никому об этом не говорили. И бывало так, что кто-то работает и кто-то ему пишет: "Эй, можешь помочь мне с этим или можешь сделать вот это?" А виртуальный сотрудник отвечает: "Да, конечно, подходи к этому столу, приходи ко мне". Человек приходит, а там никого нет. Это как ситуация сд, когда ты приходишь и думаешь: "О'кей, увидимся завтра". А потом оказывается, что, ну, понятно, это просто кусок кода. Да, именно. И такое было уже несколько раз. Мне писали что-то вроде: "Эй, этот парень из Орчард, он тебе подчиняется. Он сегодня не пришёл. А это просто эмуляция. Это и виртуальный сотрудник. Но в целом мы все предполагаем, что находимся в одном здании и доступны друг для друга. Так что это работает всегда. Я могу попросить помощи, и люди постоянно просят помощи у меня.
Какие были самые большие фейлы? Если говорить про эмуляторы людей и клиентов, с которыми мы работаем, то мы всегда стараемся понять, какую именно работу они делают и все её аспекты. Обычно мы с ними разговариваем, проводим интервью, иногда даже наблюдаем за ними, хотя, точнее, наблюдение у нас идёт уже на последнем этапе. Сначала мы говорим, интервьюируем, они дают нам свои описания или мы встречаемся лично и записываем, как именно они делают свою работу. А потом, примерно через неделю мы смотрим на ошибки, которые делает виртуальный сотрудник, и понимаем: "Так, он постоянно ошибается вот здесь и вот здесь". Что происходит? Мы идём и смотрим, как это делает реальный человек. И оказывается, что там есть 20 разных шагов, которые они просто полностью упустили в описании. И они такие: "Да, мы это делаем". Я забыл сказать: "Сорян, такое происходит постоянно". куча вещей для людей- это просто автоматизм. Они считают это, само собой, разумеющимся. Это как когда ты едешь за рулём час и не помнишь ни одной секунды поездки, потому что был полностью в своих мыслях. То же самое относится ко всему, что человек делает регулярно. И именно это мы и пытаемся решить. Весь тот тупой, рутинный, повторяющийся труд, который люди сейчас делают автоматически и который им на самом деле не нужен. Мы на это и нацелены.
Как ты решаешь, за какую задачу браться? Что у тебя в голове в этот момент? Какие самые большие вещи помимо вождения, которые люди постоянно делают, но на самом деле им не нужно этого делать? Всё, что является повторяющейся работой за компьютером, например, поддержка клиентов, это большой кейс, где ты просто принимаешь свободный ввод от произвольного клиента в произвольном формате и переводишь это в стандартный рабочий процесс. Это именно то, подо что и создаётся специально, чтобы он мог этим заниматься, а человек пойти и делать что-то более креативное и использовать свой мозг более эффективно. Это абсолютно тот же самый принцип, полная параллель с тем, что произошло в мире программирования. Типа: "О'кей, мне больше не нужно писать одну и ту же реализацию 20 разных раз. Я могу описать это тремя словами и всё готово". Это огромный шаг по сжатию. И по сути здесь происходит то же самое, только для произвольных цифровых рабочих процессов.
Со стороны человеческих эмуляторов ты сталкиваешься с проблемой, когда люди фактически не существуют. Кто-то говорит: "Пододи к моему столу", а человека там нет. Было ли что-то ещё неожиданное при внедрении этого внутри компании? Удивительно, но нам удалось обобщить решение на большее количество кейсов, чем мы ожидали. И мы часто бывали приятно удивлены. Даже сегодня у нас было несколько случаев, где мы вообще не обучали модель на этой задаче, но она выполнила её безупречно, идеально, намного лучше, чем мы ожидали. Так что да, обобщение работает лучше, чем мы предполагали, и мы всё ещё на очень ранней стадии, так что дальше будет только лучше. И это снова та же параллель с полным автопилотом. Есть вещи, которых нет в обучающей выборке, но машина всё равно реагирует на них идеально благодаря обобщению. Даже при том, что модель сама по себе очень маленькая, это, по сути, вопрос эффективности весов.
На встречах с Илоном, в которых ты участвовал. Как это вообще выглядит? Честно говоря, они довольно простые, и мне повезло, что большинство встреч, в которых я был, проходили в целом достаточно гладко. А как выглядит гладко? Гладко - это минимум фидбка или просто одобрение, типа палец вверх. Это значит о'кей, вы движетесь в правильном направлении, продолжайте. Я услышу апдейты на следующей неделе или когда там нужно. Если же появляется фидбэк или запрос на полный разворот направления, значит, мы где-то ошиблись. И вопрос, где именно? Обычно у нас даже нет времени сразу это определить. Это то, что ты со временем вырабатываешь на уровне интуиции, как мышцу. Плюс иногда меняются и сами предположения на основе новой информации. Это происходит всегда, в любом случае. Так что с точки зрения тапдаун управления всё немного хаотично, но я знаю, что в SpaceX стоимость деталей самого производства критически важна, потому что буквально всё стоит дофига денег и времени, если делать это правильно. В вашем случае, я так понимаю, фокус немного другой. Он ведь не обязательно вникает в каждый шаг каждого процесса. Как вообще выглядит его фидбэк? Обычно он либо на очень высоком уровне, либо на очень низком, почти никогда где-то посередине. На высоком уровне это, например, направление продукта или взгляд со стороны клиента. Сфокусируйтесь исключительно на этом сегменте. вообще не делайте эту штуку и так далее. А на низком уровне, особенно когда речь идёт о вычислительной эффективности или задержках, у него почти всегда есть конкретное предложение. Давайте попробуем вот так. И он открыт к тому, чтобы его идею опровергли. Но это должно быть доказательство, не мнение. Нужно провести эксперимент и посмотреть на результат. И иногда эти эксперименты приводят к довольно неожиданным выводам. После чего мы просто принимаем это и идём дальше. Например, к каким? Выбор в пользу вычислительной эффективности и маленькой модели привёл к большому количеству улучшений, о которых мы иначе даже не подумали бы. Часть из них вторичные, часть основные. Самое очевидное, возможность реагировать на уровне человека гораздогораздо быстрее. Но вдобавок к этому и Tтеesla это тоже обнаружила в полном автопилоте. Маленькая модель позволяет итерироваться
намного быстрее. То есть модель не только быстрее реагирует на ситуации и лучше переносит временные ограничения, но и сами обновления можно выкатывать значительно чаще. Если раньше это занимало 4 недели, то теперь может одну.
И это напрямую возвращает нас к теме экспериментов. Именно поэтому мы можем вести 20 разных экспериментов параллельно. Всё это следствие одного раннего решения в цепочке. А изначальная идея была делать большие крупные модели, а потом подход изменился в каком-то смысле. Мы точно хотели быть быстрее всех остальных, но вопрос, насколько быстрее? В итоге просто усилился, фактически умножился во много раз.
Есть много разговоров про предвзятость в Википедии, и Илон много внимания уделяет идее создания альтернативной версии, условно более правдивой. Как вообще можно очистить интернет таким образом, чтобы понять, где правда? Это очень сложная проблема. Реально очень сложная. В первую очередь потому что интернет обычно не является источником истины по большинству вещей. Поэтому везде, где можно, мы пытаемся докопаться до базовых принципов, до фундамента, но это невероятно трудно. Ну вот, например, какие фундаментальные принципы у Конституции с точки зрения физики? Это не вопрос, на который, как мне кажется, вообще кто-то может честно и корректно ответить, но мы всё равно пытаемся делать что-то в этом духе, спускаться как можно ближе к основанию и уже оттуда выстраивать всё обратно вверх. Это тоже сложно, потому что на самом деле почти нет большого корпуса текстов, которые делают именно это. Наверное, один из немногих примеров - это Джеймс Брк с его серии Connections, где он берёт на первый взгляд совершенно несвязанные концепции и соединяет их через физику и изобретение. Это очень круто, и мы пытаемся делать нечто похожее, но это довольно новая территория.
Как вы находите более качественные данные? Данные - это не единственное, что влияет на результат. Важно и то, как именно ты обучаешься на этих данных. Я понимаю, что это звучит довольно абстрактно, но это правда. То, как ты оцениваешь результаты на этих данных, как обучаешь модели, какими методами обновляешь веса, имеет огромное значение. Можно, например, попытаться буквально воспроизводить выход для любого входа, и тогда ты, по сути, получишь ужасный копипаст. Это классическая проблема в машинном обучении. Есть определённые искусство в том, чтобы избежать этого, но, думаю, сейчас мы уже на несколько шагов дальше. Мы больше не измеряем соответствие конкретному датасету. На текущем этапе мы пытаемся измерять соответствие произвольному правильному результату. И поэтому то, как ты строишь оценки, становится критически важным. А это очень сложно, особенно когда речь идёт о правдивости, потому что тогда тебе нужно знать, где вообще истина, а это не всегда очевидно. Ну, собственно, в этом и заключается проблема, которую мы пытаемся решить. Такой замкнутый круг. Курица и яйцо. Да, здесь используется много разных подходов, и над этим работает куча умных людей. Если у кого-то есть идеи, пожалуйста, присылайте.
Я видел моменты, когда Илон писал вс и кто-то указывал. Это явно неправильно. Речь шла о выводе грок. И он отвечал, что-то вроде: "Мы это починим". И через 24 часа писал: "О'кей, исправили". Что в такие моменты происходит внутри? Он показывает нам, что именно пошло не так. И дальше довольно быстро, кто бы ни был в этот момент бодрствующим, запускается трет по решению проблемы. Обычно сначала в одиночку, а если нужно, подтягивают ещё нескольких человек. Потом делается разбор полётов, что произошло, почему это случилось, и все понимают, как это избежать в будущем. Так, в целом, ошибиться один раз нормально, но сделать одну и ту же ошибку дважды - это уже серьёзная проблема.
На протяжение всей истории SpaceX и то же самое было с Тесла, случались такие всплески, когда Илон внезапно появлялся, условно в полночь, рассылал письмо на всю компанию и говорил: "Все, кто может, приезжайте, нам нужно работать". Было ли что-то подобное здесь? Такое чаще происходит с большими моделями. А конкретно для макрохарт мы уже 4 месяца работаем в режиме военных действий. То есть мы как бы всё это время находимся в постоянном рабочем состоянии.
У вас реально есть табличка на двери Warroom? Да, вообще мы переросли изначальную Warroom и поэтому всё оттуда вынесли. И мне рассказывали, что Илан заходил в warру, а там вообще пусто. И он такой: "А где все?" Потом он идёт туда, где мы сейчас. Это просто спортзал, который мы полностью освободили и заселили людьми. И там он уже начинает свои спонтанные вопросы: что происходит, что делаем? Это была долгая ночь.
Каково это быть внутри одной из таких ночей, когда всё резко встряхивается и начинает быстро двигаться вперёд? Что это за ощущение? Кажется, один из сооснователей XI недавно это хорошо сформулировал. Игорь. С ним, кстати, было очень круто работать. Мне он очень нравился. Небольшое отступление. Его работа над Starcraft AI ещё 5 лет назад была одной из самых первых действительно крутых МЛОт, которые я пытался повторить сам ещё в школе. Это было очень сложно, так что работать с ним было реально классно. Я вообще никогда не думал, что у меня будет такая возможность. И вот он пару дней назад написал: "Бывают месяцы, в которых проходит всего несколько дней, а бывают ночи, в которых проходит несколько месяцев". И это точно была одна из таких ночей. Может, месяц - это небольшое преувеличение. Думаю, к техническому результату мы бы всё равно пришли за несколько недель, но сделать это за одну ночь - это был огромный рывок, и ночь была очень длинной.
Были ли моменты, когда компания просто не выходила из офиса, скажем, 5 дней или неделю? Да, такие всплески по моделям обычно приводят к тому, что многие остаются ночевать в офисе. Ты говорил, что у вас есть пять или шесть капсул для сна, и люди просто по очереди в них спят. Да, есть спальные капсулы. И сейчас ещё появились двухъярусные кровати. Они, конечно, менее комфортные, но они есть. А когда в интернете появилась фотография с палатками, мне все начали её присылать. Я такой: "Если честно, палатки у нас есть, но я никогда не видел, чтобы их выставляли все сразу.
Я знаю, что в детстве ты работал над кучей разных проектов. Не уверен, был ли это самый первый, но, например, история с фиджет спиннерами, с их производством. Насколько вот это мышление исследователя, постоянное ковыряние, сборка, эксперименты ты перенёс в свою текущую работу? Довольно много. Да, я начал программировать достаточно рано. Папа подарил мне книгу, когда мне было лет 11, и она мне понравилась. Ну, сначала понравилась немного, но по-настоящему я втянулся, когда понял, что на этом можно зарабатывать. Я познакомился в интернете с людьми, которые писали скрипты, хаки для игр и продавали их онлайн за небольшие деньги. Но, знаешь, зарабатывать пару сотен долларов в интернете тогда для меня было чем-то огромным. Думаю, в первый раз, когда тебе кто-то даёт деньги - это самое странное чувство. Это было невероятно и безумно. Я помню, как мне пришлось попросить у отца что-то вроде PayPal аккаунта под опекой или что-то такое. И когда деньги туда пришли, это было самым крутым ощущением в жизни для меня. Да, это было реально масштабно. Я занимался этим пару месяцев и накопил достаточно денег, чтобы заняться тем, что меня тогда очень интересовало, адтивным производством, вроде 3D-принтеров. Прап тогда была большой темой, и это как раз и стало началом современной революции 3D печати.
Ты собрал свой сам? Да. Да, иначе было нельзя. Репрап - это буквально группа студентов университетов, которые сказали: "Давайте посмотрим, можем ли мы построить машину, которая сможет напечатать почти все свои собственные компоненты". Поэтому она и называлась. И они, по сути, в разных университетах создавали такие комнаты, где ты начинаешь с одного принтера, а он печатает детали для следующего. И так ты поднимаешься дальше и масштабируешься. И, как оказалось, у этого куча проблем. И именно это они решали, что в итоге и запустило современную революцию 3D печати. Но я был этим очень одержим, и поэтому я взял один из списков деталей и заказал всё на Алибаба. И примерно через месяц всё приехало. Я собрал всё за одну ночь, что, честно говоря, прошло плохо, потому что когда я распутывал медный кабель для блока питания, а это был очень сомнительный блок питания, он в итоге загорелся. Все медные жилы распустились и разлохматились, и одна из них вошла мне примерно на 2 дюйма в большой палец.
Ты поехал в больницу? Нет, мне нужно было в школу на следующий день. И было около 3:00 ночи, потому что я в 13 лет не очень хорошо умел что-то собирать. Я провёл примерно час в ванной, пытаясь вытащить это пинцетом. Ничего не получалось. Всё было реально плохо, так что я просто откусил её и решил: "Ну ладно, по чуть-чуть". В течение следующих нескольких недель она выходила, и я каждое утро её подрезал. Было весело, но я всё-таки собрал принтер и примерно в это же время, да, тогда как раз начался обум спиннеров. Так что я купил тыся подшипников для скейтбордов из Китая и, по сути, организовал небольшую фабрику у себя в спальне. Каждые 2:00 ночью я просыпался, очищал стол печати, запускал новую печать спиннеров и продавал их онлайн. А перед школой у меня была небольшая сборочная линия в гараже, где я вставлял подшипники, красил аэрозолем, сушил, а потом бегал по остановкам других школ и продавал их своим дистрибьюторам, которыми были просто другие дети из других школ. Они продавали весь день в школе. Потом я возвращался, собирал деньги с дистрибьюторов. Потом снова продавал онлайн, отправлял заказы, выстроил небольшой здоровый бизнес. И через 2 месяца меня в итоге прикрыли власти округа. Их официальная причина была в том, что компании, которые продают школьную еду, технически имеют эксклюзивную лицензию на продажу чего-либо на территории школы. Но я думаю, им просто не понравилось, что я отвлекал всех и зарабатывал на этом деньги. Но это научило меня такому здоровому неуважению к авторитетам.
Это как будто стало постоянной темой. Что это вообще такое? Как это появилось в твоей жизни? Вот это здоровое неуважение к авторитетам. И ты даже упоминал госучреждение, что ты не особо доверяешь им. Как ты к этому пришёл и как это вообще выглядит? Я самого раннего возраста знал, что хочу нестандартного результата. И поэтому прохождение по стандартному пути практически гарантированно не приведёт тебя к нестандартному результату. Так что я вырос в оппозиции к любой форме конвенциональности, а госструктуры по своей сути эту конвенциональность навязывают. Я думаю, креативность и интересные результаты почти во всех случаях, если не во всех, исходят от свободомыслящих людей. Наверное, это звучит немного высокопарно, но да, отдельные люди способны быть максимально креативными, и оставаться верным этому- самый правильный путь.
Мне очень нравится идея Джона Кулсона о том, что всё так сложно построить и так сложно создать, особенно, знаешь, вывести в реальный мир, что если посмотреть вокруг, то по сути мир просто заполнен, ну, знаешь, чьими-то страстными проектами. Да, это полное чудо, и за каждой мелочью стоит своя история. Гораздо больше, чем можно подумать. Я помню, читал про молнии YKK, кажется. Оказывается, почти все хорошие молнии делают всего две-три компании в мире. Это, на самом деле, маленькие чудеса. Они очень дешёвые, но при этом механически довольно сложные, учитывая, сколько они стоят. Есть всего несколько компаний, которые вообще способны их производить или выстроили процесс так, чтобы их делать. И по сути это сорокалетний страстный проект одного японского парня. Разобраться, как делать это правильно. И так почти во всём. Всё, что очень специфично и производится в масштабе, скорее всего, делают всего несколько компаний или несколько людей в мире. Ты время от времени слышишь об этом. Типа какая-нибудь компания в Германии внезапно закрывается, и Volkswagen приходится останавливать все свои линии или что-то в этом роде. Такое происходит постоянно.
Прямо перед нашей встречей ты сделал, кажется, жидкостный ракетный двигатель. Он был совсем маленький. Я видел его наверху. Но ты говорил перед этим, что сделал его буквально за 24 часа. Просто спонтанно. Как это вообще произошло? Да, в целом это был проект примерно на 4 недели. Угу. И начал я с того, что просто купил кучу учебников и пытался разобраться, какие вообще существует принципы проектирования ракетного двигателя, как его спроектировать. Это совсем не похоже на изучение софта, где ты можешь просто пойти на GitHub, скачать чей-то код и что-то в нём поменять. Для ракетного двигателя нет файла. Тебе нужно понять свойства материалов, химические свойства, как вообще это обрабатывать на станках, как задавать параметры и понимать, какого тягового усилия ожидать, как не допустить избыточного давления в двигателе и все такие вещи, как спроектировать инжектор. Инжектор был очень сложным. Он занял, наверное, 50% времени. Да, он был самой большой проблемой. Так что я потратил где-то 3-4 недели на всё это, срочно заказал кучу деталей из Китая, CNC обработка и всё такое. И это было прямо перед днём благодарения. Я собирался лететь обратно на восточное побережье к семье. И я подумал так: либо я сегодня собираю его и запускаю, на тот момент это была просто куча деталей, либо делаю это через 2 недели. Я такой: "Нет, через 2 недели я этого точно не сделаю, значит, делаю прямо сейчас". Так что утром я выпил очень много кофе и провёл весь день, собирая всё из алюминиевых профилей. Построил тестовую раму, потом сам двигатель и в тот же вечер его запустил. Да, и, скажем так, ради этого запуска в ту ночь пришлось пойти на множество компромиссов.
Мне показалось просто невероятно смешным, что ты, как ты сам сказал, стоял буквально в паре метров от него. Да, ну я спроектировал всё не совсем уж глупо. Я сделал так, чтобы его можно было запускать удалённо. Но блок питания для удалённого питания бортового компьютера ещё не пришёл, поэтому мне пришлось писать бортовой компьютер от ноутбука через USB кабель. А длинного USB кабеля у меня не было. Самый длинный был где-то метра два, так что я просто стоял рядом и запускал его. Я понимал, что это где-то 30% шанс, что эта штука либо взорвётся, либо начнёт разбрасывать огонь во все стороны. И, кстати, не знаю, видно ли это на видео, но у меня загорелась куртка, потому что я не очень хорошо спроектировал инжектор, и у меня было много эпизодов с избыточным давлением, а это означало, что наружу вылетало много, по сути, несгоревшего топлива. Это был тонол, он жидкий, он просто попадал на куртку и загорался. Так что да, это до сих пор трофей. Обгоревшая куртка.