Transcription
Всем привет! В этом видео мы с вами создадим приложение. Это Trend Tracker. Есть такая штука, как контент-завод. И одной из неотъемлемых компонентов любого современного контент-завода – это Trend Watching. И мы с вами протестируем три модели и три разных фреймворка для разработки. Три агентных системы.
Первая – это Claude Code 2.0. Вторая – это GPT-5 Codex. И третье — это GLM 4.6, который много нашумел, его сравнивают с Sonnet. Мы его будем использовать в экстеншене, который называется Kilocode. И у всех у них будет одна задача, одно единое техническое задание — создать приложение для тренд-вотчинга. Это приложение, которое позволяет записывать любой Инстаграм-аккаунт, и каждые х минут или часов это приложение будет опрашивать этот аккаунт и вытаскивать метрики с последних 10 единиц контента и делать, допустим, это каждый час. И если по определенному алгоритму виральности этот контент начинает вируситься, у него есть там высокий виральный потенциал, то оно автоматически выходит на вкладке viral content, и мы можем его полностью адаптировать под себя, под свой блог. Вот такое приложение мы будем создавать. Также оно может вытаскивать информацию по Reels с аккаунта, скачивать, мы можем смотреть их метрики. Но самое классное, что это все может работать в фоновом режиме автоматически. И вот здесь на вкладке Viral Content, здесь вот написано, что осталось 6 часов, оно будет автоматически давать сигналы для того, чтобы мы могли обратить внимание на этот контент, ну, а каждый уже будет сам решать, что с этой информацией делать. Вот такое приложение мы создадим с помощью GLM, кодекса и новоиспеченного Sonet 4.5, поэтому смотрите это видео до конца, будет интересно. Все три приложения я вам покажу, результаты покажу, сравним и посмотрим, кто же справится лучше всего.
Итак, погнали к разработке. У меня открыто здесь три VS Code редактора. Вот они все три, они абсолютно пустые, три разные папки. И здесь у меня кодекс, здесь у меня кодекод, и здесь у меня килокод. У меня здесь расписано техническое задание. Я хочу сказать всем трем агентам, чтобы они его изучили и накинули план по разработке, что, собственно, я и делаю.
Сейчас мы запустим с вами килокод. Кстати, килокод, он работает с GLM. Давайте я вам покажу. В настройках я через Open Router выбираю модель от ZAI, GLM, версии 4 и 6. Именно она у нас и будет работать. Я включаю в режим архитект. И здесь я сделаю, допустим, New Task и напишу. изучи документацию и разработай план разработки. И давайте я тегну сейчас документ. Вот он подсветился. Скопирую этот промпт. Плюс-минус буду писать одно и то же.
Так, следующий мне попался вот код. Отлично. Здесь я сделаю init, но пропишу ему также таким же образом, чтобы ему инициализировать как бы нечего, чтобы он изучил документ и тоже на основе этого документа создал, собственно, план. Документ должен быть в папке doc. Что-то я его не положил, ну да ладно. Здесь все в папочке doc, и мы сделаем то же самое. Здесь у меня работает кодекс. Вставляю кодекс, убираю вот этот new task. Вот документ подсветился, и управляю тоже в кодекс. Вот все три IDE у меня работают одновременно. Возможно, будет тормозить компьютер, но посмотрим. Если будет сильно тормозить, еще запись видео идет. Придется, конечно, делать по очереди, чего бы не хотелось, потому что тогда съемка этого видео, этого всего теста, она затянется, я не знаю, на неделю. Сейчас они довольно быстро справятся с этой задачей. Быстрее всего, мне кажется, справится GLM 4.6, потому что у него token per second какой-то бешеный по сравнению с остальными.
Так, клоуд-код меня тут будет спрашивать. Тут надо поглядывать за клоуд-код, потому что, о, смотрите, DevPlan уже составил наш кодекс. Кодекс, кстати, в режиме Medium стоит. Он говорит, я все составил, но, откровенно говоря, очень верхнеуровневый план. Мне кажется, что он всерьез не понимает, что нам надо построить, и поэтому, честно говоря, скалтурил откровенно по плану. Клод MD создался. Я сейчас его посмотрю. Сейчас я переложу вот этот Project MD в док. Я попрошу его написать handoff prompt. Я его попросил написать prompt, потом я очищу контекст и запущу все это дело.
Так, что, GLM до сих пор пишет. Вот уж неожиданно, он суперподробно пишет. Архитектура. Ну, скорее всего, здесь дело не в GLM вовсе, а то, как настроен режим архитект в килокод. Именно поэтому вот у нас такой деф-план, датабейс, хима, архитектур. Все тут расписано, прописано. И иногда я думаю, что все-таки лучше меньше документов, но пусть они будут более емкими, чем большое количество этих документов. Пусть допишет до конца. Ну, так или иначе, время-то пошло у всех. Клод уже все написал. Я очищаю контекст, clear conversation, делаю kick-off. Посмотрим, кстати, что в этом kick-off написано. Ну, здесь, в принципе, написано summary проекта, миссия, ценности. Шутка. Так, так, endpoints и прочие-прочие интересные всякие штуки. Ну, в целом, взял да переписал просто мое техническое задание. Зачем спрашивается? Я думал, там сделает, скажем так, разобьет по фазам, что когда мы делаем. Ну ладно. Может, кстати, он это и сделал. А я так мейком просмотрел. Так. Нет, здесь нет как такового плана разработки. Вот просто порядок разработки есть. Вначале мы делаем регистрацию пользователя, ну и так далее. То есть на 10 пунктов разделил, ну ок.
Так, что у нас по Codex-у? Подекс, вот он на Mail. Ну, здесь он просто скопировал вот этот вот текст. Хорошо, ладно, давайте сделаем, давайте тоже очистим. Так, а где мои команды? А, здесь же нет команд. С Бог привык, я к терминалу нажимаю новый чат, закидываем в DevPlan. Так, вот так. Закидываем и говорим. Kick-off. Погнали. Горячая клавиша Command-Enter. Везде Enter, а вот здесь вот Command-Enter. Такой фирменный почерк OpenAI. Клод уже накинул себе to-do-лист довольно такой приличный. То есть сначала инициализирует, потом использует призму, базу данных SQL-like, и потом уже настраивает аутентификацию с помощью библиотеки Passport.js. Ох, неужели? А, еще не закончил. GLM все еще планирует. Он космолет, наверное, собрался создавать. Миллиард документов. Как ими пользоваться, сейчас будем разбираться. Спецификация API. Ну вот, наверное, нужно DevPlan закидывать ему. Дальше уже я буду надеяться на то, что он сам знает, как ему этими документами пользоваться. Ну или, как минимум, я попрошу его еще в DevPlan сделать ссылки на те или иные документы, которые ему будут нужны на том или ином этапе разработки. Тут у нас что? Kick-off steps. Ну, ок, погнали.
Так, это кодекс. Клодкод говорит, I'm ready. Project structure. Ну, ладно. Спросит меня отвечать на вопрос. Квиз устроил. Сейчас я быстро поотвечаю. Напишу ему, чтобы он слишком много не забивал себе голову, а то он тут уже хочет FFmpeg использовать, чтобы в фрейме Gemini он же напрямую анализирует. Он не знает, что Gemini может напрямую заглатывать видосы и анализировать их. Ну, я ему это подсказал, думаю, проблем не должно быть. Кодекс тут task list накинут свой. Так, с чего он начинает? Ну, понятно, инициализация проекта, потом установит React, Shotsn, Zustant, потом установит Express и базу данных, тоже Prisma, аутентификация через паспорт и bcrypt и линдтест, CI-хукс. Ну, ладно. Ну, ладно, в общем, сколько для вайпкодера. Будем смотреть, как оно пойдет. Буду стараться все максимально. Автопилот включу.
Так, неужели килокод все еще пишет документацию? Жесть, конечно. Мне кажется, что остальные уже начнут что-то показывать, да, какие-то экраны, что-то запускать, а килокод с GLM 4.6 будет все писать документацию по-прежнему. Смотрите, 30 тысяч токенов уже ушло на документацию. Стратегия тестирования. Вот это вот overthinking называется. либо я недопромптил нормально, я не сказал, что это MVP, не надо тут слишком сильно перезаморачиваться. Такого тоже может быть. Клод уже начинает собирать пакеты для того, чтобы проинициализировать проект. Кодекс тоже уже собирает пакеты, сейчас будет устанавливать их. Но видите, вот какая большая разница. Клод Код, он у меня вот эти пять вопросов задал, я на них ответил ему, и он уже как-то скорректировал стоп-работ. Вот здесь же я кинул задачу, и он пошел ее пилить. Так, как он знает, так, как он ее понимает. Я думаю, что комментировать вот так вот, как на футбольном матче, что там у нас вот здесь, что там у нас вот здесь, что вот здесь, это абсолютно скучная история. Вам, я думаю, что гораздо интереснее будет результат посмотреть и посмотреть на то, у кого получится лучше сделать, у кого получится быстрее сделать. Я думаю, что здесь можно выделить три основных фактора. Первое, кто сделает быстрее. Второе, это у кого вообще это запустится и заработает согласно техническому заданию. При этом мне не придется очень долго промптить, чтобы это завелось. И третье, это то, насколько близко это будет к техническому заданию. То есть то, что изначально намечалось. Вот по этим трем факторам я и буду оценивать. Поэтому смотрите это видео до конца, чтобы узнать, что у меня получится. А если вы интересуетесь вайп-кодингом, AI-driven development, то есть если вы не разработчик и хотите научиться разрабатывать, запускать свои собственные цифровые продукты, увлекаетесь AI автоматизациями, NATN, и все это вам интересно, либо вы уже это активно применяете и хотите найти сообщество, в котором были бы люди, которые этим профессионально занимаются. Если вы уже доросли до того, что вам нужно общаться именно в такой среде, для вас у меня есть как раз очень классное предложение касательно нашего закрытого сообщества. Я еженедельно провожу живые разборы по Zoom, записываю эксклюзивный контент, отдаю все свои workflow, файлы, разработки и нахожусь постоянно на связи с другими ребятами. У нас очень классное, позитивное, ламповое сообщество. Детали о том, как в него вступить, есть в описании к этому видео. Если интересно, можете посмотреть. Ну а мы продолжаем разработку, и когда будет что-то уже вырисовываться, какая-то картина, я просто перемотаю всю эту скукотищу и сразу буду показывать. Поэтому смотрите видео до конца, будет интересно, какой результат у нас получится.
Все три агента закончили разработку. Заняла, наверное, она в общей сложности часа три. То есть я записываю концовку уже на следующий день, потому что не вышло дождаться, когда это все закончится. Первым закончил Cloud Code с моделью Sonnet 4.5. На втором месте у нас был кодекс с моделью GPT-5, кодекс Medium. И на третьем месте, в самом конце, буквально несколько минут назад, вот 4 минуты назад, закончил выполнять последнюю задачу киллокод с моделью GLM 4.6. Я не запускал то, что сделал GLM 4.5, и я не запускал то, что сделал кодекс. Но поскольку Cloud Code еще вчера закончил, я запустил, посмотрел, вроде чего-то там работало, но сейчас мы с вами вместе будем запускать, будем оценивать, смотреть, насколько все это реализовано. И предлагаю я начать с того, что мы первым делом запустим то, что сделал GLM 4.6. Запускаю команду. Какая-то у меня тут уже ошибка, но сервер тем не менее запустился. Давайте запустим и посмотрим. То есть здесь мне предлагается войти. У меня аккаунта нет. Давайте я сейчас его быстро создаю. Ох ты, не заработало. Пятисотая ошибка. Так, окей, давайте посмотрим. Ура, получилось зайти. Сразу же меня встречает ошибка fail to fetch. везде это ошибка, но приложение плюс-минус похоже. Здесь я могу загружать свои аккаунты, подключать их для мониторинга. Здесь я буду получать сигналы, здесь даже есть какие-то настройки скоринга. И здесь я смогу уже адаптировать завирусившийся контент под себя. Fail to fetch, ну понятно, окей. Давайте зайдем в Инстаграм, возьмем первый попавшийся аккаунт, например, этот, вставляю его, нажимаю Add Account, и аккаунт добавлен успешно. Но где он, никому неизвестно. Закинул я ему prompt в новый task, что вот эта вот ошибка происходит. Он говорит, да, есть проблема с тем, что неправильно реализована аутентификация. Она не сохраняется. Сейчас он его обновил. Я вижу, что ошибки больше нет. При этом темная, светлая тема, она не сохраняется, но это ладно. Копирую еще раз Instagram аккаунт, ввожу его и ожидаем, добавит он его или нет. Но это прям занимает какое-то время. Значит, возможно, запрос все-таки действительно делается в Scraper. О, добавил. Да, действительно, добавил 3 миллиона 466 тысяч подписчиков. Давайте проверим. Да, 3-4 миллиона и 1805 постов. Да, все верно. То есть, значит, это все работает. Total account 1. Но проблема вот в чем. что какой-то у меня тут NASA есть непонятный. Это, скорее всего, моковые данные. Давайте их уберем. Убрать я их не могу. Не совсем. Не совсем, конечно, продакшн уровень. Тут есть какие-то косяки по интерфейсу. Но это ладно. Светлые темы, по крайней мере, видны. Есть тут определенный, скорее всего, алгоритм, по которому считается эта виральность. И я так понимаю, что конфиг, кстати, не работает, что его нужно тут вручную настроить. Как этот скоринг считается, я тоже пока не знаю. А, это прям фильтр, который отфильтровывает. В общем, тут хватает еще всяких разных багов. То есть вот эту штуку я начинаю крутить. Возникает вот такая ошибка. Скорее всего, тоже какой-то endpoint не работает. Но здесь мы видим, что аккаунт все-таки добавился, запрос был сделан. Если делаю Disable, то ничего не меняется. Странно. И Content Lab. Я так понимаю, что я должен... А, здесь даже замоканы есть... Замоканы есть какие-то уже анализы, которые тоже не удаляются. Ну что ж, я считаю, что результат за такое количество времени не совсем удовлетворительный. И давайте посмотрим, сколько это мне стоило. Вот Open Router, откуда я брал модель GLM за последний день, то есть за сутки. Давайте посмотрим. Вот здесь я ничем не пользовался. И вот это я вчера вечером начал делать. И это вот сегодня я уже заканчивал. Смотрите, это стоило почти 10 долларов. Я считаю, что это супер-супер дорого для такого результата. И имеет определенный смысл, если вам нравится модель GLM 4.6, она очень даже неплохая, мне кажется. Сейчас вот первый тест субъективно как будто бы на уровне Sonnet 4.1, что-то вроде того. Конечно, надо еще тестить, но тем не менее. У них есть довольно классные планы по подписке. Вот у них специальный есть тариф GLM Coding Plan. Lite, Pro и Max. Соответственно, Lite стоит 3 доллара в месяц, и тут дается примерно 120 запросов каждые 5 часов. Это в 3 раза больше, чем Cloud Code. Соответственно, MaxPlan дается на MaxPlan дается 2400 запросов каждые 5 часов, то есть практически невозможно выйти на какие-то лимиты, и он стоит 30 долларов в месяц, потом по 60 месяцев, по 60 долларов в месяц. Но если заплатить за год, то можно заплатить сразу 360 долларов и все 12 месяцев получить со скидкой 50%. Ну, конечно, через 12 месяцев мы вообще не знаем, какие будут модели у кого, но тем не менее. Модель стоит того, чтобы хотя бы потестировать ее за 3-6 долларов в месяц. Я думаю, что это не такая большая проблема сейчас докрутить это приложение для того, чтобы она работала, убрать все вот эти моковые данные, которые в локальной базе данных хранятся. Видимо, он их напихал туда на момент, когда все это тестировал сам. Вот. Но хотя бы сработало добавление аккаунта в базу данных, получение и разнесение данных уже неплохо.
Давайте тринемся теперь к тому, что сделал GPT-кодекс. Стартуем. кодекс. Опять у нас какие-то порты заняты. Наконец-то мне удалось запустить приложение. Проблема была с портами. Дэшборд загрузилось. Приложение довольно похожее. Ух ты! Вот это да. Причем TubeTalk, YouTube, Twitter. Такого у меня не было в техническом задании. У меня был Instagram. Давайте я попробую добавить все тот же самый Аккаунт добавляю. Вообще что-то не то. Это полностью какая-то фейковая история. То есть я делаю рефреш метрикс, у меня вообще рандомно все генерируется. Довольно, мне кажется, плохо это все. Этот раздел вообще не работает. Trend fit. Ну что ж, дадим шанс. Давайте попробуем. Пробуем еще раз. Копирую аккаунт. Вставляю и делаю трек-аккаунт. Опять полная фигня. Ладно. Я считаю, что в этом тесте, в этом сравнении, к моему большому-большущему удивлению, GPT-5 кодекс справился вообще самым наихудшим образом. Даже хуже, чем GLM-4.6. Я не знаю, почему так произошло. У всех были одинаковые вводные, абсолютно идентичные технические задания. Я считаю, что это вообще провал.
Переходим к Cloud Code. Запускаем приложение. Приложение у нас стартует на 7429. Регистрируемся. Очень простая форма, мне это очень нравится, что не надо вбивать тут кучу всего. Это очень классно. О, сразу зарегались. Интересно, logout. Ходим. Класс. Работает. Здесь все пусто. Интервал в минутах можно вбить. Добавляем аккаунт. Не получилось добавить аккаунт. Давайте посмотрим, что у нас тут. Клод код говорит, я все починил. Но вот уже добавил аккаунт. Давайте его удалим. Еще раз попробуем его добавить. добавляем аккаунт. Мне вот интересно, можно ли какие-то метрики тут увидеть из этого аккаунта, чтобы понять, что действительно это не такая шляпа. Да, 3 миллиона 466 тысяч подписчиков, что является правдой, то есть аккаунт реально добавился. Что еще интересно, поскольку у меня было много времени, потому что Клод Код закончил первее всех, я ему там еще один промп накинул, чтобы он забирал рилсы. Чтобы я прям мог видеть их. Но вот я смотрю, это не сработала штука. Давайте я попробую закинуть, чтобы он все-таки доделал этот функционал. А то пока посмотрим, что у нас в приложении. Ну, понятно, что вайрал-контент, он тут автоматически будет появляться через какое-то время. И анализатор контента сможет использовать только вайрал-контент. Но я хочу сделать по-другому. Я хочу все-таки анализ хотя бы в одном из трех приложений протестировать. Закинул ему промпт, он говорит, ну, ты можешь его на вкладке контент посмотреть, но по факту его тут нет. Наверное, надо этот момент тоже доделать. Анализ получилось сделать. Анализ теперь показывается в таком модальном окне. В контент лаб анализа нет. Попробуем тогда переключиться на другой аккаунт, запустить еще один анализ, посмотреть обработку. На самом деле, эта обработка, она делает следующее. Она транскрибирует аудио и закидывает видео еще в модель Flash, именно чтобы она проанализировала полностью визуальную часть. И на основе вот этого анализа и дополнительного промпта из моего аккаунта создается новый уникализированный сценарий. Должен он появляться здесь. Но пока он не появляется, О, здесь вот уже готово. Давайте посмотрим. Вот визуал. Это титры по поводу 42. Вот таким вот образом работает.
Ну что ж, давайте подведем итоги. Я считаю, что первое место можно в этом тесте отдать Клоду, потому что Клод-код с моделью Sonnet 4.5 приблизился максимально близко к тому, что было в техническом задании, но, конечно же, не выполнил его в полном объеме, его надо допинывать, доделывать, но он справился и быстрее всех, и максимально близко подобрался к результату. Второе место можно отдать в этом тесте GLM 4.6, потому что он тоже близко подошел, да, много чего не доделал, но справился неплохо, я думаю, что вполне можно было бы вместе с ним доделать это приложение. Ну и моему огромному разочарованию хуже всех отработал здесь GPT-5 кодекс. Он много чего не доделал. Почему так произошло, не знаю. Я пользуюсь уже около двух недель кодексом на Medium и на High, и он справляется великолепно. В больших сложных проектах он справляется великолепно. Здесь он меня почему-то подвел. Я думаю, что и CloudCode 2.0 с моделью Sonnet 4.5, и Kilocode с GLM 4.6, и, естественно, кодекс. Все это великолепные инструменты в умелых руках. Если вы хотите разработать приложение и понимаете, как это нужно сделать, все три модели справятся, мне кажется, на ура. Если видео было полезно, подписывайтесь на канал, ставьте лайк, прожимайте колокольчик, чтобы не пропустить уведомления о новых видео. У меня здесь про автоматизацию, про AI-разработку. А мы увидимся с вами в следующем видео. Всем пока!