📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

Vibe Check: Gemini 3 Pro, The Best Yet Quirkest Vibe Coding Model

Ray Amjad18:49

Transcription

Хорошо, за последние 2 дня я использовал десятки миллионов токенов на Gemini free pro. По сути, я строил свой собственный стартап в области ИИ с нуля, и это видео будет моим собственным "vibe check" (проверкой настроения/качества) того, насколько хорошо модель справляется с различными задачами. Итак, то, что я строил, предназначено для моего приложения Hyposper, на которое сейчас действует распродажа в Черную пятницу. Если вам интересно, внизу будет промокод. По сути, я хотел создать систему, где я мог бы легко добавить ИИ-агента поддержки продаж в правом нижнем углу всех моих веб-сайтов и продуктов, чтобы помочь людям понять, о чем идет речь, как это может вписаться в их рабочие процессы, и, по сути, увеличить конверсию.

Итак, я начал создавать это от начала до конца с помощью Gemini free pro. В настоящее время это все еще локальный хост, но я разверну его после выхода этого видео, и ссылка будет внизу в описании. И, по сути, идея заключается в том, что я могу создавать своих собственных пользовательских ИИ-агентов для всех моих веб-сайтов, таких как Hyperwisper, а также для моего Cloud Code Masterass. И затем я сделал кучу заметок в процессе, которые я рассмотрю в этом видео. В любом случае, я быстро пройдусь по приложению, если вам интересно.

Итак, вы входите в систему, и пока это будет закрытая бета-версия для ограниченного числа людей. И затем, когда у меня появится моя учетная запись, я смогу нажать "создать агента" и создать агента для моего веб-сайта hypospin в моем случае. И, по сути, это довольно хорошо и довольно полно. Я был очень удивлен тем, насколько хорошо Gemini справился здесь. Мне пришлось пройти через несколько итераций версий, а затем я могу добавить свой собственный контент веб-сайта. Например, hyposper, справочный веб-сайт, а затем он будет извлекать веб-сайты и выполнять RAG (Retrieval Augmented Generation) по всему контенту, чтобы помочь обучить чат-бота, а затем я могу добавить свои собственные вопросы и ответы, а затем я могу перейти к чат-боту, который будет интегрирован на веб-сайт, а затем прокрутить вниз и сказать что-то вроде "что такое cypisper" здесь, нажать Enter, и он расскажет мне, о чем это.

Итак, это будет интегрировано на веб-сайт в виде небольшого виджета чата внизу, и затем у него есть все другие функции, где я могу видеть журналы чатов, которые произошли между пользователями и приложением, любую аналитику, а также изменять модель и делать кучу других вещей, которые вы ожидаете от ИИ-агента поддержки чата. И, честно говоря, я был очень удивлен тем, насколько полным проектом я смог создать, используя только Gemini 3 pro. Мне приходилось время от времени переключаться на composer один, и это было тогда, когда мне нужно было что-то сделать очень быстро, и для проблем, связанных с типобезопасностью.

И, по сути, то, с чего я начал, — это мой собственный шаблон панели управления, который у меня есть в моем сообществе. И это, по сути, имеет кучу вещей, таких как TRPC и Superbase off и тому подобное, потому что я считаю, что для большинства моделей они довольно плохи в принятии хороших архитектурных решений, и они избегали бы таких вещей, как TRPC или, возможно, Superbase, и вам придется явно иметь какой-то шаблонный код, чтобы направить их в правильном направлении.

Итак, я придумал план для всего приложения для себя после общения о том, как будут выглядеть конечные продукты. И да, мне удалось получить довольно базовую рабочую версию один всего за несколько запросов. К сожалению, в то время он, казалось, немного ослабил хватку и выдавал вещи, которых не должно было быть, такие как ctx session user ID, когда это просто user ID, а также использование чего-то вроде AI SDK версии 5. С этим тоже возникли проблемы, и он действительно застрял с типами.

Так что мне пришлось скачать сервер exo code MCP, который имеет гораздо более актуальные знания о том, как работает AI SDK версии 5. И, честно говоря, ко второй версии, когда мне удалось исправить несколько ошибок типов, я был удивлен тем, насколько хорошо некоторые вещи работают из коробки, такие как система встраивания и система на основе RAG, и все работало хорошо. Конечно, это не самый эффективный, потому что у него нет индексов и так далее, но это было хорошее начало.

Но на начальных этапах я заметил, что мне пришлось подталкивать модель, чтобы она не придерживалась существующего дизайна. Итак, существующий дизайн шаблона панели управления довольно прост, и он продолжал копировать этот дизайн для приложения, а затем мне пришлось сказать, например, "хорошо, придумай что-нибудь совершенно новое, что-то свежее и так далее, используй эти цвета", и тогда он сделал что-то похожее и загрузил новые компоненты и так далее.

Но одна вещь, которую я заметил в поведении Gemini 3 pro, заключается в том, что у него есть некоторые внезапные слепые зоны. Так, в этом случае он попытался импортировать что-то, чего просто не существовало, и не проверил, существует ли этот файл на самом деле, или не загрузил этот файл вообще из shaden components. Он также испытывает трудности с определенным классом ошибок после их обнаружения, и он просто продолжал сжигать бесплатные токены. Так что мне пришлось вернуться к cloud code, чтобы исправить эту внезапную ошибку, а затем у него возникли трудности с интеграцией чего-то вроде recharts в кодовую базу.

Итак, что я сделал, чтобы оттолкнуть Gemini 3 pro от скучного дизайна, который есть у шаблона, к новому дизайну, так это то, что я взял скриншот другого веб-сайта, дизайн которого мне понравился, и сказал: "Хорошо, вот хороший дизайн, возьми из него вдохновение". И тогда вот что получилось. И он, кажется, довольно хорошо придерживается дизайна изображений. И он довольно хорошо исправляет свои собственные ошибки пользовательского интерфейса. Так что вы можете видеть, как этот угловой стык здесь не работает хорошо. Так что я просто сделал скриншот этого конкретного угла и сказал: "Можешь ли ты это исправить?" И он определил проблему для исправления, потому что, я полагаю, он распознал окружающий текст. И затем он внес простое исправление с хлебными крошками и боковой панелью, например, правильно выровняв их.

И это версия шесть, и она начала выглядеть вроде бы нормально. И то, что я заметил в модели, это то, что каждый раз, когда ее просили внести улучшения в дизайн, она действительно двигалась вперед, особенно с расплывчатыми инструкциями по улучшениям. Любые предыдущие модели, такие как Clawude или GPT, казалось, достигли точки, когда они просто не могли внести существенных улучшений в дизайн, как бы сильно я ни подталкивал модель.

Он также казался лучше в обеспечении согласованности дизайна на разных страницах приложения. Например, я заметил, что по сравнению с другими моделями, они допускали ошибки в отступах или промежутках между компонентами на разных страницах. В то время как Gemini 3 не имел с этим проблем. И я подозреваю, что его способность понимать дизайн и быть последовательным и связным на многих разных файлах в кодовой базе, когда дело доходит до дизайна, тесно связана с его способностью создавать эти примеры, которые вы можете видеть здесь, где кто-то сделал 3D Покемона на планете в 3JS. Я думаю, кто-то другой сделал что-то вроде этой видеоигры, которая представляет собой парк аттракционов с американскими горками. Кто-то другой сделал симулятор Lego, который довольно популярен онлайн.

И я подозреваю, что вся эта способность связана каким-то образом, потому что это мультимодальная модель, которая также может генерировать изображения. Например, когда она видит код, у нее лучшее визуальное представление того, что происходит в ее голове, чем просто обработка кода. И я предполагаю, что, используя людей в качестве аналогии, есть люди, которые, когда дело доходит до математики, такой как линейная алгебра и исчисление, имеют довольно хорошее визуальное представление проблемы, которая возникает при ее решении. Например, в их голове они как бы представляют уравнения или графики или матрицы и так далее, и преобразования и тому подобное, а затем есть люди, которые просто запоминают правила для исчисления и линейной алгебры, а затем просто прорабатывают уравнения и получают окончательный результат.

Мне кажется, что другие модели, такие как Codex и Claude code, относятся ко второй категории, последней категории, в то время как Gemini относится к первой категории, где у него есть визуальное понимание того, что происходит, когда он фактически обрабатывает код и вносит улучшения в дизайн. И я подозреваю, что другие модели, такие как облачные модели или модели GPT, не станут такими же хорошими в дизайне, как Gemini, если они каким-то образом не станут мультимодальными моделями.

И по моему собственному опыту использования модели для дизайна, она обращала внимание на более мелкие, тонкие детали, когда у нее была свобода смешивать что-то с нуля. Так что вы можете видеть в этом примере с игрой, она как бы показывает конфетти, когда существо касается одного из этих объектов здесь или монет. И когда она создавала целевую страницу для приложения ИИ-агента поддержки, она добавила эту крошечную деталь здесь. Так что я могу навести курсор на любой из них, и у них есть приятная анимация прыжка. Это становится больше. И если вы увеличите масштаб, она автоматически добавила движущиеся тире. Мне не пришлось просить ее добавить это. И она добавила это и здесь, но по какой-то причине не добавила это здесь. И да, этот компонент также выглядит очень красиво на целевой странице, которую она создала.

И я думаю, что я заставлю ее генерировать больше SVG-диаграмм для целевой страницы, потому что я заметил, что она очень сильна в генерации SVG. Так что вы можете видеть этот пример здесь, когда дело доходит до генерации Кирби, и кто-то другой действительно использовал это. Так что они, по сути, спросили: "Может ли кто-нибудь придумать SVG-дизайны, похожие на этот?" И затем, после выхода Gemini 3, они заставили Gemini 3 создавать эти дизайны в Kasa. И да, в целом она кажется очень сильной и хорошей в SVG-дизайнах, особенно когда дело доходит до целевых страниц. И вы можете видеть, что она добавляет приятные анимации.

И затем она решает случайным образом удалять файлы. И я также в основном использовал Gemini 3 Pro с Incursor, потому что новая ID anti-gravity еще не очень стабильна. Но по мере того, как она становится более стабильной, я буду использовать ее больше со временем. И вы можете видеть, что даже в рамках Incursor она не совсем правильно выровнена с ID-средой, потому что она начинает случайным образом писать списки дел в markdown, а затем просто повторяется здесь. Также в другой раз, когда дело дошло до интеграции биллинга, она начала помещать свои размышления в комментарии вместо того, чтобы фактически помещать их в место для размышлений.

И одна вещь, которую я заметил о Gemini 3 при ее использовании, заключается в том, что она в некотором роде переусердствует в некоторых аспектах. Одна вещь, которую она любит делать, — это отправляться в эти побочные квесты, и это, по сути, термин, который я здесь использую. Возможно, есть более формальный термин, и когда она интегрирует что-то, она замечает другую проблему и говорит: "Хорошо, я исправлю эту проблему тоже". Например, в этом случае я задавал вопрос, связанный с чем-то другим, а затем она заметила другую проблему, которую также могла бы исправить, и предложила исправление для нее.

И в другом разговоре я спросил: "Работает ли логика пузырька чата?", и она ответила: "Да, то, что я реализовал, работает", а затем сказала: "Не для этой другой вещи", а затем продолжила интегрировать это. И я думаю, что по моему опыту, если бы у меня был этот конкретный разговор с Claude или GPT, они бы просто сказали "да, работает" и не были бы такими чрезмерными. И в других случаях чрезмерность и побочные квесты могут быть довольно раздражающими, потому что я просто попросил ее внести изменения в целевую страницу, а затем она начала переписывать следующий файл конфигурации.

Итак, у меня есть пара заключительных мыслей. Во-первых, она очень быстрая в большинстве случаев. И будучи быстрой, она также креативна. Итак, что я сделал, когда создавал целевую страницу, я попросил ее придумать 10 разных дизайнов. Некоторые из дизайнов использовали Tailwind, а некоторые — нет. Итак, это первый дизайн, который я придумал, и он довольно простой, с использованием Tailwind. Это был второй дизайн, который я придумал. Это значительно лучше. Это третий дизайн, который я придумал, и я думаю, что он не использовал Tailwind, но, конечно, он больше похож на веб-сайт агентства, чем на веб-сайт SaaS. Это был четвертый дизайн, который я придумал, и он также использовал Tailwind. Это также использует Tailwind, пятый дизайн, который я придумал. Это также другой дизайн Tailwind. И я больше всего любил этот, потому что у него есть эти виджеты здесь. И затем я попросил ее расширить виджеты и сделать что-то вроде этого. Но, честно говоря, это тоже было довольно хорошо. Это еще один дизайн, который я придумал, не используя Tailwind. И это больше похоже на веб-сайт агентства, поэтому я не выбрал его.

И в этом дизайне она столкнулась с небольшой ошибкой типа, которую я сейчас быстро исправлю. И да, это дизайн. Он больше похож на какой-то хакерский веб-сайт или веб-сайт терминала. Так что, честно говоря, я тоже не выберу это. Это еще один дизайн, не использующий Tailwind. И для этих последних четырех дизайнов я как бы напомнил ей, что, эй, ты способна быть чрезвычайно креативной. Используй это в своих интересах. Я думаю, я мог бы выбрать это, если бы строил какое-то другое приложение, но, честно говоря, я был очень удивлен. Так что, да, это кажется очень многообещающим, когда дело доходит до дизайна. И, честно говоря, вы можете заставить ее придумать 10-15 разных целевых страниц, возможно, на основе разных изображений, все вдохновленные вашим текстом или вашим брендом, а затем просто просмотреть их и выбрать ту, которая вам больше всего нравится, и доработать ее.

И одна вещь, которую я обнаружил о ней, это то, что она очень хорошо итерирует по дизайнам, которые она сама создала. Я считаю, что в случаях с моделями Claude и GPT они достигают точки стагнации, когда дело доходит до итерации по дизайну, который я придумал, и они больше не вносят никаких изменений. Но я заметил, когда я пытался заставить ее придумать онбординг для Hyposper, и сейчас для приложения нет реального онбординга. Так что я попросил Claude Code придумать онбординг для меня, и, по сути, вот что получилось. Он очень простой. Пока не выглядит красиво. И затем я попытался заставить Gemini внести в него улучшения. Итак, это первое улучшение, которое я внес для одной темы, которую я предложил. Честно говоря, это лучше. Например, в этом случае, но это тоже не хорошо. Так что я сказал: "Хорошо, можешь ли ты придумать другой дизайн?" И тогда она придумала это. И, честно говоря, это тоже не очень хорошо.

Так что я думаю, что я заставлю ее полностью отказаться от онбординга, который придумал Claude code, а затем просто сказать: "Придумай совершенно новый онбординг с этими шагами", потому что я считаю, что когда дело доходит до итерации по дизайну, который, возможно, написал другая модель, она просто делает худшую работу, чем если вы скажете ей придумать совершенно новый дизайн самостоятельно. Но часть этого поведения может быть связана с тем, что я неправильно составляю запросы, потому что люди все еще учатся эффективно составлять запросы к модели.

Но при кодировании с Hyper Whisper я заметил еще несколько вещей. Во-первых, она не очень хорошо пишет код, связанный со Swift UI. Например, мне приходилось несколько раз возвращаться к cloud code, чтобы внести эти исправления, потому что все, что она писала, просто не компилировалось. Но она на удивление хорошо исправляет ошибки, которые такой инструмент, как Codex CLI, не мог идентифицировать, получив его изображение. И я думаю, что в некоторых случаях чрезмерность модели может быть хорошей, потому что, например, в этом случае она определила некоторый избыточный код, когда работала над немного другой задачей, а затем просто очистила этот код и упростила его.

И, честно говоря, я думаю, что это может быть очень хорошо в моем рабочем процессе, потому что я заметил, что при использовании cloud code или codeci они любят писать много избыточного кода в том смысле, что они пишут что-то новое, а затем не удаляют существующий или предыдущий код, который больше не требуется, несмотря на то, что я просил их сделать это. И, возможно, из-за того, что Gemini 3 Pro имеет большее контекстное окно, что означает, что она лучше способна связывать разные вещи, она может легче идентифицировать избыточный код. Или, возможно, она просто исправляет его немного по-другому и может идентифицировать избыточный код, созданный другими моделями, но который она сама не создала. Так что мне придется со временем посмотреть, сможет ли она идентифицировать, а затем удалить свой собственный избыточный код, в отличие от моделей claude и GBT.

В любом случае, продолжая, я считаю, что в некоторых случаях чрезмерность и "побочные квесты", которые она выполняет, приводят меня к началу новой сессии, потому что кажется, что эта сессия была каким-то образом скомпрометирована любым побочным квестом, который она решила предпринять. И тогда просто легче иметь совершенно новую сессию. Она пишет действительно чистый и структурированный код, что тоже хорошо. Она также отлично подходит для начала проекта и создания довольно полной реализации этого проекта, и я думаю, вы заметите это в некоторых дизайнах, которые она создает, когда дело доходит до таких воксельных ландшафтов и так далее. Они довольно полные с первой попытки.

Я считаю, что это лучше, чем другие модели, такие как Claude и GPT, потому что Claude и GPT любят добавлять заглушки и плейсхолдеры вместо того, чтобы фактически завершать всю реализацию при выполнении довольно большой задачи. И, возможно, это связано с тем, что они пытаются втиснуть все в свое контекстное окно, а Gemini не особо беспокоится об этом, потому что, поскольку контекстное окно такое большое, она просто сначала выполняет полную реализацию. Или, возможно, это связано с ее способностью иметь общее представление о всей кодовой базе. Но я обнаружил, что даже при запуске совершенно нового проекта, такого как проект agent stack, который я сейчас делаю, мне никогда не приходилось говорить ей: "Эй, эта функция неполная" или "Ты поставил заглушку или плейсхолдер здесь".

Еще одна вещь, которую я заметил о Gemini 3 Pro, это то, что она постоянно терялась в типах проекта, и тогда мне приходилось переключаться, например, на composer один, чтобы исправить все проблемы с типами, которые она вызывала, или просто не могла преодолеть, и я, по сути, подозреваю, что у нее есть какое-то противоречивое поведение. Итак, например, Gemini 3 очень креативна, и это же креативное поведение действительно хорошо, когда дело доходит до дизайна, потому что она делает много вещей в плане дизайна, о которых вы не просите ее делать, например, мелкие детали, но это также означает, что она может быть чрезмерной в некоторых аспектах, и она в конечном итоге выполняет задачи, которые вы не намеревались для нее выполнять, или просто делает случайные исправления, которые иногда могут быть хорошими или раздражающими. И, возможно, вы можете лучше составлять запросы, чтобы предотвратить это. И я уверен, что многие из нас в ближайшие недели будут учиться лучше составлять запросы к этой модели со временем, потому что требуется пара недель после выпуска, чтобы все знали, как лучше составлять запросы к модели.

И я подозреваю, что ее способность иметь общее представление о кодовой базе и большое контекстное окно также делает ее хуже в действительно мелких деталях, таких как исправление определенного типа в кодовой базе. Я обнаружил, что даже когда я говорил ей избегать использования любых типов в Typescript, она все равно продолжала использовать эти любые типы.

В конечном итоге, я думаю, что многие большие языковые модели сегодня имеют какое-то противоречивое поведение или являются палкой о двух концах. Например, GT5 и 5.1 и CEX довольно плохи в дизайне, но они очень хороши во внимании к мелким деталям и исправлении типов. И я думаю, что такое поведение может быть несколько взаимоисключающим. Например, может быть трудно иметь модель, которая обращает внимание на типы и может решать эти очень мелкие, детальные проблемы, связанные с типами, и при этом быть очень креативной. И также обращать внимание на общую картину всего проекта, например, по крайней мере, не сейчас.

Итак, я думаю, что я все еще буду продолжать использовать Gemini 3 Pro, особенно для совершенно новых проектов, потому что я обнаружил, что из всех моделей она лучше всего справляется с запуском проекта. А затем, когда дело доходит до других вещей, таких как исправление типов, например, я переключусь обратно на Composer или GPT 5.1 или, возможно, даже увижу, когда cloud code впишется в мой рабочий процесс в этом случае, потому что теперь я думаю, что Gemini 3 наконец-то пригодна для кодирования. Потому что Gemini 2.5 Pro, которая была выпущена около 9 месяцев назад, я на самом деле не думаю, что кто-либо использовал ее в последние пару месяцев для многих вещей, связанных с кодированием, потому что другие модели были значительно лучше.

Но теперь, поскольку Gemini 3 Pro действительно хороша в создании полноценного проекта и проведении вас через весь процесс, как я сделал с agent stack, например, я думаю, что многие люди будут использовать ее больше для полноценных проектов. Но я также видел это ранее сегодня, когда кто-то из команды Google DeepMind поделился некоторыми лучшими практиками использования Gemini free или просто составления хороших запросов. И одна из интересных вещей в этом, ссылка будет ниже, — это мультимодальная согласованность. Так что текст, изображения, аудио или видео должны рассматриваться как равные входные данные. Инструкции должны четко ссылаться на конкретные модальности, чтобы модель синтезировала их, а не анализировала в изоляции.

Так что я думаю, что это означает на практике, что если вы делитесь другой модальностью, то вы должны четко ссылаться на что-то из другой модальности, иначе модель может просто реализовать ее как есть, и я сам видел такое поведение, потому что то, что я сделал, это для hypersper есть, по сути, модель поддержки. Так что страница поддержки выглядит примерно так. И я хотел, чтобы похожая страница поддержки была реализована для agent stack. И я, по сути, сделал скриншот этой страницы. И затем я дал его Gemini 3. И она реализовала то же самое с теми же цветами и значками и всем остальным.

Так что да, я нашел это довольно интересным. Например, вам может понадобиться быть осторожным, когда дело доходит до фактического предоставления Gemini free изображений, например. И когда вы это делаете, вы хотите сослаться на то, что именно вы хотите для изображения. Иначе она может просто реализовать его как есть. Я думаю, мои запросы были довольно четкими. Я думаю, я выработал привычку писать запросы так, чтобы Claude GPT понимал, но мне придется немного изменить свой стиль запросов, когда дело доходит до Gemini free.

В любом случае, это, по сути, мой "vibe check" модели. Если вы хотите купить мое приложение Hyprosper, сейчас действует распродажа в Черную пятницу, и внизу будет промокод. И, конечно, если вы хотите получить доступ к закрытой бета-версии agent stack, то веб-сайт будет по ссылке внизу, как только я его разверну. И тогда вы можете просто связаться со мной, нажав кнопку "лайк" здесь. Я продолжу работать над этим конкретным проектом с Gemini free pro больше, чтобы понять, насколько хороша модель, и изучить лучшие практики ее использования, а также интегрировать более сложные функции, интегрируя live kit и голосовых агентов, чтобы у вас были ИИ-агенты на вашем веб-сайте, которые могут помочь вам лучше продавать ваши продукты и предоставлять поддержку через аудио вместо этого.

Но да, я буду делиться своим прогрессом с этим приложением в будущих видео. И, конечно, если вы хотите узнать больше о "vibe coding" и о том, как создавать приложения, подобные тому, которое я делаю, то я делюсь многим об этом в моей школе стартапов в области ИИ, включая, как монетизировать ваши приложения во всех этих классах здесь. Уже присоединилось много людей, и они добились довольно хороших успехов со своими собственными приложениями. Если вам интересно присоединиться, ссылка будет внизу.