📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

Is Kimi K3 Really That Good?! (Don't Just Believe The Hype)

Cole Medin21:31

Transcription

KimikoK3 был выпущен на прошлой неделе, и это самая мощная модель с открытым весом, когда-либо выпущенная. И, глядя на бенчмарки здесь, вы бы подумали, что это одна из самых мощных LLM вообще. Она лучше, чем GPT 5.5 и Opus 4.8, и почти так же хороша, как Fable 5 и GPT 5.6 Soul, по крайней мере, для задач кодирования агентов. Но я здесь, чтобы сказать вам, я этому не верю, и вам тоже не стоит.

Теперь, не поймите меня неправильно, KimikoK3 — это действительно впечатляющая модель. Вы можете выполнять с ней очень, очень долгие задачи агентов. Но KimikoK3 и, на самом деле, многие из этих моделей с открытым весом, такие как GLM и MiniMax, имеют определенные режимы сбоев, я бы назвал это так, с которыми нам не приходится сталкиваться с другими моделями, такими как GPT и Opus. Именно это я хочу осветить в этом видео. Я хочу показать вам, насколько мощна KimikoK3. На самом деле, иногда качество необработанного вывода лучше, чем у Opus 4.8, но есть эти режимы сбоев, с которыми нам приходится иметь дело, что делает KimikoK3 не такой надежной. Вещи, о которых вам нужно знать и даже думать при использовании ее для вашего рабочего процесса кодирования агентов. Итак, мы разберем все это здесь. И, идя в том же направлении, эти проблемы с надежностью, которые у нас есть с моделями с открытым весом, они никогда не проявляются в бенчмарках. И я уверен, что вы придете к тому же выводу, что бенчмарки на самом деле не являются точным представлением того, насколько хорошо модель будет работать для вас, когда вы используете ее в реальном мире для ваших рабочих процессов кодирования агентов. Нам нужно разрабатывать собственные тесты, чтобы действительно расширить возможности этих моделей. Я никогда не буду использовать KimikoK3 в качестве своего ежедневного инструмента вместо Opus 4.8, даже если они будут одинаковы по скорости и цене. И поэтому я хочу, чтобы тесты действительно отражали то, что я собираюсь использовать. И поэтому именно это я здесь построил и чем я с вами делюсь, комплексное решение для бенчмаркинга, которое я создал, и я использовал его для сравнения Opus 4.8, KimikoK3 и KimikoK 2.7, предшественника. И я прогнал его через множество реальных инженерных задач на одном из моих репозиториев, а также через то, что я называю ловушечными задачами, которые я разработал, чтобы пролить свет на режимы сбоев таких моделей, как Kimik3. Типы вещей, которые вы увидите, возникающие в ваших рабочих процессах кодирования ИИ, для которых вам нужно разрабатывать решения. И я потратил буквально миллионы токенов на этот бенчмаркинг. Так что есть масса выводов, которыми можно поделиться. У меня есть довольно сильные мнения о Kimik3. Насколько я люблю эту модель, потому что она с открытым весом и дешевле, чем Opus, она определенно не так хороша. И поэтому я сначала покажу вам результаты реальных инженерных задач, которые я выполнил. Итак, я прогонял ее через рабочие процессы кодирования ИИ, планирование, реализацию и проверку десятки раз для каждой из моделей здесь. И небольшой спойлер, вы можете видеть, что Kimik3 почти так же хороша, как Opus, что довольно здорово видеть, но определенно не лучше, как говорили бенчмарки. Так что мы разберем это, а затем перейдем к некоторым ловушечным задачам, которые у меня есть. Итак, я потратил много времени на их разработку, чтобы показать проблемы с надежностью таких моделей, как Kimik3. И поэтому я пройдусь по всем различным задачам, различным промптам, которые у меня есть, проблемам, которые это демонстрирует для этих моделей. И мы можем увидеть результаты здесь. Так что еще один небольшой спойлер. Коэффициент отказов по всем тестам, которые я провел здесь для Opus, составляет 8%. А затем для Kimik3 он подскакивает до 36%. Это нехорошее число. Теперь я разработал вещи, чтобы специально нацелиться на слабости Kimik3. И поэтому это определенно преувеличенная разница в надежности. Но я сделал это очень намеренно, потому что я хочу поговорить с вами об этих проблемах и о том, как мы можем их решить при использовании модели в реальной жизни. Потому что это те типы проблем, которые могут проникнуть в ваши рабочие процессы кодирования агентов. Вы должны быть осведомлены об этом, если хотите использовать модели с открытым весом. И причина, по которой вы хотите использовать эти модели с открытым весом в первую очередь, заключается в том, что они, как правило, намного дешевле, чем эквиваленты передовых моделей. И поэтому, например, Kimik3, просто глядя на OpenRouter здесь, это 3 доллара за каждый 1 миллион входных токенов и 15 долларов за каждый 1 миллион выходных токенов. А затем, глядя на Opus, например, это почти в два раза дороже. И да, у нас есть эти проблемы с надежностью, которые мы рассмотрим, но часто эти модели будут очень конкурентоспособны. Итак, вы можете иметь почти вдвое меньшую цену модели, и вы также можете использовать ее по подписке, как и Opus. Вот здесь у меня есть моя подписка Kimi code для использования Kimi K3. И я достиг своего еженедельного лимита использования, к сожалению, потому что я так много занимался бенчмаркингом, как я показываю вам в этом видео. Но в большинстве случаев я не достигаю своих лимитов. Вы можете зайти так далеко с Kimi по сравнению с использованием Fable или Opus. И Kimi K3 также является самой дорогой моделью OpenWave прямо сейчас. Есть так много других действительно мощных моделей, таких как GLM 5.2, MiniMax M3, которые могут справиться со многими задачами. И поэтому то, с чем я экспериментирую, с чем многие люди экспериментируют прямо сейчас, это смешивание моделей для более крупного рабочего процесса, например, использование Fable или Opus или GPT 5.6 Soul для планирования, а затем для рабочей лошадки, выполнения большой части реализации и проверки, используя модель, такую как Kimi K3 или GLM 5.2. Так что стоит протестировать эти модели, понять, как они работают и каковы их слабости, чтобы вы могли создавать эти более эффективные рабочие процессы, чтобы вы не всегда достигали своих лимитов скорости в таких инструментах, как Claude code. Итак, с этим давайте перейдем прямо к бенчмаркам. Теперь, полное раскрытие информации, я сам создал все эти бенчмарки, чтобы исследовать их для себя, и, надеюсь, для вас тоже, чтобы выяснить, насколько хороша KimikoK3 на самом деле. И я хочу создать это, чтобы я мог использовать его для тестирования других моделей в будущем. И поэтому я действительно старался нацелиться на слабости моделей OpenWave, которые я видел, когда использовал их в дикой природе. И поэтому эти бенчмарки становятся немного специфичными, особенно в последней части того, что я покажу вам. Так что, возможно, вы делаете вещи по-другому. Возможно, вы думаете, что в моих бенчмарках есть какие-то недостатки. Просто дайте мне знать. Я не пытаюсь сказать, что это идеально, но я определенно получил несколько действительно хороших выводов, которыми я рад поделиться с вами здесь. Итак, давайте перейдем к первым бенчмаркам здесь. Это реальные инженерные задачи, через которые я прогнал Kimmy K3, Opus 4.8 и Kimmy K2.7. И я выполнил десятки исполнений рабочих процессов, чтобы получить средние значения, которые мы видим здесь. Мы поговорим о цифрах немного позже, но позвольте мне показать вам, что я на самом деле тестирую здесь. У меня есть куча проблем на GitHub, которые я создал в реальном проекте, а не просто демонстрацию, которую я сделал для бенчмаркинга здесь, а что-то, над чем я много работал и даже делился на своем канале. Так что это реальные инженерные задачи, которые я заставил каждую из моделей пройти. Так что они варьируются по сложности, от очень простых вещей до более сложных функций и ошибок, которые нужно исправить. И я всегда слышу, как люди говорят, что когда они хотят протестировать модели, им хотелось бы иметь время, чтобы прогнать разные модели через одну и ту же задачу, вместо того, чтобы просто выполнять разные задачи и пытаться как-то почувствовать и понять, какая из них лучше. И поэтому я потратил время, чтобы сделать это здесь. Пожалуйста. Я потратил так много токенов, но я прогнал одну и ту же проблему на GitHub через каждую из трех моделей с рабочими процессами, которые направляют все. И поэтому, чтобы все это произошло, я использую мой open-source harness builder Arkon. Я дам ссылку на видео здесь, где я его освещаю. Мне не нужно вдаваться в подробности прямо сейчас. Не так уж важно, чтобы вы это поняли, но по сути Arkon позволяет мне создавать эти более крупные рабочие процессы, которые объединяют несколько сессий агентов кодирования, потому что я хочу пройти полный процесс планирования, реализации и проверки, и вы не можете запихнуть все это в одну сессию агента кодирования, иначе вы получите ужасные результаты, независимо от используемой модели. Верно? Итак, я хочу здесь, например, для этапа планирования, я использую Kimmy coding Kimmy K3. Так что это мой рабочий процесс Arkon для тестирования Kimmy K3. Итак, я планирую с Kimmy, я вывожу документ здесь, который будет прочитан этапом реализации, снова используя Kimmy. А затем для всего остального, модель не имеет значения. Я, по сути, просто сравниваю, когда я использую определенную модель для планирования и реализации, верно? Итак, Kimmy K3 здесь. А затем, если я посмотрю на другой рабочий процесс, это Kimmy K2.7, как для планирования, так и для реализации. А затем то же самое с Opus. И поэтому это точно такой же рабочий процесс. Единственное, что отличается, это моя конфигурация для большой языковой модели, которую я использую. Все, что я показываю вам здесь, будет в репозитории GitHub, на который я дам ссылку в описании. Так что там есть все рабочие процессы. Там есть промпты, которые я покажу вам для другого бенчмаркинга, который я провел. И поэтому я документирую все это публично для вас, если вы хотите провести эти бенчмарки точно так же, как я. Спонсор сегодняшнего видео — QA Tech, и они решают одну из самых больших проблем с кодированием ИИ прямо сейчас. Реальность такова, что написание кода больше не является узким местом. Доверие к нему — вот что. Потому что ваш агент способен выпускать три или более функции за то время, которое раньше требовалось для написания одной. И поэтому для нас нереалистично нажимать на все, чтобы подтвердить, что наши потоки работают, когда мы выполняем ручное и регрессионное тестирование. И данные подтверждают это. Большинство разработчиков не полностью доверяют коду, сгенерированному ИИ, но только около половины фактически проверяют все перед отправкой. Теперь именно этот пробел заполняет QA Tech. Это инструмент тестирования ИИ с автономными агентами QA, которые тестируют ваше приложение так, как это сделал бы пользователь. Так что у вас нет селекторов или хрупких скриптов. Итак, у меня есть все мои тестовые случаи здесь. А затем, чтобы добавить новый, например, мне просто нужно описать на обычном английском языке, что я хочу протестировать, и агент сам определит шаги и адаптируется по мере изменения моего сайта, чтобы тесты не становились красными. И поэтому я создал много разных тестов для моей основной целевой страницы Dynamis, как вы можете видеть здесь. А затем я могу даже напрямую общаться с агентом на их панели управления, чтобы создать несколько тестов одновременно. Они также выпустили MCP-сервер, чтобы я мог создавать и редактировать свои тесты напрямую с моим агентом кодирования, таким как Claude Code, чтобы мне никогда не приходилось покидать редактор. И вы также можете туннелировать к своему локальному серверу разработки, чтобы вы могли проверять изменения перед коммитом. И вдобавок ко всему, у них также есть интеграция с GitHub через GitHub Actions. И поэтому мои агенты QA Tech могут просматривать мои запросы на слияние, как только я их открываю. Так что QA Tech сформулировал это так: скрипты проверяют клики, а агенты проверяют намерения. И это мощно. Их клиенты уже видят реальные результаты. Например, UpLead Sales заменил 320 часов ручного тестирования каждый месяц. Вся идея здесь в том, что ваш агент кодирования пишет код, а QA Tech предоставляет вам агента для проверки кода. И у них также есть этот управляемый прототип, который помогает вам настроить все ваши основные потоки. Я дам ссылку на это в описании. Итак, в любом случае, для каждого из этих рабочих процессов Arkon, через которые были пропущены модели, проблемой на GitHub является входные данные, а затем запросом на слияние на GitHub является выходные данные. А затем этот запрос на слияние поступает в отдельный рабочий процесс Arkon для оценки, который оценивает по семимерной шкале. И поэтому это от одного до десяти по каждому из семи пунктов. Вот почему максимальная оценка за выполнение рабочего процесса составляет 70. Итак, он оценивает такие вещи, как, знаете ли, насколько хороша реализация в целом. Может ли быть меньше избыточного проектирования? Есть ли хорошее тестирование и документация, сопровождающие PR? Такие вещи. И он также отслеживает стоимость. Так что у нас есть много данных для анализа. И поэтому, во-первых, у нас есть две категории, потому что я взял проблемы на GitHub и разделил их на простые и более сложные. Потому что для более простых проблем на GitHub вы увидите, что мы действительно можем обойтись использованием более дешевых моделей, так что мы можем быть более эффективными в нашей разработке в целом. И поэтому с Opus 4.8 он получил среднюю оценку 64,3 из 70 при решении этих проблем на GitHub. Довольно хорошо. Теперь это далеко не идеально, но я сделал оценщика довольно придирчивым. И поэтому это довольно солидная оценка. Это как, знаете ли, когда у вас есть фильм, который имеет рейтинг 8,5 на IMDb, это на самом деле один из лучших фильмов всех времен, верно? Это не 10 из 10, но все равно очень хорошо. И поэтому это также стоило в среднем 1,60 доллара за задачу здесь. А затем для Kimi K3, это очень, очень близко. У нас разница в 0,2 в среднем, что является просто ошибкой округления. По сути, она справилась так же хорошо, как Opus, и была дешевле за задачу. Теперь она на самом деле ближе по цене, чем вы думаете, что говорит нам о том, что Opus смог решить проблему с меньшим количеством токенов в целом, потому что она почти в два раза дороже в целом, но не в два раза дороже для этой задачи. И поэтому я думаю, что Opus все еще справлялся лучше, но необработанное качество запросов на слияние в конце практически равно. А затем Kimiko K2.7 по-прежнему довольно хороша в целом, и она значительно дешевле, но да, вы определенно хотите перейти на Kimiko K3, и вы хотите быть как минимум на этом уровне. Так что я бы в целом не рекомендовал использовать Kimiko K2.7 для управления всем рабочим процессом, даже для более простых вещей. И вот здесь все становится действительно интересным. Переходя к сложным сборкам, у нас появляется реальное расхождение. Так что оценка, конечно, падает по всем направлениям. Opus 4.8 теперь составляет 62,2 из 70. Так что все еще довольно хорошая оценка в целом, но также и намного дороже. Посмотрите на это. Разница в цене безумна. Мне пришлось потратить гораздо больше токенов, чтобы получить запрос на слияние для каждого рабочего процесса. Я же говорил вам, я потратил так много токенов на этот бенчмаркинг. А затем с Kimiko K3, она также по-прежнему довольно солидна. По крайней мере, она выше 60 из 70, но теперь здесь есть реальное расхождение. Это уже не просто ошибка округления. Теперь, в этот момент она значительно дешевле, чем Opus. Так что это на самом деле интересно. Я не совсем знаю, почему бенчмаркинг дал такие результаты, но это также показывает вам здесь, что когда вы действительно хотите быть эффективными, вы, вероятно, должны использовать более дешевые модели хотя бы для части своего рабочего процесса, верно? Например, оптимальная настройка — это обычно что-то вроде более мощной модели для планирования, а затем рабочая лошадка — это что-то вроде K3, и это действительно видно здесь в бенчмаркинге. А затем, конечно, Kimiko K 2.7 продолжает падать еще больше, и да, для более сложной сборки вы определенно не хотите использовать такую ​​меньшую модель, как эта, и да, здорово, что она еще дешевле, но да, вам придется потратить больше токенов на исправление вещей в запросе на слияние в любом случае. И поэтому мы действительно видим, как Opus начинает сиять здесь для более сложных сборок. Определенно не то, что говорили нам бенчмарки. И это расхождение здесь, которое, я имею в виду, проблемы, которые у меня были, могут быть намного сложнее, чем даже это. Например, для реальной, реальной, реальной работы Kimiko K 3 определенно не будет ощущаться так же хорошо для вас, как Opus 4.8. И причина этого и причина этого расхождения здесь — это проблемы с надежностью. Вот что я хочу обсудить с вами сейчас. Мы перейдем к другому набору бенчмарков. Итак, теперь перейдем ко второму набору бенчмарков. Это гораздо больше похоже на то, что вы видите в онлайн-бенчмарках. Но, как мы уже установили, общедоступным бенчмаркам нельзя доверять. Вот почему я хочу создать свой собственный набор и действительно выявить и пролить свет на некоторые из проблем, которые у нас есть с такими моделями, как Kimiko K 3. И да, эти общедоступные бенчмарки содержат много интересных деталей о том, почему мы не должны им доверять. Самое интересное, однако, заключается в том, что большие языковые модели обучаются на большом количестве ответов на вопросы, которые у нас есть в этих бенчмарках. Так что они действительно перенастроены, переобучены на этих типах вопросов и задач. А затем я также не всегда согласен с тем, как бенчмарки вообще оценивают вещи. Например, знаете ли, человек выбирает одно из двух сгенерированных приложений, когда на самом деле это не имеет никакого отношения к качеству кода. Такие вещи, с которыми я не совсем согласен, и поэтому я хотел создать свой собственный набор здесь. И у меня есть три набора тестов. У меня есть легкий контроль, и все модели прошли все тесты здесь. Это просто установление базового уровня, чтобы убедиться, что моя система бенчмаркинга работает. Затем у меня есть более сложные задачи, ловушки, которые я разработал для моделей с открытым весом, а затем и некоторые более продвинутые. Действительно, просто чтобы увидеть, смогу ли я расширить возможности этих моделей. Итак, для нашего легкого контроля, это просто простые задачи кодирования и отладки, а также рассуждения, которые все модели выполнили блестяще. Так что это хорошо, но давайте перейдем к сложным ловушкам. Я потратил много времени на их разработку, чтобы выявить слабости моделей с открытым весом, таких как Kimiko K 3. Теперь, чтобы объяснить их все, требуется время. Так что я сосредоточусь больше на тех, которые действительно заставили Kimiko K 3 потерпеть неудачу. Но есть довольно много интересных. Типы вещей, которые действительно могут возникнуть, когда вы используете их для кодирования агентов. И поэтому, например, по дизайну симптома. Это когда вы говорите агенту кодирования, что у вас есть проблема в вашей кодовой базе, но на самом деле это вы не понимаете, что она работает как задумано. И поэтому иногда агенты кодирования пытаются исправить что-то, даже если они должны понимать, что это скорее ваше недопонимание. Верно? Потому что иногда вы просто не до конца понимаете проблему. Мы не хотим полагаться на наше понимание, чтобы оно всегда было идеальным, чтобы избежать серьезных ошибок агента кодирования. Еще одна вещь, с которой Kimiko K 3 справилась не очень хорошо, и все модели с открытым весом терпят неудачу, — это ложная предпосылка. И поэтому, это когда мы просим ее исправить проблему, которая даже не существует в кодовой базе. Так что это своего рода похоже на "по дизайну", но это не то, что работает как задумано. Это скорее проблема просто не существует вообще. И поэтому агенты кодирования будут изобретать решение чего-то и относиться к этому так, как будто проблема действительно существует, когда на самом деле вы надеялись бы, что большая языковая модель будет достаточно умна, чтобы обнаружить, когда она проходит через кодовую базу, что, о, пользователь неправ. Это на самом деле не проблема. Возможно, есть эта другая проблема, которую они видят, или этот другой симптом. Хорошо, с этим давайте перейдем к фактическим результатам. Это главный вывод. Много интересных вещей, которые нужно осветить. И поэтому для каждой из задач я заставлял модель проходить ее пять раз. Много токенов. Opus потерпел неудачу только дважды из десятков задач, которые мы прогнали здесь. Kimiko K 3 и особенно 2.7 не показали таких высоких результатов, потому что мы действительно выявляем проблемы здесь с, на самом деле, просто большими языковыми моделями в целом. Это своего рода интересно, потому что единственные два, в которых Opus потерпел неудачу, — это тесты на ложную предпосылку. Где снова, мы говорим агенту, что есть какая-то проблема, которая на самом деле не существует. Так что LLM тратит время на попытки определить, где проблема, и часто она будет галлюцинировать местоположение, когда на самом деле проблемы просто не существует. И поэтому интересно, что то же самое, в чем Opus потерпел неудачу, — это также то, в чем Kimiko справилась хуже всего. Так что это действительно похоже на то, что все большие языковые модели страдают от одних и тех же проблем. Просто это более преувеличено в моделях, таких как Kimiko K 3, по крайней мере, в некоторых вещах. Но затем, определенно есть некоторые вещи, где Kimiko K 3 разочаровывает, где Opus полностью справился блестяще. Например, скрытый инвариант. Это тест, где мы редактируем один файл, но есть правила, определенные в другом контексте для агента, которые говорят ему, как работать с этим файлом. И иногда агенты кодирования игнорируют эти вещи, даже если это основные файлы, такие как наш mission.md или rules.md, и он должен быть способен идентифицировать, как Opus каждый раз говорит: "Хорошо, прежде чем я отредактирую этот файл, давайте посмотрим на кодовую базу и поймем другие контексты, которые могут повлиять на то, как я редактирую этот файл". Kimiko не всегда делал это. А затем, это своего рода похоже на ограничение ягоды здесь, где у нас есть правило, которому должен следовать агент кодирования, но у нас есть это гораздо раньше в разговоре. И поэтому мы видим это с моделями часто с разложением контекста, где они начинают игнорировать инструкции, которые у нас были ранее в разговоре. И модели с открытым весом, такие как Kimiko K 3, похоже, влияют на них гораздо больше. А затем, еще один здесь. Они более склонны к угодничеству. Так что совершение ошибки, потому что они просто пытаются угодить вам, что также своего рода похоже на идею ложной предпосылки. И поэтому мы определенно видим закономерность здесь, когда эти модели работают не так хорошо, как более крупные, такие как Opus или GPT. Похоже, Opus 4.8 способен просто больше думать самостоятельно и быть более исследовательским. Я думаю, что именно так я бы это сформулировал, где он способен сказать вам, когда он думает, что вы неправы, например, идентифицируя ложную предпосылку. Он способен исследовать больше и понимать, например, хорошо, вот контекст, который мне нужен, прежде чем я просто пойду и отредактирую этот файл. Так что он способен понимать скрытые инварианты, где Kimiko K 3 просто погрузится прямо в это, верно? Похоже, модели, такие как Kimiko K 3, более прямолинейны, делают именно то, что вы им говорите, и не думают самостоятельно или не исследуют ничего больше, что могло бы помочь в текущей задаче. И поэтому, когда у вас есть эти действительно хорошо ограниченные задачи, Kimiko K 3 справится с ними так же хорошо, как Opus 4.8, даже лучше. Это многое из того, что мы видим в этих общедоступных бенчмарках. Но для реальной работы, где мы можем быть не полностью уверены, у нас может не быть правильного руководства, или есть гораздо больше контекста, который агенту нужно исследовать, чем у вас будет в этих бенчмарках, вот где Opus 4.8 и другие модели, такие как GPT 5.6 Soul, просто намного лучше. И поэтому мне даже не нужно углубляться в продвинутые вещи здесь. Это просто та же история. Проблема здесь в том, что да, K3 невероятно впечатляет, но это просто проблема надежности. Так что это не обязательно возможность, как необработанный вывод, особенно для действительно ограниченных задач, иногда даже лучше, чем Opus. Но просто нам нужна модель, которая может действительно думать самостоятельно и понимать весь контекст, который ей нужно загрузить, без того, чтобы мы направляли ее на каждом шаге рабочего процесса. Вот где сияет Opus. И поэтому это продолжает подкреплять идею, которую я продолжаю представлять здесь, где вы хотите использовать более мощную модель для планирования. Потому что когда вы планируете, именно тогда вы выявите любую ложную предпосылку, любые другие инварианты, которые вам нужно выявить, а затем вы отправляете реализацию рабочей лошадке, как только вы выявили и исправили все эти вещи. Потому что именно тогда вы сможете быстро выполнить очень солидную реализацию. Итак, я знаю, что это заняло некоторое время, чтобы прийти к выводу, но я надеюсь, что вы нашли это полезным, а также просто увидели полный процесс и весь бенчмаркинг, который я провожу, потому что я буду продолжать делать это для новых моделей по мере их появления, чтобы просто продолжать помогать вам определять, какие модели вас должны волновать, где они вписываются в ваш рабочий процесс кодирования ИИ. И поэтому, если вы оценили это и с нетерпением ждете большего количества этого бенчмаркинга и рабочих процессов кодирования ИИ в целом, я был бы очень признателен за лайк и подписку. И с этим я увижу вас в следующем видео.