Transcription
Все говорят о том, как ИИ пишет код. Но что происходит с тем, когда этот код попадает в реальный продакшн?
А сегодня у нас в гостях Александр Нетрепский, технический директор компании NTech Solution, который прошёл путь от инженера до технического директора, сейчас активно внедряет нейросети в работу своей компании. А мы с ним разберём реальные кейсы реального бизнеса и попробуем найти баланс между всякими дорогими моделями и экономикой стартапа. Саша, расскажи пару слов о себе.
Здравствуйте, меня зовут Александр Нетрепский. Я Fral и работаю сейчас в компании NTEX Solutions, где уже через них я подключаюсь к разным родам проектов, где может быть сломана инженерия, словно коммуникации, документации, проставки и настраиваю всё это, чтобы работало гладко и, в общем-то, был какой-то запас прочности, после чего я в целом могу выходить уже из проекта и, в общем-то, в поисках дальнейшего проекта.
Угу. А расскажи вот про French co. Раскрой немного, что это значит.
Fral CTO - это такое временное CTO.
Угу.
Который не настроен работать с полной ставкой там без ограничений. То есть это может быть какая-то не стопроцентная ставка или может какое-то ограничение по времени для того, чтобы выполнить функцию се, как я сказал, настроить вот этот запас прочности и, в общем-то, после этого компания может двигаться дальше на этом запасе прочности, если нет каких-то новых челленджей или новых каких-то больших целей.
Угу. Ну, то есть ты подключаешься к разным компаниям, помогаешь им, даёшь им какой-то буст и дальше уходишь помогать следующей компании.
Да, именно так и есть.
Это в основном, я так понимаю, компании, ну, в которых ты подключаешься, они такого небольшого размера, там 10-20 человек, наверное, да, инженеров,
да. Вот пока получается именно только так, то есть именно больший компании. Стадии продуктов разные или, ну, или в основном это стартапы?
В основном стартапы, но на разных стадиях. То есть есть, которые сейчас пока на своих инвестициях идут и в поисках других инвестициях есть те, которые получили инвестиции, есть те, которые уже имеют свои продажи и постоянно там растущий прибыль.
Понял. Ну что это интересно. Это как раз, мне кажется, та область, куда которую искусственный интеллект в первую очередь меняет.
Угу.
Вот в отличие от там, да, каких-то больших, э, бигтехов с их там огромным LEGAC в стартапах. Эта история работает максимально максимально быстро. Давай, собственно, тогда и перейдём в тему искусственного интеллекта.
Расскажи вообще, как AI изменил твой рабочий день.
А, ну, знаешь, тут первое, что хочу сказать, по времени работы не изменилось. Вот сколько я там по контракту делал в неделю по времени, так столько осталось. Но характер работы очень сильно изменился.
Угу.
То есть, если раньше для решения каких-то сложных проблем, сложных каких-то технических и не только технических, я должен был там, как я любил одевать любимые наушники, сел там deep fork там два раза в день, там по часа два и в общем-то погружался все детали, отключая все нотификации. А сейчас с искусственным интеллектом такого больше нет. То есть,
я выдаю какие-то команды и то есть ревью, и это, знаешь, чем-то напоминает мне менеджерскую позицию, то есть больше менеджерский. И есть какой плюс в этом? Почему мне это нравится? Я всегда говорил, что работать им лида или человек, который на стыке, где он должен общаться с людьми и, в общем-то, вести техническую часть, это самая тяжёлая работа. Почему? Потому что ты должен переходить от двух разных состояний. То есть кодирование, инженерии - это должен больше такой асоциальным быть человеком.
Угу.
А когда управляешь людьми, то есть добываешь должен добиваться каких-то результатов при общении с людьми, это совершенно другая противоположность. Это самый тяжёлый переход, который ты пытался как-то там один день одно дела, второй день другое, но как бы реальность таковая, это в течение дня также приходится переключаться и это страдает эффективность. Здесь с искусственным интеллектом больше такой проблем нету. То есть потому что ты больше находишься всегда именно в менеджерской позиции высокоуровневой, где тебе не надо настолько ходить deepwork так часто, именно так долго.
Угу. Ну тут, э, смотри, давай вот прямо, если чуть копнём по побольше, да?
А как ты вообще используешь сейчас? Ну вот прямо, грубо говоря, проснулся, открыл ноутбук, что ты первое делаешь, что ты открываешь.
А в первую очередь я открываю все чаты, естественно, то есть все чаты, переписки и собираю информацию о том, что нужно сделать. То есть на данный момент, да, у меня есть потихоньку разрабатывать собственный инструмент, который будет всё это агрегировать. У меня есть по почте, который присылает мне тайджет каждое утро, но это упрощает. А если идём дальше, то уже всю остальную работу я делаю, использую искусственный интеллект. То есть это начиная от каких-то планов переговоров, планов каких-то исследований, любые.
А давай прямо вот подробнее, что конкретно. Ну то есть у тебя, допустим,
Ага.
вот давай твой там какой-нибудь день на на этой неделе возьмём, у тебя какая-то встреча, да, куда ты заходишь, что ты делаешь, какой конкретный инструмент.
Ага. Ну да, по инструментам. То есть инструмент у меня сейчас на данный момент один, то есть это cloudкод.
Угу.
То есть потому что универсальный во всех смыслах. И в целом, то есть у меня есть какой-то план работы. Я открываю cloudкод. У меня есть для есть код проекта, то есть я могу открывать. И есть такой специальный проект называет назвал его My Workspace. Это в GIFTHub репозитории. Но, в общем-то, я с ним работаю, используя cloudхо. И там есть куча папок по всем моим инициативам, по всем моим проектам, включая митинг, транскрипции, какие-то заметки, цели. И, соответственно, если мне надо что-то сделать, я уже там начинаю не сам анализирую, а, в общем-то, cloudход говорю там, там, например, там, найди мне какую-то информацию об этом. И мне надо провести исследование тоже, там собери или создай какую-нибудь задачу, опиши там для инженеров.
То есть максимально я сейчас делаю не не использую зоопарк, а использую только один
инструмент.Гу
и помимо этого у меня есть такой свой инструмент, который я там тоже завайпдил. А это он скрывает дыры, которых, допустим, я не мог найти в других инструментах, либо они разрознены. То есть это когда там диктование, то есть и получение какой-то транскрипции из этого, то есть когда надо быстрее что-то вести, есть какая-то корректировка моих текстов, то есть когда там с двух там за доль секунды получаешь какой-то скорректированный текст, потому что я работаю с американскими компанием, у меня вся переписка, всё общение
на английском, всё
на английском, да. И, ну, несмотря на там большой опыт работы и общения на английском, всё равно искусственный интеллект корректирует текст и делает намного лучше выглядящем.
Угу, понял, понял. Это уже ты сам, ну, навайп-кодил под себя, под свой стиль общения, получается.
Да. Да. Ну, для меня тут как стиль и стиль общения, в том числе и на горячих клавиши, то есть поскольку много дел, то есть я по принципу такого гемба волка, когда я пересматриваю, как могу скорить свою работу, и здесь для меня было важно какие-то
часто повторяющиеся вещи делать там за секунду. И вот именно поэтому разделся мой инструмент таких целей.
Интересно. Ну, о'кей. Допустим, ты, получается, зашёл в свой инструмент, подготовился ко встрече. Э дальше там провели встречу, твой же инструмент записал эту встречу, сделал, э, расшифровку, да, какие-то там скинул всем адженту встречи,
а дальше у тебя есть конкретная там компания клиентов, которой ты сейчас сетиошничаешь.
Угу.
А, ну давай вот можем перейти, да, так какой-то продукт. У тебя есть задача там в джире или ну там где-то в в тасттрекере, что дальше делаешь?
А, смотри, ну да, если у меня есть какие-то митингно, то есть это я всё загружаю в свой вот этот проект workрспейса, то есть прошу и вылезнить какую-то информацию. Но тут есть, допустим, ну, простой пример вот компания сейчас Twincii, это, наверное, большая часть моего времени, то есть я над котором работаю.
Угу.
Э, у нас, э, есть кодовая база, то есть, и для описания задачи тут возникает ситуация, когда я должен копировать информацию. То есть, условно, у меня есть проект э с транскрипциями, с какой-то общей информацией, но когда ты хочешь описать задачу, лучше всего это делать именно в контексте именно кодовой базы.
А расскажи чуть больше тогда про этот продукт, чтобы контекст был у нас зрителей,
да, конечно. То есть - это решение голосовой и, которое, используя там телефонию, позволяет делать тебе продажи, она использует твой клонированный голос, а делает обзвоны и, в общем-то, заключает сделки, продажи или назначает встречи. То есть, ну, всё-таки это холодные звонки. Чаще всего это назначение встречи и получение интереса.
Угу.
Получается, продукт прозванивает, э, и потом туда подключается человек при необходимости или как это работает,
да? А какая ситуация? Тут есть ограничение именно даже законодательно с точки зрения Америки. То есть про, э, на звонке может быть, если дозвонишь до человека, если искусственный интеллект, обязательно должен быть оператор человек на звонке.
Угу.
То есть мы не можем, к сожалению, сделать так, чтобы звонить трём людям и искусственный интеллект тем трём людям будем продавать. Это вносит какие-то ограничения корректировки, как наш продукт работает. И тут основное решение, которое мы предлагает клиентам - это возможность добраться до человека. Сейчас это достаточно так непросто, потому что очень часто люди попадают на восмейлы, не отвечают, либо попадают на
либо свой и на той стороне,
либо свой и есть, либо IVры. Сейчас очень популярно в Америке это колснеer, то есть когда тебя спрашивают, кто ты, какая цель, и мы тебя переведём куда-то дальше. То есть может даже попасть и на человека, на voice mail.
Угу.
То есть очень много звонков, которые попадают именно такую ситуацию, не на человека.
Угу. А уже дальше наш продукт, когда он соединился с человеком, тут стоит задача о том, чтобы понять, это человек или нет. И как только мы понимаем, что это человек, мы завершаем все остальные звонки, которые потенциально могут быть человеком, потому что мы не можем держать два открытых коннекшенагу,
а два открытых звонка.
И подключаем оператора на этот звонок. То есть оператор в этот момент может слушать и давать искусственному интеллекту вести диалог,
либо оператор может удалить и продолжить сам диалог. И поскольку искусственный интеллект использует голос данного оператора, то есть для конечного клиента, которому позвонили, это будет такой бесшовный опыт, то есть когда он не поймёт, что не замет.
Да.
Это интересно. Интересно.
Так, ну хорошо, давай с тобой тогда углубимся ещё в этот ваш продукт. Э, значит, получается, сейчас AI как будто бы, как, если я тебя правильно понял, он не прямо полностью продаёт, он скорее проходит вот эти фильтры и пытается найти живого человека на той стороне и условно там заполняет какую-то, может быть, ну, паузу условно, small Talk, пока, а, переключается, подключается настоящий человек, который будет продавать или нет? Или он всё-таки делает продажи?
Эн делает продажи в каких-то местах, но тут какая ситуация? Ты верно подметил, что и исполняет пауза, потому что даже по статистике идёт, если какой-то кол-центр обзванивает, то достаточно там большая задержка поряд 20 секунд до того, как выходит оператор на связь, а когда подключились к клиенту. То есть в нашем случае искусственно, а какая проблема есть детектирование, что это человек, поскольку используется на той стороне и какие-то аудиозаписи, есть сложно, чтобы понять, это человек или не человек говорит. И пока мы вот это определяем, вот этот момент и начинает говорить, то есть перво говорить, вести диалог. И, соответственно, есть запас секунды три-четыре, после которого подключается оператор и уже, как мы сказали, такой опыт бесшовный может продолжить диалог. Это раз. И вторая ситуация, всё-таки искусственный интеллект - это новая, не все готовы доверять. И по нашей статистике, хорошая достаточно статистика в январе собирали, что в 50% случаев, когда оператор подключился, они не удаляют иссу интеллекта разговора.
Тем не менее, есть те же самые 50%, которые удаляют его, потому что, ну, скорее всего, не верят, и нужно какое-то время для того, чтобы они увидели эффективность искусственного интеллекта.
Угу. То есть половину сделок уже продаёт, половину продаж продаёт ваш агент.
А видеодиалоги я сказал. Аэ, вопрос по метрике эффективности и результативности. То есть это сейчас вторая стадия, которую мы запускаем более детально, когда мы будем уже анализировать, использовать искусственный интеллект, все диалоги и понимать, насколько эффективно было тот или иной диалог.
Угу.
И а не считали, не считали, сколько стоит один звонок? Вот, ну, там, э, условно, да, у вас, например, агент делает там 20 звонков.
Угу. из них в трёх он докапывается до человека. И какая экономика вот у использования вашего агента? Насколько это выгодно вообще финансово? Сколько вы отдаёте там тратите денег за, собственно говоря, за там токены и всё такое?
Да, это считали. То есть была сложность почёта, потому что мы используем очень много внешних систем, у которых и очень большое количество опций, у каждой опции своя цена, свои условия. Используем, то есть порядке сейчас выходит 20 центов на минуту. на минутугу
на минуту разговора, да, это при условии, что у нас работает искусственный интеллект. При этом уже даже сейчас у нас есть оптимизация, то есть планы, то есть построенные с расчётом экономикой - это порядка 12-11 центов за минуту. То есть мы сильно очень сократим.
Пытаюсь в голове посчитать сравнить с примерной зарплатой человека, во сколько раз она отличается.
Давай, кстати, попробуем посчитать действительно. Давай возьмём калькулятор.
Давай, допустим, вот сейчас 20 центов за минуту, умножаем на 60,
умножаем на восьмичасовой рабочий день, да?
Угу. И 160 в месяц.
Это прие, что они будут звонить постоянно.
8 часов. Ну да, согласен. Можно ещё это отсюда убрать, наверное, сколько? Половину времени. Ну сколько человек может звонить? Ладно, не половину, давай 30% ещё уберём.
Тут ещё можно, знаешь, какой момент взять, что опять же вот это, а сколько мы звоним и кто берёт трубку?
Угу.
То есть действительно, и тут тоже мы можем, наверное, какую-то часть, ну, да, 30% и то, мне кажется, тоже мы считаем 20, ну, вот ты же говоришь 20 центов за минуту, но а и тоже попадает агент или на человека, или на человека. У вас же всё равно, ну, деньги тратятся, пока ваш агент пытается понять, кто перед ним, человек или нет.
Да. Ну, вот именно момент звонка, то есть вот это пока происходит утки. То есть в этот момент мы ещё не помечаем искусственный интеллект, тем самым у нас экономика там раза в два дешевле получается.
Ну можем сейчас взять идеальту пренебреж постоянный разговор.
Так у меня вот сейчас, если 8 часов в день звонить подряд человеку, да, на 160 часов в месяц, получается так, пол млн центов - это 1.00 долларов, да? Сколько нас центов? Стоп. В центе что-то я, по-моему,
в одном долларе 100 центов.
В одном долларе 100 центов. Это 15.000. Что-то дорого, что-то не то.
Ну давай так. Мы опять же берём всё-таки люди, которы менеджеры по продажам, они не на не постоянно сидят на звонке, то есть у них есть какая-то ещё допработа. И
и я у меня нет конкретных цифр,
но я подозреваю, что мы тем самым можем сильно сократить. Опять же, если мы возьмём американский рынок, то есть там зарплата будет другого уровня. А наш, поскольку это американская компания, она в первую очередь ориентирована на
Угу.
американский рынок.
Ну, короче, как будто вот так на вскидку очень и очень грубо, в три-четыре раза дешевле. Вот если
Угу.
представить, да, что человек не может звонить, ну, 8 часов в сутках, да, постоянно ему нужно отдыхать, а робот, собственно, может звонить.
Угу.
Вот. И в таком случае, ну, допустим, если человек звонит в суммарно чистого времени в продажник там даже 2 часа, мне кажется, в в рабочий день, мне кажется, это максимум. Ну, думаю, да, ну, зависит, конечно, от компании, но я думаю, ну, половину дня, то есть, если компания,
ну, ладно, если е чисто прямо специально вот сидит в наушниках, да, там и прозванивает его работа только звонить, то, наверное, тогда часов, может быть, до 6:00 он как-то и дойдёт, если он там строго регламентированно, не знаю, там 5 минут на в час можно встать в туалет, ну, вот у тебя получается, считай, да, 8 часов 40 минут мы вычитаем и ещё там обеденный перерыв какой-нибудь. Может и может и можно до 6 часов догнать, но ладно. Это мы что-то ушли немножко
из этого, да,
из инженерного пути в
Ну и опять же, смотри, ты посчитал сейчас 15.000,
при условии, что мы сейчас сокращаем расходы и получаем 11 центов, это уже становится уже в два раза почти,
да, в два раза меньше. И опять же есть, а пока ещё не строго, не чёткие границы, но есть понимание, где можно ещё сократить, считая того, что модели со временем дешеве, то есть там даже по статистике идёт,
а там, по-моему, за прошлый год там в 50 раз какие-то модели подешевели, средние там крупные модели подешевели там чуть меньше, чем в два раза.
Ну оперативка дрожает, модель дешевеет, оперативка дрожает. Интересное на этот момент [фыркает] тоже мнение, что то есть они могут захватывать рынок, тем самым допинговать цены. То есть то же самое, как любые cloud провайдеры сейчас активно делают. А
вы используете у вас не свой сервер, правильно? У вас модель, ну, какие-то кладные решения, кладные модели используете для этого продукта,
да? Да. То есть мы используем cloud, используем в чём-то GM модели, в каких-то процессах используем Open AI. И, в общем-то, Cloud Code - это больше именно для внутренней разработки продукта, для внутренней работы. Ну вот тут получается одна из точек оптимизации, да, это поставить свой свой сервер, например.
Угу.
Вот посчитать, ну, наверное, это на определённых уже по порогах финансовых, да, и там при определённой загрузке будет выгодно. И опять-таки, тут же другой вопрос, а если вот вендеры, которые вы используете, поднимут цены там в несколько раз, сейчас они демпингуют, захватывают рынок, а, допустим, через год они в три раза сговорятся все, да, и поднимут цены. Или не все, скорее всего, кто-то умрёт, останется там три игрока, условно Google, аропик и OpenI, например, и начнут, короче, картельным сговором поднимать цены на за каждый там токен. Что вы в таком случае будете делать?
Ну, во-первых, скажу, да, действительно такая проблема есть. Это мы можем видеть во всех сасервисах, которые предлагают, и они перешли с подписконы. Кто-то пытается как-то ещё оставлять подписки, но ограничивает, сколько ты можешь использовать. То есть это действительно происходит. А то же самое cloudкод, если мы откроем, то есть если мы используем через API и фактически платим за токен, то выходит это в разы дороже, чем если используем их решение без использования EV ключа. Вот. Э, но в этом плане, да, то есть первое этот надо при определённом масштабе. Это, в принципе, как и это было с облаками переход он примется, то же самое с искусственным интеллектом. То есть экономика может быть намного лучше, когда ты переходишь на какие-то собственные решения. Да, это дороже, да, это ты в итоге сам обеспечить инфраструктуру людей, которые это поддерживают, но в итоге ты сэкономишь.
Вот. Ну и опять же сейчас очень важно именно набрать какой-то объём продаж, набрать определённую какую-то прибыль для того, чтобы уже дальше думать о такого рода оптимизации и быть готовым к такой ситуации.
Угу. Но у тебя вот мне на самом деле интересно ещё дальше этот продукт копать, потому что он получается ты с одной стороны в него внутри есть как бы, да, AI, грубо говоря, компонент, и при этом вы его ещё разрабатываете, используя там AI модели.
Вот. Давай, наверное, чуть-чуть про разработку этого продукта копнём, а потом хочется по ещё поспрашивать, как, собственно говоря, вы его замеряете эффективность. Ну, то есть какие метрики используете.
Угу. Вот давай, наверное, сначала расскажи про про саму работу, ну вот именно разработку продукта, что используете для написания там кода. Ну, наверное, Cloud Code, очевидно,
подозревая, что модель OPС,
да, всё верно. То есть мы начинали с курсора, сейчас перешли на опус и купили всем подписку. И пока это больше такое выглядит, когда у каждого есть свой искусственный интеллект, с которым он работает. Уже вот на прошлой неделе мы начали активно работать, подключать специальных инженеров для того, чтобы выстроить и разработку, где разработчика не обязательно быть на всех стадиях до получения кода дляw.
Угу. Расскажи подробнее. Э, то есть для этого, для этой цели мы сейчас хотим развернуть, ну, рассматриваем качество решения Gemini Vertex AI, то есть как платформу, где мы можем спускать и агентов,
и какие-нибудь GitHub экшены для того, чтобы, ну, которые по кронitub экшены по кронob смотрит список задач, которые у него сейчас находятся в очереди, и начинает одно за другое выполнять. Притом в конце на выходе выдавать нам request, который, естественно, должен человек посмотреть. При этом мы такжемнструкту для того, чтобы когда появился, у нас развернусь эффемерное окружение, которое QMNL может протестировать и убедиться, что всё хорошо. Тем самым мы минимизируем части разработчика
для того, чтобы получать какие-то фичи. Ну пока я вижу по опыту работы Cloud Obus, это будет фич, которые а не сильно без какого-то глубокого погружения и какой-то особой сложности.
Угу.
задачи,
ну, рутинные какие-то задачи, которые условно там разработчик уровня Jн П делает, правильно?
Да. Да, это раз. А при этом для более таких энергоёмких задач есть другой сейчас план подхода, который мы начинаем потихоньку отрабатывать. То есть когда в рамках задачи использу искусственный интеллект, э, инженер описывает детальное решение, как это будет сделано.
Угу. И там я принимаю участие в ревью этого, как бы скоро у него, как это будет сделано, хорошо или нет. Дальше в целом можно будет искусственно интеллекту отдать, сказать: "Сделай по плану и перепроверь". В чём тот же самый опыт достаточно хороший.
То есть тем самым мы сможем делегировать такие более тяжёлые задач, просто предварительно готовя при помощи опяного интеллекта техническое решение по нашей кодовой базе. А, ну, получается, вот вы эмулируете работу классической команды разработки, а, но для некоторых категорий задач, как вот ты уже объяснил, да, вы как вы делите границу, что делае, что отдавать, что делает человек сам и как вы будете, как ты сказал, на на каждом этапе у вас всё равно там человек проверяет, нажимает кнопку, да,
условно, отревьюил, всё о'кей. Как-то вы замеряете качество, то, что делает, ну, качество проделанной работы искусственным интеллектом.
А, смотри, ну, первое, ты верно подметил, что, да, действительно, у нас на каждом этапе есть человек. И с точки зрения, что отдавать, что не отдавать, тут мы подходим к с точки зрения экспериментов. Мы постоянно экспериментируем и пытаемся дать искусственную интеллекту, не думая о том, что а сможет он не сможет, даже если мы не уверены в этом, ему даём и смотрим на результат.
То есть это, кстати, ситуация, которую я встретил, когда мы внедряли искусственный интеллект в разработку в одной из компаний. И был такой вопрос, и даже на демонстрации было видно, как он думает: "А что же я должен написать? А вот это я не дам искусство, потому что я не верю". Хотя у человека нету опыта, понимания, что есть. И тут вот первое, да, мы постоянно,
короче, даёте вообще всё.
Мы даём всё, но просто на каждом этапе у нас всегда есть на на этапе ходью, на этапе тестируем мы перепроверяем, убеждаем, что всё хорошо.
Угу.
Вот. А по поводу качества, по поводу качества, это сейчас тоже сейчас, э, пока это идёт не на цифрах, но в целом это есть план перевод на цифры. Это когда мы проверяем, а сколько итераций возврата происходит с искусственным интеллектом.
И тут это такой, в принципе, классически, как даже при работе с людьми. То есть моя любимая метрика FTAR, first time accessment trade, где ты делаешь работу так и оптимизируешь, чтобы у тебя с первого раза всё проходило.
Угу.
То есть ты не работаешь на количество, работаешь на то, чтобы прямо с первого раза прошло. То
же самое планируется ввести метрику в искусственный теле. Мы должны его готовить и добавлять окружение для того, чтобы первый раз он проходил. То есть это наша будущие метри, который мы будем на этапах.
Угу. Да, я тебя понял. Смотри, ты рассказал интересную историю, да, про вот э количество, грубо говоря, итераций, циклов возвратных, но тут же у этой медали как бы две стороны. Первоя, у тебя сама модель может неко, ну, там, да, не тот результат, который мы ожидаем от неё. Второе, на входе человек может написать некорректный промп. Ну, да, там. И вот этот вот цикл, он же не совсем понятно, кто виноват может быть. Вот как это? Можно ли как-то системно это там, не знаю, отловить? Ну то есть или у вас есть уже какие-то базовый там набор промптов, которые все должны использовать для там типичных задач? Не знаю.
Да, безусловно, есть какая-то база, которую мы набираем, но опять же эта база не идеальна, и всё равно есть какие-то отхождения, кто как уже делает. А касательно того, что с этим делать, тут достаточно там хорошая стратегия, которая выработана нужна в других компаниях. Это когда у тебя есть главная метрика о том, как мы, например, как часто приходится возвращать работу искусственного интеллекта. Дальше мы смотрим, а на какие-то более детальные метрики, например, это с кем происходит, там какое количество. И, в общем-то, начинаем уже работать с такими более внутренними метриками, которые позади главной метрики.
Угу.
И а дальше идёт работа с позиции, что мы должны постоянно улучшать. То есть мы вводим такую культуру постоянного улучшения. То есть это вот, по-моему, если не ошибаюсь, пришло вот с Тойогу, то есть когда постоянно улучшаем комвеер и смотрим, как улучшить своё рабочее окружение. То есть самая метрика, она для чего нужна? Для того, чтобы люди смотрели и думали: "О'кей, а у меня не получилось, а что я должен сделать так, чтобы в следующий раз я там принял?"
Угу.
То есть эта работа происходит на уровне инженера. Эта работа МТРК собирается менеджером, что если инженер не справляется, то есть как-то ему помочь преодолеть эту ситуацию. И если всё хорошо идёт, например, где-то метрика положительная, то тогда шаринг знаниями с другими членами команды. Как это делается?
Угу. Понял, спасибо. Ну, короче, я так услышал, что у вас по задачам, которые вы сейчас отдаёте уже без проблем в конкретно в вашей компании искусственный интеллект уже заменил джунов, в общем-то. задачи, которые раньше давали джинам, чтобы они погружались в продукт, разобрались там, да, что-то простое, поправить какой-то баг, либо какую-то там добавить формочку, где у тебя уже понятно, что делать. Вот сейчас у вас это делают агенты.
Да, но это скорее финально сможем заменить, когда запустим вот эту систему, то есть про которую я рассказывал. Потому что, ну, до сих пор должен быть своего рода оператор, который это делает. То есть, да, у нас есть, э, и синьоры, и не только, и они как бы все используют искусственный интеллект для выдачи результата. Интересный момент, что качество также зависит от уровня текущего разработчика даже при использовании искусственного интеллекта. Почему? Потому что всё-таки искусственный интеллект работает паттернами, и всё-таки наша ценность как инженеров здесь начинается подсвечивать ещё сильнее на тем того, чем мы отличаемся от искуственного интеллекта, от того, как он решает проблему. Но тем не менее Джун тоже работает паттернами. И вопрос, что же делать сейчас с Джуном? Как ты думаешь?
Пока автоматизация не нашлась, то есть не не вошла в массы, джуны будут как операторы. То есть это раз. А второе, с точки зрения джинов, ну как бы это естественно, что должны где-то появиться жены, мидлы. То есть мы не сможем пропустить эту ступень развития. Просто пробле ситуация-то в том, что джены будут по-другому. То же самое, как происходило, когда появлялись ООП, высоты уровня языки программирования. Интересная недавно конференция была картинка, э, когда появилось объектно ориентированное программирование и там на журнале компьютер написано объектное ретиное программирование и сидит ребёнок в подгузниках и говорит с ООП всё стало настолько плохо, что даже ребёнок разберётся.
Угу.
Вот. И в принципе чем сейчас напоминает такую же ситуацию, когда говорят, что всё, нам джены не нужны и, в общем-то, искусственный интеллект сделался. Ну, как мне кажется, это всё останется просто трансформируется.
Ну, короче, новый уровень абстракции как бы ещё более высокий появляется, да? То есть было там хардкорна там на чём, э, на ассемблере условно писали, потом там C какой-нибудь, да, C++, где напрямую в память потом идёт опшная история, там C#шарпы всякие и дальше, ну, следующий уровень. Ну, это я правильно понял?
Так, это сле видишь, я вижу это именно так.
Угу. Но тут, знаешь, тоже можно так возразить, что условно написание кода, да, это, ну, там 10-20%, на самом деле, работы разработчика над задачей.
Угу.
То есть именно вот сколько он там сидит, пишет кода по сравнению со всем временем работной задачей разобраться, понять, посмотреть архитектуру, понять, что сделать. И непосредственно сам код делает там, ну, меньшую, то есть меньшую часть времени за работы. А, но при этом как будто бы AI даёт магию именно здесь, да, там за 5 минут делает то, что ты писал 2-3 часа, но заставляет больше времени тратить на обдумывание задачи. То есть у тебя, возможно, затраты временные, они просто сдвигаются вот с конкретного написания кода на а само время работной задачи там не так кратно меняется, как и время непосредственно вот кодинга.
Смотри, да, тут первый момент на тему 10-20%. Я думаю, тут идёт речь больше о том, что непосредственно, когда ты пишешь, у тебя уже в голове и ты пишешь. Всё-таки искусственный интеллект, он использует какие-то паттерны и уже решает за тебя какие-то даже базовые проблемы. И тем самым он может покрывать намного больше, чем вот эти 10-20%. опыту, то есть когда можем увидел условия, и он даже может прийти такое решение, которое там я действительно могу посмотреть, сказать: "Да, это хорошо, я могу принять". Да, может не идеально, но как я работаю с людьми, то есть когда ты ребьюшь код, ты можешь сказать: "Да, это не идеально, но для бизнеса нам сейчас хватит там при условии там для чего это фищ." Ну, любых других факторов.
на тему того, что инженер начинает больше думать. Да, действительно, такое даже было вот исследование, то есть когда на протяжении 8ми месяцев следили за инженерами и поняли, что и не сокращает работу, а повышает её интенсивность работы.
Угу.
И тут очень такой важный момент, то есть с интенсивностью было ещё одно исследование, что с искусственным интеллектом люди стали чаще выгорать и чувствовать вот это наступление выгорания, потому что у них как раз очень много интенсивности. То есть человек, ну, не может так, а там все 8 часов интенсивно работать. Почему? Потому что когда жраются мозговые токены, получается, да, жираются мозговые токены. И вот эти все рутинные задачи, которые раньше не было смыснлекта, мы делали, мы отдыхали в этот период.
Угу.
И тут важна такая ловушка, которую стоит избегать. А используя искуссттеллект, мы станомся больше как менеджеры, которые делегирует задачу кодирования.
Угу.
И наша ценность здесь возрастает, в отличие от искусственного интеллекта, что мы принимаем какие-то хорошие решения. И все замечательные решения я пока видел только от людей, приходящих внутри команды, не от искусственного интеллекта. И если ты попадаешь вот эту петлю вот этой интенсивной работы, то качество их решений, в принципе, может снижаться.
Угу.
И тут очень важный момент, что пока искусство интеллект работает, это не значит, что ты должен там параллелить и дальше думать. Дай тоже время отдохнуть, да, сохраняй баланс для того, чтобы твоя ценность не как кто постоянно даёт задачи, а кто принимает решения и даёт искусственный интеллект. А что делать дальше? Мы вот, кстати, плавно переходим к теме в том, что искусственный интеллект работает хорошо только с тем, что он знает. То есть какие-то массовые языки, массовые фреймворки, паттерны и так далее. В какие-то узкие специализированные истории, где мало данных, на которых он мало обучался, там и результата как такового нету. А как ты думаешь, как это вообще повлияет на, не знаю, на фреймворки, на языки, на развитие IT?
Так, а, ну с утверждением я абсолютно согласен. Первое, как повлияет? Тут, я думаю, зависит от специфики бизнеса. То есть, да, какие-то фреймворки массовые, они, ну, выбирают популярность, потому что, ну, даже мы переходим на какие-то фреймворки, которые были уже популярны, то есть они получают сильные, становятся сильнее в этом плане, то есть и здесь мы тоже будем наблюдать. А касательно других специализированных языков, всё равно есть ниши, которые, ну, никак не может использоваться популярно Note GS или там тот же самый Python и ограниченности его оптимизации.
То есть они будут существовать. И в общем-то даже безыскуственными целями.
Угу. Ну, э, то есть для них получается мы условно инженер, который делает процессоры в Интеле, может спать спокойно, его в ближайшее время никто не заменит, потому что таких штучных людей, кто это делают, их там 20 человек на весь мир, условно.
Я думаю, спать спокойно можно не только он, но и люди, которые находятся в сфере, где искусственный интеллект показывает высокоэффективность. просто поменять какой-то формат их работы.
Угу.
А я думаю, специализированных есть, только не придут и не обучено каких-то специализированных данных.
Угу.
То есть для того, чтобы он решал проблему, всегда есть специализированные языки. Ой, также специализированный искусственный интеллект, который выполняет работу лучше в данной области.
У. О'кей. А смотри, вы в вашем продукте, забыл, как он называется, трек AI.
Twins. AI. Это как? Это Близнец. Ай, а, всё понял. Понял. Да, на вашем проекте Близнецов вы начали, перешли на вайп-кодинг, э, когда продукт уже на какой-то стадии был или вы прямо с нуля вообще его делали на искусственном интеллекте?
А, мы используем искусственный интеллект с самого начала.
Угу.
То есть, ну, единственное, ввиду ограниченности искуственного интеллекта в те времена, то есть это было порядка, сколько лет проекта, когда он начался? Тогда я посчитаю где-то полтора-2 года где-то вот в этом интервале находится, когда он стартовал. А, по-моему, даже 2 года, потому что полтора - это когда я подключился уже к нему, то есть на какой-то стадии, когда идея была опробована и поняли, что он жизнеспособны, и там уже начали набирать команду. И в том числе я подключилсягу к проекту.
А там, да, мы его использовали, но использовали очень огранично. С курсором на использовать стало намного лучше. То есть это не чат, когда ты кидаешь, что-то получаешь, э, с клауд-кодом. Это вот буквально с декабря это порядка 80-90% кода сейчаспользуется искусственный интеллект. Мне кажется, даже больше там по моему оптужу, какой код выдают инженеры.
Угу. Получается, то есть это реально продукт, который в продакшене работает, и он, ну, там, э, в него сейчас люди уже не пишут, я так понимаю, код руками практически весь там 80% кода, как ты сейчас, да, сказал,
я думаю, выше даже выше. Почти весь код создаёт. агенты.
Да, факапов не было никаких с этим связанных вообще с тем, что какой-то баг внезапно и и а люди уже потеряли контекст, люди уже не знают, что там происходит.
Ага. Скажем так, то, что какие-то критические, то есть ну код, который сейчас Опус генерирует, это не тот код, который был там буквально до него, то есть не так давно, потому что код не такой раздутый, как раньше выдавали другие модели. [фыркает] То есть стало намного проще. и в этом плане найти причину, то есть не составлять такого труда. То есть даже ско написано с искусственного интеллекта. По поводу факапов, ну, как скажем, и до искусственного интеллекта, и с приходом факапы все остаются. И тут больше вопрос в том, а как ты выстроил свой процесс, свою проверку для того, чтобы не попадать в эти факапы с проблемами?
А есть что-нибудь рассказать про факапы? Какой-нибудь там реальный кейс от искусства интеллекта?
Я думаю, нет.
Пока нету. Ещё не успели?
Нет. А это уже как получается так же, как сотрудник
Угу.
который э также может допустить ошибку, и ты на это смотришь как ошибка разработчика.
Ну знаешь же, вот эти вот условно завирусившиеся истории, когда я и оптимизируя код дропнул базу там с провода и вот такая вот история. У вас ничего такого пока нет?
А такого нет, потому что, да, мы ограничиваем и пришение, что дается, что нет. И вот до базе данных, то есть продакш, мы даём только на чтение, то есть, например, те же самые улоги, анализ и выдача и росконализ.
Ну вот мы как раз плавно переходим в, да, в информационную безопасность, куда, куда можно пускать, куда нельзя. Как бы ты это ограничил? Ну, первый сказал: "В базу только на чтение, в базу ничего не пишем". Что-то какие-то есть ещё там, не знаю, золотые правила, там написанные, как говорится, кровью ибэшников?
А это секреты.
Угу. То есть и второе - это использовать моделью, которая не использует YOL Mode, вот этот мод, когда он делает: "Я всё, что хочу". То есть он всё-таки работает через подтверждение.
Угу.
Вот. И для продакшена, то есть сейчас опять, что мы делаем? То есть мы получаем набор шагов и всё-таки выполняет их человек.
Угу.
То есть тем самым мы обеспечиваем точка отказа, короче, есть. То есть если что, человек может понять, что что-то не то предлагается, и нажать там отмену. Ну, сам не выполнить команду, не скопировать его из инструкции искуственной интеллекции и не выполнить её.
Угу, понял. Хорошо.
Вот ты рассказывал, что искусственный интеллект работает хорошо с тем, что он знает. Как же быть там с какими-то либами, если, например, тебе хочется что-то сделать.
Угу.
Но искусственный интеллект в этом мало информации. Есть какие-то варианты?
А, да, опять же, да, это действительно проблема. И тут вот, э, один из моих проектов - это Open source проект Tlet. Это мультиагентный фреймворк для тайpскрипта, для который ты можешь подключить и, в общем-то, дать опыт своим пользователям также, как ты пользуешь cloudкод, то есть с вопросами, с планами, с и там планом выполнения там задач за задачей.
Вот. И изначально мы, когда начали строиться, то есть там построили какие-то кастом тулы, с которым искусственный интеллект может работать, работать именно с workркпейсом. Wordpace - это такой либо реальная файловая система, либо виртуальная файлова система в рамках твоего приложения, а где он может прочитать, удалить, переименовать и прочие вещи сделать. То есть был набор узков. И когда мы начали анализировать эффективность работы, мы заметили, что он либо это пропускает, либо с первого раза может правильно вызвать тулубот вообще нету толзу.
Э и тут как раз одно из отличий человека от искусственно интеллекта, искусственного интеллекта пытались как-то его там исправь это дело, он прыгал туда-сюда, менял какие-то незначительные параметры. То есть именно от человека шла в этой идея, а что если э мы искусственный интеллект, он работает с популярным теологи хорошо и самые популярные - это важно. То есть если мы даже посмотрим на cloud код, который выполняет всё, что угодно или open cl, всё он делает абсолютно через баш. Почему это самая популярная туса, которая есть, наверное, в интернете всё делатся в сейды, идут с ним. Соответственно, было принято решение, а что если мы заменим все наши вот эти кастомные с одним с вашим эмулятором, то есть наш искусственный интеллект будет думать, что он работает с башем и выполнять команды. А мы уже дальше транслируем эти башкоманды в Node js код по работе с файлами. То есть вот эти пайплайны, то есть когда cat, save, там, то есть всё это транслируется в обычный JS код.
И тем самым мы сильно закратили контекст и эффективность и намного выросла в разы именно с этого релиза. Интересный пример. Возьмите на заметку. Саша, давай с тобой перейдём в историю работы с людьми, с внедрение этого подхода, потому что наверняка не все у тебя в команде и энтузиасты. Наверняка есть люди, которые ну там по каким-то своим причинам не готовы начинать пользоваться этим инструментом. Как вообще, как вы с ними работаете?
А, да, такое действительно есть. То есть и вот интересно опыта вот именно компании, где мы внедряли искусственный интеллект. Там как мы это сделали? То есть мы собрали э всю команду и, в общем-то, обсудили, как они это используют, показали на своих примерах, то есть сделали вот этот сессию, когда смотрели, как выполняет работу с искусственным интеллектом кто-то из сотрудников и обсуждали там, вводили свои коррективы.
Угу.
То есть очень интересная получилась встреча. Э то есть это такого рода был свой мини-тренинг с командой.
Угу.
И тут помимо того, что мы давали какие-то свои инсайты, подходы и философию, то есть я в этом плане, то есть за то, чтобы именно делить философию, то есть как бы научить людей ловить рыбу, а не поймать.
И делает им очень хороший вклад, то есть и этот вау эффект.
Угу.
То есть ты просто один раз попробуешь, ты не замечаешь, как начинаешь на это подсаживаться и начинаешь этим пользоваться. В целом даже вот с командой, которая использовал, ну и были какие-то вот сомнения по тому, насколько он будет эффективно при использовании правильной модели и использовании какой-то там философии и использовани своего опыта, который команда тоже накопила с другими моделями. То есть буквально через 2 недели, когда произошёл звонок, мы услышали как, э, отчёт о том, что они массово начали его везде использовать. даже там, где сомневались, что он может сделать что-то хорошее.
Угу. Ты знаешь, я вот тоже об этом думал. Мне кажется, я вижу такие две основные точки, почему люди могут быть, ну, не то что бойкотировать, но будет сопротивляться этой истории. Первое, попробовали там на период, условно, год назад.
Угу.
Посмотрели, что там выдалось, да? Поняли, что это какая-то ерунда, и всё. Короче, сделали вывод, что он не подходит. Второе, может быть, реально просто страх, что их там, не знаю, заменят. И чем дольше они будут этому сопротивляться, э, тем позже их заменит искусственный интеллект. Вот, мне кажется, на стыке этих двух вещей. Ну и третье, наверное, ладно, ещё это инертность в целом у людей и у многих есть ну как бы не любовь к изменениям. То есть ээ хотя да, ну, IT по идее - это та область, где ты обязан всю жизнь всегда учиться и развиваться, да, если ты не хочешь зарасти в каком-то болоте. Вот. Но тем не менее даже здесь, я думаю, человек сам по себе так инертен и в зоне не хочется выходить из зоны комфорта, не хочется менять э подход к работе, которой ты там уже, допустим, последние 10-15 лет делаешь задачи, условно по одному, да, там, а тут появляются новый инструмент, и тебя заставляет, короче, думать, начинать по-другому. Вот, мне кажется, наверное, три таких фактора, которые мешают.
Вот, да, я бы, наверное, дополнил ещё момент, что иногда люди не то, что давно смотрели, они могут здесь сейчас использоваться модель, которая верит больше и думает, она хорошая. То есть у меня было очень много примеров, когда я на курсоре всех переводил на курсоры и по работе, и вне работы, а, и общался с людьми, рассказывал, вот как бы искусственный интеллект, он делает такие хорошие вещи, человек говорит: "Нет, он делает плохие вещи".
Угу.
То есть и когда после оббщения, то есть люди, допустим, используют тот же самый код скиха палотом, но, к сожалению, он по подходу, то есть может не сама модель, а именно окружение, которое выстроенно вокруг него в рамках ВС-кода, не была настолько эффективна и не давала тот вау эффект. И человек искренне верил, что да, я использую тот самый, э, искусственный интеллект, и он работает не так. То есть при этом ний случай, когда я в итоге убеждал: "Ты просто попробуй". И вот этот эффект, люди говорили: "Ну да, это действительно там земля и небо". То есть именно на тот период.
Угу.
Сейчас пройскод я не могу сказать, потому что, ну, я выбрал инструмент и по инертности использую его.
Это хороший хороший поинт, что на самом деле постоянно новая модель выкатывается и всё это тестировать, постоянно переходить, это же тоже, ну, нагрузка достаточно высокая временная там, да? То есть ты уже выстроил свою инфраструктуру, работая под одну модель. Выходит какой-то новая там версия, не знаю, Open что-то выкатят и на каких-то бренчмарках оно тебе покажет, что оно теперь работает быстрее. Что ты будешь делать? Ты будешь переключаться или
А ну первое вот сколько я там искусственный интеллект, начиная там уже года там два или более, не помню, э вот эти бенчмарки мы выпустили новую модель, и сейчас-то она всем покажет.
Угу.
То есть, как показывает практика, ну, тот же самый Антропик, как всегда впереди Planet Sable.
Угу.
То есть там выходит Джамина и говорит: "Ну вот теперь это есть конкурентропика, выходит open GPT53". Говорит: "Вот сейчас-то он там сделает". Но дать я сам в чат GPT там 53 не использовал, но кто использовал, у них не было такого момента: "Вау, давайте сейчас переходить". То есть я вот этот эффект вау я увидел только два раза реальности. это курсор и это cloudкод опис.
Угу.
То есть поэтому пытаться вот за не а как сказать вкладывать столько ресурсов на переход и получать всего лишь небольшой выхлоп, то есть ну а маркетинг вот этот заявление громкие, то есть это, в принципе, всегда и надо тут фильтровать эту информацию.
У, ну понял. Ну, короче, как таковых критериев чётких у тебя нету. Скорее, если весь ээ ну там опытные какие-то авторитетные люди будут вокруг утверждать, что новая модель, ну, прямо в два раза, условно круче тебе давит выхлоп, тогда будете переходить. А там даже если маркетингово что-то заявит, что она там на 10% каких-то тестах опередила, для вас это не критерий пока, да?
Не критерий для нас, критерий оп, собственно, опыт. То есть, э, мы постоянно экспериментируем по возможности, то есть пробуем модели, и если не получается вот этого эффекта на первом этапе, мы не пытаемся на неё что-то выжать. То есть, потому что это уже ресурс. И сейчас то, что есть, нас вполне устраивает, когда то же самое там почти весь код пишется искусственный интеллект.
Угу, понял. А, ну тут знаешь, что ещё хотел обсудить? Наверное, такой рассказать опыт знакомых, как они в компаниях уже более-менее больших внедряют. Они берут какую-то одну команду, где энтузиасты, грубо говоря, собрались и вот в неё сначала вкладывают, то есть не из-под палки там всех не заставляют, а вот одной команде дали инструмент, помогли, она начала перформить, остальные посмотрели, увидели изнутригу и как бы вот, пожалуйста, тоже захотели, начинают, короче, пере, ну, переосмыслять свои подходы. То есть вот такие тоже варианты для крупных компаний, мне кажется, а внутри себя находить звёзд. находить амбассадоров и через них эту культуру продвигать.
Да, это на самом деле такой вариант, который ещё до искусст интеллект набираешь первых людей и через них заражаешь уже других.
Вот я бы, наверное, ещё хотел, ну, не знаю, может, как-то подойдём к этому на тему доверия. Почему люди также не используют ещё один критерий? Это что люди не доверяют интеллект, что он может что-то выдать.
Угу.
Типа, да, вот он не сможет. А как, если я, э, там я должен ревью весь его код и прочее?
Угу.
То есть у меня работа, кстати, один из, а, утверждение было, что, ребята, вы думаете, мы быстрее. Почему опять же тоже команду начали обучать? Потому что пришла установка сверх, мы искусственный интеллект, давайте ускоряться. И команда вполне естественно говорила, что мы не ускоримся, потому что мы будем больше кого-то ревюить.
Угу.
Вот. И тут интересный момент. смотри с интеллектом. Все улучшения происходят ты так же, как ты работаешь с людьми и повышае улучшаешь работу непосредственно с людьми, а также с искусственным интеллекта, э ты начинаешь поначалу, когда это используеш, начинаешь ревьються там каждую строчку, там достаточно такой скрупулёзный контроль. Через какое-то время ты начинаешь понимать, а что он может, что он не может, и
какие-то вещи ты уже перестаёшь, допустим, ревют какие-то куски кода. Так же, как с человеком, когда пришёл новый человек, ты вот видишь, что а вот здесь-то он справляется хорошо, зачем мне тратить моё время? То есть я буду ревють вот какие-то, может либо критичные, либо там, где он человек ещё себя не проявил.
Также искусственный диалект начинаешь потихоньку внедрять. И вот в какой-то момент вот в моём опыте я ревью постоянно, а и терпат время я вот сейчас ревью уже где-то поверхностно и только иногда залазю прямо совсем в детали. То есть либо это критичное, либо финансовая, либо там, допустим, я не видел, как искусственный интеллект, насколько хорош по этому.
Угу. То есть ты доверие к искусству интеллекту должен развивать постепенно. И это происходит, к счастью, такое очень естественное, так же как вот человек взаимодействует с человеком, человек взаимодействуется и получает какой-то.
Ну да, надо не забывать, что и - это всё-таки не волшебная кнопка, которая тебе всё автоматически сделает хорошо. Вот эти вот хайповые там я уволил всех инженеров, и у меня теперь работает ээ за меня там один он там какой-нибудь Openклоу, который всё делает, всю работу. Вот. Э, ну тут, да, это просто инструмент, который нужно, ну, мощный инструмент, который может неплохо ускорить, но его нужно правильно применить.
Да, верно. И как, э, оно усиливает человека, то есть и опять же вот как работа с паттернами, оно про остаётся именно наша инженерной часть, как людей принимать какое-то творческое мышление для того, чтобы принимать именно эффективные решения. Ну, вот как тот же самый пример с этим эмулятором баши.
Угу. Да, согласен. Наверное, искусственный интеллект до такого бы не догадался. Хотя кто знает, если бы в интернете была информация и примера сделать, да, согласен.
Ну, наверное, такой ещё небольшой пример приведу. Бук недели, к сожалению, вот один Chrome extension перестал работать, мой любимый, аналогов не было, и я решил за вами поводить собственный, а это с Google Meтом и позначение транскрипции, сохранение для последующего анализа. И такая ситуация, что документации по RPC протоколу нету. То есть open source таких проектов нету. То есть если кто-то делает делать совершенно другим способом менее эффективно искусственный интеллект там просто закопался, не мог ничего сделать. И здесь, наверное, вот тоже какой-то произошёл этап новый именно с описом. Раньше я должен был влезть и сам в коде поправить. Сейчас же я ему мог дать какие-то направления, то есть, например, посмотри там, посмотри здесь. И тем самым он заходи э нашёл решение там, где которое не задокументировано.
Угу. В целом сейчас тектонические плиты сдвигаются, всё активно меняется. И как, ну, мне кажется, что в итоге, да, в этой гонке выжи выживут не все продукты.
Интересно, как кстати, да, твоё То есть по факту уже у нас в мире два там центра, да, это Америка, их модели и, собственно говоря, китайский Угу. А китайские модели, не знаю, работал ли ты с ними, какое у тебя ощущения, впечатления? А я работал с ними, мои коллеги работали с ними, я собирал, так сказать, обратную связь. И один из примеров - это когда мы начинали перехо рассматривать модели и переход на Cloudход, и один из моих коллег рассказал, что он использует GTM, по-моему, модель, то есть примерно то же самое, то есть аналог cloudкода, и он был максимально доволен. Но как только он попробовал Cloudход, то есть он как бы также был доволен, но когда он попытался вернуться к своей китайской модели, он понял, что нет, это земля, небо, Cloudход действительно на порядок. выше, несмотря на то, что до этого он абсолютно благо той же самой китайской моделью.
А тем не менее, почему туда смотрим? Потому что они всё-таки и дешевле. А и, к примеру, вот наш продукт tлет, когда мы его подключаем и включаем какую-то модель, мы там сейчас используем модель там К2,5, который выдаёт хороший результат с точки зрения визуального анализа, то есть что она делает.
Угу. Вот. Но при этом она стоит, по-моему, порядка центов или трёх центов там за миллион токенов там в сравнении с тем же самым описом, который стоит сейчас там 4,5 или 5 долларов.
Угу. Раньше во многих B2B IT-компаниях таких среднего размера основным э основными затратами это был FD RnD. Вот. То есть, ну, самое, да, там, что больше всего, я как сетьо такой компании в прошлом, э, знаю, что часто на эту историю не то что покушались, но типа вроде как если где-то где-то скрафтить расходы. Но вот самое больше всего, что у нас кушает - это фото RНD.
Угу. Возможно, скоро появится новая большая достаточно блок расходов - это вот э как затраты, там стоимость использования AI моделей и в масштабах там крупных компаний 100% вот то, что ты говорил, оптимизировать, где какую модель использовать, наверное, будут, не знаю, чуть ли не отдельные люди, которые будут отвечать чисто за оптимизацию и рациональное использование AI моделей. в каких кейсах будет прописано, что мы используем.
Я думаю, да, и здесь это честно напоминает принцип costimization, то есть когда мы там нароли продукты, сейчас понимаем, надо резать костыation, то есть мы у нас нет каких-то специальных людей, но у нас есть то, на что мы смотрим, что этот процесс мы иногда запускаем от оптимизации или даже процесс поставки, то есть который мы делаем там до появления с людьми. То есть мы смотрим, а как можем оптимизировать сократить расходы на поставке, используя, э, близкую работу. Также и здесь, то есть и здесь примерно пока я вижу такие же принципы. Вот это один из принципов - это вот модели, а подбора подходящей моделей. А также принцип смотреть, а где мы используем модель, где это не надо. И вот такой пример, допустим, мы возьмём вот этот код код writer и код review. То есть с одной стороны хорошо, но если код revюw выдаёт примерно там молодец, хорошо ты сделал, то действительно ли она нам нужна?
Угу. И тут е мой такой принцип, что почему бы не сделать так, чтобы с первого раза проходило. И тогда на кодрев мы не будем тратить деньги, потому что он также должен проанализировать по факту такой же объём кода. Ценник должен вырасти в два раза. Просто даже использовать отре. Вот. И дальше, как любая постоптимизация, ты смотришь, а сколько, допустим, стоит одна фича, то есть экономика твоя, то есть там так же, как ты смотрел, разработчики это делают. Также сколько токен тратит на каждую фичу, ты можешь смотреть и дальше делать оптимизацию. Ну а в чём заключается оптимизация? Это с первого раза, чтобы проходило. Любой возврат стоит компании денег. Чем позже мы его нашли, тем дороже находится. Здесь, соответственно, мы можем это также складывать с точки зрения искусственного интеллекта и думать, а какой контекст ему дать для того, чтобы выстить результат. Всё-таки мы знаем, что модели даже вот которые модели не такие мощные, как OP в своё время, они начинали давать лучший результат только потому, что окружение было правильно построено вокруг них.
Угу. Мы с тобой, мне кажется, неплохо пообщались. Хочется, знаешь, такой в конце эксперимент провести. Вот давай посоветуем мы что-нибудь, не знаю, собственнику IT-компании, который, э, понимает, да, что нужно двигаться в ногу со временем, что если ничего не делать и не переходить на AI территорию, то через несколько лет, скорее всего, ну, непонятно, что будет с его компанией. Вот, скажем так. А что вообще ему делать? Куда идти? Что, какие шаги ты порекомендовал?
Угу. Не исходя уже из твоего там пройденного пути, да, изнутри, да. Ну, первое, ты понимаешь, что это надо делать, то есть потому что иначе то есть можно отстать от других компаний, которые это внедрили. А второе, поскольку всё-таки сейчас искусственный интеллект, очень много там теорий, как может использоваться, очень много информации, притом информация иногда идёт мартивая, то есть не не практическое использование, то есть тут нельзя взять какой-то готовый плейбук и, в общем-то, егоследовать. Поэтому тут больше идёт хорошая работа это найти какую-то источник информации. Может, это какие-то люди, которые реально эксперты нанять, короче, купить экспертизу.
Купить экспертизу. Может, допустим, пойти какие-то есть бесплатные конференции, то есть там недавно я была на конференции бесплатная, где люди сильно с опытом, с реальным опытом внедре не делились. То есть дать какую-то такой почту для ума. И после этого я вот выстроить такую культуру в компании очень важно. То есть она полезна не только в Ии, но в И особенно критично сейчас это культура эксперимента.
То есть когда ты постоянно еженедельно запускаешь какие-то эксперименты, что-то пробуешь и внедряешь и смотришь. То есть это на самом деле такая ситуация, я встречал в нечастых компаниях, то есть когда люди очень сложно внедрять что-то новое. Здесь надо поменять философию. Угу. Это тоже своего рода рабо то есть которую, ну так же, как мы вот делаем как когда мы приходим, мы как раз вводим эту культуру экспериментов не только и, ну, сейчас как бы и в том числе мы это делаем.
Угу. Вот, в общем-то, подключить источник информации и начать экспериментировать или найти людей, кто поможет тебе это экспериментировать, адаптировать именно под твой бизнес, потому что ке даже мы внедряем и в каждом случае это работа немножко по-другому.
Тут, знаешь, какой-нибудь, опять-таки, другой директор скептик скажет нам: "Мы тут еле-еле, концы с концами сводим, да, экономика еле-еле сходится, там, не знаю, новые налоги". Угу. И всякие там изменения и так далее. А вы нам предлагаете ещё просадить, не знаю, сколько-то процентов бюджета на эксперименты.
А, хороший вопрос. И тут тогда можно взять людей, которые, допустим, это делают, потому что, к примеру, ты можешь искусственный интеллект всё-таки обходит дешевле разработчики. И если ты возьмёшь людей, которые уже это сделали, а есть компании, которые предоставляют такие услуги, ты можешь сэкономить уже здесь сейчас, то есть деньги.
Угу. Ну, опять-таки, возвращаемся к варианту купить экспертизу готового этого специалиста на рынке. Да. Да.
Тогда следующий вопрос. А как понять, что перед тобой готовы специалист? Кто, а не какой-нибудь условно вчерашний инфоциганин? Как вот нанять этого специалиста, найти его и купить? Знаешь, это, наверное, если ты не разбираешься в теме, тут возможно, как в любом другом найме. То есть ты когда находишь людей, которым ты доверяешь и которых, которые могут действительно это сделать, они понимают тему.
Короче, грубо говоря, использовать рекомендации либо позвать опять-таки другого доверенного тебе эксперта, чтобы прособеседовать, да? То есть можно этот эксперт будет дороже, он может найти тебе вариант подешевле, но он всё-таки позволит себе выбрать. Я думаю, тут, на самом деле, тоже это было, как сказать, реально подход рабочий во все времена.
Согласен. И тут не сильно на что-то повлияло, да. Спасибо большое. Было очень приятно и интересно. Мне точно. Надеюсь, и зрителям тоже. Да, спасибо за приглашение. Плохо идёт. Ну, уже так начало чуть сковано, сейчас как-то раз это разогрелся. Я тоже сначала чуть-чуть немножко. Всё-таки в кальянке атмосфера другая, а здесь эти лампы. Софи. Короче, это будет моста стоять такой. Это бэкйдж.