Transcription
Мы решили сегодня неожиданную такую тему поднять, которую никто не обсудил ещё. Зайти, короче, как, ну, как действительно хорошие подкастеры и журналисты, ковырнуть что-то, что вот вроде как у всех на слуху, но никто это не обсуждает.
Ну, вообще, Фил, да, хороший момент, потому что вот мы с тобой всё избегаем, избегаем, избегаем эта тема, а она же висит над нами в каждом выпуске, да? Вот мы каждый каждый раз гость приходит, мы такие вот и и такие вот понимаем, что, ну, ну, придётся про него говорить, ну, не можем не говорить. А сегодня вот мы можем не стесняясь прямо естественно такой, что там с Ии, какие сейчас тренды, что происходит, что там сейчас, чем чем всем пользуются, что самое модное, современное, молодёжное.
У меня был эпизод жизни, когда я пришёл в баню, и там, ну, как бы уже, мне кажется, прошлый год и мужики в бане обсуждали чат GPT. И я понял, что как бы всё поменялось. Я в Яндекс облаке отвечаю за ML, вот за весь этап продуктов вокруг генеративок, а речевые технологии, поиска, ну и многого другого.
Облако - это инструмент для разработки, по сути, ну для разработчиков. А эта сфера, насколько я могу судить, она вот туда зашло больше всего и агентов, и ассистентов всевозможных. То есть это первое, где они появляются. Грубо говоря, если я сейчас сделаю Деф, в которой нельзя будет сделать агент или ассистента, никто не рассмеются в лицо, никто не будет её использовать. С облаками я, ну, и я сам не не девопс, мало этим занимаюсь, но, насколько я понимаю, там просто настолько непаханное поле того, что можно оптимизировать в работе людей, мне кажется.
Да, смотри, тут ты прав, что наша аудитория - это разработчики. Вот, эээ, и, мм, ну, мы делаем действительно инструменты, на базе которых какое-то большое комьюнити разработчиков должно строить и приложение и так далее.
Но я вообще на самом деле как бы вижу, что, ну, давайте скажем так, в большинстве компаний в России, даже технологических, внедрении II происходит нет разработчика. Вот. Ну, в смысле, как правило, там типа бизнес сверху приходит, ставить какую-нибудь там голзу большую, и начинается прямо такое бурление. все начинают это делать. Вот я даже видел случаи, когда на вот в одной компании на ревью, а, ну, в общем, поставили условие, что если у вас не будет за там вот этот цикл ревью ничего внедрённого про AI и какие-нибудь там типа бизнесмерити вокруг AI, то мы вам типа оценки повышенно не дадим там всему юниту, условно, там, всей команде. И, ну, то есть как бы я я вижу, что в очень многих компаниях это прямо происходит сверху вниз. Очень редко там разработчик пришёл, что-то напилил, и вся компания внедрила, там все там на оптимизировались и так далее или, ну, не наптимизировались, а скорее получили какой-то там большой от этого. Вот. И мм скорее, как бы, то есть я вижу, что нам как типа платформе для разработчиков всё равно приходится думать о том, а где взять вот эти бизнес-сценарии пользователей и так далее, и так далее, вокруг которого это комьюнити объединиться. Надо сделать кнопку, чтобы типа чувак нажал и у него все сервисы переименовались в такие же, но с надписью AI. Пошёл бы свой бизнес. Такой смотрите, мы полностью перенесли нашу инфраструктуру на AI сервисы. У нас всё теперь с искусственным интеллектом.
Ну когда-то, кстати, это работало, помните? Я не знаю, выделивать кейс кларны или нет. Есть такая компания, она делает BNPL. Это как типа рассрочки, только посложнее помни. Вот. И Кларна была одна такая из самых ярких компаний, которая начала внедрять AI. Начала она, очевидно, с поддержки. Ну, потому что как бы fintech бизнес, он сильно завязан на поддержку, на пользователей, там, на какие-то обращения и так далее. И они начали, ну, они внедряли его по наишной модели и начали рассказывать о том, что оптимизировали что-то там десятки процентов вообще людей. Вот. И прямо об этом громко-громко рассказывали. После этого, кстати, акции одного из самых больших контакт-центров в мире аутсорсинговых, в смысле, у него упали вниз, короче, после этих новостей.
А буквально в этом году Сео Кларн рассказал, что что-то мы переборщили, вот откручиваем немного назад, у нас там типа качество упало, пользователи местами недовольны и так далее. Вот.
У меня у деда компания называется кабельщик. Они ремонтируют кабеля. Я ему предлагал на днях бизнес идёт не очень хорошо. такой ты в этот сделай компанию публичной и добавь AI. У тебя будет кабельщик AI, и тогда все бросятся в тебя инвестировать, и ты будешь сидеть в куче денег.
Кабельщик как кино с Джимом.
Кабельщик. Да.
Мне, кстати, понравилось Фил твой спич. Вот ты недавно говорил, что вот про этот хаос того, что вроде все такие хотят AI, да, и что-то спешат, спешат внедрять AI. И с тем же самым то же самое не только внедрение в продукты, а и ну в работе как бы, да, люди спускают не только давайте внедрим в продукт, а давайте ещё, чтобы у нас все разработчики умели пользоваться AI. И ты говорил типа: "А что вообще такое уметь пользоваться AI?" Типа разработчик умеет пользоваться супер сложными инструментами. Всё, что разработчик изучает, все эти технологии, фреймворки, языки программирования и прочее, прочее, это капец сложное. И мне кажется, по сравнению с ними AI, ну, типа, это штука, с которой любой человек без особых навыков может справиться, потому что ты приходишь к нему и спрашиваешь. И когда вро вроде как появляются такие, знаешь, сейчас в этом хаосе всплывают новые профессии, которые ещё не устаканились, но которые вроде как где-то там у кого-то уже есть. Вот промпт инженер, то есть это вот, я так понимаю, чувак, который спрашивает его правильно как что-то. промт инженер. Вот мне кажется, что то есть вообще я видел, видели же, да, как бы в один момент это стало прямо очень популярным слово, типа в двадцать третьем году, мне кажется, многие, короче, много было промтнженеров каких-то в интернете. Вот я даже наблюдал, что
когда вышелчат GPT, помните же, там тогда была волна лей-офов, увольнений в американском биктехе, вот там типа десятки тысяч людей уволили. Я смотрел, наблюдал в Линкодне, как многие какие-нибуд селзы или там sales-инженеры резко переименовались промт инженеров. Вот. Ну, в общем, это было такое, ну, в общем, визуально это видно было, что какая-то как будто бы новая профессия возникает. Вот что примерно я понял. Я в смысле видел ещё и вакансии даже в российских компаниях в крупных, э, на промт инженеров. И мне показалось на тот момент, что по сути вот компании, которые внедряют AI, какие-то языковые модельки, мм, пробуют собрать приложение, они пытаются, ну, типа они видят какую-то операционку вокруг этого, типа надо, блин, собрать промт, надо, чтобы он как-то там качественно работал, чтобы умел, не знаю, вызывать какие-нибудь инструменты и, в общем, чтобы был человек, который отвечает вот за этот кусок качества приложения. Вот была, наверное, такая идея. И вот
отсюда появился промт инженер. Вот. И какое-то время реально их даже массово нанимали. А, но потом
массово уволи.
Ну, потом с года двадцать четвёртого все всё поняли. Вот я, кстати, видел у Антропика была вакансия, называлась она проomt инженер с/библиотекарь. Вот. Ээ, я не знаю, что это такое, короче, было. Вот. Но антропик явно жил где-то этот в параллельной вселенной, в будущем. Вот. Но про промт инженеров как бы всё к чему пришло, как мне кажется, вот что, как я сказал, промт - это буквально часть приложения, которая вот типа влияет на качество выходного выходного продукта. В итоге работа над промтами постепенно сводится, ну, очень становится очень похожей над тем, как там инженеры, L-инженеры работают над улучшением качества какой-нибудь модельки. Вот, э, там становятся популярны фреймворки для улучшения промтов. Ну, типа как бы сейчас давайте объясню по-простому. Можно, вообще, не трогая веса модели, автоматически искать лучший какой-то вот типа шаблон, промт, инструкцию вот, исходя из какой-то метрики. То есть ты собрал заранее датасет, какие-то корзинки, вот, и пытаешься на этих корзинках подобрать такой пронт автоматически, чтобы у тебя на выходе качество на этих вот на этом датасете сошлось там в какой-то максимум. Это типа как дискретный питюнинг, да, типа дискретная промт оптимизация.
Вот. И на этой, ну, на этой теме тоже есть там много фреймворков. Там DPY, наверное, самый популярный от Стемфордской лаборатории. Вот. И со временем, да, интерес к промт инженерингу и к такой профессии ОГАС и в какое-то будущее, где есть такая отдельная профессия, я скорее не верю. Вот скорее мы научимся работать с промтами примерно так же, как работаем с улучшением качествамоделей.
Сейчас наша любимая рубрика вместе с Авитох. У нас в гостях бэкэнд- инженер Паша Стариков, и мы поговорим про базы данных. Почему Postgess QL везде, а что-то другое используют редко? Послушайте и загляните по ссылке в описании. Почитайте побольше про работу в Авитотех. Мы тут недавно обсуждали, что как-то фронтендеры успокоились. Вот у нас частенько мы, знаешь, фронтендерские поднимаем. Фронтендеры успокоились в плане борьбы всяких фреймворков. Раньше мы шутили, что они постоянно что-то новое изобретают, что у них там сформировалось, ну, не знаю, 2триче, 5ть больших инструментов, которые постоянно конкурируют, они там грызутся и холиварят, а у бэкндеров как будто бы никогда не было. То есть, хотя вроде баз данных должно быть много разных всего должно быть много разного, но как будто бы у всех, знаешь, такой стандартный набор. Ну, база данных, вот это есть стандарт, есть стандарт, есть стандарт. Почему так получилось?
Хм, честно говоря, я вообще не из мира фронтенда, поэтому тяжело сравнить. Но бэкэндеры, мне кажется, они такие больше про принятие. И, возможно, бэкэндеры мм любят свои велосипеды и любят чужие разные велосипеды, не любят о них спорить. Не знаю, как мне кажется. А базами данных тоже всё интересно, но база данных вообще такой непростой, непростая технология, которую тяжело разработать, тем более сделать это хорошо, доступно и с каким-то порогом входа. Поэтому, наверное, действительно прижились какие-то одни, ну, точнее, не прижились какие-то единицы. Там мы, допустим, знаем, что там у нас для носQэля там дис для каких-то там реляционных штук это в основном постгруз, где-то мускуль, где-то там, наверное, ещё оракл живёт. Я, честно говоря, не эксперт. Вот. А, но при этом есть и другие, естественно, вот всякие тарантулы новомодные. Ну, не новомодные уже. Я бы сказал, что это не одна из тех вещей, где прямо вот [ __ ] как в кайф экспериментировать, где ты такой: "А у нас тут 100 триллион данных, но вышла статья про какую-то новую базу данных, дай-ка я всё на неё пересажу, а вдруг сработает". Типа в бкнде немножко так не не делается. А это как будто да, тут ещё цена ошибки велика, и поэтому люди доверяют чему-то стабильному такому тяжёлому. то, у чего слон на логотипе.
Инерционность большая гораздо, чем у фронтовых инструментов. Самое главное, у тебя, когда какая-то база есть и ты умеешь ей обращаться, у тебя не возникает каждый день а вопрос: "А не перейти ли мне на другую? А вдруг другая может что-то лучше делать?" Она как будто когда решает твои проблемы, ты об этом и не задумываешься.
Да. Мне кажется, постгрес вообще в этом плане, ну, крутая история, то, что там можно делать прямо много разных штук. Там хочешь туда, можешь что-нибудь там нереляционное в JSON B сложить и вообще там какую-нибудь магию накрутить там плюс индекс и всё будет работать из коробочки. Хочешь там разложи всё в какую-нибудь нормальную форму, прямо суперподробно по учебничкам, у тебя тоже будет, по идее, всё хорошо работать. Вот там есть, конечно, свои небольшие какие-то истории с именно там соединениями, как там внутри устроены и с хайлодом. То есть его надо тоже уметь готовить. Но, конечно, большинство болей, особенно когда у тебя не суперхайлот большой продукт, ээ, когда у тебя там условно до там два, ну, до там до 10ти, до 20цати табличек, мне кажется, прямо такое очень добротное решение.
Угу. Я бы тут еще добавил, что у тебя, а, ты очень редко натыкаешься на то, что база данных не может чего-то, что могут другие. Это, в принципе, редкий кейс. И когда он есть, ты обычно можешь это всё равно тем или иным способом решить. Я не бэкэндер, но много на каких проектах я был, где использовались базы данных. И я, в общем-то, ну я такой: "Как здесь сделать это?" Мне такие: "Вот так, как здесь делать это?" Вот так. Это совсем не та история, когда у тебя какие-то фронт-фреймворки, которые тебя заставляют мыслить по-другому, делать всё по-другому, изучать огромную кучу информации, как пользоваться именно этим инструментом. Как будто бы ты изучаешь инструмент ради того, чтобы изучать инструмент. С базами данных такого в принципе нет. Вот. Нет. И всё. Они спроектированы как и должны, делают то, что и должны. И, в общем, обычно делают достаточно хорошо, насколько должны.
Ну, мне кажется, да, они же еще ну придерживаются каких-то форматов, канонах, которые из года в год разные там реляционные базы проносят сквозь себя и
Угу.
поэтому как бы такая, да, достаточно, ну, вот инертная штука, правильное слово ты сказал. Тебя же ОРМ абстрагирует от этого достаточно сильно, и ты можешь очень много проектов сделать, не вдумываясь, даже не зная на самом деле какая у тебя БД, потому что интерфейс одинаковый из кода. Ты же живёшь, делаешь прокси, всё работает, и ты, ну, никакими вопросами не задаёшься. Меня очень удивляло, когда на вакансиях требуют знаний специфичной БД. Ну, опять же, я не бэкндер, но я не понимал, честно говоря, зачем. Ну ты не только ормками, ты можешь и просто за счёт там своей архитектуры, построения своего проекта абстрагировать свою бизнес-логийку. Там если какой-нибудь там чистый подход используешь, там вынести всё через какие-нибудь там порты, адаптеры у тебя отдельно и хоп бас баску данных подменил, у тебя классно работает, да. Ну с уромками вообще в Авито немножко странная история, их тут не любят. тут в основном э или прям запросами в драйвер, или какие-то используют обёрточки для кодогенерации запросов. Вот больше я, наверное, ничего не встречал за свою практику, но вот именно ОRM в классических каких-то Активрекорды тут почему-то не приняты или там как аля в Пайтоне, Джанга, вот эти вот штуки. Тут таких э ну мне кажется, в целом даже в Гони не так приняты, как в других языках.
Угу. Слушай, а их же как будто бы нигде не любят. Это же везде этот трейдоof, когда ты производительностью жертваешь и однозначностью за счёт того, что легче код писать. И как бы если бы у всех был бюджет самому писать запросы, все бы так и делали. С другой стороны, они, конечно, абстрагируют от конкретной БД, но с третьей стороны ты хрен с два, когда на проекте на ходу меняешь БД с одной на другую. Это исчезающий редкий кейс.
Отдельно эпик на квартал поехали. Миграции, вот эти всё плавные переключения. А, да, всё так.
На клиентах их любят, когда ты не кэн делаешь, а когда, я, не знаю, какое-нибудь мобильное приложение или десктопное и у тебя орm там я ясен хрен вообще не такой объём данных, и ты пишешь там один общий код на кроссплатформу, там прямо любит. А так их везде используют, но это не хотя. А ещё везде, где их не используют, разработчики время от времени потихонечку всё равно её делают, сами того не замечая. Ну, вообще это же такая история, да, там запрограммировать свою ОРМ, это прям, мне кажется, все чуть-чуть через это проходят в какие-то разные этапы свою жизнь. Все программисты.
Как вообще думаешь, в будущем просто как будто БД наиболее консервативная область из современной веб-разработки и как будто бы там никто не хочет всё менять и переделывать по-новому, как считаешь?
Э, ну, появляются какие-то всё равно новые штуки. Они так или иначе возникают там по тем или иным причинам, но как будто вот есть такие прямо, да, монолитные такие тектонические плиты в виде баз данных, которые есть, живут. И, ну, мне кажется, там, э, у некоторых людей столько данных там питабайтов каких-то заложено, что просто это физически даже взять и просто перейти на что-то новое, другое тяжело, и никто так та к таким рискам не готов. Вот поэтому, ну, и да, на самом кажется, сейчас как будто базы данных обеспечивают тебе производительность, которой достаточно, чтобы полностью покрыть потребности пользователей. Поэтому и эта тема как будто ээ ну, мне кажется, не имеет такого роста, который был там 10-15 лет назад, потому что сейчас они вышли на такое прямо увеситое плато и плотненько плотненько стоят, и их хватает, чтобы делать всё, что ты захочешь. Там и разреплицировался, и расшардировался. Всё работает быстро. Пользователи картинка прогружается мгновенно, с кучей данных всё поднимается, поэтому всё хорошо. Если задуматься, я за всю карьеру ни разу в жизни не слышал с Рачий из АБД. Я слышал срача насчёт реляционные эти объектные, но как абстрактно. Но чтобы вот кто-то срался такой: "Нет, там SQL лучше, нет, лучше там постгрес". Я такого не слышал никогда.
Я слышал в своих ситуациях, когда приходи когда приходит чувак и говорит, что мы используем какую-то базу данных, которую вот нигде не используют, но мы её используем, потому что вот она реально хорошая, а все остальные просто дураки. Вот такой я пару раз такое что-то читал.
такое, да, такое бывало. Ну, там обычно спор идёт, вы идиоты или не идиоты. Или на самом деле это вы идиоты. Ну
вот, кстати, ты сказал про споры в Авито есть процесс TDR. И частенько я там наблюдаю, как чуваки там я использую монго ему такие: "Не-не, не, зачем тебе монга? Позгрос, и у них там прямо тредики идут". То есть холивары есть, но они такие локальные, как будто небольшие просто какие-то там. То есть
кто побеждает? А, ну вот конкретно этот Халивар, который я видел, победил в итоге Постгрес, потому что реляционная структура победила и монгона с той точки зрения, что там будут нагрузки. В итоге посчитали, прикинули, поняли, что постгреса хватит, и такие: "Давайте посгресс".
Угу.
Слушай, монку везде пичат бывшие фронтендеры или действующие, потому что они такие, она объектная, и она она им напоминает JavaScript. Они такие: "Давайте сделаем вот мы весь веб загадили, давайте ещё и бкэнд загадим своим подходом вот этим фронтовым."
Ты не поддакивайму, Паша. Это только ведущему можно на фронтендеров накидывать.
и то де пары. В какой-то момент времени, очевидно, с внедрением AI, использование вот, короче, языковых моделей, оно перетекло из того, что все просто какой-то промт написали и у тебя там приложенька что-то где-то болтает или самомузирует, да, в то, что а давайте мы каким-то образом научим вот эту языковую модель, вообще AI какую-то модельку общаться с моим приложением, с моим доменом, с моим сервисом каким-то. Здесь, ну, стал вопрос того, чтобы появился какой-то протокол для этого. Вот. И MCP - это как раз LLM first протокол, то есть такой стандарт, который описывает как-колит обнаруживает и вызывает инструменты и ещё получает контекст и шаблоны промтов вот у этих самых MCP серверов, да, его как бы типа такое простое описание, такой USBC для e приложений. Вот по-простому, если прямо совсем.
Ну или давайте попробуем, давайте попробуем пример прямо придумать.
Зумеры изобрели апи.
не совсем. На самом деле,
да и нет. В смысле, моё мнение тоже такое, что я когда посмотрел на эту штуку, вот когда антропик я выпустил, я на неё посмотрел, мне показалось, что техническая реализация довольно сырая. Вот. И мир реально заново изобрёл апи. Вот. И это это правда выглядит так. И но не знаю, заметили вы это или нет, но сначала двадцать пятого года слово MCP тоже звучало там из каждого утюга. Его реально там все начали почему-то поддерживать. И моё мнение здесь такое, что курсор, как бы все же знают, да, вот курсору нужно было выбрать какой-то протокол вот для взаимодействия с внешними приложениями. Вот. И они выбрали MCP.
Вот.
И, ну, и все в итоге повтыкались в MCP, как бы канда логично. Вот. И это скорее как бы, ну, для меня это одна из причин успеха. Ну, в принципе, как и с любым протоколом, здесь как бы важно, чтобы индустрия объединилась вокруг него, чтобы действительно вот он стал стандартом, и тогда протокол как бы становится, ну, массовым, побеждает и так далее.
У нас же так все протоколы и появились. Они, ну, те, которые мы используем, они не лучшие, а не те, которые в какой-то момент вдруг стали общепринятыми.
Ну да, да, скорее всего, так. Скорее всего, так вот. Ну, штука вообще как бы индустриально очень важная, потому что действительно, если все наши сервисы, мм, с которыми мы взаимодействуем, наши приложения взаимодействуют и так далее, в общем, научатся общаться с AI моделями, вот, то это одна из больших вещей, которая нас приведёт к какому-то там новому будущему, включая агентному и так далее, и так далее. Можешь прямо пример использования MCP с тем же курсором? У меня есть курсор и скажем, есть, я не знаю, GitHub.
У тебя есть курсор, давай. У тебя есть курсор и, например, Джиры. Вот такой разработчик: "Слушай, возьми мою там таску в Джири, вот, и под эти требования напиши какой-нибудь код. Всё." Ну и она пошла в эту жиру, общаясь с Жирой через MCP сервер, получила оттуда информацию и уже там языковая модель всё это обработала и какой-то код написала. Это такой простейший пример.
Угу. Этот MCP сервер его делает Джира или его делаю? Я
его делают, ну, вообще конкретно Джирты свой сделала, вот но базово его пишет как вендер, если он хочет, чтобы его вызывали какие-то приложения.
И публикует наружу. Вот. И также, на самом деле, внутри компании тоже, в смысле, в закрытом контуре, тоже можно написать MCP сервера, чтобы какая-то закрытая уже там в закрытом контуре языковая модель могла общаться с тем, чем с чем чем нужно общаться в компании.
Это всё равно путь какой-то стандартизации, а не то, что каждый пишет вообще всё своё и у всех свои куча разных MC.
Это супер важно, да? То есть здесь как бы происходит экономия на том, что ты один раз пишешь интеграцию и после этого ты можешь вот конкретный сервер какую-то конкретное действие уже использовать, переиспользовать в других каких-то сценариях, в других приложениях, которые пишут компании. Ну простой пример, вот есть какая-то CRM, да, вот у всех же компаний там, ну, у многих компаний есть CRMКа. Сирмка - это как бы горизонтальная тулза, то есть она используется в куче разных функций, и ты можешь как бы не писать там под sales или там под сапорт или отдельно там под какой-нибудь маркетинг или под что-то ещё интеграцию с этой crмкой вот под каждое отдельное приложение, а сделать как бы одну один MCP сервер, с которым будут общаться все вот эти приложения вокруг разных доменов компании.
То есть промп инженеры больше не нужны. Профессия
промт инженеров.
Это не связано. Хорошо. При этом, а ещё про MCP вопрос, допустим, я не знаю, я хочу, чтобы я ходил в языковую модель, а она у меня писала сообщение в Telegram за меня. Я могу написать MCP- сессервер сам, который будет, э, предоставлять для лмок по сути интерфейс к телеге.
да? Ну, мне кажется, есть какой-то уже MCP сервер к Телеграму. Ну, я могу ошибаться, ну, как бы можно потом офлайне посмотреть.
Ну, скорее всего, что-то уже есть, на самом деле, да. И при этом это самоподпитывающаяся история. То есть лмки всё больше будут оптимизированы под работу именно через MCP с приложениями.
Большезыковые модели и так умели общаться с MCP. В смысле MCP - это та же самая Gсонка, вот что и раньше.
Да, она на выходе даёт такой же GSON, который и без всякого MCP она умела делать, и там без конкретного. Но из-за того, что модель может это делать лучше или хуже. И если у тебя все модели на рынке постоянно взаимодействуют именно в таком формате, то они будут делать это лучше с каждым днём. И если ты там перепридумаешь этот формат и вместо того JSON решишь использовать маркдауны там по-другому принципу будешь выстраивать это общение, то это будет работать просто хуже.
Ну да, тут в смысле ты прав. В том смысле, что моделям не нужно учиться взаимодействовать с MCP. Они как бы, если поддерживают вызов функций function calling, то, ну, это как бы та же самая.
Жека, то всё как бы оно работает. И ты прав во второй штуке, что действительно провайдеры языковых моделей или там вендоры, в общем, типа производители, в общем, те, кто обучает модели, они буквально бенчмаркаются на вещах вокруг качества вызова функций, пытаются там довести его до самого максимума и так далее, и так далее. Это действительно критически важно, чтобы модель научилась генерировать правильно вот эти тексты в виде JSON.
Один из главных вопросов индустрии к MCP, а который возник, когда он вышел, когда я говорил, что он сырой, это то, что там не предусмотрены никакие механизмы безопасности. Вот даже простой способ аутентификации в своих сервисах. Вот. А как внедрять? Ну, если ты хочешь это внедрить в компании, вот без каких-то способов это обезопасить, вряд ли ты будешь давать доступ языковой модели ходить в своей собственной системы, вот, которые там дальше повлияют на клиентов и на всю компанию.
Но это не выглядит как как что-то неисправимое. То есть это такое поверх можно обмазать каждому по-своему. Можно обмазать каждому по-своему, можно тоже стандартизировать на уровне платформы какой-то и помочь разработчикам с этим не вариться, а предоставить какие-то понятные способы аутентификации и в принципе обезопашивания работы с MCP тоже как бы то, чем мы занимаемся.
У нас изначально в HTTP не было практически ничего заложено для безопасности. Ну, кстати, возможно, и мы построили на нём весь интернет. Системы, которые друг с другом через него общаются, на них лежит, они сами придумывают, кому что можно, кому что нет. Хорошее сравнение, да? Ну да, да. То есть там хэдеры и так далее, с помощью чего можно было эту безопасность накрутить, там было, но это и в MCPS, насколько я понимаю.
И отсюда мы плавно переходим к агентам, потому что это именно та штука, которая позволяет нашей языковой модели совершать действия. Ну, как бы позволяет совершать действия MCP как раз и вызов функций. Да.
Агенты. Короче, чем интересны, как мне кажется, вот чем индустрия, ну вот на уровне даже простого применения пользователя, вот когда я писал каких-то агентиков пробных, точнее первых для себя, я удивлялся тому, что вот я, короче, раньше писал какую-нибудь приложеньку и там сделал несколько интерфейсов, да, там несколько кнопок, что-то ещё. Придумал, что вот мой путь, если я буду решать эту задачу в интерфейсе, будет выглядеть как-то вот так вот. А потом, когда я пробовал написать агента вот к тому же самому приложению, и какой чейндж там самый большой я увидел, что вот я-то мыслю как бы недетерминированно, да, а и прихожу в какое-то приложение, где попытались за меня детерминировать, типа как я мыслю. Вот я нажму сюда, сделаю это, там вот вот сюда. Разложили на на пять шагов, да? Да-да-да. Вот. Ну, как бы все, все же, когда новое приложение открывают, понимают, что это надо разбираться, неудобно, вот это вот всё. А тут я пишу запрос, и языковая модель по сути пытается цикл действий весь этот выполнить самостоятельно. Ну, типа какой-то там план поставить. Это вот всё же, я думаю, все это видели. Вот. И пройти этот путь за меня примерно на вот моём языке мышления, да, там типа у меня такая цель, я прихожу с целью какой-то там в приложение условное. Вот. И вот пока я этой цели не добьюсь, я буду по этим сервисам ходить и какой-то результат получать. Вот как бы концепт, ну, на уровне пользователя, где возникает какая-то вау штука такая, типа меняют твоё взаимодействие с приложениями, стандартными интерфейсами и всё такое.
Агенты вот это и есть, это то, к чему ты обращаешься и просишь что-то сделать в приложении. Ты зашёл в ChatGPT и сказал типа, ну, я не знаю, я хочу написать музыку. ChatGPT тебе будет говорить, он будет с тобой общаться, как это делать. А если ты, хотя, блин, с музыкой плохой пример, не знаю, я хочу очистить свой компьютер, удалить всё ненужное, ты его спрашиваешь, и он тебе говорит, что сделать. А другое приложение, которое может использовать тот же ChatGPT внутри, ты говоришь: "Я хочу очистить свой компьютер", и оно тебя такое: "О'кей, я удалю вот эти файлы". И ты говоришь: "Да, удаляй". И вот если оно это сделало, это уже агент. Если оно тебе только сказало, что сделать, это ассистент. А если оно само может совершить действие, передвинуть Task of Jira, удалить файл, создать тебе файлы с кодом и положить их в проект, сделать Git Commit или что-то ещё, это агент.
Ну, может быть, так. Хотя на самом деле ассистенты за нас, ну, ещё до там нового бума языковых моделей делали какие-то действия. Вот. Я думаю, вы это замечали. А, но на самом деле, мне кажется, что самое большое отличие это тем, что здесь языковая модель, ну, как бы выступая артистратором, оперирует как понятием цели. Вот. И пока она как бы эта цель не выполнила, вот она свою работу не заканчивает. Вот. Типа нет какого-то там вот пути одного, по которому она идёт. И, ну, пока она, в общем, она этот путь придумывает, ну, моментами сама моментами могли за неё придумать. Вот. Базово, она должна оперировать целью и может выполнять задачу в много циклов.
У меня есть такой пример, где, мне кажется, вот без агентов, короче, никак. Это планирование путешествий. Вот. Ну вот вы же это же на самом деле очень комплексная задача, и ты там решаешь, куда полететь зимой из Москвы, чтобы там было тепло, море или что-то ещё. Там набрал какой-то набор гипотез, потом такой: "А сколько туда стоит полететь?" Начинаешь ресерчить цены. А, о'кей, выбрал, что вот сюда, например, а в какую дату выгоднее всего? Ну, у тебя же там срок, наверное, есть там несколько месяцев, в которые ты можешь полететь. Потом ты как бы купил билет и ищешь отель, у тебя тоже там запрос какой-то под отель свой специфический, вот свои критерии. И на выходе ты такой: "Надо, чтобы это всё уложилось вот в такой бюджет". Вот. Ээ то есть это такой прямо большой цикл действий, которые люди сегодня выполняют. То есть для меня это реально как бы мука вот выполнять эти путешествия. Это большая мука. Да, согласен.
Вот. И вот как бы самый простой пример, где, ну, то есть вот такой, мне кажется, яркий пример, где нужны агенты и где мы их точно увидим в ближайшем будущем. И на самом деле есть уже агенты для путешествий, там вопрос качества и так далее. Это вот, например, Travel. Но таких задач будет много. В смысле Travel - это просто такой яркий пример, который будет понятен там аудитории массовой. То есть вот здесь мы ждём массу внедрений, всего изменения всего, когда, ну, по сути, те сервисы, которыми сейчас завален рынок, все люди ходят пользоваться каким-то сервисом там, сделай то, купи здесь купи там, поищи здесь, сделай что-то в интернете. В общем-то, вот если здесь будут появляться агенты, то вот это уже всё будет массово менять. И здесь далеко ли мы до массового внедрения этого всего?
Ну, рынок туда и бежит, на самом деле. В смысле? И как бы все же понимают, что все, ну, смотрите, как бы будущее, я думаю, представить несложно, если там всё стало MCP серверами или агентами, вот то, видимо, с помощью какой-то там одной системы будем мы с этим миром агентным ииным так взаимодействовать, как сегодня с сайтиками взаимодействуем. Вот у каждого там бизнеса, у каждого сервиса есть сайт и м ну в общем, мы мы с ними взаимодействуем. Но ещё, на самом деле, это также, ээ, близко и к работе нашей ежедневной, потому что, ну, вот буквально то, чем я занимаюсь, это вот придумываю, как сделать так, чтобы бизнесы внедрили ИИ и получили от этого максимальную пользу. И мой какой-то вот финальный образ того, куда бизнесы так или иначе придут, это, ну, вот как бы у базового офисного работника же тоже жизнь как бы непростая, и там тоже куча каких-то действий какой-то, то есть он там типа тоже есть какой-то цикл, он тоже взаимодействует с какими-то приложениями, с какими-то данными, он что-то там анализирует и так далее, и так далее. И как бы как будет меняться интернет в плане там MCP, агентов и так далее. Вот. Также, на самом деле, на мой взгляд, будет меняться и работа людей в офисах. Вот. Ну или там за компьютером, неважно, какая-то такая профессиональная работа.
Три чата у меня есть, где одни из участников, рабочих чатов, в которых мы занимаемся какими-то делами, добавили, притащили агента своего, который прямо вот в телегу добавили мне, и такие типа: "Теперь по поводу нашего с вами взаимодействия. Пишите, пожалуйста, ей". Они там создали женские образы. И ты ей пишешь, и она делает что-то. Это не какой-то даже узкоспециализированный, это жутко на самом деле. Насколько это многофункциональная штука, потому что она может ходить как минимум в чаты писать, может человеком созвониться. Что ты можешь её такое попросить, что она вот вот сделала? Вот вот ты пришёл. Ты можешь ты можешь попросить её, я не знаю, его данные. Вот у нас есть чувак в чате, и мы, исходя из его данных, должны какой-то материал составить, ну, статью написать. Угу. А она его данные знает. И то, что мы бы от него выпрашивали, ты бы у него, грубо говоря, интервью брал. Ты пойдёшь к ней, напишешь ей в личку и скажешь: "Вот этот наш чувак, нам нужно с ним составить вот такое интервью про него. Расскажи про него вот эти вещи". Она это сделает. И это Поставь нам с ним созвон. Она поставит. Ну поставь созвон. Я понимаю. О'кей. Хорошо. То, что ты говоришь, напиши мне про него. Что? Откуда она это знает? А он нагрузил в неё, у неё есть, он напихал в неё контекста.
И это начало, в общем-то, ээ, в плане работы разработческой. Ты можешь, у тебя есть, я не знаю, код где-то лежит и там есть issue, ну, типа, что в нём надо исправить. Ты можешь просто, сидя в Telegram, отправить или не сидя, прямо вообще без агента, просто, точнее, безде отправить агента, посмотреть, что можно исправить в коде, исправить это и прислать pull request. Да, пока работает. Ну, как бы не всегда. Ну, вообще-то у тебя и когда ты разработчика отправишь исправить какую-нибудь проблему в коде, это тоже, ну, очень далеко не всегда работает, но так уже можно делать и так уже делают. И внедрение агентов, а я, конечно, не изнутри на это смотрю. Я ещё там 2 года большой перерыв делал в индустрии, но сейчас, мне кажется, оно, то есть, сейчас этим занимаются все, и я думаю, что через полгода они просто будут какое-то безумное засилие этих агентов во всех сферах, по крайней мере, разработческой рабочей жизни.
Да, точно так, точно так. Вот есть такой чувак в индустрии, зовут его Ричард Сохер. Вот он бывший Chief AI в Salesforce. Ну, в общем, одна из самых больших B2B компаний в мире. И он сейчас делает COM. Я я не знаю, как бы, что такое COM сейчас. Он вначале конкурент Google, типа строил, потом какой-то конкурент ChatGPT, сейчас какой-то тамбичный ChatGPT. В общем, у него там постоянно какие-то пилоты. Кабельчик. Да-да. Да, но он говорит, что, ну, мне нравится его мысль, что там в будущем у каждого работника, то есть каждый работник будет менеджер своего агента, вот, или там команду агентов. И это правда то, куда, скорее всего, мы должны прийти. Но тут Фил подсвечивает правильно про, то есть вопросы качества. То есть мы на самом деле в самом начале говорили о том, что добиться нормального качества - это какой-то там большой путь, там пропасть между прототипом, продакшном, вот эти все тезисы звучали. И действительно так.
Ещё как бы если смотреть на то, что OpenAI сами про себя говорят, там был лидж какого-то письма внутреннего от Сэма Альтмана типа сотрудникам, что вот он типа пять стейджей применения ИИ видел каких-то, и вот он говорит: "Мы сейчас только на первом. Первое - это типа chatbots он называет". Второе - это Reasoners, третье - это AG и ну и там в самом конце типа организация целая агентская пятая. Вот. И они говорили тогда, это был год назад, типа лето, что они на первом этапе, а вот как раз в сентябре они выпустили релиз модели, и, ну, то есть это немножко, наверное, отражает их roadmap, если они понимают, что они вот по этим стейджам как-то двигаются. Вот вот пришли на стейдж 2, получается, с там, по-моему, сентября прошлого года.
И здесь как бы ты правильно подсвечиваешь, что базового качества языковых моделей точно в моменте не хватает для того, чтобы взять как бы и вот так вот как бы взял, написал какое-то сообщение и оно всё решило. Вот, подключив там все даже тулы и так далее, и так далее. Но, конечно же, индустриально мы как бы придём в точку, где языковые модели будут на это гораздо более способны. Это как бы первое. Второе, вот, ну, понятно, что reasoning там тот же самый, он у нас IRL, понятно, нас ведут к агентности. Ну, reasoning, потому что если модель, ну, то есть там в чём проблема, что у тебя, когда много шагов в много действий в пайплайне, вот у тебя копится ошибка какая-то. И для того, чтобы ошибка не копилась, ну, то есть, точнее, копилась меньше, reasoning, моделька потенциально должна это уметь как бы лучше хендлить, лучше обрабатывать, лучше с этим работать. Мы как бы постепенно, вроде как индустриально должны туда прийти. Вот. И поэтому компаниям действительно важно задуматься вообще в целом, а говоря немножко как бы о деятельности Яндекс Cloud, о том, как выстроить свою там как внутреннюю инфраструктуру, так и внутренний какой-то софт, с которым взаимодействуют сотрудники, так и данные, с которыми они работают, для того, чтобы они были пригодны к языковым моделям.
Мы, кстати, 24 сентября на нашей конференции Яндекс Neoscale. Это там самая флагманская конференция Яндекс облако Яндекс Cloud, на которая в этот раз с приставкой Neo, потому что мы будем много рассказывать про ИИ и про то, как компаниям это всё дело правда внедрить вот на уровне инфраструктуры, разработчиков, платформенного слоя, тулинга и так далее, и так далее. Вот. Так что, если будете в Москве, приходите.
То есть получается в идеале вот через эти, когда там вы говорите полгода, год или когда вот это всё станет агентным. То есть вот сидят какие-то Я думаю, что дольше на самом деле как бы но да не станет. Допустим, не может быть. Я впервые слышу человека, который говорит подольше. Сейчас все говорят: "Это завтра уже завтра всё, агенты будут завтра". Ну вот сидят какие-нибудь инфраструктурщики в какой-нибудь IT-компании, такие делают свой сервис. Они такие: "Так, нажимаем кнопку агенту. Агент, сходи в Яндекс облако, выбей там нам инфраструктуру, сделай всё". От них агент идёт к вам, но обращается не к вам. А у вас уже тоже сидит агент, эти агенты стыканулись, всё готово. Никому работать не надо. Все просто пойди организуй, у вас всё самоорганизовалось.
Ты ты не поверишь, но на стадии прототипов это, конечно, ни хрена не продакшн, но такие сервисы есть. То есть ты просто заходишь на сайт и такой: "Напиши мне код и ещё и разверни его где-нибудь". И он, в общем-то, это делает. Понятно, что это не там не масштабов Яндекс облако, это так прототипчики для промт-инженеров. Но Да, да, я, насколько понимаю, это вот это будущее. Он ещё развернётся, и ты такой: "А что-то, ну, плохо развернул. То есть мне там не нравится, сколько мы там либо за это платим, либо какая скорость, либо это что-то ещё. Сделай вот лучше здесь". Он бах, переразвернул. Да, такой план.
Ну, у Яндекс Cloud, конечно, есть задача автоматизировать работу со своим со всей своей внутренней экосистемой, давайте так это назовём, да, там инфраструктуры, там платформы безопасности данных и так далее, DevTools в целом. Вот. Но то есть как бы я же делаю трек, который называется AI Studio, вот такой зонтик продуктов вот всех ИИшных для B2B от Яндекс Cloud. И, ну, если спойлерить как бы какие-то вещи, то мы много будем рассказывать о том, какие вообще есть инженерные сложности при создании такого рода приложений, ну, агентов в том числе, и как мы их помогаем обойти вот от инференса до там продакшн оркестрации, рантайма и так далее, и так далее. Вот. И в целом презентуем много новых инструментов, которых раньше у нас как у нас не было, так и на самом деле на российском рынке не было.
На самом деле, ээ, когда мы предоставляем такого рода модель, во всю индустрию, во весь рынок, мы же собираем трафик, ну, то есть собираем какой-то поток запросов с большого количества клиентов, и мы на нём уже начинаем работу, чтобы оптимизировать свою собственную себестоимость, ну, вообще работы этой модели у себя на железе для того, чтобы индустрия получала её дешевле, там, быстрее и так далее. И получается так, что у тебя место платформы здесь ну такое, что компании разворачивать это самостоятельно и там крутить у себя использовать может быть кратно невыгоднее, чем это использовать у нас. И это как бы тоже задача, которую мы решаем. И в том числе как бы мы регулярно на самом деле начали снижать цены на на свои собственные модели, на open-source модели. Вот. Ну, то есть можно видеть, что мы вроде как проблему себестоимости экономики постепенно решаем как раз-таки для индустрии. Это там важная индустриальная задача для нас.
Угу. Ну, потому что вы в это, грубо говоря, кучу ресурсов инвестируете именно в то, чтобы это делать дешевле, потому что это и ваш бизнес, и их бизнес. Это ещё и потому, что у нас много потока, ну, в смысле, много запросов нас идёт, на которых мы можем на загрузку железа как раз оптимизировать. Вот что не могут многие компании. Ну, то есть те, чтобы развернуть deepseek, тебе там нужно там какой-нибудь хост на, ну ладно, хорошо. Ну там, ну, короче, четыре хоста, наверное, короче, много GPU. Тебе нужно, чтобы просто развернуть deepseek, просто развернуть, чтобы он просто вот типа работал. Вот. И экономически это просто тебе не сойдётся на скорее всего, если у тебя не какой-то огромный поток идёт в языковой модели. Вот. А пока в среднем бизнесов небольшой поток идёт в языковой модели. Все только скорее притрагиваются, пилотируют, экспериментируют. Вот. И с нами как раз это можно получить гораздо выгоднее и, ну, решить, конечно, кучу проблем вокруг того, чтобы это ещё и разворачивать. Интересно, это важная задача для индустрии в целом делать эти вещи дешевле. Чем они будут дешевле, тем более реалистичным будет то, что мы себе придумываем и представляем мир агентов и так далее. Потому что прямо сейчас-то, а, особенно, они доста не нем, а эти генеративные, которые изображения генерируют, видео, они очень слишком дорогие для тех вещей, для которых их все видят, как они будут использоваться.
Да, справедливости ради, как бы индустрия наша ина она как бы тоже это решает. Вот там за за сколько раз подешевели модели даже у того же OpenAI за последние годы, кажется, раз в 200, я уж не помню, ну, как бы в сотни раз. И действительно стоимость инференса тоже оптимизируется. И как бы индустрия тоже как бы на самом деле решает как бы вся ИИ, не только мы.
Угу. Там получается интересная штука. А модель, которая была год назад, стала стоить намного дешевле, а которая вышла прямо сейчас, она стоит намного дороже. И как бы та решала проблему, но все такие: "Мы хотим новую, мы хотим самую новую", потому что это круто. И опять это невыгодно становится. Не, на самом на самом деле ровно наоборот. Ровно наоборот же, если ты не замечал, в смысле, ещё раз, самые дорогие модели OpenAI в их API - это самые первые модели, которые они выпускали. Вот все следующие дешевели, дешевели, дешевели. Вот. И это довольно важно. Ну, в смысле, я думаю, достаточно понятно. Тебе нужно на эти новые модели. У тебя рынок как бы там качается, да, типа у тебя со временем возникает ситуация, ты можешь немножко ранить цену, при этом у тебя ты больше заработаешь. На самом деле у тебя это постепенно происходит. Ну и любой рынок устроен так, что у тебя постепенно маржинальность схлопывается. Куда-то этого деться тоже.
Вот мы делаем платформу м для того, чтобы можно было и приложение там собрать, получить какие-нибудь дополнительные инструменты, чтобы быстрее его написать, добиться лучшего качества. и так далее, и так далее, в общем, решить кучу инженерных болей, но у тебя есть уже какое-то приложение, ну, наверное, все какое-то уже там пишут в компаниях. Вот есть какой-то выбранный фреймворк, и мы делаем платформу вообще агностичной к фреймворкам и даём возможность вот этой аудитории разработчиков буквально перевести своё LLM приложение на нашу платформу типа в один день, такой импорт-фри как бы за один день вот за счёт того, что мы поддерживаем вообще любой фреймворк, а, который есть на рынке. Вот это важно. И это как бы там один спойлер другой. А как вообще найти какую-то м середину или там пользу, когда нужно какой-нибудь low-code использовать, а когда там хардкорный SDK? Вот. Ну и многое другое.
Угу. Немножко отступлю назад про качество. А мы говорили о том, что агенты они не могут пока выполнять с таким качеством, как хотелось бы. Но я замечаю такую штуку, что когда что-то может делать агент, и это что-то, где качество не бинарное, в смысле сделано, не сделано, как в случае же, если мы там закрываем мышью на GitHub и она просто не закрывается, то да, тут без разницы. Но есть куча задач, где нише, качество всё ещё можно пустить в прот, например, текст писать или те же путешествия планировать. И, короче, как только агенты начинают мочь что-то делать, люди такие: "Ну и хрен с ним, что они делают. Это хуже, чем делали бы мы. Зато теперь это делают они, и они всё равно занимают место на рынке, хотя они решают задачу хуже, чем раньше решали люди".
Смотри, здесь, ну, во-первых, писать тексты как бы м приложения, ну, вообще большие языковые модели умеют. И здесь, наверное, даже непонятно, зачем нужна сама вот как бы агентский паттерн. Зачем Не публиковать, я имею в виду писать, публиковать, соцсети вести, вот это соцсетевой маркетинг и прочая хренотень. Я, кстати, не знаю, не видел прям. Ну, я, кстати, видел стартап, блин, очень прикольный, забавный стартап, по-моему, называется Butterfly AI. Посмотрите, они сделали Instagram для AI агентов. В смысле, ты заводишь какого-то персонажа, и он там живёт в этом Инстаграме какую-то свою жизнь, пишет посты, фотографии генерирует, короче, вот у него там как-то взаимоподписываются на кого-то. Вот они там дружат, ссорятся и так далее, и так далее. Вот. Ну вот де Здесь не нужно. Ну потому что не нужно никакое качество. Здесь здесь всё, оно не должно выглядеть кринжово. Нико. Ну ещё раз, как бы в этом виртуальном мире, наверное, как бы качество не нужно, а в реальном мире всё-таки, ну, в общем, реальный мир другой. И в бизнесах тоже, на самом деле, качество важное. Думаю, это очевидно. Вот когда ты внутри это используешь. А, и базово на уровне пользователя. Ну, мне кажется, есть какой-то консенсус на вот консюмерском рынке, что качество должно быть, ну, выше 90%, выше 0,9. А это просто такой консенсус, потому что шипить на аудиторию большую, там, на консьюмеров, что-то некачественное, плохая идея в целом.
Ну, в разных бизнесах вот пример, где это работает просто потому, что дешевле. У тебя какие- чуваки генерят криптостартапы, они генерят их и в Твиттере про них пишут. Они создают криптостартап, создают про него аккаунт в Твиттере, который пишет по сотне постов в день, по тысяче постов в день про этот криптостартап. Пишут, пишет, пишет и пишет. Человек бы это писал намного дороже. Да, ну тексты [ __ ] иногда нет, не [ __ ] Подписчики набираются, люди в криптостартап инвестируют, всё работает. И это агент, то есть они он буквально у них настроен типа: "А вот теперь иди создай мне новый криптостартап". И он он же при этом может тебе и реально и монетку выпустить, всё, то есть всё подключишь. Но вот вот в реальных вещах, смотри, вот вот я придумал сценарий нового перезапуска реальные нового перезапуска "Иронии судьбы". Вот этот вот алкоголик из Москвы напивается и просит агента купить ему, вызвать ему такси, а просыпается в другом в другом городе, потому что агент ему
купил билет там неправильно. Сари, Сарик, Андреасян, напиши мне. Я переснимем нахер. Все с ума сойдут от гнева.
Я думаю, нас ждёт на самом деле шутки шутками. Она ждёт много курьёзов, когда такое будет происходить. Но на самом деле, когда просто интернет появлялся и появилась возможность многое делать через интернет, мы тоже сталкивались с тем, что и мошенников было много мошенников, и работало всё не так, как ожидалось, потому что это новый интерфейс для людей был. Здесь такое же будет.
Про качество как бы, если сомализировать, то, ну, проблемы с качеством как бы есть. И давайте так, там, наверное, какой-то значимый процент качества, там, не знаю, 60, 7080, может дать сама языковая модель, но у тебя как бы вся суть, весь адопtionн, почему продуктом будет пользоваться конечные пользователи. А он же, ну, как бы модели же доступны будут, как бы, плюс-минус всем. Вот, ну, папе доступно, там всякие западные и прочее. А вот эти первые там 70% качества набежать можно. Оставшиеся на 30 - это вот эта самая большая работа, связанная с там где-то до обучением. где-то с тем, что ты выстроил нормальные там цепочки оценок, вот цепочки действий для этого агента, там сделал нормальную интеграцию, сделал нормальный поиск и так далее, и так далее. Это вот то, на чём как бы разработчикам придётся конкурировать и где им нужны вот эти инструменты для lм приложений. Вот включая, вот я как бы упомянул оценку качества, тоже важная штука. Вот на ней как бы компании не особо много зарабатывают. Это, мне кажется, вещь, которая в принципе будет скореесная там. Ну, то есть все будут open source какой-то использовать. Вот. Но оценка качества приложенийх, лмных становится прямо базовым базовым навыком уже даже продукт-менеджера во многом. Вот типа взять запустить какой-нибудь EVation, ну Evalвал называется, вот, который позволит тебе оценить там даже поменял промт, ну, на как на качество повлияло, вот какие-нибудь такие вещи, и этого будет всё больше и больше. Это, кстати, вот одна из вещей действительно, которую там даже продукт-менеджерам придётся э в свою жизнь так или иначе встраивать и обучаться.
Интересную тему понял. Насколько компании умеют это измерять качество и моделей, и агентов, и ассистентов, но большинство людей не умеет. И и когда ты генерируешь или делаешь большие действия с помощью агентов и ассистентов, тебя, ну, ты просто не будешь проверять их, потому что, ну, слишком много, как, я не знаю, ты навайпкодишь огромное приложение, ты можешь навайпкодить огромное приложение, которое будет работать, но оно нагенерить тебе 15.000 строк кода, ты в них не полезешь просто. И ты даже и до поры до времени тебе и в голову, ну, ты не узнаешь, что качество низкое. Ну я не знаю, если мы работаем в продуктовой компании, то, наверное, ты замеряешь что-то, ну, в общем, метрики.
Вот. А про качество мне кажется, что, ну, смотри ещё раз, как бы индустрия там, в том числе мы, решают эти проблемы для разработчиков, в смысле дают какие-то, там же вот вообще в целом много инженерных сложностей. Там, например, ты говоришь, компания не умеет измерять качество, а ещё компания не умеет нормально строить поиск. Ну, как бы это же так вот как бы в целом не умеют.
Нет, ты сказал умеют. умеют. Компании умеют измерять качество постоянност пользователями. У вас есть, ну, практики хотя бы какие-то. Вы можете понять, что вы что-то улучшили относительно того, что у вас было. Я имею в виду, что пользователи не умеют, а компании как раз умеют и, ну, по крайней мере, учатся это делать постоянно.
Ну, кстати, не знаю, типа, ну, наверное, в среднем, как бы все компании научатся. Вот. Но ещё раз, как вот типа это же такая инженерная сложность, как построить нормальный поиск. Вот если ты где-то работал, то, наверное, ты замечал, что в компании в среднем даже корпоративный поиск работает ужасно.
Относительно просто хуже этот ты ищешь на корпоративном портале что-нибудь через Яндекс или Google, потому что это лучше, чем то, что они сами себе нафигачили.
Инженерно, в принципе, не особо решённая проблема это в индустрии. Это простой пример. И компаниям придётся, ну, в смысле, здесь им кто-то поможет на в том числе мы. И то же самое как бы с качеством. В смысле работа про поиск на самом деле тоже про качество, это работа над качеством. Вот учить компании работать над качеством, давать инструменты для этого и какие-то там фреймворки, ну и в целом подходы, это вот как раз хлеб и работа там битубишных вендеров, ну вот в том числе нас.
Ну ты сказал, что нерешённая проблема, это не не ну это же не одна из проблем, которая когда-то вообще решится. Поиск можно улучшать бесконечно, качество, измерение качества можно тоже бесконечно. То есть это даже не знаю, ну хорошо, у нас есть агенты, они хуже людей. В какой-то момент они станут лучше людей, допустим. И после того, как они станут лучше людей, это не будет решённая проблема. Они могут становиться лучше себя и снова, и снова и измерять их, понимать, кто из них лучше, тоже можно бесконечно.
Ну да, типа, ты прав, мир меняется. Даже мир поиска по корпоративным данным тоже меняется, потому что сами данные меняются. Вот. Э тут ты прав. Слушай, во всём, про что мы сегодня говорили, идёт одна и та же история про то, что делаем вещи, которые ещё никто не делал. Никто не знает, как всё это правильно делать. Никто не знает, как правильно делать агентов. Никто нет нет сложившейся и точно правильной практики. Как в таких условиях вообще работать?
Весело. То есть, ну, честно, большая часть работы разработчикам, например, недавних лет и там и IT-менеджером, и техническим менеджером, она была, ну, в основном, ты решал вот это девять из десяти - это то, что индустрия уже решала, и чуть-чуть, да, вот это вот типа у вас что-то новое. Но когда мы говорим про создание агентов, у тебя, ну, всё новое. Типа нет какого-то сайта, где умный дядька 10 лет назад написал, как всё делать, чтобы у тебя не было проблем. Мне кажется, разработка, ну, как бы давай, если со всемом прощать, то разработка же как бы это, ну, раньше разработчик перекладывал жесонку из одного места в другое место, как бы вот сейчас как бы с приложениями кайда то же самое происходит. Это же как бы тоже прикладывание из одного места в другое место. Вот. И я, кстати, не уверен, что раньше у разработчиков не было какой-то высокой степени неопределённости, как что-то реализовать и так далее. Вот. Всё-таки не просто так там какой-нистекфлоу был популярен. Вот сейчас у него вроде, кстати, упало этот сильно там потребление. Да,
он был этот кверфлоу. Ты было место, куда ты пошёл и такой: "У меня не работает авторизация". Тебе такие: "Ну так ты это же потому что ты идиот". И есть вот этот инструмент, кстати, ему 10 лет, и он неплохо работает. А сейчас ты такой: "Меня, короче, этот, э, пользователи написали промпт, который мне всё уронил. Что делать?" Ну и на самом деле, ну смотри, у тебя тебе точно так же скажут. Вот у тебя просто на самом деле вот в прикладывании дсонки с джесонки появилась недодетерминированность какая-то вероятность ошибки. В смысле раньше ты правила ифы поставил ифлse, короче, да? Вот типа это твоё приложение, ортистрация приложения, наборы флсов. Сейчас у тебя не наборы флсов, а там модель какую-то сварила на выходе набор текста. Вот как она там сварилась, с каким качеством, ты не знаешь, у тебя появляется как бы фактор качества вот просто посередине. И тебе точно также в индустрии там на стек Overflow. Правда, сейчас он не популярен, не знаю, вы видели, не видели, у него там катастрофически упала упала аудитория после выхода чат GPT. И, ну, это, кстати, как бы кру крутая, мне кажется, история. Ну, тебе точно так же, условно на местном Stack Overflow какой-то, который там может есть новый уже какой-нибудь, неважно, там, на текущем, те точно так же начали бы объяснять, а как, блин, сделать вот здесь нормальное качество. Вот. и тебе бы рассказали, вот есть такой инструмент, такой инструмент, здесь данные собери, здесь разметь ну что-нибудь ещё. Вот. И мне не кажется, что сейчас есть какая-то большая неопределённость. Вот скорее вот мой личный опыт, что когда ты делаешь какое-то я и приложение агента, ты скорее по ходу можешь узнавать какие-то подводные камни вокруг твоего домена. Типа там очень важна доменность. Вот. Прямо вот не знаю,
вот даже тревел строишь, там столько нюансов, например, вокруг. Ну просто вот простой пример, который мне приходит в голову. название аэропортов. Вот простая вещь, да, как бы вот у тебя, ну, они же как бы все, как это называются, три буквы. В общем, как они, эти ропорты называется, вы поняли?
Вот, да, аббревиатура. А ты должен уметь, например, не знаю, вот как полететь в Чередеш, ну, как бы как добраться до чередеша. У него же нет аэропорта. Там есть какой-то набор аэропортов вокруг. И если тебе, ну, если ты строишь какой-нибудь там, это сейчас просто пример с головы агента какого-нибудь, то тебе придётся погрузиться в домен и понять, что для ответа на вопрос, как добраться до черегеши, вот или там дать какую-нибудь ещё, тебе нужно выстроить какую-то там цепочку, логику в своём приложении, которая возьмёт, поймёт, что шреж - это на самом деле вот такой список аббревиатур вокруг этого чередеша с аэропортами и вот предложить какой-то набор билетов туда. И вот ска таких вещей, которые позволят тебе добиться качества, их очень много вокруг конкретного домена. И вот там, на самом деле, мне кажется, начнётся адопtionн. И здесь есть как бы на самом деле важная мысль, что нужно вот там тому же разработчику и так далее, и так далее выбрать какой-то домен и в нём вот добиваться какого-то нормального качества, а не General задачу решать. Это очень сложно.
Да. Да. Кстати, когда кто-то сделает такое Travel приложение, его качество будет очень легко оценивать по количеству пользователей, которые такие: "Привет, я в Индии". У меня нет визы. А я тут на самом деле на другом аэропорту, потому что даже с существующими на рынке инструментами, которые не были AI, там это очень часто опускалось. Я не знаю, сколько я за 3 года этих массовых эмиграций этого словил, когда чувак такой: "В Индии нужна виза, чтобы выйти из аэропорта в аэропорт, даже в тот же самый". И таких доменных тонкостей дофига будет.
не, я я про эту тесть не знал. В Индии не был. Вот, видимо, не знал.
А причём её можно сделать? Она типа её делаешь э просто подаёшь электронно и ты её получаешь.
Но тебе некий сайт, через который ты получаешь покупаешь авиабилеты, говорит, что виза не нужна. Ты летишь туда, прилетаешь в Индию, ты такой: "Мне вон туда надо пройти". Такие: "А ты туда не проходишь, потому что у тебя нет визы".
У меня получше был кейс, да. Я так мне на сайт сказал: "Ты без визы не полетишь туда. Там без визы нельзя пересадку делать". И я парился долго, делал эту сраную визу. Как бы вот нет, нету агента. У меня ещё нет было агент, который пойди сделай мне визу, потому что она делается электронно, да, заполнял вот эти всякие анкеты, прочее, прочее, которые спрашивая, а не пакистанец ли я случаем? И нет ли у меня в пяти поколениях от меня ещё других пакистанцев, потому что тогда в Индию мне не надо. Вот я прилетаю, там мне нужна виза. Просто ты просто проходишь по коридору и садишься в другой самолёт.
Ну да, дело в том, что это трудно узнать с помощью кода. То есть даже у тебя может просто не быть данных. А агенты они часто грешат тем, что и лэмки, что когда они что-то не могут, они такие, ну, они додумывают.
Поделюсь своим тоже пример. У меня была восемнадцатичасовая пересадка в Барселоне на без визы. Вот, ээ, как бы, ну, на сайте было написано, что как бы трансфер, всё такое, и по закону всё было так. Но в реальности, когда я прилетел, я прикладываю этот билет, там, типа, чтобы перейти через трансферный какой-то там коридор, тебе нужно всё равно куда-то приложить билет, какую-то систему, и она там тебя пропускает дальше. И вот система мне выдавала всё время, что там красненькая, типа не пройти. И мне в местном аэропорту объяснили ребята, что вообще-то а у этой системы есть ограничение на 6 часов. То есть за 6 часов до вылета, она тебя пустит. А это как бы коридор, в котором нет ни стула даже, чтобы просто сесть и дождаться оставшиеся 12 часов до этого момента. Ну, в общем, как бы это была полная жез, но в итоге какой-то личный разговор с этими с офицерами и с работниками аэропорта здесь помог. Но базово, наверное, если всё-таки я у меня был бы какой-то на тот момент времени travel ассистент или что-нибудь такое, travel агент, неважно, а он бы мог сделать какой-нибудь resarch по интернету, там поискать случаи, когда кто-нибудь присаживался в Барселоне без визы 18 часов там или там больше 6 часов, нашёл бы какой-нибуд там комментарий, сказал, что есть вот какое-то такое внутреннее ограничение у системы, которое не пропускает просто по этому по билету для трансфера.
То есть ты это так видишь, что Да. что агент здесь наоборот поможет это решить. Просто для меня это выглядит как пример того, что вот мы даже взяли сейчас такую самую вот простую популярную тему, где это скорее всего быстрее всего станет популярно в ближайшее время в тAVЛ там организовать что-нибудь какой-нибудь ассистент головы много. Ну вот вот что такое вот вот твою какую-то рутину, которая тебе не нравится, он тебе поможет решать. И вот мы начинаем набирать кейсы, где смотрите, сколько тонкостей. Тонкости, тонкости, тонкости, тонкости. Это кто это всё будет это заботиться о том, чтобы эти домсти учитывались?
Это это есть тот самый путь где у тебя там 70 или там 80% качества тебе нужно дорасти до ну условно близким к 100. Вот этот путь он как раз вокруг доменных конкретных вот индустрий задач, вертикалей, где нужно фокусироваться. Этот путь должна проходить какая-то компания, э, которая будет буквально заниматься вот этой вертикалью или доменом и строить такое приложение. все вот эти сценарии, все эти проблемы как-то уметь отлавливать, дженерализировать и потом в какое-то решение нормальное класть.
Именно с близким к 100. Да, здесь ответ на вопрос, какое количество пользователей нас устроит застрявшее в Индии? Ноль. Ни одного. С другой стороны, даже без Ии взять пример на поверхности Яндекстаси или Uberси, которые взяли сложнейший процесс и запихали его в приложение. И, ну, то есть насколько это было непредставимо сначала, и насколько сейчас это очевидно хорошо работает. Хотя всё ещё они там могут приехать не туда или не захотеть вести тебя,
да.
Но если вспомнить, где мы были и насколько это быстро произошло на самом деле с того момента, когда кто-то взялся это дело до того момента, когда это стало работать там в 9999% случаев. Так что я думаю, с агентами будет то же самое. А ещё когда у тебя есть какая-то система, которой пользуются все, и она на тебя не сработала, это немножко снимает ответственность. Тебе все будут помогать, потому что такой: "Блин, я точно так же, как и все, через там вообще известный сервис что-то сделал, у меня всё пошло не так". А когда ты сам намудил с визой, тебе никто помогать не будет и скажешь: "Ну ты потому что ты идиот просто". Вот поэтому ты и сидишь в коридоре в Индии
без АКС, который тебя отняли. могу прочитать, что их там отнимают.
Да, интересно с точки зрения контекста. А вот у нас есть этот travel агент, и если говорить о том, какой контекст ему надо залить, ну, в общем-то, весь желательно, чтобы он весь интернет прочитал, насколько это дорого, долго и сложно технологически, боюсь себе представить.
Смотря, что мы называем прочитать весь интернет. Давай так, как бы языковые модели в среднем весь интернет прочитали. Вот, ээ, как бы мы это знаем. Вот тут действительно стоит вопрос того,
что часто в сценариях у тебя, ну, чтобы добиться нормального качества, там типа вот спрашивать, нужна ли виза россияна в Индию лучше не из базовых знаний модели, а из какой-то актуальной информации в интернете. Вот. Ну или там любую другую страну. Здесь опять же это роль, мне кажется, платформ. Ну вот, в том числе нашей. У нас, например, есть инструмент, который позволяет любому вообще бизнесу взять э опишку, поиск Яндекса фактически и встроить её в своего агента, ассистента, какое-то приложение. И в том числе на это работает в формате передаёшь вопрос, она возвращает генеративный ответ на основании интернета, как в поиске. Это бизнес спокойно могут внедрять куда. И это внедряют на самом деле активно бизнесы. Вот. И это, мне кажется, есть вот опять же хлеб наш платформ, которые должны помогать разработчикам все эти проблемы обходить. Ну и то же самое как бы там с поиском билетов, чтобы нормально научиться там вызывать эти функции, а заполнять переменные. Тебе нужны хорошие модели, нужна система, которая будет вот экзектором выступать, да, между какой-то поиском билетом и моделью. Здесь тоже как раз-таки появляется место платформ, которая упрощает жизнь разработчиков, позволяет им просто гораздо быстрее треваться. в разработке вот этих сервисов.
Блин, это на самом деле очень крутой сервис, потому что если я сижу и лэмку пинаю на тему каких-то, я не знаю, фактов, она мне может врать. А если я могу использовать опишку с поиском и потом использовать уже другую лмку, которая только на основании того, что мне вернуло это что-то сказать, то у меня по сути, ну, если не исключён факт, ну, типа фактор додумывания, то он минимизирован. Какие вообще самые вот прямо сейчас, не гипотетически думая о том, что там в будущем будут делать агенты, а вот прямо сейчас бизнесы вообще куда популярнее всего внедряют все эти новые штуки уже?
Ну, слушайте, ну, первое, я думаю, для всех очевидно, мы этого касались не раз, это задачи, ну, то есть софтуинжиниринга, да, то есть разработки по, короче, разработка базовая. Вот, мне кажется, топ- один кейс применения языковых моделей. А-а, ну и моё мнение здесь такое, что это как бы произошло и происходит, потому что мы, как индустрия, мы все с вами на кучу лет контрибьютили в одну большую библиотеку с кодом, да, под названием Gitthub. Вот. И здесь у нас реально есть хорошая база и хорошие данные. Второе, что я вижу, то есть массовый сценарий применения языковых моделей - это саморизация всяких митингов, писем,
там, звонков. Ну и так далее, и так далее. То есть это тоже всех, я думаю, уже под, ну, в общем, всем поднадоело, как бы вот это такая рутина. Это здесь остановлюсь. Мне очень нравится, что мы делегировали бюрократическое [ __ ] ишмка. Они друг с другом этим обмениваются на а мы от этого немножко отъехали. То есть вещь, которая изначально была немножко для роботов, хотя роботов у нас ещё не было. Вот сейчас мы сделали роботов, которые этим занимаются. Ну, то есть как будто бы, да, как будто бы резюме после митинга - это что-то не для тебя, а вот что-то, чтобы твой агент занёс тебе куда-нибудь там по этому, не знаю, приду,
да, чтобы они всё переварили всё это резюме и тебя просто один,
а ты сидишь на митинге, на митинге ничего не слушаешь и резюме после этого не читаешь. Но потом, когда тебя кто-то о чём-то спросил с этим связанным, такой к агенту, слушай, у нас был какой-то когда-то разговор об этой херне, что у меня там спросили. передай мне, пожалуйста,
передай мне сразу ответ. Она говорит: "Скажи, скажи вот это".
20 жёлтых жиров. Да,
идеально.
Идеально.
В общем, как вы поняли, саморизация встречи - это такой цепляющий кейс. Вот. А вторая, точнее, третья вещь - это всё, что связано с поддержкой, саппортом. Ну, то есть понятно, что там тоже много рутины, много операционных вообщев. Поддержку все в России давно пытаются как-то улучшить, местами автоматизировать. Ну, в общем, сделать так, чтобы пользователям и самим сотрудникам кол-центров
было жить попроще. Вот. И, кстати говоря, в России, мне кажется, одна из самых таких технологичных индустрий, именно кастомерсервиса, вот гораздо более технологичная, чем на Западе.
Здесь тоже остановлюсь и скажу, что ушло м ушла это положение вещей, когда ты ждёшь, что тебе дадут человека, ты обращаешь какую-то поддержку и раньше ты такой: "Кого,
кого?
Уберите бота, у меня ушла, у меня ушла". Всё, я просто я помоложе тебя. Вот ты-то дед.
Короче, всё, они типа раз, я не знаю, 10 подряд решили мою проблему, и я перестал ждать, что мне дадут человека. Я такой: "В принципе и бот может сделать то, что я хочу".
Четвёртое. Все возможные поиски по внутренним данным, базам знаний и так далее. Мы упоминали, что это вообще большая боль, проблема, вообще нерешённая в компаниях. А, ну мне кажется, что с должным качеством мы её решим, на самом деле, для всей индустрии. М здесь, ну, логика такая, если можно по всему интернету какие-нибудь информационные запросы отправлять в поиск и сразу получать готовый ответ, точно так же можно, наверное, работать с внутренними знаниями. Вот здесь как бы тоже большой популярный сценарий у бизнесов, потому как это они внутри применяют.
Ну, все же тоже собирали годами библиотеки своих знаний. У всех вот это ты приходишь на работу, устраиваешь, тебе говорят: "Вот конфлинс, почитай его недельку". И ты ходишь, читаешь. Ладно, конфлинс. Ты приходишь в какую-то компанию разрабом, и тебе такие типа: "Ну, иди там подними вот эту штуку и работай". Ты такой: "А как?" Такие: "А вот есть Санёк, ты идёшь к Саньку, спрашиваю него, как это сделать". Он такой: "А вот там вот у нас где-то в чате". А теперь можно сделать просто чатбота, который знает все переписки во всех компаниях и так далее. Ты приходишь и такой: "Как мне развернуть проект?" "Тебе бам, а и Саморь". Это это уже есть. Это круто очень. Здесь вообще проблема на самом деле классная, потому что ты, Артём, упомянул конфлюнс и сколько я видел конфлиенсы в компаниях, это просто какой-то, я не знаю, там, ну, кладбище вообще бесконечных просто документов
с какой там просто Гарбач. Ну, то есть если такой, понимаете, Гарбачи Грбыча, да, то есть у тебя как бы там куча мусора на входе. Э-э, из-за этого же поиск плохо работает, в том числе, что там просто какая-то бесполезная мусорная куча куча какой-то информации, дублирующий, неактуальные, где-то вообще не сходящийся вообще как бы полодить и так далее. А и при этом здесь тоже я верю, что мы как индустрия с помощью Я сможем этот путь пройти мм и это улучшить м ну как минимум в рамках решения проблемы там вообще в принципе поисков компании. Вот это типа в любом случае без нормального доступа к знаниям языковой модели. мы большую автоматизацию не сделаем. Но как бы сейчас я думаю, что мы можем много чего поменять, потому что языковые модели открывают нам возможность весь этот Гарбуч вообще перелопатить, вот, и привести в нормальный вид. И может у нас появятся какие-то админы знаний, вот, и так далее, и так далее. И мы вообще придём к какому-то вот этому великой давней идее, от которой появился обсидиан, да, если вы пользовались обсидианом, ну, и какие-то другие толзы для организации знаний, что у тебя есть какой-то там knowledge-граф, граф знаний, где ты можешь там видеть все связи между документами и вот реально в какой-то теме разобраться, не спрашивая у товарища там какого-нибудь там разработчика старшего и там друга, в общем, какого-то коллеги на какую-то информацию, которую просто ты не можешь найти. среди всего этого добра по теме. И на самом деле, если говорить про следующую автоматизацию, то там топиков, как бы не топиков, а пространства много. Вот есть на Западе компания Harvei, она делает типа ассистента для юристов. Не знаю, видели, не видели. Она там стоит, по-моему, миллиардов 5 долларов уже или что-то такое. Вот. И как бы штука работает вроде классно. Там у них большие клиенты. Вот. И, ну, кажется, что и для и в Legal домене много чего произойдёт, и много где, на самом деле, ещё.
А, немножко идиотскую вещь, возможно, вкину. Мы вот всё думаем, как мы будем менеджерить и то есть, что вот мы будем такими чуваками, которые будут говорить: "Аю, что делать? Почему нам не попробовать проджект-менеджеров заменить на A, чтобы они нам говорили, что делать? На них как минимум злиться не будешь". Но и немного серьёзному, как думаешь, вообще в каком-то управлении процессами будет такое использоваться управление людьми?
Тут уже какой-то, это уже какой-то личный взгляд, да, сейчас появится.
Вот мы же мы же, короче, когда говорим про управление процессами и выдаём какой-то набор, ну, типа скепсиса относительно того, что это заменяемо я или нет, мы про что говорим? Мы говорим про риск, на самом деле, да, что типа управленец процессом, управленец там чего, чем-либо ещё продуктом берёт на себя какой-то риск, и он за него отвечает. Поэтому как бы вот вот на его место я и не поставить. Честно говоря, моё утверждение такое, что в среднем в компаниях берут на себя риск какие-то единицы людей. Вот ну не знаю, десятки, может, зависит от размеры компании, но это типа там меньше процента. Вот. И я абсолютно не уверен, что как бы, ну, улучшить профессию, улучшить работу менеджера там проекта, продукта, а какую часть решений отдать AI мы не сможем. Скорее сможем. Вот я скорее верю, что да, действительно, есть вот, не знаю, есть классическая компания типа Open AI, вот в ней куча разработчиков и там, не знаю, несколько менеджеров. Ну, как бы это же так. Ну, и там ещё большая какая-то цел команда, маркетинг команда, но это другое, да. Мы говорим про типа управление продуктом, разработкой и так далее. Там соотношение разработчиков на управленцев типа 1 к 100. Вот в энтерпрайзах все везде сейчас, наверное, оди к дети. Ну вот. Ээ и вот это как бы пример компании. Ну, кстати, Telegram тоже такой пример хороший. Это как бы одна из примеров компаний, где вот реально тот, кто управляет там продуктом, процессом, неважно чем-либо, он действительно берёт на себя какой-то катастрофический риск. Вот. Ну там, Сильппон, очевидно, берёт на себя как-то невероятное количество рисков. Вот. И мне кажется, что вот такие такого рода как бы люди, менеджеры и так далее, они, безусловно, останутся как бы куда-то от этого деться. Но в среднем, я лично считаю, я могу ошибаться в этой мысли на самом деле, что в компаниях какие-то менеджеры или там проек, ну, в общем, прожекты, продакты, неважно, какие угодно роли, в среднем на себя какой-то значимый риск или вообще риск не берут. Это давно же было в культуре всегда, когда любой заводишь разговор, кто виноват. Давайте не будем искать виноватых, давайте думать, как решать проблему. Ответственность. У нас команда, мы всей командой. Что-то, если что-то прошло не так, значит, это куча народа что-то не предусмотрела. Никто не виноват, поэтому да, раз никто не раз никто не берёт на себя ответственность, тогда почему всё это не делегирует системе? Здесь я за [музыка]