Transcription
Всем привет. Так. Так, ну давайте начнём. А видно экран? Напишите плюсик, кто у нас есть. Чат. Что-то нас, конечно, совсем мало, но люди перестали ходить на вебинары. Будем считать, что нас смотрит активно в записи. Спасибо. У нас есть несколько плюсиков. Хорошо. Так, с плюсиками справились.
Меня зовут Шожа Дмитрий. Я руковожу этим замечательным курсом. А, кроме того, я живу в Берлине, и я делаю свой стартап, который посвящён теме, а, роллерплея, скажем так. Мы изучаем возможность с помощью искусственного текста моделировать различные ситуации, чтобы на них учиться. Кейс и кейс.
Что интересного я ещё до этого делал? А я работал в продакт-менеджменте в Сбери Винотехе. У меня NBA в Гонконгском университете технологий. Я работал в продакт-менеджменте Финтехи в Гонконге. И мой стаж преподавания 3 года. И в основном я преподаю продукт-менеджмент. Ну, это видно из моей биографии. И я буквально с самого начала связан, а вот и сделал с помощью него, а довольно много интересных проектов. А и поэтому здесь я делюсь, а с желающими а тем, что у меня получилось, что не получилось. Вот. И я постоянно собираю различную практику на эту тему, потому что я не могу сделать все проекты в мире сам. А поэтому, ну, то есть с студентами делимся успехами, неуспехами и с экспертами тоже периодически встречаемся и обсуждаем, что реально работает. Поэтому программа довольно практическая, а, и на международном уровне. То есть мы рассматриваем не только те инструменты, которые, э, популярны э в России, но если вы будете что-то делать за рубежом, а, или использовать зарубежные инструменты, потому что они пока сильно опережают российские аналоги, то у меня тоже есть, что вам сказать.
Правила вебинара простые. Чем больше вы участвуете, тем, а, больше вы получаете пользу от вебинара. А по сути дела, мой идеал - это вообще бы я не писал никакие презентации и просто бы у меня была коучинг-сессия. А, но людям очень сложно задавать вопросы. А на мой взгляд, это качество а ухудшается, потому что все привыкли, что вопросы можно а сформулировать как угодно, а и задать и и пусть он сам догадается. Вот. Поэтому есть у вас, чем лучше вы и больше задаёте вопросов, тем лучше. Вот все остальные слайды у меня, в принципе, вспомогательные. А что ещё?
Вопросы я вижу в чате. У меня он отдельно открыт. Если я вдруг что-то пропустил, значит, что я хочу договорить свою длинную интересную, по крайней мере, для меня мысль. Я потом его прочитаю, если уж прямо совсем что-то пропустил за шквалом вопросов. Но сегодня нас восемь человек, это не предвидится особого шквала. А по поэтому должен всё увидеть, но вдруг что. Запись вебинара придёт к вам на почту. Если кто-то слушает наши записи, зря они пришли.
Давайте быстро познакомимся. У кого какой есть опыт работы в IT? Может, у нас есть какие-то не айтишники. Я задаю этот вопрос не потому, что мне нужно какое-то суперанкетирование, потому что мне нужно понять, какие термины я могу использовать, какие нет. У меня здесь будут всякие сисаты, а, и там рои, MVP, а, из финансов и, скажем, продакт-менеджмента, будут всякие айтишные технологии типа "ploy" и так далее. Напишите чуть-чуть про себя. Можно прямо пару предложений в чат. Из ПЭМов, из Project менеджеров, продакт-оунеров. Да, Николай, аббревиатуры. Хорошо. Так, давайте посмотрим ещё на "цис аналитики ошибки перспективы использования и для автоматизации бизнес". Хорошо. 4 года. Угу. Прекрасно. КПМ тоже живой ещё. Какие все у нас взрослые люди. У меня, по-моему, нет ещё 20 лет опыта. Не, я у меня нету айтишного опыта 20 лет, потому что я начинал вообще в продажах.
Так, коротко про нашего спонсора, он же мой работодатель в этом курсе. Ас давно занимается. Довольно давно э подготовкой специалистов в области IT, специализируется на, ну, у неё есть образовательная лицензия, специализируется на создание вот этих вот, э, кастомных э курсов э по очень определённому направлению. То есть запустить внутри аутсорса курс довольно просто. Поэтому есть курсы, которые решают, ну, или могут быть курсы, которые решают вашу непосредственную задачу, включая этот. Не просто курс про ИИ, а как промтить или не просто курс про ИИ там, э, на какую-то абстрактную тему. Это конкретно айтишный курс, как внедрить, э, и вашу текущую архитектуру технологическую чуть меньшей степени, чуть большей степени. А как внедрить её в бизнес-процесс? Потому что я писал этот курс, и я-то, в общем-то, специализируюсь больше на бизнес-процессах. Я не инженер, но я довольно много работал с инженерами. Мне папа инженер. А вот, anyway. Ээ, поэтому я что-то понимаю, но в какой-то момент у меня достигается предел моей собственной некомпетентности, и я как это сливаюсь с вопроса. Если прямо что-то техническое, меня довольно легко поймать, и я могу согласиться, что я чего-то не знаю. Особенно в области, там, например, обучения моделей. Для меня это вот, честно говоря, китайская комната, он же тёмный лес, потому что реально обучать модели сейчас могут буквально 10-15, может быть, лабораторий в мире. Я имею в виду те, которые, ну, не FН, да, а новые модели, потому что это стоит сейчас очень много денег, поэтому, чтобы они получились конкурентные и современные. Поэтому в это направление мы не идём. И мы про то, как использовать уже существующие модели. Благо их вагон разный. Вот мы этим будем заниматься.
Так, а-а, если у вас нет никаких вопросов, то я перееду в свою презентацию из презентации компании Bluoth, и мы начнём отвечать на вопрос, который, собственно, зададут сами себе. Откуда такие цифры? Э, почему только 5% э компании получили реальную выгоду? Во-первых, есть ли у какие какие-нибудь гипотезы, что может пойти не так? У нас здесь всё-таки вагон айтишников. А вот давайте я закину. А одна из причин, почему цифра такая, потому что исследование не очень хорошее. А, то есть оно действительно существует, его можно нагуглить. Оно действительно выходит, вышло под эгидой Массачусетского технологического университета, что является почётной организацией, но там типа 50. N - это количество опрошенных людей или 60. Ну, то есть что-то статистически вообще незначимое. Это первое. А вторая вторая штука вообще, а в IT 70% проектов не дают реальную выгоду. Ну то есть её нельзя померить. Это совершенно не означает, что 70% проектов в IT не нужны. Просто не во всех проектах и не в любом случае можно прямо а посчитать return of investment. Существует довольно большой набор внутренних, а, инструментов, которые, не знаю, например, занимаются, а, качественным, а, анализом и улучшениями внутренней базе знаний в компании. И измерять ROI такого инструмента очень сложно, потому что оно влияет косвенно на уровень знаний, ещё не впрямую, да, на уровень знаний сотрудников, а который довольно протяжён по времени, да, то есть это не мгновенно вы знания получаете из базы знаний, а постепенно накапливаются, поэтому за год можно ничего не получить, да? То есть это абсолютно нормально. То есть цифра выглядит прямо шокирующе, поэтому она в названии вебинара и цифра правильная. Это не кликбейт и исследование существует. Это тоже пранк. Но при этом, ну как это take it with the grain of salt, да? То есть давайте скидку на то, что в общем-то эта цифра не так много значит, как как кажется, да? То есть, ээ, и в один год действительно выгоду от внедрения чего-то большого получить очень сложно, да? И это всегда было в IT. Мм, несмотря на то, что кажется, что вот первый пилот мы можем сделать за неделю, да, пилот можете, а, внедрить и поменять бизнес-процесс, нет. То есть даже если у вас системно а всё стало намного быстрее из-за люди у вас все такие же, да? То есть их тоже надо учить, переучивать, и это сложно, а особенно учитывая, что они могут не хотеть. Вот. Но как бы как бы дело скорее не только в технологиях, да, а дело в том, что а продуктовое внедрение иишное, да, то есть и внедрение самой технологии, а это очень сложно, потому что оно довольно сильно отличается от текущей ситуации, ну или ситуации до ИИ. То есть раньше что было? Если вы можете сделать пилот, то, скорее всего, вы сможете масштабироваться во многих очень а ситуациях. Теперь вы можете сделать пилот очень быстро, а масштабироваться вы не сможете никогда, например, потому что это очень дорого, да? То есть у модели есть косты, и для того, чтобы она давала приемлемые для вас ответы по вашему вопросу, а вы должны тратить много денег, и у вас кейс никогда не сойдётся, он технологически работает, но в минус. И таких ситуаций довольно много, особенно касающихся процессов, которые никогда не созданы были а для того, чтобы приносить какую-то прибыль компании. Они существуют как поддерживающие. И, в общем, оптимизация там не очень оказалась и нужна.
Так вот, у Юрия есть комментарий: "А начиная с определения проблемы, которая всё может пойти не так, начиная с определения проблемы, которую должно решить и определение требований, расчёта затрат на внедрение реализации решения, ошибка архитектуры, приоценок возможности и отказ пользователей и так далее". Да, ну как и со всеми IT-шными, точнее, со всеми IT-проектами список довольно хороший. А внутренний саботаж всего, что связано с Я очень много про это читал в Твиттере серии, а и в каких-то чатах, а в реальности мне ни одна история на эту тему неизвестна. То есть мне кажется, что это называется "fantasy power fantasy" на на английском языке. И это мечты сотрудника о том, что он может оказывать влияние на решение. Да, да, да, да, да. на решения, связанные с внедрением программного обеспечения. Такая фантазия была, ну, довольно популярна и до ИИ. Да, да, в конечном счёте, если вы не будете пользоваться ИИ, вас уволят. Это как бы стопроцентная информация. Другого варианта нет, да? То есть также, как если вы не будете использовать CRM, которая заменила вам Excel и вашу записную книжку, которая являлась вашим безусловным активом, вас тоже уволят. Я помню, как внедрялся CRM в компании МТС, ээ, потому что я там работал продавцом в 2012 году. Там плавно вносилась система, которая называется Siebel. Господи, он, наверное, до сих пор там работает. Это прямо такой древний древний осколок. Я даже не знаю, какая-то немецкая, по-моему, система. Вот. И я видел этот процесс. Никто не хотел использовать её. Во-первых, потому что она глючила, а, и очень мешала работать. А во-вторых, потому что с неё можно стать статистику, снять и решить всех премий. А вот что тоже всем не нравилось, и всем нравился Excel. Excel был идеальный, как бы, да, и все делились друг с другом экселями. И Excel - это был дикий клёвый актив, как бы, да. Кроме того, что на основании Excel ещё платили премию. Вот поэтому я всё это видел как бы 15 лет назад. А ничего не поменялось.
Вот что у нас ещё есть в чате. Использование неверной метрики. Да, это очень частая штука. А попытка привязать всё на свете к Return of Investment тоже, мне кажется, сюда очень интересно. Return of investment - это финансовый показатель о том, насколько окупается ваше решение. Проблемы данных. Во, вот это очень хорошо. А если у вас плохие данные, то у вас, ну, и будет предлагать плохие решения, что довольно очевидно. Но, однако, очевидно не всем. И попытка Давайте разговаривать с нашим Confluence, когда Confluence - это мусорка, и документы уходят туда умирать. Или ещё давайте разговаривать, пусть у нас будет чат, который будет обращаться за справкой а в SharePoint, в то место, куда документы уходят умирать. Тоже, ну, обращена на провал. И таких очень много было, особенно когда вот только всё начало внедряться. А большие вложения и долгая окупаемость? В основном большие вложения и долгая окупаемость идёт от, э, желания построить у себя собственную, ну, не собственную модель, собственную модель, наверное, это прямо совсем редко, собственную инфраструктуру, наверное, на чужой инфраструктуре. Но это, однако, для знающих IT-директоров довольно характерное решение. А то есть, да, в бизнесе медленно внедряется искусственный директор, что многие пытаются не привязываться ни к какому вендору и недооценивать, сколько это стоит денег. Ну, особенно с ситуацией с импортозамещением. Это, э, ну, как научно горьким опытом. Если вам никогда не отключали Windows из-за санкций, как бы то, а вы IT-директор компании там на на 20.000 человек, да, как бы всё довольно грустно. Ну, точнее, не отвечали Windows, закончился контракт с Microsoft. Вот э так перечисленная и новая область, которая очень мало реальной статистики пришёл на задачу. Да, пожалуй, но только, наверное, не во всём. И а потому что там в ИИ входят ещё email и по машинному обучению очень много всяких вещей уже сделано и там наоборот хороший опыт с решением задачи. Имеется в виду больше генеративный ИИ, да, генеративный ИИ, который кусочек этого ИИ, а генеративный ИИ на самом деле кейсов не так много. Сначала увольняют кейс не из прош, потом из всех уволят. Ну, э, то, что ИИ заставит нас заниматься чем-то другим, абсолютно, мне кажется, что это абсолютно неизбежно. То есть, эээ, при всём моём как бы желании у меня так не получилось представить себе ситуацию, в которой мы вернёмся на предыдущую систему. Давайте её тоже я вам напишу, как это опишу. А можно тоже поделиться и своими мыслями на. Ну то есть, а раньше мне казалось, что у меня может быть какая-то довольно стабильная карьера, когда я пришёл в компанию и у меня область знаний практически не меняется. То есть я сижу в своём суверенном кусочке Confluence, веду какой-нибудь продукт. У меня, мм, не знаю, восемь инженеров в команде, один DevOps, один аналитик, один дизайнер. И мы делаем что-нибудь неспешное там на, не знаю, 10 млн, э, там, да, 10, наверное, много, 7 млн долларов, э, бюджета. Ну, если это внутренний продукт или он 7 млн там зарабатывает, а там из которых мы можем тратить какое-то как раз на себя, там инфраструктуру и так далее. Всё. И это была идеальная карьера, а потому что это позволяло и, ну, мне хорошо, а, и не напрягаясь работать. И у меня была область, которой меня очень сложно снять, потому что я обладал уникальными знаниями. А, и как бы продукт мой, и подчинённых было достаточно, чтобы получить желаемый образ жизни. А, и я достаточно отличался от других продакт-менеджеров. А, например, если в хорошую сторону отличался, то, ну, то есть я мог ещё и получать премию, потому что даже базовых знаний в этой сфере, ну, было сложно получить. Вот теперь посмотрим, что получилось после ИИ. После ИИ получилась ситуация, что у меня, во-первых, не будет семь человек, скорее всего, команда. То есть это не будет "all-pizza". Скорее всего, у меня будет два грустных синьора и их ИИ-агенты. Вот. Причём джунов и мидлов у меня тоже практически может не быть. Да. У меня два грустных синьора и семья ИИ-агента. Мой продукт не может жить долго, оставаясь, ну, там, не знаю, на одной модели, на одном принципе и так далее, потому что, скорее всего, скорость инновации в этом штуке тоже, ну, вырастет, да? То есть, ээ, слава богу или не слава богу, есть особенность некие регуляции, есть особенности некоторые, а контрактов на программное обеспечение, которые просто больше, чем на год. Но когда у условной там Jira от Atlassian или условного там, не знаю, Monday или ещё каких-то больших SaaS будут заканчиваться а контракты, то может произойти вообще массовый исход. И как бы там, не знаю, совершенно я не вижу причины, например, покупать Slack. Вот между нами говоря. Из один из, а то есть сделать себе внутренний корпоративный чат, мм, припилив ээ ээ как бы клодом в open-sourceный чат необходимые фичи, просто наглухо скопировав их работу в Slack, прямо вот просто описав функционал, получив, мне кажется, гораздо дешевле, потому что Slack стоит очень много денег. Прямо реально дорогой инструмент. Вот. И он, конечно, делает многие прикольные вещи, но их можно просто скопировать. Это займёт какое-то количество времени, да, и нужно дописать там агентов и всё остальное. Вообще это реалистичная задача, если у вас счёт там на полмиллиона со Slack, да, и это довольно реально. И Slack в итоге на таких давая большие бесплатные тиры довольно, а, и дружественно относя к небольшим компаниям там, да, начиная со средней компании, он там трясёт нефиговы денег. Вот. И что будет, когда такие контракты постепенно начнут заканчиваться? Будет понимание, что, в общем-то, это может быть и не обязательное решение. Может быть, начнётся такой большой колхоз. Так вот, тем не менее, раньше я мог сидеть вот в одном месте, и у меня было там пятилетний горизонт, ну, или хотя бы трёхлетний горизонт карьеры в одном продукте. Сейчас мне кажется, что возврат к такой норме уже невозможен.
Запись встречи будет, Влад. Да. Так, ладно. Это мой монолог, посвящённый будущему. Надеюсь, вам понравится. А мы продолжаем, и у нас есть три боли, э, чуть-чуть практики. И что делать, да, что сделать, чтобы попасть в процент? Аа, ну, есть самая абстрактная часть. У меня есть идея, но не знаю, та ли эта идея, да, и абсолютно типичная история. Мне очень понравился этот пример. Вот сел, посмотрел Sora. И теперь у нас у всех есть ИИ-стратегия, потому что Sora знаменита тем, что она между первой и второй версией очень сильно улучшилась. Если кто-нибудь смотрел, ну, можете потом погуглить. А видео с Will Smith - это называлось. Вот. То есть сел, вернулся с конференции и как бы сказал: "Давайте уже что-нибудь внедрять". Говорят, что можно всё улучшить и так далее. ПМ ему написал просто идеи. Они выбрали идею, как раньше это было принято в IT, выбрали идею, которая проще всего сделать пилот быстрее. Та прямо на на языке менеджеров называлась "quick win". Вот. То есть вот у вас "quick win" а и вы внедряете то, что как бы попробовали. Вы попробовали, посмотрели, и у вас, кстати, пилот может даже сработать, который вот трёхмесячный короткий, да? А потом выяснится, что с количеством пользователей у вас, э, экспоненциально растёт стоимость поддержки а и количество токенов, которые вы тратите, потому что вы вынуждены покрывать, ну, корнеркейсы, да, то есть кейсы, которые необычные, и вы их не изучили, не понимали, когда делали. И он в целом работает, но не решает никакой, на самом деле, бизнес-задач. По крайней мере, ну, чтобы это стоило столько денег. Вот. А это классическая абсолютно история, таких много. И вот я вам её предсказываю. Ещё она интересна тем, что Sora закрылась. Вот. То есть и ситуация по-прежнему реалистичная, то есть и какой-нибудь генеральный директор, а вполне может прийти, а на конференцию, посмотреть красивые отчёты от компании, которая рассказывает, что она решила, аэ, какую-то задачу, а потом выяснить, что как бы уже и компании нету. Вот. И никакую задачу она не решала. И из последних примеров таким отличилась компания, которая называется Delf. Компания Delf занималась SOC2 комплаенсом. Это такая, по сути дела, это вопросники, которые надо заполнить для того, чтобы понять, насколько безопасное с точки зрения корпорации ваше IT-решение. То есть это такая анкета поставщика расширенная. И весь смысл был в том, что это SOC2 отчёт, господи, 42 отчёт делает независимый аудит. Ну и компания, которая, кстати, ну была финансирована Y Combinator и продавала свои отчёты Y Combinator очень активно. И там была очень клёвая девочка из маркетинга. Я прямо за ней следил в LinkedIn. Она там всякие необычные способы, а как бы продавить своё желание продать SOC2 compliance использовала, там, начиная отправки каких-то пончиков в офис, заканчивая билбордами напротив своего клиента с надписью "Не забудь сделать compliance". А а сделал ли ты compliance уже? И всем это очень нравилось, было очень прикольно. Очень персонализированный маркетинг и такой "sharable", то есть прикольно делиться в социальной сети, но выяснилось, что а как бы у них не было отчёта. Вот. То есть у них на 99% отчёт был а продавали они отчёт от 5 до 16.000 евро. Они продавали отчёт за 5.000 долларов, и он был на 99% а одинаковый. Вокруг всех компаний, а на 1% заполнялся индусами по образцу. Вот там даже не было, чтобы вы понимали. То есть использовался какой-то open-source инструмент, который они тоже стыбрили, а, и продавали за деньги. Я не понял какой, ну, как как какой-то. Плюс индусы, а, плюс просто copy-paste. То есть там даже не было истории с ИИ, это просто была, ну, фикция, да, то есть отчёты, которые просто фабриковались. Вот. А это пока ещё не судебное решение, да? То есть там идёт судебная тяжба, но из Y Combinator их уже выгнали, что делает, по-моему, эту компанию, первой компанией, которая достигла такого, а, интересного результата.
Так, три вопроса, какие нужно задать, которые нужно задать, чтобы у вас получилось э внедрить, да? Первое, есть ли у вас данные? Ну, у вас у нас тут кто-то в чате писал, я не помню, кто про данные, да? То есть это одна из основных вещей, которые нужно сделать, это посмотреть, насколько чистые у вас данные. Ну, то есть никто кроме вас не может проверить в качестве данных, поэтому это вам придётся разбираться. М особенно большая проблема вот в том, когда данные доменные. Ну, например, насколько реалистично я могу проверить э валидность данных юридических? Вот есть у меня компания, которая юридические кейсы хочет и внедрять. Насколько я могу проверить валидность данных? И это одна из причин, почему вертикальных компаний, да, которые компании, которые занимаются одним доменом, так много, потому что вам надо разбираться в данных. - это, кстати, не супер обязательно для самого ИИ, да? То есть там обычная модель стоит, и надо заниматься тем, что вы оптимизируете использование модели. Казалось бы, но, к сожалению, если данные исходные плохие, а, и они плохие могут быть, знаете, раньше было плохие данные в имейле, это означало, что не полные данные, там надо делать ETL, это трансформации, переводить их в формат. Здесь ещё хуже. Здесь как бы это означает, что данные неправильны, да? То есть они плохо предоставлены, непонятной логикой, хаотично. Поскольку теперь эта векторная база данных немножко по-другому устроена, да, то в базу данных можно превратить, в принципе, всё, но если вы её грамотно не построите, то у вас ничего не получится, да? То есть и, к сожалению, вам нужно разбираться по итогу в доменном поле довольно хорошо, чтобы у вас получилось решение. Вот я занимаюсь ИИ в образовании, и мне пришлось основательно прокачаться в том, как работает образование и какие материалы считать образовательными, да? То есть в чём различие между условным подкастом, а-а, или просто разговором и попыткой, ээ, что-то сделать академическое в плане, чтобы у вас осталась какая-то карта в голове, вы могли вспомнить и воспроизвести хотя бы часть информации, пользуясь логикой, которая, ну, использую я или не использую не столько я, сколько люди в индустрии. Я вам пытался передать. Вот как поймём, что в цифрах, что оно работает? Ну, вам нужны какие-то показатели, которые выходят за рамки, а пользователь считает, что его проблема решена, да? То есть или специалисты считают, что проблема решена. Чек-поинт. Пауза. То есть вам нужно понять, какие цифры вам нужны. Для этого опять же вам придётся разобраться в домене. То есть всё упирается в то, что для того, чтобы делать хороший ИИ, вам нужно. Да, я внедрял СУБД было дело. А как, а какой-нибудь конкретный будет вопрос по внедрению СУБД? Там просто м всегда казалось, что, э, в раньше база данных была, э, одно поле, связанное с другим довольно прямым способом, да? То есть, не знаю, а при проектировке вы могли чётко задать, что и где храниться. Если вы пытаетесь таким же образом поступить с набором текстов, которые находятся в Confluence, то оно уж так не работает, потому что там гиперсвязей одного текста на другое намного больше, и получается ситуация намного запутаннее, и искусственный интеллект может легко путаться э между теми вещами, которые просто рядом находятся в тексте, и вещами, которые логически друг друга связаны. Потому что на вот это "рядом в тексте" очень сильно работает. И отсюда довольно много его ошибок, если вы пользуетесь, особенно если вы успели попользоваться с тем, что меньше пятёрки, да, GPT, да, там много связано ошибок в ретриве было, да, то есть как раз-таки в поиске, да, ретриве было ошибок много связано именно с вот этой "proximity", да, то есть вещи, которые находятся рядом, не всегда связаны. Вот так. Что меняется в "койлкоме"? Прикольно. А что меняется в понедельник, если результат хороший? В общем, а ваша задача понять, какой у вас реалистичный срок и на что это повлияет, да? То есть понятное дело, что у вас есть какой-то скоуп проекта, который вы должны выдерживать.
Так, дальше. Так, давайте возьмём какой-нибудь проект интересный и посмотрим. А, давайте придумаем, может быть, каждый пусть придумает проект. А, давайте придумаем, что нам нужно для того, чтобы запустить ИИ-поддержку большого мебельного магазина. Понятен вопрос. Мебельный магазин, а-э, и поддержка.
Ну, то есть это чатбот. Аэ, что нам нужно сделать, чтобы его увидеть? Давайте 3 минутки хотя бы подумаем. Пишем в чат то же самое. Ну, лёгкий способ чему-то научиться на вебинаре, раз уж пришли. Не просто уже послушать мой нудёж, мою речь правильно поставленную, надеюсь, но для того, чтобы что-нибудь попробовать.
Давайте большой мебельный магазин IKEA size. Какой большой, много, много всего, но не IKEA. Давайте, то есть так. Так вот у Юрия хорошо инструкции пользователя. Мы предлагаем, что мебель они собирают сами. То есть у нас IKEA магазин и вся мебель стандартная. Мы живём в таких допущениях. Да, Юрий, документация по системе чего? А, хранение, наверное, документов, да? Мебели. А вопросы, ответа, данные, да, частый список задаваемых вопросов, ничего. А метрика корректность ответов в проценте процентах. О'кей. И какой процент корректных ответов нам допустим в мебельном магазине? Давайте пообсуждаем. Данные сведения о клиентах заказах каталог больше 80. М. А что, если они на оставшиеся 20% купят мебель, которая не подойдёт по размеру? Наверное, всё-таки имеет смысл каким-то образом посмотреть, чтобы картичность вопросов была разная. Правильно, данные. Ну, в другой стороны написано 80% плюс, может, имеется в виду 99. А история обращения в техподдержку, да, вес вопросов нужен. Хорошо, спасибо, круи обращения в техподдержку, да. VPN диаграммов, бизнес-процессов. Да, ещё вообще определить, а в какой момент у нас поддержка происходит. У нас есть поддержка когда при покупке и при доставке и при сборке. Где-то покупка и доставка - это одинаковые вещи, но вообще часто вы купили, а потом вам говорят: "Через полгода мы вам это доставим". И у вас доставкой вы занима занимаете другая служба. Может вообще разделить? Да, давайте у нас будет не один чат, а три. И мы сразу кейсы разберём один с другим. Может быть, они пересекаются. Почём стоит и какого размера. Это у меня вопрос одной одной важности. Когда придёт доставка, это вообще мне может искусственный интеллект не нужен, да? Я просто как этот чат автоматически сделаю всё. А с который напрямую будет в информационную систему заходить. Мне там не нужен. И сборка. Сборка. Мы хотим Ну, если у нас сборкой занимаются сами пользователи, мы хотим им чат со сборкой делать. Вообще пробовали по чату собрать мебель, наверное, будет неудобно, да. Э, но с другой стороны, может быть удобно, если будут присылаться пдфки такие в стиле ИКЕА. Вопрос. Ну, как бы и пока не умеют генерить эти штуки, да, ну, сборку мебели процесс, оно делает много ошиб. Значит, у нас должна быть база эта, да, м удобно ли это делать в чате? Может быть, нам и чат тот тоже не нужен. То есть на самом деле первый вопрос заключается в том, что а где он мне нужен и зачем? Да, то есть вот вот с этого начинается вопрос. Зачем мы хотим меньше операторов? Вот когда я мне звонят контакт-центр и говорят: "Я хочу купить у вас мебель. Мы точно хотим сэкономить на том, чтобы у нас вместо человека там сидел чат". Я бы, кстати, не был 100% уверен, если это вопрос именно я хочу купить. Вот. Да, для этого нужно проанализировать историю пользователя. Вот это, наверное, первый пункт должен быть везде. Ну вот у Все у Всеода это и было изначально, да? То есть история обращений на техподдержку. Ну, э, понять ещё, что у вас техподдержка, да? А что у вас, а, служба продаж, наверное, по телефону люди уточняют: "А если у вас такая же, она в белом дереве, э я имею в виду белого цвета там или из массива дуба, или там можно ли сделать меньше?" Наверное, это тоже вопросом пытаются уладить по телефону. Вот, может быть, бот нужен для консультантов в магазине. Это очень хорошо. Мне вот очень нравится это направление, потому что в таком случае бот может рекомендовать, то есть к нему будет обращаться консультант, когда он либо нуб, ну, только начал работать, ещё не все выучил, а, и он может посмотреть что-то в общей базе решений, либо это может быть, когда ему надо быстро что-то найти, а, и ему скорость важна. Если ты сейчас не ответишь, то клиент не оставит никаких координаты и уйдёт, потому что не хочет заморачиваться. Может ещё что-то нужно, да? То есть бот для помощи. Хорошо. То есть называется система такой human in the middle. Человек посередине. Ну то есть это рекомендационная система и она несёт гораздо меньше рисков, потерь.
Вот к вопросу всеволода обращение в техподдержку. Надо ещё посмотреть, а насколько регулируемая область. А есть кейс ирна. Человек написал в чат. Ну, это, кстати, было ещё даже до двадцать второго года, там был чат какой-то. И спросил, аэ, о возмещении аэ полёта в случае, если вам надо лететь на похороны. Там есть какая-то схема, когда ему что-то, какие-то деньги возвращают нарконада. И его отправили на правильную ссылку, но чат написал неправильную информацию. У них был трибунал. Ну, это такой какой-то местный мировой судья, ничего такого страшного. Где деньги вернули? Э, а в чём, собственно, интерес этого кейса? Это заключается в том, что ИРК Канада мужественно пыталась сказать, что она несёт ответственность за то, что ей пише, что написано в чате, да? То есть пыталась избежать выплаты штрафов в 700 канадских долларов. Мм, и в общем эту странную бюрократию запустили, сходили даже в трибуналы, получили это негативное решение и ослабились на весь мир настолько, что я вот до сих пор могу легко этот кейс найти там в Гардине у всех остальных. О'кей, хорошо. Мне понравилось. Очень хоро хорошие все написали ответ. В общем, это у нас всё в первом модуле нашего замечательного курса есть. У нас здесь и реальную пользу, где оценка реализуемости, проводского спека, кого собирать в команду, compliance. Это у нас прямо вот модуль один в курсе. То есть так, второй вопрос. Команда что-то говорит, я киваю. Это больше у нас здесь такие айтишники все, что может быть это менее интересно всем. Но тем не менее, если вы больше менеджер или вы никогда этим не занимались, у вас есть продакт-менеджмент, нам нужен чатбот по нашей базе знаний, а нам нужно и вот эту ф о эту фразу, которую, наверное, бессмысленно читать, а всё оно имеет смысл и на самом деле не такая большая проблема. Вот. Э-э, но нужно понять, э, а зачем и почему какая технология используется, да? То есть мы сейчас с вами обсуждали рак, а до этого, да, ретривые аргументы надо, ну, понять, что такое бединг и так далее. То есть у нас есть такая базовая часть в курсе для тех, кто меньшей степени айтишник и хочет или айтишник и хочет узнать, какие новые хитрые слова появились. Вот. И, собственно, в одном случае вы, например, можете выбрать и купить какое-нибудь решение. И, возможно, это будет быстрее, а, чем, э, искать инженера, а, нанимать его, и там это пройдет долго, дорого и остально. Хотя я могу вам сказать, что сценарий, когда вы просто нанимаете человека, довольно популярен. сейчас, э, на территории России, а потому что многие виндара не выживают просто, и получить, э, решение, которое сначала работало, потом не работает, а для многих корпораций гораздо больше проблемы, чем, а, потратить деньги на свой зоопарк. Ну вот в текущей ситуации, да, то есть на свои, собственно, разработанные внутри решения. Поэтому спрос на айтишников ещё довольно высокий, потому что многие пытаются, а, с целью повышения независимости от других, а, компаний многое разрабатывать внутри.
А давайте попробуем подумать, какие вопросы мы задаём техническому человеку. У нас здесь много айтишников. Вот к вам приходит человек инженер, ну или начальник инженер Темлит. и говорит, что я вот вот эту волшебную фразу, а что мы хотим ему спросить? Ну, кроме того, что откуда вообще рак, какая у нас последовательность мышления при э оценке решения, которое вам приносит? Давайте пишем в чат. Угу. Начните споко. Зачем? Для чего нам нужен чатбот по нашей части? Действительно, хороший вопрос. О'кей. Почему именно на чём позился глав? О'кей, хорошо. Да. Ну вот у меня бы тут очень мощные айтишники. Спасибо большое за ответы. И В Ивана мне понравился ответ. А да и все тоже хорошие. И даже вопрос, зачем на TNT мне тоже нравится. Значит, смотрите, у нас есть две сразу момента. Первое, чтобы я спросил, насколько кто вообще владелец базы знаний. А потому что я очень не хочу попасть в ситуацию, когда ко мне приходит человек который не владеет этой базой знаний, да? То есть если он делает решение и при этом не может никак её редактировать на самом деле, а и может её только вслепую использовать, это будет очень плохо. Независимо от того, что он дальше решит с ней делать, надо выяснить, что у нас как бы это решение согласовано с владельцем базы знаний или владельца базы знаний мы. Вот это вот первое, что бы я сделал. Особенно высокоерархичные организации. Если вы когда-нибудь сталкивались с интеграцией нового софта, например, в поддержку, вы довольно быстро выясните, что люди, которые занимаются поддержкой, не очень хотят идти вам навстречу, потому что они ассоциируют внедрение нового софта, а, с повышением требований к уровню своей поддержки, что означает тем, что, ну, вы понимаете, да, то есть, э, внутренней корпоративные угрозы вы являетесь денег, поэтому надо быть очень аккуратным тем, кто владеет большими крупными базами знаний больших организаций. Первый вопрос. Второе, конечно, Bis build, да? То есть почему мы решили её строить? Да. Да. Вот ещё дальше. Ну это уже дальше глупые вопросы. Чувствительные данные, да? А кто будет обновлять эти данные, если что-то меняется? У нас маркетинговые данные, например, мм, обновляются, не знаю, каждые 2 недели. Кто будет обновлять эти маркетинговые данные в базы знаний? Раньше, если у вас база знания запаздывала на месяц, то вы, в принципе, молодец. Ну, на самом деле, серьёзно. В больших организациях хороших ну база знаний имеется в виду confluence noше или что-нибудь такое, да, но она обновляется, но вроде как, ну, не критично, если она запаздывает на месяц, правда. Ну, если у вас там в одном месте появилась новая рекламная кампания, а вот как текущие параметры она ещё не стала, да? То есть в одном месте что-то обновилась, в другом нет. А если у вас такое происходит ситуация с Рагом, то он у вас неправильный ответ будет давать как на вопрос, какая скидка, да? То есть это прямо может быть критично. А поэтому, да, чувствительные данные нас тоже интересуют. Ну, в большей степени даже интересует их актуальность. Какие ограничения стоит, чтобы он не написал лишнего? Да, да, да. Всё, всё, всё это абсолютно логичный вопрос. Вот. А, ну Bild я тоже очень сильно рекомендую, несмотря на то, что это не очень, опять же, популярно сейчас, ээ, надо посмотреть, что есть на рынке, и, может быть, не имеет смысл, а, вообще ничего трогать, да? То есть вы внедрили, посмотрели, по крайней мере пок, да, вместе, ну, с существующими решениями, наверное, стоит делать все. То есть хотя бы посмотрите, как оно работает. Вот у нас есть уроки на эту тему. А-а, семь семь штук. Это общий вопрос, если что. Мы там не претендуем на то, что мы сделаем вас инженеро за всеми уроком. Я думаю, понятно всем, кто занимается IT давно, но это довольно достаточно для того, чтобы понимать, какие вопросы задавать и не чувствовать себя, ну, совсем плохо, да. Вот. Кроме того, там есть такие новые штуки интересные. Ну, например, UX для генеративного и курс написан 9 месяцев назад, и эту лекцию пришлось уже два раза переписать. Потому что первый раз случился lavable взлёт. Да, ну кто знает, это инструмент, который довольно быстро строит простые фреймворки. Потом случился Фиг II, который ещё упростил вайфреймы и некоторое время сидел через вайфреймы. А сейчас негодейские клоды. После обновления, ну, снова придётся переписывать лекцию. Потому что после обновления он сам строит эти фронтенды. И, наверное, быстрее теперь мне собрать цепимейлев в клоде уже, ну, в готово в готовом практически виде и даже какую-нибудь базовую логику туда прикрепить яваскриптом. Чем дело собирать это в Фигме? Ну, если вы, конечно, очень хорошо в Фигме или у вас есть какие-то корпоративные стандарты, то есть там у вас система уже на самом деле вся асеты имеет параллельные в Фигме и там, не знаю, всё это задокументировано хорошо, то, наверное, имеет смысл в противном случае, пожалуй, я бы рискнул просто всё делать клодом сума. Вот просто быстрее будет, и вы получите результат, который больше полезен человек, который делает фронтенд, да? То есть вот три раза надо пере, ну, я два раза пока переписывал, но вообще три раза надо было бы переписать эту лекцию. Поэтому мы следим за тем, чтобы она, ну, представляла некие современные реалии. Не очень сильно топим за то, что их инструменты единственный вариант. Тоже у нас такого нет.
Так, ну и третий вопрос. Где деньги, Билли? Где деньги? Вот тут у нас довольно простой пример. А вот хороший кейс. У нас был B2B САAS, 1.200 клиентов и помощник в суппорте. И у нас время ответа на Давайте возьмём список клиен вопросов фиксированный, да, не критично. А не критичные, а стандартные, да? То есть мы знали какие мы переключаемся, ну, автоматически отвечаются боты. Все остальные пробрасываются или которые мы не поняли, пробрасывают специалисты. Но таким образом у нас выяснилось, что большинство ответов у нас вопрос у нас довольно стандартный, и поэтому у нас среднее время ответа, да, всего осталось 30 секунд. Вот мы ещё мало того, что пробросили, мы ещё рекомендуем ответ. Если это на специалиста упал, у нас нет ответ, у нас ещё с тем рекомендации есть, поэтому 30 секунд. Он не печатает, он выбирает просто вот из существующих. Вот мы отловили кучу багов, кстати, здесь вот с парадоктом MP вырос сильно, потому что, видимо, наш факт никто не хотел читать, да? Про то, как пользоваться продуктом. А тут сразу можно задать этот вопрос получаем. А тикеты тоже что-то получилось автоматизировать через чат. Раньше должен был прийти инженер, там нажать поддержки, да, и нажать какую-то кнопочку. А теперь вот через такой инструмент автоматизации через чат, да? То есть мы вот настроили там переброс биллинга аккаунта с одного на второй без участия инженера и сразу выяснилось, что это дофига тикетов будет, ну, связанные с эти проблемой. Ну и бизнес, да, у нас одновременно выросвел, да, то есть люди стали чаще обновлять подписку, а и мы оцениваем это вот где-то 8 млн в год. Таким образом, у нас Return of Investments 16, он же 16.000 1.6%, да, 1600 получилось. А и всё очень быстро как бы произошло. Вот стоимость инфры, кстати, при этом полмиллиона. Кейс, на самом деле реальный, да? Вот. То есть инфра недешёвые, да? То есть на 1.200 клиентов мы тратим полмиллиона, и это нормально. Ну это зарубежный кейс, американский. Вот. Что обычно мы видим в качестве ответа? Ну вот так, да. То есть время ответа у нас снизилось, а стоимость инфре у нас осталась такой же. Вот давайте вспомним, чего нам не хватает и какие, э, и у нас есть доводная команда суппорта, которая снизила нагрузку. Мы должны понять, э, хороший кейс или плохой. И каких бы данных нам бы, а, ну, то есть у меня здесь, понятное дело, на предыдущем слайде есть операционка продукт, да, придумайте, что ещё можно, а, сократить, ну, или посчитать для того, чтобы понять, а, что решение сработало. Вот у вас есть какие-нибудь гипотезы, что нам не хватает тут из данных? Угу. NPS. О'кей. А NPS там что даст? Ну, ну, предположим, клиен Ну, TСт на самом деле просто то же самое практически. Вот у нас есть сокращение. Какой бизнес-эффект? Бизнес-эффекта нету. Какие ещё бывают бизнес-эффекты, кроме Rals? Ну вот, ну то есть процент оставшихся клиента. Что ещё можно сделать? Так, сколько новых клиентов приложения уного сотрудника? Вот снижение нагрузки, да? То есть у нас есть два варианта. Мы можем показать снижение нагрузки. Ну, снижать нагрузку, честно говоря, на полмиллиона долларов довольно сложно. Да, да, Иван, правильно. Трудосоглаты. Не указан Рой. Почему? Обычно никто не знает, какой рой в таких ситуациях. Неиронично. Это довольно частая ситуация, особенно, знаете, она бывает, когда это служба поддержки саппорта внутренних сотрудников. Там нет никакого роя, да? То есть, ээ, давайте подумаем, ээ, возьмём ситуацию, что у нас B2B SAS компания - это и помощник в суппорте, но это наш внутренний саппорт, он помогает, а, м, сотрудникам обслуживать своё рабочее место. Классическая техподдержка. Какие вопросы мы бы спрашивали техподдержка? Что такое ETF? E transform ETF - это акция. Share, может быть, какая-то мнение прошли. Давайте, друзья, давайте ситуация внутреннего саппорта. Что мы можем посчитать? У нас там есть, а, про ресурсы. Давайте грамотный вопрос зададим про ресурсы. Сисат на самом деле привездить то же самое, что NPS. Там хороший вопрос про NPS был, да? Что мы хотим от саппорта? За что мы платим саппорту? За что мы любим саппорт? И создал цену. Да, он у нас вообще внутренние. А, то есть мы отбили, Влад, да, мы мы выяснили, что не создали пользу для нас. Это внутренне. Вот у Николая есть хорошие, и Ивана тоже хорошие. нас внутренняя служба поддержки существует в чате одного анблокинг, да? То есть насколько быстрее сотрудник а стал получать ответы на критично блокирующие его вопросы. Не на все. Не на все. Иногда это просто справочные тикеты какие-то, да, запросы. Насколько критично блокирует? Например, ему нужен доступ. Кто работал в крупной организации, знает, чтобы доступ получить, э, можно занимать, ну, недели, да, но дни абсолютно реалистично. А раньше было и недели, да, поэтому мы смотрим определённые тикеты. Поспер тикет тоже подойдёт, но их, конечно, надо тоже сегментировать. Вот у Ивана хорошая. Ну да, вот Ага. ФТИ - это эти, да, флтайм плоеры. Всё, понял. Да, ФТ. А на по моей практике, с точки зрения IT, ФТ - это ложный путь, потому что я не владею этими ФТ, как правило. То, если я айтишник и внедряю софт, меня, как правило, не отдают в подчинениние людей, которые забираются эксплуатацию этого софта. И поэтому, если я начну говорить, что хей, сократите в соседнем департаменте 20 человек, пожалуйста, пото что я внедрил вам новый софт, может получиться не очень хорошо. Вот проблема. Поэтому обычно плохой кейс, а вот, э, лучше писать позитив, да, насколько быстрее сотрудник теперь может работать. Да. Сколько тикетов мы отрабатываем? Это хороший вопрос. Но то есть нам нужен общий объём. Нам нужно понять, сколько из этих критично блокирующих тикетов и насколько быстрее мы можем их сделать. В принципе, полмиллиона отбить возможно. Давайте представим, что у нас сотрудники были заблокированы 3% времени, а суммарный фт у нас 50 млн. 50 млн умножили на 3 доллара на 3% получили 15 млн. Нормально полтора вы сняли основную боль и у вас как бы 500.000 стоит кейс и как бы вы у вас стало не 3%, а один. Ну в плюсе на полмиллиона, так-то. Ну плюс ещё NPS, да, CSAT прямо хорошо. То есть он может закрываться и без клиентов. Мы не оптими, мы, кстати, не обязаны совершенно мы IT, мы не мы не оптимизируем людей в штате, да? Наша задача дать им возможность работать, что они будут делать со свободным временем. Это проблема их начальников. Надо очень разделять то, что находится в в периметре вашей вашей ответственности и что нет. Вы же не генеральный директор и не владелец. Это они занимаются оптимизацией шта. Ваша задача, я дал возможность как бы работать. А что они там делают? Каким образом они тратят на свою свободную волю? Это их проблема. О'кей. Мы выяснили, что можно собрать и успешный кейс. Так он изначально был провальный. Я думаю, это очевидно. Выводы. А мы должны считать рой. Рой бывает разный. Ничего страшного, если даже не связано с клиентами. Такой кейс тоже закрывается. Аэ, если вы не покажете роя, вас не повысят, хрен с ним, что её закроют. Просите французский хрен можно говорить. Неважно. Чёрт с ней закроет фичу и всё. Вам найдут, дайдут, дадут вам какой-нибудь новый продукт. Вас не повысят. Это проблема. Вот. Потому что если вы не показываете роя, вас не повышает. Ну, по крайней мере, начиная с какого-то уровня, да, когда вы имеете отношение к этому рою. Вот чем лучше вы показываете рои и чем можете лучше объяснить, зачем вы приходите на работу, тем больше ваша зарплата. Так везде работают, да? Да. Показали больше звук, повысили производительность, ну или дали потенциал повышения производительности, плюс улучшили NPS как отношение сотрудников фирме. Это, кстати, любят, особенно учитывая, что мы докладываем там на стратегический уровень. Н нанять умных людей довольно сложно, если они получают доступы 5% времени в вашей организации, они склонны писать а-а посты на Хабре, которые называются "Как я год не работал в Сбербанке". Вот вы можете погуглить. По-моему, пост до сих пор существует. Ну мы всё пофиксили, но это происходило практически за неделю только я вышел на работу, по-моему, или что-то что-то типа того, да? Касалось Линкса. Вот поэтому некие плюсы от того, что сотрудникам просто больше нравится работать, это тоже есть, да? Вот и умных сотрудников всегда не хватает. О'кей. Э мы всё это проходим, как не парадоксально, да? У нас есть парочку модулей на эту тему тоже. Вот. Ну и в конце у нас проект. М что-нибудь такое тоже прошу сделать. Ну то есть выдумываем продукт. Вот. Можем выдумать из-за вас. Сейчас добавлю легко, но вообще можете выбрать сами, а и защитить его. У меня в прошлом запуске было три системы безопасности, прямо такой суровой. Почему-то на прошлый курс пришли безопасники. Вот поэтому все знаете кого-нибудь из безопасности, отправьте к нам. Пользовался большим спросом. Так, э, итого. Ну да. на три боле, 24 занятия и так далее. Скоро стартуем. >> Во, да, сим ээ было тяжело. Вот там тоже были, причём там такой один из студентов был прямо высокого уровня. Начальник департамента был, ну, не в самых больших банках, ну, в крупном банке. Вот хоро большая должность. Вот, ээ, имена, регалии, нет у нас имён. В принципе, всё. А-а, тут у меня даже сразу рекламный курс как-то получилось, неважно. Так, что у нас ещё про курс можно рассказать? Так, программа курса, я думаю, вы уже поняли. А давайте я расскажу про преподавателей. А если у вас есть вопросы, вы их можете задавать там, да? То есть мы близимся к концу. То, что большой любитель длинных разговоров. Вот этот мальчик в очках, это я. Вот, ээ, Сергей у нас из Ошана и парочку чаек, которые не указывают, собственно, занятость. Ну, Андрей, по-моему, этот, э, преподаватель профессиональный, и он разбирается в искусственном интеллекте. непосредственно. То есть у нас главный эксперт по ML технической ведёт нас в основном техническую часть. Вот, э, обучение в живом формате. Задаёте вопрос либо коллегам, либо преподавателям. Я постоянно пишу в чате, а-э, и люблю отвечать на вопросы. Собственно, считаю, что это вообще единственный способ чему-то научиться, а, и чему-то научить. Все записи занятий сохраняются. Проект делаем домашнее задание есть. Домашнее задание, пожалуйста, используйте искусственный интеллект, вообще не проблема. Главное, чтобы вы понимали, что происходит. А я его тоже могу, ну, я его обычно тоже анализирую сначала, а, с помощью того же чата, в котором я, собственно, задание написал. Аа, и потом смотрю глазками, что чтобы просматриваю, чтобы избежать всяких глупостей, которые я знаю, что иногда допускает. программы обучения на курсах. Да, каждый запуск обновляется, всё на месте. Вот у нас есть QR-код, есть деятельность. А если у нас какие-нибудь вопросы, проходите к QR-коду. Ещё можно оставить отзыв на вебинаре, и, может быть, я сейчас дам вам ссылку. Сейчас ссылка, опрос. А помогите мне посчитать CСт вот или NPS данное данного мероприятия. Пройдите по ссылке. В целом с моей стороны всё. Any questions? Они же есть ли вопросы? Мне кажется, довольно продуктивно посидели. А хороший был сегодня чат. А вполне активно. Спасибо Ивану. Все лдо тех, которых прямо ярко запомнил центр задавания вопросов. Дефис, да, не ответа. О'кей. Я так понял, что вопросов пока нету. А, ну с теми, кто встретимся, а, привет тем, кто не дошёл, а-а, и на записи. Я надеюсь увидеть вас хотя бы на вебинарах, а дальше платно. Вот. Всем, кто пришёл, большое спасибо. Всем пока. А