Transcription
Привет. А я Оксана Крымина. Оксана Верта - это тоже я. И сегодня я буду говорить о том, как применяют, применяют ли, если применяют, то как? И, может быть, как стоит применять те, кому нельзя ошибаться.
А, собственно, почему я об этом буду говорить? Я себя определяю как математик и датасаентистка в айтишечке. Я с прошлого века. Закончила мехмат. Занимаюсь ML-моделированием в той области, где, а, за результаты применения актуарии несут персональную ответственность, а, ну, менторю, а, ментортек в глобальном проекте, а, mentoring matters в сообществе Women and Back Data наpлиist, э, Да.
А с генеративным искусственным интеллектом я знакома, в общем-то, с двух сторон, поскольку я для себя и для коллег строю агентов, но и пользуюсь ими уже. А есть ещё взгляд со стороны той, кто нанимает, нанимала, а, профессионалов, экспертов и, в общем-то, чего-то от них хотела и оценивала, сколько денег на это дело тратить. Вот.
А говорить буду ещё с учётом одной стороны, а именно из своего прошлого опыта дрессировки, потому что я сначала дрессировала собак, а уже только потом переключилась на математические модели. И этот взгляд со стороны дрессировки и спорта с собаками нам будет полезен, потому что подсветит немножечко и процессы мышления, управления этим самым мышлением и отчасти какие-то физиологические константы.
Аа я бы хотела, чтобы содержание моего доклада показалось тривиальным. Если сочтёте, что, ну да, ну конечно, так. А то значит цель достигнута. И, собственно, всё будет сводиться к тому, что делаете хорошо и не делайте плохо. Один маленький нюанс, э, делайте хорошо себе и не делайте плохо тоже себе.
А, итак, мы знаем и имеем личный опыт, что искусственный интеллект ошибается. На слуху примеры, когда там, я не знаю, м спросили, как, э, сформулировать там какой-то участок кода, и искусственный интеллект придумал новые методы. Спросили: "А где же ты такой метод видел?" Он говорит: "Так вот надо ж эту версию библиотеки ставить, а она ещё не существует". В газетах пишут примеры, когда, а, какие-то консультанты подали своё, сформулировали позицию для суда с использованием кейсов, досели невиданных и нигде не встречавшихся или когда иммиграционный консультант не попал в какую-то страну, куда он ехал в деловую поездку, потому что поверил чату чат уже пяти о том, что туда безвизовый въезд, а въезд оказался визовым. Это всё очень неприятно. Ошибаться вообще всегда неприятно.
Но есть области, в которых цена ошибки существенно выше. И, в принципе, бизнес-процессы изначально выстраивались так, чтобы вероятность такой ошибки минимизировать. Ну, например, в казначействе каждый платёж, вот непосредственно платёжка проверяется независимо аэ тремя специалистами. Тем не менее, есть кейсы, когда отправили вместо 100.000 долларов, миллион долларов. Да, так бывает.
М я больше знакома с областью расчёта страховых резервов. Есть даже специальная профессия тех, кто это делает. Они несут, э, в том числе и персональную ответственность. и их ошибки составляют примерно половину, чуть больше половины случаев, когда страховые компании вылетали из рынка. То есть это прямо область, где совсем не надо ошибаться. И пока что это сгенерированный пример. Ну, допустим, передача управления самолётом. Вот эти области нам представляются такими областями, где, ну, ошибаться совсем не надо, и можно предположить, что искусственному интеллекту там места не будет. Отчасти я с этим согласна, отчасти нет. И дальше расскажу, как и почему.
Итак, а мы знаем, что искусственный интеллект, а не всегда даёт точные ответы. За ним надо проверять. Он может сказать что-то такое, что, ну, вообще никак. Для этого даже есть термин м галлюцинации. А чего-то искусственный интеллект может просто не знать. Ну, просто модель когда-то училась, а потом её готовили к к выкадке в прот. И то, что случилось после, она просто никогда не видела. Она этого не знает.
Итак, а почему так случается? Это, вообще говоря, баг или фича? Мм, я скажу, что это неотъемлемое свойство. Конечно, это, э, когда мы встречаемся с ошибкой, конечно, мы этого не хотим. И, конечно, с этим боремся, но отключить напрочь - это невозможно.
Мм, почему так случается? Потому что генеративный искусственный интеллект внутри себя имеет модель, которая отвечает распределением. Что такое распределение? Аа, есть множество возможных ответов. Какие-то из них более вероятны, какие-то менее вероятных. Но принципиально важно, что это не один единый и исключительно правильный ответ, а целое множество, между которыми как-то распределена вероятность по этому распределения.
Мм, что-то увидеть. Если бы искусственный интеллект отвечал только точечной точечным ответом, то у нас вот продолжение каждой из приведенных фраз бы только единственно возможное. Ну мы все росли в а русскоязычной культурной среде учились, а, наверное, по одному примерно одному букварю, поэтому знаем, что мама мыла, ну, безусловно, раму. Но как только мы будем пытаться использовать модель, которая знает, что мама мыла только раму, наверное, она окажется не очень полезный. Поэтому мы здесь используем распределение. Ну, собственно, не мы, а производители больших языковых моделей. И тогда получается, что мама могла помыть обычно раму, но иногда помидоры. Это область высокой плотности а ответов. Но есть также то, что на слайде обозначено вот слева и справа подчёркнутая то, что мы называем выбросами за пределами высокой плотности распределения. Ну, например, мама может в качестве продолжения фразы случайно постирать пифагоровы штаны, а также помыть корень, но не простой, а из, а, минус поросёнка. Мы, воспринимая ответ логически говорим: "Не, ну это уже слишком". А на языке распределений это как раз и говорит о том, что мы видим выбросы. Естественно, стараются, ну, мы стараемся сделать вероятность появления этих выбросов меньше, но они есть, отключить их невозможно. Есть разные примеры, э, разные приёмы, которыми, мм, уменьшают вероятность появления выбросов, но аа эта вероятность мала, но не нулевая. Это принципиально.
Далее, в одномерном случае мы добились какого-то малого количества выбросов, но оказывается, что для любой разумной реальной задачи требуется смплировать из высокоразмерного пространства. И здесь вступает в игру эффект, который называется проклятие размерности. То есть, а, по каждой из размерности у нас вот наш ответ, который сэмплирован, должен не попасть на границу, на в область выбросов. И оказывается, что с ростом размерности, с ростом количества размерностей практически все точки будут таки оказываться на какую-нибудь из границ. А объём того, что не попало, вычисляется, вот видим на экране формула, он будет стремиться к нулю. Неприятный момент. То есть для того, чтобы наш ответ нигде не выбивался за рамки м того, что мы сочтём разумным, нужно ещё больше снижать эту самую дельту как вероятность появления выбросов.
И ещё один момент, а это я продолжаю объяснять, почему большой языковой модели трудно отвечать там правду и только правду. Ещё один штрих - это то, что человеческие задачи сложны не только математически, но и человечески. Мы знаем, что, например, для искусственного интеллекта приходится писать огромные пронты от сотворения мира со всякими, казалось бы, тривиальными вещами. А, очевидные правила. А вот если не напишешь какое-то правило, то искусственный интеллект такой простой возьмёт и предположит, что, ну, так делать не надо, можно делать как угодно. То есть у нас задачи вот в любом случае содержат какие-то неточности и недомолвки.
Далее, бывают задачи, для которых существует бесконечно много правильных ответов. Ну, например, нарисуй картинку так, чтобы вау. Ну, нарисуй красивый пример автомобиля. Понятно, что их может быть бесконечно много. А существуют задачи, у которых при минимальном изменении условий, ну, например, при изменении тона речи, принципиально меняется то, что мы сочтём правильным подходящим ответом. Это всё вместе называется, имеет математическое название некорректно поставленные задачи. И это не означает, что задачу надо, ну, подождать, пока вы там, товарищи, пользователи, переформулируете нам, чтобы было корректно. Тогда будем решать. Нет, жизнь устроена так, что нужно решать те задачи, которые есть. А для этого есть определённые методы. Разумеется, разработчики больших языковых моделей их знают и применяют. Но что здесь существенно? Результат может быть не совсем тот, который мы ожидаем. Он может быть даже, а, в каком-то смысле правильно найденным, но, возможно, мы, формулируя задачу, ожидали бы чуть-чуть другое. Таким образом, а от получения не совсем того ответа, который мы сочтём, сочли бы разумным, правильным, корректным и как ещё можно назвать, мы не сможем от этого никуда деться. То есть искусственный интеллект так и будет нам всегда подсовывать иногда не то, что мы сочли бы приемлемы.
Теперь посмотрим на пользователей. Они или мы почему-то слишком доверяем и на этом попадаемся. Почему так случается? Ну вот как может иммиграционный консультант, который же юрист, который же знает, что надо всё проверять, что надо обращаться к первоисточникам, не проверить необходимость визы перед деловой поездкой. Он же свои деньги тратит. Ну как он так может? Причина этого в скорости. А по сути это основное, ради чего бизнес внедряет какой-то новый инструмент, будь то искусственный интеллект или любой другой инструмент. Что нужно бизнесу? Повысить эффективность. Как это делается в данном случае? За счёт ускорения. Будем ускорять. Но на этот факт я призываю посмотреть глазами, ну, наверное, всех тех, кто сталкивался с управлением каким-то другим существом. Здесь удобно смотреть глазами дрессировщика или, может быть, кто занималась спортом с собаками, узнает эту ситуацию. Нужно бежать, нужно делать задачи, нужно делать их как можно быстрее, но сохраняя управляемость. И это окажется не то же самое, что просто быстро. Оказывается, что а быстро и точно на предельно возможной скорости и сохраняя полную точность не может сделать никто. Не потому, что я или кто-то другой плохой или неумелый, а просто так устроена психика. И ещё из того же опыта мы можем сказать, что чем быстрее, а мы выполняем какие-то задачи в данном примере, чем быстрее бежит спортсменка с собакой, тем более простые команды, тем более резко их приходится подавать и теряется способность воспринимать полутона, разбирать какие-то менее очевидные ситуации. Опять же повторюсь, это не потому, что спортсменка не умеет дрессировать или потому, что собака плохая, а потому, что так устроен эффект скорости. А потому что такое физиологическое состояние соответствует выполнению задач в высоком темпе.
А что же, собственно, с этим делать? Я призываю взглянуть, а, с процессной точки зрения теперь на нашу деятельность, ради которой, э, вводится инструмент, аэ, искусственного интеллекта с целью этот процесс ускорить. Давайте посмотрим. У нас есть какой-то основной процесс, ради которого, мм, сейчас я буду говорить, мы м со стороны эксперта нас пригласили. Аа, да, вот, может быть, это мы слишком спешили. Ну, естественно, здесь виноваты мы как пользователи. Ну, действительно, кто же кроме пользователей? И отчасти это правда, потому что нам надо, значит, мы и делаем. А вот я а призываю посмотреть на основной процесс, ради которого нас, как экспертов пригласили, за него прямо держаться всем, чем мы можем держаться, выделить моё дело и его делать, а в своём физиологическом темпе. А также я призываю посмотреть, что здесь могло бы быть. допустим, вспомогательными, смежными процессами. А я бы сказала, что, например, в качестве вспомогательного процесса может быть генерация картиночек к формированию отчёта или рассмотрение чего-нибудь мм ну не знаю, согласование позиций с коллегами. Это то, что может ощущаться как то, что мешает или дайте помощь. Вот. И также я хочу обратить внимание на то, что есть физиологическая константа, скорость переключения между этими процессами. Вот. И я буду призывать выделять основной процесс и концентрироваться на удобстве выполнения его. Вот. И сейчас мы посмотрим, что же, собственно, как можно отстаивать эту самую, а, это самое удобство и качество, ради которого нас пригласили.
Может вообще сложиться впечатление, что, ну, раз нам нужно сделать хорошо, а искусственный интеллект всяко ошибается, то первое ожидаемое решение - это запретить. Вот пусть там, где не очень важно, там искусственный интеллект и отрывается. А там, где очень важно, мы будем делать так, как мы умеем. В общем-то, эта позиция отчасти а похожа на то, как поступили амиши в своё время, проигнорировав некоторую часть технического прогресса. Ну и можно сказать, что да, у них получилось, но глобально это, в общем-то, проигрышная стратегия, потому что сейчас на высочайших совещаниях, на важнейших форумах везде звучит там трансформация бизнес-процессов, а там изменения культуры с на культуру с использованием искусственного интеллекта, там офис трансформации. О чём нам это говорит? что, в общем-то, денег вкладывается в во внедрение искусственного интеллекта везде немало. То есть признак затрат есть. И ну куда ж тут нам с голыми пятками супротив их шашек? Поэтому я оцениваю эту стратегию глобально как проигрышную. Но тем не менее давайте посмотрим, что эти святые люди, которые придерживаются такой стратегии, могут нам дать. Во-первых, они сдерживают давление всех тех, кто кричит быстрее, выше, сильнее, даёшь, э, производительность X10 и так далее. А эти святые люди, благодаря тому, что они среди нас есть, дают нам а какое-то время на то, чтобы а разобрать м ну, собственно, как мы можем внедрять тот самый искусственный интеллект в наши процессы. дают нам, а, какое-то количество кейсов, э, когда получалось, э, м, продвигать, аэ, более сдержанную позицию. Ну и, в общем-то, да, для того, чтобы в индивидуальном порядке придерживаться этой стратегии, требуется много сил. Глобально это не даст больших выигрышей, поэтому, ну, моё мнение, мы наблюдаем за ними.
А противоположный подход, а, это возглавить и трансформацию. Традиционно это противопоставляется. А может быть не вполне очевидно. Вот я привела как пример э той области, где кажется невозможным передать управление искусственному интеллекту это управление самолётами. Ну вот, например, управление грузоперевозками. Полностью автономные грузовики вполне себе ездят. Это китайский пример. Ну вот ездят, экономят какие-то мегаденьги. То есть оказывается, что всё-таки чуть-чуть больше областей, где принимают риски, да, неприятные ситуации случаются, накапливается какая-то статистика, а эти риски можно оцифровать, дальше можно застраховать или заложить какие-то внутренние бюджеты на их покрытие. И в целом, наверное, с точки зрения того пользователя, которому нужно пользоваться или не пользоваться генеративным искусственным интеллектом, а позиция возглавить может выглядеть более выгодной в личном плане. Ну, естественно, тут возможны и какие-то эксцессы, и, а, если будет крупный факап, то, наверное, можно понести и личную ответственность. А также я здесь вижу такие риски не совладать с какими-то новыми, не вполне реалистичными требованиями к тому, что должно получиться в результате внедрения. Ну и, в частности, к Soft Skills то самое, а требование повысить общую скорость работы за пределы, а, ну, за физиологические пределы.
Традиционно, а, принято предлагать некую золотую середину. Я не знаю, это середина или окраина, но предложу, а, делать хорошо и не делать плохо себе. И для этого искать физиологичные решения. Здесь снова пригодится аналогия, а, с двумя, а, сознаниями, а-а, а именно аналогии следовой работы. Вопрос, кто из из предложенных быстрее найдёт злоумышленника? наверху бегущие, а во весь опор внизу, а аккуратно прорабатывающие в своём физиологическом темпе. А применительно к нашей ответственной работе, я, собственно, предлагаю выбирать, что можно разгонять и что нельзя разгонять, и выбирать по признаку целевых процессов, то есть разгонять вспомогательные. И как раз-таки это совпадёт с признаком толерантности к риску. Ну, то есть там, где можно позволить себе ошибаться, где цена ошибки будет приемлемой, а также, а, относиться к тому, что предлагает, э, генеративно-искусственный интеллект, и, возможно, дописывать ему в промпты, чтобы он прямо это так формулировал позицию, мне кажется, что то есть ставить его в позицию советчика, а не поставщика решения. А таким образом, а ускорять то, что отвлекает, и всеми силами, всеми ресурсами держаться за сохранение физиологичного темпа и ритма работы. А пока, а, ну, это можно обозначить как стратегия умеренных скептиков. И пока такие внедрения не очень заметны, но мне кажется, что это дело времени просто потому что сейчас время снятия сливок. А вот подобные стратегии будут заметнее после того, как, э, я надеюсь лопнет, я надеюсь и и пузырь. Занимаем места, наблюдаем, а также готовимся выступить вот с использованием этой стратегии, когда будет подходящее время.
И в общем, на этом аэ содержательная часть закончена. Делайте хорошо, не делайте плохо, в первую очередь себе. А я прошу критиковать, сомневаться во всех моих словах. И, пожалуйста, пишите. Мне можно написать в LinkedIn, можно написать в Telegram Linkedin. Оксана Верта - это тоже я. И здесь я хочу ещё выразить благодарность автору картинок, которыми я пользовалась. Это Александр Николаевич Власенко. С самый правый QR-код ведёт на а страничку с его а книжками. Я у него больше 30 лет назад училась в дрессировке собак. И это до сих пор заметно. Вот всё. А-а, на этом, пожалуй, всё. Аа, пожалуйста, задавайте вопросы, пишите, критикуйте, критикуйте прямо сейчас, критикуйте потом. А, может быть, из этого получится польза. Ну, я хочу сразу покритиковать. Это был великолепный доклад. И у меня просто слов теперь нет. Как-то неудобно перед зрительницами. Спасибо. Было очень интересно. Хотя я думала, что такая тема меня никогда не заинтересует, сказать честно. А, конечно же, у нас есть вопрос от Стаси. Стася, большое спасибо вам за активность ещё раз. А, Оксана, есть дискуссии о большом количестве мусорных данных в сети интернет, и якобы это напрямую связано с качеством ответов и и что это настоящая проблема. Очень интересно услышать твоё мнение. Это, э, начинает быть проблемой. Мне кажется, это будет дальше большей проблемой. Это связано с тем, что каждая следующая модель нуждается для своего обучения в большем количестве топлива. А я думаю, что будут решения, будут обходные пути. В общем, это, да, это часть экспириенса тех, кто занимается разработкой больших моделей. Э, спасибо. Ну, если подумать, это довольно логично. Есть даже теория мёртвого интернета уже довольно любопытная. Вот. Ээ поэтому, да, думаю, это всё в духе времени. А мне тут тот же та же стеснительная персона, которая писала к первому докладу, написала тоже в личку. Спасибо, что доверяете. Я всё передам. Итак, вопрос такой от человека. Э сейчас очень популярны сейчас. Что ж я делаю? Надо читать. Сейчас очень популярны различные агенты, например, посвящённые путешествиям, покупке билетов. И может ли решить проблему ошибок агент, разработанный для страхования? Как вы думаете? Агент - это один из приёмов. А этот приём уменьшает ту самую дельту. Сейчас я попробую найти, где была дельта. Вот здесь была дельта. Это один из приёмов. Он снижает а число n, он снижает число дельта. Но тем не менее мы всё равно остаёмся в ситуации, когда вероятность ошибок остаётся. Угу. Спасибо. А есть у меня у меня тоже есть вопрос, пользуюсь случаем, задаю. Мне просто, ну, практически интересно гипотетически, если применить и вот в какой-то сфере, ну, например, в страховании, а как ты думаешь, в какую сторону он скорее ошибётся, в пользу пользователя или в пользу компании или там бизнеса, который предоставляет услугу? Мне кажется, что если он найдёт, где сторона пользователей и сторона бизнеса и не промахнётся с этим, то уже его можно дообучить. Проблема в том, что он уйдёт в астрал и вы либо он выдаст какое-нибудь мыльное мыло, либо, не знаю, в общем, то, что это будет нерелевантно. Угу. Я просто имела в виду, что есть различные досеры, хакеры и так далее, которые пытаются в свою пользу, ну вот ищут какие-то уязвимости и так далее, в свою пользуть деньги. Может ли быть такая вероятность здесь, что вот кто-то узнал, тут работает и модель, и теоретически можно ли её в свою сторону как-то склонить вот для выгоды? А здесь нужно доопределить задачу, то есть подушнить ещё несколько минут, доопределяя её. И если у нас был пример, где, допустим, допустим, а мы оценивали размер ущерба по предоставленным фоточкам и, допустим, не перепроверяли и, допустим, есть возможность влиять на следующие шаги, то, да, конечно, можно подсунуть обработанную картиночку, на которой будет там какое-то повреждение весить больше. А, но, естественно, что должны были поработать ещё многие другие специалисты для того, чтобы сама архитектура такого, аэ, решения м ну как-то защищалась от уязвимости. Потому что должно быть неважно, это искусственный интеллект или каким-либо иным образом нам подсовывают то, с чем мы не хотели бы согласиться. Вот. А при этом область страхования - это очень большая область. Там работает целая прорва разнообразных моделей, и каждая из них может завираться в свою сторону, что вот напрямую не соотносится с в пользу бизнеса, в пользу пользователя, там ещё в чью-то определённую пользу. >> Угу. Спасибо. Очень интересно. А последний вопрос тоже от меня. Просто я люблю вопросы. Вот. И предлагаю пока что закругляться и потом перейдём к следующему вот докладу. Вопрос такой: "А почему родилась метафора дрессировки собак и этой темы?" Ну вот класс, классная просто она. Вот мне интересно бэкграунд, >> потому что ког когда взаимодействуешь с собакой, тебе приходится описывать в каком состоянии у неё мозг, что она может, что она не может или она не хочет разделять это. Когда работаешь сама, можно этот момент проехать, вообще не заметить собаке. Я задаю условия, в которых она работает. я ей позволяю разгоняться или не позволяю, потому что это мне нужно подумать о её физиологическом состоянии. А относительно себя я могу этого не сделать, не заметить, а потом ой, я, наверное, плохо умею. Как же это я вот так вот, да? А в общем, когда наблюдаешь за тем, как работает собака, а чуть больше чуть удобнее заметить все рычаги воздействия. А кроме того, она такая вроде бы простенькая. А потом оказывается, что рычаги воздействия, они в чём-то похожи с человеческими, особенно если я сама же для себя их буду применять. И поэтому удобнее переносить. То есть это просто удобно. H