Transcription
[Музыка] Меня зовут Ди Кила, я генеральный директор Contextual AI, и я здесь, чтобы поговорить с вами о RAG в продакшене, конкретно о RAG-агентах. Я поделюсь некоторыми уроками, которые я усвоил. Мой бэкграунд — исследования в области ИИ, но после этого я стал генеральным директором компании, специализирующейся на корпоративном ИИ. Поэтому я подумал, что было бы полезно поделиться с вами некоторыми моими наработками.
Если вы посмотрите на корпоративный ИИ, если вы работаете в этой сфере, вы, вероятно, заметите, что перед нами открывается огромная возможность. Все хотят воспользоваться этой возможностью. Цифры летают вокруг: 4,4 триллиона долларов — это предполагаемая добавленная стоимость мировой экономике по данным McKinsey. У нас есть эта гигантская возможность, но в то же время, если вы посмотрите на то, что происходит на предприятиях, вы увидите много разочарований. Это, вероятно, верно даже для некоторых людей в аудитории прямо здесь. Если вы вице-президент по ИИ, вы, вероятно, находитесь под некоторым давлением прямо сейчас. Где ROI? Мы вкладываем все эти деньги в ИИ, но куда это нас на самом деле ведет? Получаем ли мы что-то от этого? Forbes опубликовал интересное исследование, в котором показано, что только один из четырех бизнесов фактически получает выгоду от ИИ. Почему это происходит? Это кажется немного парадоксальным.
Чтобы объяснить это, мы можем взглянуть на парадокс, который может быть вам знаком. Это называется парадокс Моравека. Он из робототехники. В робототехнике были очень удивлены, когда обнаружили, что на самом деле гораздо легче обыграть человека в шахматы, чем создать робота, который может пылесосить ваш дом, или создать беспилотный автомобиль. Парадокс здесь в том, что вещи, которые кажутся трудными, на самом деле гораздо легче для компьютеров, чем вы могли бы ожидать, а вещи, которые кажутся легкими, на самом деле оказываются гораздо труднее.
Происходит что-то очень похожее прямо сейчас в корпоративном ИИ, и это связано с контекстом. С одной стороны, у нас есть эти удивительные языковые модели. Вы, именно поэтому мы все здесь, потому что мы видим эту революцию, происходящую прямо на наших глазах. Языковые модели могут генерировать код гораздо лучше, чем большинство людей. Они могут решать математические задачи гораздо лучше, чем большинство из нас здесь. И мы довольно умны. Так что то, что они могут делать, действительно удивительно. Но одна из вещей, с которыми они действительно все еще борются, и это одна из вещей, в которых мы, люди, очень хороши, как бы без усилий, — это правильное размещение вещей в контексте. Как люди, мы опираемся на наш опыт, мы опираемся на нашу интуицию, которую мы развили за годы, особенно если мы специалисты. Это то, что нам очень легко сделать — поместить что-то в правильный контекст и в правильную ситуацию, чтобы вы могли осмыслить информацию или проблему, которую вы решаете.
Я бы сказал, что это действительно ключевое наблюдение, этот контекстный парадокс, для раскрытия ROI с помощью ИИ. И причина в том, что там, где мы находимся сейчас, — в левом нижнем углу. Мы в основном сосредоточены на удобстве. У нас есть универсальные помощники, они очень полезны, в основном если вы ленивы, они помогают вам быстрее решать ваши проблемы. Но туда, куда вы действительно хотите попасть, — это дифференцированная ценность. Если вы предприятие, приятно, что вы можете сделать вещи более удобными, вы, вероятно, можете сделать людей более эффективными и продуктивными, это здорово. Но туда, куда вы хотите попасть, — это идеал трансформации бизнеса. Это то, что, вероятно, говорят вам все генеральные директора как вице-президенту по ИИ: "Я хочу изменить весь свой бизнес, как я собираюсь это сделать?" Так что достижение этой дифференцированной ценности — вот куда вы хотите попасть. Но проблема в том, что чем выше вы поднимаетесь по этой оси, тем дальше вы идете по оси контекста, тем лучше вы должны быть в обработке контекста, который существует в вашей компании.
Что нам следует с этим делать? Это наблюдение — причина, по которой я основал компанию, генеральным директором которой я сейчас являюсь, Contextual AI. Мы начали это два года назад, чтобы попытаться преодолеть этот разрыв. И мы усвоили некоторые уроки по пути, которыми я хотел с вами поделиться, в надежде, что они также будут полезны для вас.
Первое наблюдение заключается в том, что языковые модели великолепны, но часто они составляют лишь 20% гораздо большей системы. Если у вас есть корпоративное развертывание ИИ, обычно это означает, что это RAG-система. Я думаю, все здесь, вероятно, слышали о RAG. RAG — это то, что я изначально разработал со своей командой в Facebook AI Research, когда я там работал. RAG — это действительно стандартный способ заставить генеративный ИИ работать с вашими данными. Очень часто в наши дни выходит новая языковая модель, все говорят: "Вау, новая языковая модель, это здорово!" Все начинают думать только о языковой модели, но очень немногие люди действительно думают о системе вокруг языковой модели. И эта система должна решать проблему. Вы можете иметь относительно посредственную языковую модель, но с потрясающим RAG-пайплайном вокруг нее, и это будет намного лучше, чем потрясающая языковая модель с ужасным RAG-пайплайном вокруг нее. Основное наблюдение или урок здесь заключается в том, что вы должны думать о системах, а не о моделях. Модель — это лишь небольшая часть системы, а система — это то, что решает проблему.
Следующее наблюдение: если вы работаете на предприятии, ваш опыт — это ваше топливо. Одна из вещей, которую вы хотите иметь возможность делать как предприятие, — это раскрыть весь этот опыт. У вас есть все эти институциональные знания в вашей компании, как их извлечь? Один из способов сделать это — использовать этих универсальных ассистентов, но им очень трудно соответствовать опыту людей в вашей компании. В идеале вы хотите специализироваться, чтобы лучше улавливать этот опыт. В моей компании мы называем это специализацией вместо AGI. AGI — это здорово, у него много вариантов использования. Если вы действительно хотите решить очень сложную проблему, которая очень специфична для домена, где вы понимаете вариант использования, вы должны специализироваться на ней, и вы продвинетесь гораздо дальше. Это, я думаю, довольно контринтуитивно, если посмотреть на более широкий интерес. Большинство людей гораздо больше взволнованы AGI, но решение реальных проблем гораздо проще со специализацией.
Следующий урок: в корпоративном масштабе — это ваш ров. Если вы думаете о том, что такое компания на самом деле, это люди, вероятно, немного. Но со временем то, чем компания действительно является, или то, что делает компанию компанией, — это ее данные, потому что даже люди преходящи. Так что данные, которыми владеет компания, — это компания в долгосрочной перспективе. Теперь, как предприятие, вы должны подумать, как вы можете раскрыть весь этот потенциал. Одна из больших проблем, которую мы часто видим, заключается в том, что предприятия думают, что вам нужно очищать данные, чистить их и вкладывать много времени в то, чтобы сделать ваши данные доступными с помощью ИИ. Но на самом деле вы хотите убедиться, что ИИ может работать с вашими "шумными" данными в масштабе. И делать это невероятно сложно. Но если вам это удастся, вот как вы достигнете дифференцированной ценности. Вот как вы получите этот ров, потому что данные делают вашу компанию вашей компанией, и поэтому эти данные — ваш ров.
Одно наблюдение, и это действительно суровая правда, которую мы усвоили, и я думаю, что многие из вас, возможно, уже усвоили или собираются узнать, если вы находитесь на ранней стадии своего пути, заключается в том, что пилотные проекты очень просты. Создание рва не очень сложно в наши дни. Если вы хотите создать RAG-систему, вы берете один из фреймворков, добавляете некоторые документы, у вас есть рабочее решение, это здорово. Вы даете его своим 10 пользователям, все они говорят, что это фантастика. А затем вы показываете его генеральному директору, и он говорит: "Хорошо, мы уволим половину команды поддержки клиентов, заменим их ИИ, и сделаем это за три месяца". И теперь вы отвечаете за вывод в продакшен чего-то, что на самом деле намного, намного сложнее.
Так что сделать так, чтобы это работало с десятками тысяч или сотнями тысяч или миллионами документов, вы не можете сделать это с помощью каких-либо существующих инструментов на рынке открытого исходного кода. Это очень, очень сложно сделать. Масштабирование для тысяч пользователей очень сложно. Сделать так, чтобы это работало для множества различных вариантов использования, если вы предприятие, возможно, у вас есть 20 000 различных вариантов использования, которые вы хотите охватить. Так как же масштабироваться, если это проблема, которую вы решаете? И, конечно, есть корпоративные требования к безопасности и соответствию. Так что преодоление этого разрыва намного сложнее, чем вы думаете. И правильный способ справиться с этим — действительно сосредоточиться на продакшене с первого дня. Не проектируйте для пилотного проекта, проектируйте для продакшена. И это может сэкономить вам много времени.
И это подводит меня к следующему наблюдению: скорость действительно намного важнее совершенства. То, что мы видим в плане развертывания RAG-агентов в продакшене, — все дело в скорости. И это означает, что вы должны дать его своим пользователям относительно рано, реальным пользователям, а не тестировщикам, которые как бы дружелюбны. Вы хотите дать его реальным пользователям, чтобы получить их отзывы. Вы хотите сделать это рано. Это не должно быть идеально, это просто должно быть минимально функциональным. И если вы это сделаете, вы сможете постепенно улучшать, чтобы достичь этого уровня, когда это будет достаточно хорошо. Если вы этого не сделаете и будете ждать слишком долго, а затем попытаетесь разработать что-то идеальное, будет очень трудно преодолеть этот разрыв от пилотного проекта к продакшену. Так что итерация — это действительно ключ к многим успешным развертываниям ИИ в продакшене на предприятиях.
Следующее наблюдение также связано с этим: если вы хотите, чтобы ваши инженеры работали быстро, и если вы хотите следовать этому максимуму скорости, о котором я только что говорил, тогда вы не хотите, чтобы они работали над скучными вещами. Звучит довольно очевидно, но оказывается, что инженеры работают над очень скучными вещами. И вот одна из вещей, о которых им приходится беспокоиться, например: какая оптимальная стратегия разбиения для моей RAG-системы? И она отличается для каждого варианта использования, и она отличается для каждого фреймворка. А затем им приходится думать о правильном промпте или действительно базовых вещах, о которых, в идеале, им не нужно слишком много думать, потому что вы действительно хотите, чтобы ваши инженеры думали о том, как я собираюсь обеспечить бизнес-ценность? Как я собираюсь убедиться, что у меня есть эта дифференцированная ценность, и что я действительно лучше своих конкурентов? Так что убедитесь, что ваши инженеры тратят время на то, что важно, а не на стратегию разбиения или вещи, которые могут быть хорошо абстрагированы с помощью современных платформ для RAG-агентов.
Следующее — о том, чтобы сделать ИИ простым для потребления. Что я имею в виду под этим? Мы действительно часто видим, как компании используют генеративный ИИ в продакшене, а затем следующий вопрос, который я часто им задаю: "Хорошо, сколько людей на самом деле им пользуются?" И, на удивление часто, ответ — ноль. Почти никто им на самом деле не пользуется. Они проделали всю эту работу, но им пришлось убедиться, что она прошла через модель риска и подобные команды, так что она была почти "кастрирована", и теперь она едва полезна. Это один сценарий. Или очень часто люди просто не знают, как использовать эту технологию. Так что это действительно путешествие, на котором вы находитесь. И чем проще вы сделаете свои решения для потребления, тем лучше. И что это означает для большинства предприятий, это не просто размышления о ваших корпоративных данных и о том, как вы заставляете ИИ работать с ними, но и о том, как вы интегрируете его в их рабочие процессы. Чем ближе вы сможете интегрироваться в рабочий процесс, который уже существует на вашем предприятии, тем успешнее вы будете с реальным использованием в продакшене.
Следующее также связано с предыдущим: речь идет о получении использования, о том, чтобы быть "липким". И это может показаться немного очевидным, но чем быстрее вы сможете поразить пользователей или вызвать эту искру, когда они внезапно поймут это. Для меня как генерального директора компании, занимающейся ИИ, это действительно особенный момент, когда люди внезапно говорят: "Вау, я не знал, что это может сделать". Так что вы можете попробовать спроектировать свой пользовательский опыт для онбординга пользователей на основе этого наблюдения. Где они как можно быстрее достигают "вау". Для нас был действительно хороший пример с кем-то в Qualcomm. Мы работаем в продакшене по всему миру с Qualcomm, с тысячами инженеров по работе с клиентами. И один из них стал настолько счастлив, когда нашел этот документ. Ему было 7 лет, он был где-то спрятан, они не знали, что он существует, у них были все эти вопросы, и они просто никогда не знали ответов. И вдруг, потому что они задали вопрос нашей системе, они получили эти ответы, и их мир никогда не был прежним. Так что это те маленькие победы, которые действительно имеют значение для пропаганды продакшена в ИИ.
Это подводит меня к предпоследнему уроку: дело уже не в точности. Точность — это почти обязательное условие. Я думаю, мы, практики ИИ, вероятно, знаем, что достичь 100% точности очень сложно, если не невозможно. Достичь 95% точности, возможно, вы можете этого добиться, или 90%. Но то, о чем предприятия думают гораздо больше в наши дни, — это что насчет недостающих 5% или недостающих 10%? Как мне справиться с тем, что может пойти не так? Есть минимальное требование к точности, но помимо этого действительно речь идет о неточности. И способ справиться с этим — через наблюдаемость. Вы хотите быть очень осторожными с тем, как вы оцениваете эти системы. Вы хотите быть очень осторожными с тем, чтобы у вас были надлежащие аудиторские следы, особенно если вы работаете в регулируемой отрасли. Это невероятно важно. Убедитесь, что у вас есть аудиторский след, который говорит: "Вот почему я сгенерировал этот ответ, потому что я нашел его здесь, в этом документе". Базовые вещи, такие как это. Так что атрибуция, по сути, в RAG-системе становится очень, очень важной для борьбы с неточностями. И аналогично, вы можете проверить утверждения, которые генерирует ваша система. Так что проводите много постобработки, чтобы убедиться, что у вас есть надлежащие атрибуции, которые вы действительно можете подтвердить в качестве доказательств.
Немного борюсь с кликером. Итак, последнее, на чем я хочу остановиться, и это может показаться немного банальным, но это действительно правда: будьте амбициозны. Мы действительно видим, как много проектов терпят неудачу не потому, что люди ставят слишком высокие цели, а потому, что люди ставят слишком низкие цели. Люди говорят: "У меня генеративный ИИ работает в продакшене, и что он делает? Он отвечает на базовые вопросы о том, кто ваш поставщик 401k, или сколько дней отпуска я получаю". Это не совсем то, где находится ROI ИИ. Так что вы хотите стремиться к действительно амбициозным вещам, где, если вы их решите, вы действительно получите ROI, а не просто трюк, которым люди на самом деле не пользуются. Так что старайтесь быть амбициозными, потому что мы действительно живем в особенные времена. На слайде здесь астронавт.
Я думаю, это было довольно особенное время, чтобы жить во время высадки на Луну и когда все это произошло. Мы находимся в похожем моменте прямо сейчас, когда ИИ действительно изменит все, изменит все наше общество в ближайшие несколько лет. И поэтому у вас есть возможность, находясь в вашей роли, действительно повлиять на эти изменения в обществе. Так что будьте амбициозны, когда делаете это, и не стремитесь к низко висящим, легким плодам. Стремитесь к небу.
Итак, это действительно мои уроки для вас. Этот контекстный парадокс никуда не денется. Но, понимая эти уроки, которые я вам рассказал, надеюсь, вы сможете превратить некоторые из этих проблем, которые мы видим повсюду в корпоративном ИИ, в возможности для себя. Так что стройте лучшие системы, думайте о системах, а не о моделях. Сосредоточьтесь на своем опыте и специализируйтесь на нем. Не довольствуйтесь общими решениями, специализируйтесь на опыте, который есть в вашей компании. И будьте амбициозны, и тогда вы будете очень успешны. Спасибо. [Аплодисменты] [Музыка]