Transcription
Я имею в виду, чем больше агентов вы создаете, тем сложнее ими управлять. >> Верно. >> Давайте вырежем, а затем возьмем три отметки. >> Привет, я Прия Понапали, старший вице-президент по инжинирингу в Scale. Мы работали с некоторыми из самых амбициозных компаний над внедрением ИИ в их самые сложные рабочие процессы. И благодаря этой работе мы узнали кое-что важное. Создавать демонстрации ИИ-агентов легко, но создание набора надежных агентов, безопасно связанных между различными средами, очень сложно. И чем больше агентов вы развертываете, тем сложнее ими управлять. Таким образом, мы получили определенные знания благодаря нашей работе с предприятиями. И мы очень рады поделиться этим с сообществом. Сегодня мы откроем исходный код уровня инфраструктуры Agentic в платформе генеративного ИИ Scale Agentex. Agentex — это полнофункциональная платформа корпоративного уровня для создания, развертывания и масштабирования надежных ИИ-агентов. Теперь я хотел бы представить мою команду, которая продемонстрирует Agentex, поделится более подробной информацией о нем и расскажет, почему мы решили сделать его открытым исходным кодом. [Музыка] Всем привет, я Феликс Сью, директор по инжинирингу в Scale. >> Я Мир Панда, директор по инжинирингу. >> Я Сэм Дентон, директор по машинному обучению. >> Я Джейсон Янг, ведущий инженер-программист. >> Прежде чем мы перейдем к демонстрации, я хотел бы кратко рассказать, почему мы создали Agentics и для кого мы его создаем. По мере масштабирования нашего бизнеса мы обнаружили, что нам очень трудно предоставлять различные виды ИИ различным клиентам без какой-либо системы доставки, которая помогала бы нам доставлять очень быстро, но также с желаемой гибкостью. У каждого клиента были разные индивидуальные требования, и нам было очень трудно доставлять все эти разные вещи одинаково. Поэтому Agentics — это система, которую мы хотели бы иметь с самого начала, и мы рады предоставить ее вам и показать, как она работает. Чтобы начать, прежде чем я проведу демонстрацию, я хотел бы показать, какова цель этого опыта. Итак, вы знаете, мы работаем с предприятиями, которые хотят массово масштабировать свой портфель ИИ. И если вы посмотрите на этот экран здесь, это пример этого. Например, у вас может быть безопасность, ИТ или DevOps, все эти различные типы ИИ, работающие в вашей компании. Вы хотите, чтобы все эти ИИ работали на одной дорожке, по сути, совместимы друг с другом. Таким образом, весь ваш ИИ консолидирован в одной инфраструктуре. Это пример всего этого. Тот, который мы рассмотрим, — это агент поддержки клиентов. Для этого вам сначала нужно посетить наш репозиторий с открытым исходным кодом. Это тот, который будет доступен вам на момент запуска. И вы можете увидеть здесь инструкции в файле README о том, как сделать то, что я собираюсь показать вам. Итак, чтобы настроить это, это довольно просто. Здесь у меня локально клонирован этот репозиторий. Что я собираюсь сделать здесь очень просто, это перейти в пакет UI и просто запустить его. Как только этот UI будет запущен, вы увидите здесь, что он работает на порту 3000. Я могу перейти в свой браузер, ввести здесь localhost 3000, и тогда вы увидите всплывающее окно UI. В этом случае, для этой демонстрации, мы покажем агента поддержки клиентов. Итак, если я перейду к другому проекту, это проект, который мы собираемся запустить. Чтобы показать вам, как начать с чистого листа, давайте перейдем в этот репозиторий агентов и, по сути, настроим его. Итак, здесь я просто запускаю эту команду инициализации в нашем CLI. Я собираюсь настроить один из них. Это есть в нашей документации, если вам интересно, что это значит, но я собираюсь настроить простой, который является нашим синхронным агентом. Я хотел бы создать свой проект в этой директории агентов, как вы можете видеть здесь слева. И затем я дам ему имя. В этом примере я просто назову его demo, потому что именно этим мы сейчас занимаемся. И я также назову папку проекта demo, для демонстрационных целей. Это просто для заполнения описания. И затем я буду использовать UV для управления пакетами. Здесь есть список различных вещей, которые дают вам больше информации о том, что вам нужно будет сделать дальше. Но я просто хочу показать вам, что произошло на экране. Итак, сначала я собираюсь перейти в папку demo. Вы можете видеть, что она настроена здесь слева. В этом случае я просто зайду в нее на своем экране. И все, что мне нужно сделать, это запустить agentix agent run. И выполнить эту команду. Хорошо. Как только я увижу здесь, что будет написано "Запуск приложения завершен", перейду сюда, обновлю свой экран, просмотрю всех агентов, и вы увидите, как появится этот новый агент. В этом случае этот агент делает что-то очень простое. Он просто ответит мне "привет". Но мы хотим увидеть что-то более интересное. Итак, все, что нам нужно сделать, это перейти к этому агенту поддержки клиентов. Это пример с большим количеством "мяса на кости". И мы собираемся задать ему вопрос. Скажем, "Привет, у меня проблемы с доставкой. Кажется, она задерживается." Ой, извините. Это не то. Позвольте мне вернуться и нажать на этот. Убить этот репозиторий и вернуться к другому агенту. Вот мой агент поддержки клиентов, и я собираюсь выполнить команду там. Посмотрите, как легко нам переключаться между разными агентами. Все, что мне нужно сделать, это перейти в другую папку, убить другой запущенный агент и просмотреть этот. Теперь я могу свободно общаться с этим. Привет, у меня проблемы с доставкой моего MacBook. Она задерживается. Теперь агент обдумывает свои различные шаги. И вы можете видеть здесь, что есть разные данные, которые он извлекает из разных клиентов, набор предварительно подготовленных мной запросов, а также набор инструментов. Он может искать информацию о клиенте. Он может проверять проблемы с обслуживанием. И он может генерировать предложения по удержанию, верно? И в этом случае он запрашивает клиента. Итак, я собираюсь ввести свой адрес электронной почты. Это поддельный адрес электронной почты, sarah.json@gmail.com. И он пройдет через все эти различные шаги. Теперь, если мы посмотрим на то, что происходит за кулисами, он смотрит на различные инструменты. Он принимает различные сообщения пользователя. Он может писать различный код здесь. Теперь все это довольно сложно на практике. Вы, если вы хотите, чтобы все ваши агенты следовали одному и тому же последовательному форматированию, вы потратите много времени, каждая отдельная команда будет создавать полностью индивидуальные вещи. Так что это способ унифицировать этот опыт. И через минуту мы поговорим о том, насколько это полезно для предприятий. Хорошо, для тех из вас, кто хочет попробовать самостоятельно, пожалуйста, посетите наш репозиторий по адресу scale-aggentics, и вы можете прочитать README, чтобы следовать инструкциям. Это был просто простой пример, который я хотел обсудить с теми, кто здесь находится, о реальной силе, о том, как мы собираемся предоставить это предприятиям и какое влияние это оказывает прямо сейчас. Итак, Сэм, я просто хотел спросить тебя, мы прошли через многие итерации попыток построить что-то подобное. Каковы эти итерации и как, по вашему мнению, это изменит ситуацию? Я думаю, что создание агентов стало очень сложным очень быстро, и я думаю, что это здорово. Это означает, что мы создаем гораздо более мощные вещи. Это означает, что влияние всех этих вещей гораздо больше. Я думаю, что некоторые из уроков, которые мы извлекли, изначально заключались в том, чтобы быть очень категоричными в том, как мы строим, чтобы убедиться, что мы правильно отслеживаем агентов и что все они придерживаются определенной структуры. И я думаю, что Agentics — это отход от этого, позволяющий нам быть более свободными в том, как мы строим, но будучи категоричными в том, как мы развертываем. И этот переход был очень мощным для моей команды как создателей этих агентов, верно? Потому что теперь мы можем использовать любой передовой конструктор агентов, который выходит. Мы можем использовать любые изменения API, которые приходят, и просто действительно пожинать плоды этих вещей. И Agentex дает нам возможность иметь этот категоричный процесс развертывания, благодаря которому у нас есть две очень мощные вещи. Во-первых, мы можем жить в мире скриптов Python, верно? Мы просто создаем скрипты Python, а Agentics просто волшебным образом обрабатывает все остальное, верно? И если вы спросите любого исследователя машинного обучения, что они хотят делать, это просто скрипты Python, верно? Пожалуйста, не заставляйте нас делать что-либо, кроме этого. И Agentics, который делает это для нас, был действительно, действительно мощным. И я думаю, что вторая вещь, которая действительно ценна, — это версионирование, которое приходит с тем, как разработан Agentics. Верно? Я думаю, вы знаете, мы пришли из места, где мы раньше версионировали модели через MLflow, и у нас были все эти различные способы убедиться, что мы знали, какая модель была выпущена, когда и какое развертывание было выпущено, когда. Агенты — это просто код, верно? И поэтому внезапно мы создавали агентов таким образом и не имели действительно четкого отслеживания. И теперь с Agentics, благодаря механизмам развертывания и тому, как это просто код, это просто Docker-файл, теперь мы можем действительно легко запустить что-то и затем сказать, что нам нужно вернуться к другому развертыванию, верно? Я думаю, что это одна из вещей, которые мы находим в пространстве LLM и отсутствии детерминизма, верно? У вас есть набор оценок, вы развертываете что-то, вы думаете, что это будет намного лучше, основываясь на вашем наборе оценок, ваш клиент буквально поджигает ваши DM, и вы говорите, окей, мы возвращаемся к предыдущему. И Agentics делает это очень, очень легко. Верно? Итак, я думаю, да, это сводится к тому, что мы меняем категоричность с того, как мы строим, на то, как мы развертываем, и что это дает нам с точки зрения простоты развертывания, а также простоты версионирования. >> И мы пробовали несколько вещей раньше, верно? >> Я имею в виду, моя команда создала что-то вроде нодового перетаскивания. >> Вы знаете, а затем, а затем ваша команда создала этот YAML-подобный предметно-ориентированный язык для попытки построить. >> Но можете ли вы немного рассказать о том, что произошло, когда мы попытались масштабировать наш бизнес? У нас были международные клиенты и клиенты из разных секторов, и количество людей, которым приходилось задавать вам вопросы, >> Да. >> вышло из-под контроля. Верно. Какова история этого и как это развивалось? >> Да. Я думаю, что мы действительно попытались тесно связать платформу и категоричность вокруг создания агентов. Верно. Наша платформа работала с определенной системой создания агентов. Эта система создания агентов хорошо работала с нашей платформой. Верно. И это означало, что любой, кто хотел создавать с помощью платформы, должен был пройти через нашу систему создания агентов, верно? И это не очень хорошо масштабировалось, когда у вас есть все эти клиенты, а также когда ваши клиенты хотят создавать на вашей платформе, верно? Как вы сказали, верно? Это позволяет клиентам и другим клиентам в Scale, другим бизнес-подразделениям в Scale использовать нашу платформу и выбирать, как они хотят создавать, верно? >> Я думаю, моя команда как команда инжиниринга решений не очень хорошо масштабировалась, верно? с точки зрения того, как объяснить, как работает система создания агентов, а затем работать над всеми этими ошибками и функциями. >> Я думаю, я бы скорее просто использовал то, что дает нам сообщество открытого исходного кода. >> Да. Да. И, возможно, Джейсон, вы можете немного поговорить о >> Ну, я думаю, возможно, ключевой момент там, верно, это то, почему Agentics отличается от всех других SDK агентов, верно? Существует множество популярных, таких как OpenAI agents SDK. Я знаю, что Enthropic только что выпустил свой собственный, верно? Но Agentics не пытается решить эту конкретную проблему, верно? Agentics пытается решить контейнер, вокруг которого вы строите мозг, используя эти библиотеки и эти фреймворки. Таким образом, Agentics — это ощутимый способ размещения этого кода и унифицированного API вокруг этого кода, но он не пытается взять на себя что-либо из этого пространства. >> Да, я думаю, я не знаю, помните ли вы, но когда вы впервые работали над Agentics, я провел с вами несколько недель, действительно пытаясь заставить вас понять, что это не код для создания агентов, верно? Это код для выполнения агентов. И я думаю, что это решает нашу проблему гораздо больше, чем код для создания агентов для нас, по крайней мере. >> Моя цель была в основном в том, как я могу не мешать Сэму, верно? Как я могу решать только блокирующие проблемы Сэма и не быть препятствием для команды Сэма? И я думаю, что ответ действительно был просто: можем ли мы избавиться от всех операций? По сути, там ноль операций. Можем ли мы иметь команду по созданию агентов, которая фокусируется только на бизнес-логике, а все остальное? Развертывание, учетные данные, как вы делаете потоковую передачу? Как вы общаетесь между разными агентами? Как они разговаривают друг с другом? Как вы делаете CI/CD? Как вы делаете контроль версий? Все эти вопросы съедают время, которое вы могли бы потратить на то, что важно, то есть на создание эффективного ИИ. И поэтому дело в том, что мы две разные команды по сути, верно. Мы действительно хотели избавиться от этой части. >> Все остальные инструменты, подобные этому, есть некоторые инструменты, которые пытаются решить эту проблему, но они были слишком привязаны к поставщикам для нас. У вас есть облачные поставщики и другие люди, у них есть другие связи, верно? Вы хотите, чтобы они использовали ваше облако, они очень вертикально интегрированы, и для нас это просто не работает так, верно? Если мы используем одного облачного провайдера, а другой клиент использует другого облачного провайдера, теперь мы являемся препятствием для этого другого клиента, верно? Поэтому нам нужен был самый легкий и эффективный способ сделать это. Я хочу передать вам слово, потому что все наши клиенты, как мы работали с ними в течение более длительных периодов времени, наше взаимодействие немного изменилось. Расскажите нам немного о том, что вы сейчас видите от наших клиентов, и почему это им полезно. >> Оказывается, такой подход, как вы знаете, попытка не мешать Сэму, также является тем, как многие предприятия думают о своих знающих работниках, своих опытных пользователях, верно? Например, у вас может быть инженер-нефтяник, который думает о том, как создать агента, который предотвратит проектирование нефтяной скважины, которая не взорвется. Они не хотят думать о том, в каком поде Kubernetes разместить своего агента или в какой файловой системе им нужно записывать свои контакты. Они хотят, чтобы все это было сделано для них. И поэтому такой подход, как встреча с клиентом там, где он есть, и построение системы вокруг этого конечного пользователя знаний — это именно то, что ищут наши клиенты. >> Да. И, и, и также, как мы уже говорили, некоторые из этих клиентов, с которыми мы работаем дольше, хотят перейти к более гибридной модели, верно? Они чувствуют себя уверенными благодаря нашей помощи, и они также хотят масштабировать свои портфели ИИ. Можете ли вы немного рассказать о переходе к более гибридной модели? Что сейчас спрашивают клиенты, теперь, когда они чувствуют, что немного освоились с тем, как все работает? >> Да, я имею в виду, что наши клиенты сейчас доходят до того, что хотят агентов, которые понимают их внутренние знания, говорят на их диалекте, и они хотят систему, которая может им в этом помочь. Вместо того, чтобы перемещать все индивидуальные источники данных или инструменты к очень конкретному поставщику, они хотят гибридную модель, где они открыты для других источников данных, инструментов и имеют гибкость выбора лучших инструментов для создания агента. И я думаю, что такой подход, как встреча с ними там, где они есть, с открытой системой позволяет им это сделать, потому что им не нужно беспокоиться о цене неправильного решения через 100 дней. И я думаю, что это очень высокая цена, которую уже заплатили многие предприятия в этой игре по внедрению ИИ, которую мы наблюдаем. >> Да, мы тоже заплатили эту цену. И Джейсон, я хочу передать вам слово. Последний вопрос для вас, который заключается в том, что я показал некоторые простые вещи, но я не говорил о классных вещах, которые делает Agentix. В README вы увидите пример того, как вещи переходят от того, что мы называем агентами уровня один до уровня пять. Агенты уровня пять — это агенты, которые работают полностью самостоятельно без слишком большого человеческого вмешательства, но с возможностью эскалации до человека. Можете ли вы рассказать аудитории немного о нашем партнерстве с Temporal, как это помогло нам воплотить это видение в жизнь и какие улучшения мы хотим внести в будущем? >> Да, абсолютно. Итак, я думаю, возможно, стоит начать с того, что такое Temporal, верно? Temporal — это очень сильный уровень абстракции для создания долгосрочных асинхронных задач, и он обрабатывает большую часть управления состоянием для вас. Он обрабатывает большую часть выполнения и параллелизма для вас. Когда мы внимательно изучили примитивы, которые поддерживает Temporal, мы заметили, что многие из них идеально подходят для типов рабочих процессов ИИ, которые мы хотим создавать, особенно для долгосрочных асинхронных агентов, где агенты являются движущей силой, а не люди, просто вводящие одно и получающие ответ. Таким образом, я думаю, что в целом Temporal является высокомасштабируемой и широко используемой системой для поддержки многих вещей, таких как банки и многие сложные цепочки утверждений, где мы ожидаем, что агенты будут брать на себя большую роль в будущем. >> Да. И какие типы приложений, по вашему мнению, это нам дает? Например, мы немного говорили об этом агенте по закупкам, где агенты могут контролировать крупные операционные задачи, которые имеют динамические входные и выходные данные. Почему агентные фреймворки или вещи, которые мы использовали раньше, инструменты, которые у нас были, не выдержали таких испытаний? >> Да, я имею в виду, я думаю, что многие из этих вещей, вы можете их реализовать. Это просто очень болезненно, верно? Обычно, особенно если вы пытаетесь сделать это в масштабируемом виде, вам нужно настроить собственные очереди сообщений. Вам нужно настроить собственные базы данных, и вам нужно создать все это управление состоянием самостоятельно. И Temporal довольно хорошо соответствует Agentics в этом плане. Он позволяет вам перейти прямо к бизнес-логике и написать и реализовать именно то, что вы ищете. А затем с множеством интеграций вы можете просто вызывать эти вещи в качестве инструментов, а затем запускать их все в вашем коде агента. >> Да. >> Я все еще думал о скриптах Python. Так что да, я думаю, что это для того, чтобы повысить уровень наших специалистов по ML и прикладным ИИ. Определенно есть много действительно, действительно классных возможностей, которые вы можете создать, если углубитесь в технологию. Агент по закупкам, о котором я говорил с Джейсоном, — это возможность сказать, давайте пусть ИИ контролирует всю операцию. Вы знаете, закупка поставщиков, привлечение их. Вы знаете, что если поставщик опоздает? Как вы реагируете на это, используя агентное поведение? Например, LLM может довольно легко интерпретировать это. Эскалация этого до человека, получение одобрения от человека, например, "О, да, давайте сменим поставщика". Двигаясь вперед, верно? Эти действительно, действительно динамичные, долгосрочные вещи довольно сложно построить прямо сейчас. Если вы можете попытаться представить себе прямо сейчас с технологией, которая у вас есть, как бы вы представили себе такой рабочий процесс? Это очень, очень сложно сделать. Поэтому с Agentex и с технологией, которую мы имеем в учебных пособиях, которые мы предоставляем вам с открытым исходным кодом, мы призываем вас попробовать и исследовать эти новые типы вещей. Очень распространенная аналогия, которую я привожу на многих встречах, которые у меня есть, заключается в том, что я думаю, вы знаете, что увидеть что-то вроде ChatGPT сломало для нас четырехминутную милю, дав нам представление о том, что возможно. Мы надеемся, что эти новые долгосрочные стили агентов сломают трехминутную милю. И мы призываем людей исследовать и делиться с нами тем, что они найдут. >> Мы создали Agentex для наших клиентов, поэтому он уже готов к производству и прошел боевые испытания, но еще многое предстоит сделать. Такие вещи, как SDK, соединения агент-агент и более продвинутые варианты использования. Поэтому, пожалуйста, вносите свой вклад и помогайте формировать то, что будет дальше. Посетите scale.com, чтобы начать.