Transcription
Всем привет! Добро пожаловать на наш первый стрим сообщества, Dev Community Live. К нам присоединились несколько отличных, э-э, отличных людей, которые расскажут нам немного о крутых технологиях. Э-э, и эти люди — Эндрю из Ptopia AI и Q из IBM. Добро пожаловать, ребята. Э-э, мы очень рады, что вы здесь. Мы собираемся придерживаться довольно, э-э, довольно обычного для нас формата, что означает, что мы начнем прямо с демонстрации, а затем, после того как мы увидим, о чем мы будем узнавать и говорить сегодня, мы, э-э, мы действительно, э-э, углубимся в детали. Итак, начинайте. Покажите нам, покажите нам, что у нас есть. Думаю, вы, возможно, отключили звук. Да, это задело меня даже на прямом эфире. Вам это нравится. Эм, да.
Хорошо, так, я имею в виду, очевидно, Open Claw, это панель управления OpenClaw. Если вы еще не работали с OpenClaw, чувак, есть так много классных вещей, которые мы видим, как люди делают с OpenClaw. Эм, и это сходит с ума. И, конечно, много обсуждений вокруг безопасности. Так что я думаю, что это очень интересное время с точки зрения этой конкретной технологии, о которой мы будем говорить, и того, как вы можете привнести дополнительный уровень безопасности в ваших агентов OpenClaw. Итак, то, что вы видите здесь, это снова панель управления OpenClaw, и у нас настроены два агента. В данном случае один из них мы называем safe claw. Я покажу вам репозиторий GitHub для этого через минуту. Но идея в том, что у меня есть выделенный агент, который имеет доступ к модели, к которой он может получить доступ безопасным способом, но не локально. Вам не нужно запускать модель локально, чтобы обезопасить ее. И в этом вся магия Protopia. Protopia AI. Я хочу вставить это в конце. Эм, так что снова, вам следует проверить веб-сайт. Но то, что мы собираемся пройти сегодня, это я покажу вам, э-э, в этом агенте, э-э, прямо сейчас мы используем, э-э, VLM IBM tech, э-э, вы знаете, с открытым исходным кодом, с Quinn 332B, и с этой моделью мы используем технологию Protopia для безопасного подключения, и я углублюсь в детали этого через минуту, но давайте сразу перейдем к, э-э, репозиторию GitHub. Это, э-э, с открытым исходным кодом, где вы можете пойти и поэкспериментировать с этим, использовать это для ваших собственных агентов и [кашляет] эм, агентов, которые у вас есть в вашей установке OpenClaw. Итак, мы углубляемся в, мы любим этого милого маленького, этого милого, нашего маленького милого защищенного Protopia claw, но мы собираемся перейти прямо к некоторым деталям. Так что есть очевидные, своего рода, простые финансовые данные, но реальная ценность, я думаю, что реальный отличительный признак, новая ценность, которую OpenClaw представил нам с точки зрения агентов, — это понятие просто таймера или cron, по сути, агента, который периодически просыпается или может реагировать на события, вы знаете, если мы просто посмотрим, где были агенты, я чувствую, что это действительно большой сдвиг, который произошел с OpenClaw, люди думали, о боже, мы можем поставить это на таймер, чтобы делать вещи. И одна из этих вещей, которую мы собираемся показать вам, это, скажем, скажем, например, вы хотели бы иметь постоянно обновляемый портфель, вы знаете, обновлять свою позицию по тому, где вы находитесь в портфеле. Так что мы используем общедоступные данные плюс ваши частные данные, и вы не хотите обязательно отправлять это каждому LLM. И в этом случае мы хотим сказать: я хочу иметь возможность использовать защищенный LLM, и я действительно не хочу запускать его локально. Теперь вы можете запустить его локально, но, я думаю, что использование более мощных моделей действительно приносит много преимуществ, и иногда эти модели просто слишком велики, чтобы запускать их на вашей локальной машине. Итак, давайте посмотрим, с какими именно данными мы работаем. Так что я перейду в каталог примеров. Так что для этого конкретного демо мы переходим к инвестиционному портфелю. Так как я это настроил? На самом деле, я должен был сначала перейти к микронам. Так вот как вы настраиваете эти вещи, когда вы хотите настроить регулярную повторяющуюся задачу в OpenClaw. Мы собираемся настроить, мы покажем вам, как работать с монитором портфеля. Это на самом деле очень просто в работе. Это команда, которую вы собираетесь запустить. Очень просто. OpenClaw cron add. Мы уже предоставляем это как простой скрипт оболочки, который вы можете выполнить. Но настоящая, настоящая суть этого находится прямо здесь. Все, что мы делаем, это говорим: посмотрите в этой папке инвестиционного портфеля. Теперь это находится в вашем, э-э, рабочей области, которую вы установили на основе каждого агента. Помните, я показывал вам в начале, что мы работаем с двумя агентами. Каждый из них может иметь свою собственную, э-э, рабочую область, которая является своего рода изолированной средой, в которой они могут работать. И в этом случае, мы, в демо, у нас есть инструкции о том, как скопировать ее в эту рабочую область после того, как вы создали агента. Но мы переходим дальше, и я покажу вам, где находится эта задача. Итак, все, что мы сделали, это запустили это, чтобы настроить cron job. Но позвольте мне показать вам, как легко определить одну из этих задач. Итак, я перейду к той же самой, к этому инвестиционному портфелю. Все, что вам нужно сделать, это настроить этот task.md. Вы знаете, технически это может быть что угодно. Просто убедитесь, что вы ссылаетесь на него с помощью этих инструкций на естественном языке. И здесь вы можете увидеть, что это просто обычный markdown, четкие инструкции для моих частных данных, откуда они будут извлекаться. Это также было в каталоге выше. Я снова укажу на это, чтобы показать, что это конфиденциальная информация. Это мой портфель в формате CSV. Так что я не хочу, чтобы это просто отправлялось любому поставщику LLM. Я хочу знать, что туда, куда я это отправляю, это остается полностью безопасным. И я не имею в виду просто шифрование по проводу. Я имею в виду, я не хочу, чтобы мой поставщик модели LLM мог хранить эти данные для обучения, даже если я скажу им не делать этого. Никогда не знаешь. Эта технология дает мне это, знаете ли, душевное спокойствие, что они не обучаются на моих личных данных. Итак, снова, все, что мы сделали, это настроили это, и это ссылается на этот CSV-файл портфеля там. И это все. Вы знаете, у меня есть cron, который я настроил в другом файле, который я показал вам. Он ссылается на эту задачу, а эта задача ссылается на частную информацию, которую я хочу отправить в LLM. Теперь, что происходит с этими данными, когда запускается cron? Теперь мы интегрировали, в данном конкретном демо, со Slack. Вы можете интегрироваться с, вы знаете, у меня есть одна из моих установок OpenClaw, использующая Discord. Вы знаете, вы можете, очевидно, настроить это с вашим, вы знаете, iMessage или текстовым сообщением и так далее. Но в данном случае у нас есть Slack. И поэтому каждый раз, когда запускается этот cron, и я думаю, мы запланировали его на 15-минутный цикл, он будет смотреть на мои данные, мои частные данные, он будет искать все акции, по которым у меня есть позиция, и он будет отправлять это через, через технологию Protopia к другому, к LLM, который защищен с использованием их технологии, и затем даст мне ответ, который вы можете увидеть здесь. Итак, вы можете задаться вопросом, как это защищено? Ну, позвольте мне просто показать вам, в командной строке здесь. Так что я собираюсь запустить команду, которую я уже имел. Так что, позвольте мне посмотреть здесь. Позвольте мне посмотреть, перейдет ли он к началу, э-э, я нахожусь на своем, я чувствую, что это на другой вкладке. Когда я перешел? Когда я переключил вкладки? Дайте мне секунду. Не тот. Не тот. Не тот. Мог бы переключить, это было это. Второе. Вот как работают демо, верно? Это боги живого демо в действии, ребята. Это, чувак. И вы знаете, вы знаете, и мы знаем, что аудитории нравится это видеть. Это, о боже. Да. Это означает, что это реально. Это реально. Эм, позвольте мне подумать. SSH. Да, вот что это сделало. Так что мы запускаем это демо. Все когти, которые вы видите здесь, работают на DGX Spark. На самом деле, это DGX Spark, который находится у Эндрю дома. Так что я SSH из Хьюстона к Эндрю. И, э-э, позвольте мне посмотреть, смогу ли я получить мой, у меня был, э-э, версия стеклянного прокси. Где я это положил? У меня была командная строка в моей маленькой, вот здесь, в моей истории чата. Вызов для вставки. Если вы их не используете, они мои любимые виды истории. Так что вы можете увидеть в самом низу здесь, это команда. Я собираюсь немного подвинуть ее вверх, чтобы вы могли увидеть ее снизу. Вот так. Так что я собираюсь сделать ее немного длиннее. Мне нужно знать как можно больше об этом пользователе, чтобы я мог адаптировать свои продажи к его потребностям. Опять же, не обязательно информация, которую я, подождите, это не сработает, потому что я не, э-э, источник моего, Эндрю, это в этом каталоге или мне нужно перейти в другой каталог? Это должно быть в каталоге safe claw. Спасибо. Источник. Видите, я все это подготовил. VN bin activate. Отлично. Теперь сделайте это снова. Он уже забыл мою историю? Тим Кристмас. Хорошо. Я хочу добавить немного больше текста сюда, чтобы вы могли видеть, что происходит. Расскажите мне больше об этом пользователе, чтобы я мог адаптировать свой подход к продажам к его интересам. Итак, все, что это делает, это, я хотел показать вам, что вы вводите в, э-э, в, э-э, технологию Protopia AI, и как она представляет это вышестоящей модели. Итак, давайте посмотрим на это. Я предоставил, это был мой промпт safe claw job, бла-бла-бла. Это потенциально конфиденциальный текст, который я хочу отправить в этот LLM. Первая стадия обработки в любом LLM — это встраивание этого текста во все эти числа с плавающей запятой. Итак, вот что фактически вычисляется для передачи в модель. Это стандартные входные данные для каждой модели. У нас есть все эти числа с плавающей запятой. То, что делает технология Protopia, это преобразует все эти, вы знаете, корректирует все эти вложения с плавающей запятой, эти числа с плавающей запятой во вложениях до значения, которое семантически совпадает с моделью, но отличается от исходного пространства вложений. И это создает текст, который выглядит вот так. И это не обратимо. Это односторонний хэш, одностороннее преобразование. Но что поразительно, так это то, что когда мы передаем это прямо в модель, модель может понять это так же, как если бы мы передали исходные вложения. Однако это не обратимо. Так что, если мой поставщик модели регистрирует это, они не смогут ничего из этого извлечь. Так что это очень интересная ситуация, когда они размещают что-то, а мы передаем это во внутренние части этой модели, и они не могут это зарегистрировать. Они не могут ничего из этого извлечь. Так что это очень интересный подход. Это называется stained glass transform. Так что я покажу вам быстрое визуальное представление того, что мы только что обсудили. Это на сайте Ptopia. Так что вы можете увидеть, это мы, клиент. Это прокси stained glass transform, который, как я сказал, работает либо на моем, ну, в нашем случае, он работает на нашем DGX Spark, и это помогает ускорить. Это все еще модель. Это просто очень маленькая часть модели, и поэтому она может эффективно работать на процессоре, но она определенно выигрывает от работы на GPU. Так что привет Nvidia за это. Но с этого момента она покидает мою локальную среду и идет к вышестоящему серверу вывода. И, как я сказал, она проходит прямо здесь, посередине, где происходит это преобразование, где создается это стохастическое вложение, как мы его называем, и отправляется в модель. Модель обрабатывает его и отправляет ответ обратно. Прокси stained glass получает его и затем передает мне. С точки зрения клиента, это как будто он просто общается с обычной моделью. По сути, API, который представляет VLM модели, по-прежнему является обычной моделью, совместимой с OpenAI, или, вы знаете, API, совместимым с OpenAI. Так что все это прозрачно для клиента, но мы получаем этот действительно классный эффект, разделяя эти части модели и выполняя это стохастическое вложение, преобразование вложений. Мы получаем эту действительно отличную безопасность. Итак, я остановлюсь здесь. Эндрю, есть ли что-нибудь, что ты хочешь исправить? Я хочу уточнить одну вещь. Правильно. Так что, если вы не возражаете, откройте окно терминала еще раз. Так что, когда мы применяем sting transform, мы берем ваш текст, мы делаем токенизацию, мы делаем вложение внутри этого sting transform proxy, как вы упомянули, работающего на Spark. Эти вложения — это то, что передается в модель. Так что реконструкция под этим не является текстом, который передается в модель. Мы работаем в этом гораздо большем пространстве вложений. И я также хочу уточнить, что это пространство входных вложений — это то, с чем работают все языковые модели. Трансформаторные блоки большой языковой модели не работают напрямую с текстом. Они работают в этом внутреннем пространстве вложений, и именно это мы и отправляем. Отличное уточнение. Итак, хорошо. Итак, что происходит теперь? Итак, как я сказал, мы уже отправили эту информацию. Мы получили безопасный ответ. Как это работает с OpenClaw? Теперь я вернусь в панель управления OpenClaw. Теперь вы знаете, что у нас есть этот safe claw, который настроен для использования этой модели, в данном случае Quinn 332B, и мы сотрудничаем с Nvidia, чтобы в ближайшем будущем выпустить новую, очень скоро, stained glass transform, которая соответствует Neatron 3 Nano и Super, которая только что была выпущена сегодня. Обязательно проверьте это. Это невероятная модель. С нетерпением жду, я еще не запускал ее на Spark, но я очень жду возможности использовать квантованную версию на Spark. Но так что эта модель использует это, в данном случае, прошу прощения, этот агент использует эту модель, и я могу настроить свою основную модель для использования, вы знаете, любой модели, которую я хочу. Вы знаете, в идеальном мире, возможно, у меня будет моя основная и мой safe claw, использующие одну и ту же модель, которая защищена за OpenClaw, или, прошу прощения, Protopia, Protopia AI. Это зависит от вас. Я думаю, что со временем мы увидим, что это очень распространенная практика — запускать много разных агентов, и пусть они используют модель, подходящую для различной рабочей нагрузки, которую они могут нести. В данном случае, я думаю, в демо, которые я покажу вам через минуту, мы в основном занимаемся, я думаю, одной из самых интересных задач — это задача классификации. И поэтому мы вернемся к этому, к репозиторию GitHub. И мы только что прошли пример два здесь. Я показал вам мониторинг портфеля, объединяющий использование инструмента Brave, поиска Brave, в сочетании с моей частной информацией, которая содержит мою финансовую позицию. Но давайте спустимся к PII сканеру. Я думаю, это очень распространенный сценарий использования, когда мы сталкиваемся с такой ситуацией «курица и яйцо». Если вы вернетесь, скажем, у меня есть ситуация, когда у меня есть только одна модель, но я хотел бы знать, или один агент, я не хочу отправлять конфиденциальную информацию этой модели, но мне все еще нужен способ узнать, какая информация конфиденциальна, а какая нет. Как я собираюсь это сделать? Вы знаете, мне нужно хотя бы классифицировать ее. И я думаю, что это будет очень распространенный сценарий использования, независимо от того, имеете ли вы дело с тем, какие электронные письма я хочу обрабатывать определенным образом, какие файлы я хочу обрабатывать определенным образом. Я думаю, что, как и с Claude co-work или этими инструментами прямо сейчас, вы просто должны доверять этому. Я просто не думаю, что это будущее. Я думаю, что многоагентное, многомодельное будущее наиболее вероятно. И поэтому наличие четкой, безопасной стратегии классификации будет, я действительно думаю, очень распространенным явлением. Итак, вот пример использования этой безопасной классификации, прежде чем мы решим, хотим ли мы использовать другую модель. В данном случае мы просто группируем ее. Мы берем кучу файлов, которые пришли отовсюду, будь то из нашей электронной почты или файлов на моей локальной файловой системе, просто любые задачи, которые я делегировал своему OpenClaw, и он работает с различными форматами, возможно, текст, CSV, JSON, и ему нужно классифицировать его, прежде чем он предпримет следующий шаг по действию. И поэтому я просто перейду в transmit, чтобы показать, что это два из этих файлов, эти файлы, на самом деле, я использую SSH или SFTP на этой машине. Позвольте мне обновить ее и посмотреть. Мы запускали это уже некоторое время. И поэтому вы можете видеть, что работа прогрессирует. И поэтому давайте посмотрим и посмотрим, как работает наш классификатор, или, знаете ли, как работает Quinn. Итак, да, это выглядит так, как будто это не PII. Так что давайте посмотрим на один из этих файлов ниже. Да, это определенно содержит конфиденциальную информацию. Так что routine классификации снова, которая была полностью направлена через мой стеклянный прокси к безопасной модели, и эта модель не размещается, полная модель не размещается на DGX Spark, только прокси размещается там, полная модель размещается на modal прямо сейчас, это действительно, и это часть того, как мы настроили GitHub, если вы хотите начать, вы можете использовать modal, чтобы начать тоже. Но в любом случае, вы можете видеть здесь, мы запускаем задачу классификации. Давайте вернемся в OpenClaw и посмотрим, как выглядят эти cron jobs, потому что у него есть, знаете ли, приличный, хотя и, надо признать, немного запутанный интерфейс. Итак, я могу видеть здесь, вверху списка, различные cron jobs, которые я настроил, а затем я могу нажать историю, и она отфильтрует их ниже, вне моего поля зрения. По какой-то сумасшедшей причине мне приходится прокручивать все мои другие задания. И теперь я перехожу к истории запусков. И это была, это была задача финансовой истории или финансовой позиции. И затем ниже, я нажал на правильную вещь? О, я нажал не на ту. История здесь. И затем она фильтрует список. И мне нужно прокрутить вниз до истории запусков. И здесь у нас есть этот открытый чат запуска. Итак, снова, это в веб-интерфейсе OpenClaw. И вы можете задаться вопросом, почему мы не обновились. Ну, оказывается, что в последней версии есть небольшой баг в том, как работают cron jobs. Так что мы не обновились, я уверен, что они быстро это исправят. Но вы можете прокручивать. Я могу прокручивать здесь. Я могу видеть всю историю, все детали того, что это сделало, все вызовы инструментов, которые были выполнены. И я могу видеть, например, как он переместился или как он, вы знаете, переместил эти конкретные файлы и куда они попали, например, в данном случае, что здесь с шоу, это не та, тоже не здесь, вот, переместить, куда он попал, data garden pi scanner pending, хорошо, он усек его, о, подождите, он все еще здесь, усеченный, конечно, когда я делал это в демо, нашем подготовительном демо, оно было достаточно коротким, чтобы я все еще мог его видеть. Но важный момент в том, что я могу видеть, как он перемещал данные между этими двумя разными каталогами. Мы также, как я упоминал ранее, что окончательный вывод этого, мы интегрируемся со Slack. Так что я могу прокрутить сюда. Вот окончательный вывод этой задачи. Вы можете видеть, что мы только что обработали пять файлов в данном случае, и он классифицировал типы PII и дает мне своего рода окончательный отчет. И поэтому это просто работает весь день, и мы, так что Protopia имеет это как общий канал, так что любой может зайти сюда и посмотреть, как это прогрессирует, это, очевидно, для наших тестовых целей, но для вас индивидуально, запускающего вашу собственную частную установку OpenClaw, это по-прежнему очень удобный способ вернуться и посмотреть журнал операций и то, что он сделал, когда эти cron jobs работают в течение дня. Хорошо. Итак, обратно к, так что я провел вас через, давайте посмотрим, мы прошли, да, так что это практически все. На самом деле, мы прошли, как построить cron, мы прошли, как построить задачи, прошли, что он делает, и как мы используем технологию Protopia, чтобы дать нам безопасность знания, что мы используем защищенную, защищенную модель. Так что, работаете ли вы с вашими, возможно, данными на работе, которые небезопасно размещать в обычном интернете или запускать на обычной модели, вы все равно можете использовать размещенную модель, используя технологию Protopia, чтобы выполнять такие конфиденциальные операции для этого. Так что я остановлюсь здесь, Эндрю. Что я упустил? Да, я думаю, что важно здесь то, что позволило этому агенту OpenClaw, который мы называем safe claw, работать, это stained glass transform и прокси stained glass transform, верно? Так что этот прокси stained glass transform, в итоге, работает локально на DGX Spark, но он может работать на обычном оборудовании, обычных GPU. Он запускает очень маленькую модель, которая принимает текст, создает эти вложения, которые защищены, которые отправляются на некоторые вышестоящие серверы вывода, что позволяет вам использовать действительно большой вычислительный ресурс, который вы можете найти в облаке через ваших облачных провайдеров, но вы можете использовать данные, которые вы обычно не отправляли бы в эти места в результате. И поскольку этот прокси transform совместим с OpenAI, он совместим с OpenClaw, он совместим с другими фреймворками агентов, практически везде, где вы могли бы использовать SDK OpenAI, или везде, где вы использовали бы VLM, вы также можете использовать этот прокси. Итак, что бы было, как, любые, любые, я чувствую, что Protopia нуждается в большем количестве поставщиков хостинга моделей для партнерства и создателей моделей. Так что, какой у вас запрос к кому-либо, кто находится на звонке, у кого есть какие-либо отношения или кто работает с кем-либо из них? Да, конечно. У нас есть страница на нашем сайте. Это Ptopia/SafeClaw. Если вы можете открыть ссылку, а затем, если вы перейдете по этой ссылке, вы сможете проголосовать за то, с какими поставщиками хостинга моделей вы хотели бы видеть совместимость этой технологии, а также за любые модели или другие фреймворки. Там также проводится розыгрыш DGX Spark. Так что, если вы примете участие в этом, вы сможете участвовать в этом розыгрыше, а затем там также есть ссылка на репозиторий, который мы смогли увидеть сегодня на GitHub. Так что, когда вы введете свою информацию на этой странице, вы, по сути, получите регистрацию, которая позволит вам получить доступ к версии демо, которое мы видели сегодня. Хорошо, у нас есть чат, и, знаете ли, это от Мухаммада Салмана Хуссейна, и вопрос: как вы проверяете, что стеклянные вложения действительно необратимы против атак реконструкции и членства? Большие модные слова. Но важная часть — сохраняя при этом точность модели и приемлемую задержку вывода. Так как же мы, как бы, знаете ли, есть классическая, нет бесплатного обеда, верно? Как близко к бесплатному обеду что-то вроде этого подхода со стеклянными трансформациями? Конечно. Да. Так что, учитывая только наблюдения за преобразованными данными на стороне вычислительного провайдера, исследования, которые мы провели, и вы можете увидеть некоторые препринты, которые мы разместили на Archive об этом, показывают, что методы, которые, например, могут обращать механизмы шума DP, на самом деле не лучше, чем реконструкция ближайшего соседа против вложений stained glass transform. Тем не менее, наш продукт stained glass engine, который мы продаем и который позволяет вам создавать stained glass transform для целевой модели. Когда вы используете этот движок, вы можете настраивать характеристики SGT и контролировать этот компромисс. Так что для более сильного сокрытия, более сильной защиты вы можете немного пожертвовать производительностью модели, или вы можете решить, где это находится, когда вы создаете stained glass transform для конкретной модели, и, как это, возможно, глупый вопрос. Хорошо, так что, потерпите меня. Например, если я получу эту строку, которая выглядит так, как будто я, я, я определенно согласен, что эту строку нельзя прочитать. Я не знаю, что происходит. Например, есть ли мир, где я могу просто прогнать ее через кучу моделей и надеяться, что одна из них поймет ее? Является ли это, является ли это чем-то, что я могу сделать, или есть ли метод, который означает, что это не жизнеспособный способ попытаться понять, что такое искаженное сообщение? Конечно. Да. Так что эта строка, я хочу еще раз уточнить, эта строка не передается в модель, верно? То, что передается, — это защищенные вложения, и вы можете попробовать прогнать их через разных поставщиков моделей. Одна из классных особенностей нашего stained glass engine, как я сказал, вы можете делать разные конфигурации и создавать разные stained glass transforms, заключается в том, что мы можем создать stained glass transform, который адаптирован для конкретного развертывания модели. Так что, если у меня есть конкретная модель, которую я передаю вычислительному провайдеру, я могу создать stained glass transform, чтобы он был как бы связан с этой конкретной моделью на этой штуке. И поэтому вы не можете просто прогнать ее через любую модель, которую вы вытаскиваете из Hugging Face. Так что гениальный план просто прогнать ее через кучу моделей не принесет ничего полезного. Мы можем противостоять этому. Это хорошая мысль, но мы можем противостоять этому. И поэтому, хорошо, это здорово. Я имею в виду, знаете ли, мы можем убедиться, что это и так далее, это защищено, но это все еще быстро? Например, разве задержка не сильно ухудшается? Есть ли, э-э, какой компромисс в этом отношении? Да, так что задержка не очень велика. Это очень маленькая модель машинного обучения, которая работает локально. Как я сказал, мы запускали эту на Spark, и она работала нормально, но она также работает на обычном оборудовании. Например, мы регулярно тестируем это на 3090, 4090 или быстрее. Что мы обнаруживаем, так это то, что для большинства моделей сам трансформ составляет порядка миллисекунд дополнительной задержки. И я хочу сказать, что это одноразовая стоимость. Так что, когда вы отправляете запрос, вы выполняете преобразование в промпте, обычно это значительно меньше, намного меньше 1% фактического времени генерации. Так что, например, если я отправляю свою модель гигантской модели Quen в облако, я беру одноразовую стоимость моего локального stained glass transform, моя генерация может занять 10 секунд или больше, но моя задержка составляет дополнительные 10-20 миллисекунд, если это. Так что, по сути, мы можем увидеть небольшую стоимость задержки, но поскольку это только для начальной полезной нагрузки, это не так, как каждый токен, который отправляется, мы добавляем это время. Так что это, это ваша пропускная способность не должна пострадать. Отлично, отлично. У нас был вопрос от Александра, любопытного о том, как вы подходите к контролю выполнения для автономных агентов. Есть ли внешний слой контроля? Полагаетесь ли вы на защитные барьеры внутри модели? Я думаю, это больше касается самого агента, а не конкретно технологии Ptopia AI. Но как вы думаете об этом? Да. Что ты думаешь об этом, Q? Да, я думаю, что, да, это область, в которой, я думаю, мы видели много исследований, посвященных в основном взлому и подобным вещам. Знаете, я думаю, что вы, вероятно, склоняетесь к тому, что, когда вы говорите, если что-то пойдет не так, я имею в виду, есть много вещей, которые могут пойти не так, и я думаю, что, прежде всего, у нас есть, как бы, многоагентная стратегия. Я думаю, что это набирает наибольшую популярность, по сути, говоря, что у нас есть агенты, которые наблюдают за агентами, это, по сути, шаблон супервизора, и говорят, хорошо, эти агенты, я знаю, находятся в изолированной безопасной среде, их нельзя подделать, они не так подвержены, возможно, моим основным агентам, например, инъекциям промптов или другим классам подделок, и их единственная цель — наблюдать за определенными условиями, которые, я знаю, потенциально нарушат, знаете ли, любые наши ограничения или требования, и они остановят это. Но, знаете ли, у нас все еще должно быть, если мы хотим получить полную ценность агентов, мы должны, как бы страшно это ни было, продолжать стремиться к тому, как я использую агентов для решения проблем с агентами. И я думаю, что эта проблема повторяется не только в, мы видим это много в декодировании агентов и обработке корпоративных данных. Знаете, это одна из областей, над которой мы работаем в IBM, что лучший способ дать агентам возможность работать наилучшим образом на самом деле во многих случаях сильно отличается от того, как мы строили системы для людей, и поэтому мы должны думать, как одна конкретная область — это сложность, обычно с людьми мы прилагаем все усилия, чтобы минимизировать сложность, это на самом деле не проблема с агентами во многих случаях, поэтому мы можем ввести большую сложность для достижения лучших результатов, таких как не продолжать ломать вещи. Так что это своего рода длинный ответ. Да, я имею в виду, послушайте, это длинный ответ, потому что это большая проблема, верно? Это не, я боюсь дня, когда мы опишем решение этой проблемы в нескольких токенах. Так что, это имеет смысл. У нас был стрим на прошлой неделе, где мы говорили о некоторых из этих вещей, и это была 45-минутная сессия, и мы только начали царапать поверхность, верно? Так что, это интересно. Так что это круто. Эндрю, это то, что может существовать для такой модели, как Neotron? Например, возможно ли для Ptopia AI дать эти стеклянные силы такой модели, как Neotron? Да. Так что, я упомянул ранее, что технология stained glass engine может использоваться для создания чего-то для Neatron. Любая лицензия на наш stained glass engine может создавать stained glass transforms, которые, знаете ли, могут быть кем угодно на этом звонке. Они приходят и связываются со мной. Мы можем что-то настроить. И любые из наших поставщиков профессиональных услуг также могут создавать для вас SGT. И у нас есть несколько анонсов на следующей неделе на GTC, которыми мы очень рады поделиться в этом отношении. Люблю это. Люблю это. Абсолютно люблю это. Уттара Свант 821 с YouTube спрашивает: есть ли срок действия безопасности для stained glass transform? Так что, это классика, знаете ли, мне нужно вращать токены, мне нужно, знаете ли, эти виды вещей обычно поставляются с, как бы, сроком годности. Так ли это в случае чего-то вроде stained glass transforms? Да. Так что, я чувствую, что я постоянно повторяю это, что stained glass engine позволяет вам создавать stained glass transforms с различными характеристиками, характеристиками безопасности. Сегодня мы не поддерживаем эту идею, что вы можете вращать ее. Это то, что мы обсуждали раньше. Это то, что есть в нашей дорожной карте. Так что ответ — пока нет. Но это то, что мы надеемся поддержать. И это еще один, хорошо, ребята, это стрим Dev Community Live с Ptopia AI, и к нам также присоединился Q из IBM. Я не очень много знаю об этой технологии. Так что я учусь вместе с вами, и мой вопрос: можем ли мы сказать, что они обнаружили нашу систему, они, вы знаете, у них есть доступ к нашим, к нашим защищенным вложениям, вы знаете, что я имею в виду, они взломали код или аналог, это что-то вроде простого, как мы можем переобучить новый stained glass transform? Это что-то вроде, мы в беде теперь? Как это выглядит, если, знаете ли, люди очень умны в обходе систем? Допустим, прошло достаточно времени, чтобы очень умные злобные нарвалы добились своего. Есть ли простой способ для нас исправить или, или, или изменить направление с помощью чего-то подобного? Да. Так что, я имею в виду, есть несколько разных аспектов этого, и да, я согласен, люди очень умны, с очень умными способами обхода вещей, и это то, что мы видим каждый день. Одна из вещей, которую я хотел бы сказать, я упомянул это раньше, но у нас есть некоторые исследования, есть некоторые препринты на Archive, которые вы можете посмотреть о реконструируемости, что-то вроде этого. Многие из этих распространенных или многие из этих методов, о которых мы говорим, что если у вас есть только преобразованные данные, например, если у вас есть утечка моих защищенных стеклянными трансформациями данных, которые были отправлены куда-то еще, эта реконструируемость, эти атаки, которые работают, например, против механизмов шума DP, не работают против stained glass. Они не лучше, чем ближайший сосед. Другая половина этого заключается в том, что если у вас есть stained glass transform, который был скомпрометирован, вы можете переобучить stained glass transform, stained glass engine. Мы можем настроить что-то, что позволит вам получить новый. Таким образом, вы можете повторно связать его, и это не так, как будто он сожжен навсегда. Так что мы можем вращать наш токен эффективно, верно? Как это, вы можете вращать ваш stained glass. Да, это, и это, я имею в виду, это идея, верно? Мы хотим убедиться, что, знаете ли, это из потока безопасности пару недель назад, верно? Мы хотим иметь слои и ожидать, что эти системы могут выйти из строя, потому что люди очень умны, и идея о том, что легко сбросить, я думаю, действительно важна. И поэтому, как это работает с чем-то вроде VLLM Q? Как мы меняем, как бы, как мы делаем такие вещи, как бэкенды вывода, чтобы помочь принять этот новый, новый слой безопасности? Да, это было, вы знаете, одно из расширений VLM позволило такого рода, знаете ли, подключаемость, и то, как Protopia, потому что мы, по сути, модифицируем входные данные или способ ввода данных в модель, чтобы обойти первый слой модели на стороне сервера, потому что оригинальная модель все еще там. Мы просто вычисляем часть этого здесь, а затем направляем ее на несколько уровней вглубь. Кроме того, Protopia имеет технологию, которая подхватывает ее с обратной стороны, и у вас может быть ключ шифрования для каждого пользователя, который определяет, как это отправляется обратно вам. И это просто обычное стандартное шифрование. И это, вы знаете, это настроено во время вывода. Так что вы можете буквально технически, знаете ли, перенастроить, как это отправляется обратно вам динамически. Так что VLM, я думаю, определенно задает темп в отношении серверов вывода моделей, не только с точки зрения производительности. Я думаю, что большая часть нашей работы с Nvidia связана с тем, чтобы сделать VLM самым производительным сервером вывода, доступным, и это феноменально в этом отношении. Знаете, многие из оптимизаций, которые у нас есть, я думаю, вы знаете, Dynamo Nvidia Dynamo по умолчанию использует VLM, и поэтому много отличных вещей там. Я думаю, что, знаете ли, это партнерство между, знаете ли, компаниями, такими как IBM, и открытым исходным кодом, строящими VLM с поставщиками моделей, и компаниями, такими как Ptopia AI, которые хотят расширить то, как мы обрабатываем модели, будь то для, знаете ли, возможно, экзотических стратегий кэширования или экзотического шифрования или, знаете ли, искажения или чего бы вы ни называли, этот действительно новый способ, которым Ptopia AI подходит к обработке входных данных. И я думаю, что на самом деле, в некотором смысле, из всех поставщиков, с которыми я работал, Protopia выталкивает BLM, знаете ли, довольно далеко на край с точки зрения обеспечения безопасности ввода и вывода модели. Так что, и я думаю, что мы продолжим видеть действительно классные инновации в BLM снова с этими партнерствами этих сообществ. И я также хочу сказать, я внес некоторые вклады в VLM как разработчик с открытым исходным кодом, некоторые из них в отношении этих промпт-вложений, и у меня было много времени для работы с различными участниками VLM. Это удивительная программа. Я очень благодарен разработчикам, которые вложили в нее время. Некоторые из них — сотрудники IBM, некоторые — нет. Потому что VLM был первой из платформ, которая поддержала эти промпт-вложения, что вызвало небольшую волну, позволяющую другим платформам принимать эти промпт-вложения, которые делают их совместимыми с stained glass transform. Так что, например, еще одна, которая последовала вскоре после VLM, отчасти из-за работы, которая происходила в NVIDIA в отношении VLM, была NVIDIA NIMS. Сейчас есть много NVIDIA NIMS, которые поддерживают промпт-вложения и stained glass transform. Есть несколько других платформ, построенных вокруг VLM или вдохновленных VLM, которые теперь поддерживают эту функцию. Это просто, я имею в виду, это одна из тех вещей, где, знаете ли, чувствуется постоянный прогресс, верно, для получения более безопасных, более защищенных систем, это все еще продолжается, знаете ли, у нас были эти технологии в течение такого относительно короткого времени. Приятно видеть, что мы находим новые решения некоторых из этих проблем. Итак, я собираюсь, я собираюсь заплатить налог на слайды сейчас, ребята. Так что, на самом деле, я думаю, я, возможно, никогда официально не представлял вас, но мы [смех] с Q, полевым техническим директором IBM, и Эндрю, инженером по решениям AI в Ptopia AI. Я Крис, как всегда. У нас есть несколько слайдов, которые немного рассказывают о сообществе. Я полагаю, Зак, если ты хочешь показать это. Так что вы можете связаться с нами по адресу discord.gg/Nvidia developer. Это наш Discord сообщества. Следующий слайд, пожалуйста, Зак. Вы также можете написать Заку. Это легенда за кулисами, которую вы не видите. Но он делает стрим. Напишите ему по адресу community@nvidia.com. Следующий слайд, пожалуйста, Зак. У нас GTC на подходе на этой неделе, я думаю, очень скоро. Насколько я понимаю, вы сможете ознакомиться с Ptopia AI там, и в разделе inception, что будет довольно круто. Стенд 3520, рядом, простите, с павильоном inception. Очень здорово. Следующий слайд, пожалуйста, Зак. У нас также будет восьмичасовой стрим в среду. Если вы не можете посетить мероприятие вживую, но хотите узнать, какая атмосфера на GTC, мы будем транслировать это вам в течение восьми часов подряд в среду, 18 марта. Подключайтесь. Это будет весело. Если вы не можете поехать на GTC, по крайней мере, вы получите один день. Мы хотим попытаться показать, как выглядит конференция, людям, которые не могут добраться до выставочного центра. Я полагаю, это все наши слайды. Последний вопрос для вас обоих. У нас есть один из чата, о котором я расскажу, а затем я задам еще один вопрос, прежде чем мы отпустим вас. Который, я думаю, скорее всего, для вас, Эндрю. Пользователь LinkedIn спрашивает: идет ли он с секретным ключом? Это классический шаблон. Является ли это еще одним методом секретного ключа, или есть что-то немного другое? Да, это отличается от шифрования. Так что я колеблюсь сказать, что он идет с секретным ключом. То, что делает stained glass transform, — это поиск альтернативного представления, которое модель понимает. Так что модели не нужно декодировать. Это модель-нативная, она дополняет шифрование. Так что, да, вы должны использовать все ваше современное шифрование по проводу и в покое. Но в конце концов, чтобы попасть в языковую модель, данные, которые вы отправляете, должны быть расшифрованы. И поэтому возникает вопрос: какой дополнительный уровень защиты я могу сделать в этом незашифрованном состоянии? Так что модель все еще может получить его, но это минимизирует мое воздействие в других местах. Все дело в слоях безопасности, верно? Все дело в слоях. Чем больше слоев у нас есть, тем меньше дыр у нас есть. И поэтому, отличные вещи. ОДИН ПОСЛЕДНИЙ ВОПРОС ДЛЯ ВАС ОБЕИХ, просто чтобы закончить на позитивной ноте сообщества. Эндрю, вы упомянули, знаете ли, некоторые вклады в OSS, что заставило вас начать идти по пути работы где-нибудь вроде Ptopia AI и решения таких проблем? Расскажите нам немного, что заставляет вас страстно относиться к этому конкретному использованию конкретной технологии в конкретной подобласти конкретной области, знаете ли, расскажите нам немного об этом. Да, история, которую я люблю рассказывать людям, я раньше работал в консалтинге, моя последняя работа перед этим, и у меня было много клиентов, которые боролись с этим: мы хотим запускать вычисления в облаке, но мы не доверяем данным там, в этой облачной среде, так как мы можем выполнять вывод машинного обучения в облаке, но при этом сохранять наши данные локально? И в то время никто не знал ответа. У Protopia был ответ. И с тех пор, как я присоединился, было захватывающе, что мы смогли построить этот ответ и сделать его все сильнее и сильнее. Невероятно. Я имею в виду, разве это не проще, чем это, верно? Увидел проблему, нашел кого-то, кто работает над проблемой, теперь работает над проблемой. Поехали. Классический путь. И Q, тот же вопрос к вам. Знаете ли вы, как вы попали в этот целый мир, который снова очень специфичен в 2020 году? Да, я имею в виду, я работаю в сфере технологий профессионально уже 30 лет, я мастер на все руки, но, чувак, когда AI, знаете ли, когда AI штуки ударили, знаете ли, с вашим первоначальным выпуском чат GPT, я подумал: чувак, это будет самая большая волна, которая когда-либо ударяла, я снова работаю в сфере технологий профессионально уже 30 лет, и я прошел через каждый, знаете ли, цикл ажиотажа, черт возьми, интернет, я имею в виду, я настолько стар. Я прошел через этот цикл ажиотажа, и, чувак, ничто не сравнится. Ничто не сравнится с тем, что мы думаем, это быстро. Мы думаем, что произошел большой сдвиг. Мы только начинаем, и я увидел это, и, знаете ли, нам придется переосмыслить, как я сказал ранее, нам придется решить многие из вещей, которые мы считаем решенными проблемами, такими как безопасность, такие как основы того, как мы используем компьютеры как люди? Как мы работаем с ними? И для меня это невероятно увлекательная задача, которую нужно решать, и пытаться помочь людям, помочь разным бизнесам, крупным предприятиям и малым предприятиям добиться успеха с этой технологией, и на самом деле вам придется, это начинается с того, что вам придется просто, как бы, открыть свой разум, чтобы переосмыслить и пересмотреть, буквально все, и тогда это кажется очень экспансивным. Это как будто Q, давай, все. Это правда. Я имею в виду, я видел людей, я работал с клиентами, которые работают над самыми фундаментальными вещами в своих рабочих процессах, и они видят огромные выгоды от многих вещей, которые они меньше всего склонны переосмысливать, потому что они очень комфортно в них. Так что тонны вещей изменятся. И я просто, я, я, я не знаю, видел ли кто-нибудь, знаете ли, фильм «Форрест Гамп»? В один момент там лейтенант Дэн стоит на вершине корабля и кричит. Это как, это все, что у тебя есть? Так я чувствую себя каждый день, и, знаете ли, мне это нравится. Так что это я. Я имею в виду, мы не могли закончить на более вдохновляющих словах, ребята. Мы только начинаем. Я думаю, знаете ли, такие сообщества важны, чтобы продолжать двигать нас вперед и продолжать, знаете ли, если вы, как Эндрю, у вас есть проблема, которая вас просто увлекает, найдите свое сообщество и работайте вместе над этой проблемой. И, как вы сказали, это большой сдвиг. И поэтому, знаете ли, осталось сделать тонны работы. Не думайте, что это уже решено. Большое спасибо обоим, Эндрю и Q, сегодня. Спасибо Ptopia AI и IBM за демонстрацию довольно невероятной технологии, чтобы помочь нам сделать наши данные немного безопаснее, чтобы мы могли спать немного лучше по ночам. И мы увидимся с вами в следующем стриме Dev Community Live. Присоединяйтесь к нам в следующую среду, 18 марта, на восемь часов прямого эфира. И еще раз спасибо нашим экспертам. Хорошего вам дня. Пока всем.