Transcription
Добро пожаловать всем. Э-э, мы очень рады, что делаем это. Э-э, я подожду секунду, пока Девин и Джефф присоединятся к нам. Э-э, и вот они. Хорошо. Итак, спасибо. Э-э, спасибо всем, кто присоединился. Спасибо Девину, Джеффу и Брейсу за то, что они здесь. Рад этому. Это был вебинар в последнюю минуту. Обычно мы стараемся делать это примерно за месяц, но это была настолько горячая тема, что мы решили подготовить, э-э, мы решили подготовить это в последнюю минуту, когда я, э-э, обедал с Девоном, э-э, на прошлой неделе, э-э, а затем переписывался с Джеффом. И поэтому я очень рад этому. Я думаю, что вики и, э-э, идея памяти или знаний хорошо, память и знания всегда были горячими, начиная с ранних дней RAG до памяти, и я думаю, что вики с, э-э, некоторыми вещами в области кодирования и с Карпати стали интересным способом представления этого, и поэтому я думаю, что все в этом звонке думали о, э-э, вики или памяти или управлении знаниями в той или иной форме уже некоторое время. И поэтому, э-э, я очень рад сделать это. И я думаю, что у нас есть несколько разных мнений по этому поводу. Девин сказал мне, что у него есть горячая мысль, что вики — это неправильная абстракция, и мы можем обсудить это позже. Э-э, но для начала, э-э, я подумал, что было бы хорошо, если бы все, э-э, рассказали о, э-э, /демонстрировали то, над чем они работали, э-э, не более двух минут, э-э, каждый. Это будет жесткий стоп. Я буду, я действительно буду засекать время. Э-э, но давайте, давайте начнем. Э-э, давайте начнем. Брейс, Девон и Джефф, я думаю, в таком порядке. Э-э, и если вы, ребята, могли бы представиться, а затем провести двухминутный или менее обзор того, что вы строите и как вы думаете о вики-памяти знаний. >> Брейс, твоя очередь. >> Звучит хорошо. Э-э, привет всем. Я Брейс. Я возглавляю платформу здесь, в LangChain. Я много думал о вики и памяти, э-э, в последнее время. Э-э, так что позвольте мне сначала разобраться, как поделиться своим экраном. Э-э, а затем я могу пройти через демо на Open Wiki, который является нашим новым агентом CLI для памяти, э-э, э-э, который мы только что выпустили. Так что демонстрация экрана, мы сделаем это. Хорошо. Итак, Open Wiki — это новый CLI для памяти, который мы только что выпустили, и мы фактически выпустили новую версию 0.1, э-э, э-э, сегодня утром с, э-э, универсальным модулем памяти. Так что идея Open Wiki заключается в том, что мы думаем, что, знаете ли, или из нашего опыта, э-э, создание и поддержание воспоминаний очень сложно, э-э, и занимает много времени и утомительно. Поэтому мы хотели абстрагировать все это в CLI, э-э, который очень легко настроить, а затем просто работает в фоновом режиме, без необходимости думать об этом. Поэтому мы создали вики. Это CLI, который вы можете установить через npm, а затем его настройка очень проста, э-э, и вы можете использовать его для документирования либо вашей собственной личной работы, э-э, и универсальной памяти, либо кодовых баз. Поэтому для этого я собираюсь показать наш модуль личной памяти, потому что именно его мы выпустили сегодня утром. Настройка очень проста, вы просто запускаете `open wiki personal init`, а затем просто настраиваете, знаете ли, ваш поставщик модели, вашу модель, э-э, и затем мы просим вас установить промпт. Мы называем это "вики-бриф". Э-э, это вы можете думать как о промпте, который вы бы дали своему агенту памяти. Так что он знает, на чем сосредоточиться, э-э, на чем не сосредоточиться, знаете ли, что вы хотите, чтобы он запомнил, и как вы хотите структурировать свои воспоминания. Мы предоставляем стандартный, как вы видите здесь. Так что я могу принять это. Э-э, и тогда приятная особенность Open Wiki, верно, заключается в том, что он автоматически обновляется. Так что одна из самых утомительных частей поддержания или, э-э, воспоминаний и документации заключается в том, что вам нужно постоянно обновлять их. Э-э, поэтому с Open Wiki мы просто запускаем cron-задачу каждый день. Э-э, поэтому мы предлагаем, например, 2 часа ночи, вы можете использовать это, э-э, затем мы также можем сделать так, чтобы он мог, знаете ли, автоматически будить ваш Mac посреди ночи. Э-э, вы делаете это, а затем подключаете свои, э-э, поставщики, такие как Notion, Gmail, Slack, он будет получать данные из всего этого. Э-э, а затем, когда вы подключили все из них, и он работает, он >> автоматически напишет документы. >> Хорошо, мы, мы строже, чем академия. Э-э, я пытался включить музыку, чтобы вас отвлечь, но не смог разобраться вовремя. Э-э, Девин, хочешь, хочешь пойти? >> Хорошо. Да. Спасибо, Харрисон. Спасибо всем, кто присоединился. Э-э, я Девон Стейн, генеральный директор и основатель DOSU. DOSU — это инфраструктура знаний для агентов и людей. Так что мы помогаем курировать и делиться знаниями, э-э, чтобы сделать агентов более эффективными по токенам и надежными. Так что [хмыкает] я проведу свою демонстрацию. Давайте посмотрим. Видно ли мой экран? >> Да. Так что, знаете ли, с DOSU мы интегрируемся прямо в ваш рабочий процесс агента кодирования, и это в основном через MCP. И поэтому, когда агенты работают над задачей, э-э, они будут использовать один из наших API или инструментов для чтения или записи знаний. Так что, если [прочищает горло] мы просто возьмем пример задачи, скажем, мы собираемся создать новую таблицу базы данных для пользователей. Вы [прочищает горло] знаете, что Клод сделает в этом случае, он будет работать. Он будет изучать ваш проект, вашу организацию, э-э, когда он будет создавать эту новую функцию. И затем с [прочищает горло] DOSU, он сможет захватить эти знания как своего рода постоянные знания для вашей организации. И [прочищает горло] вот как это будет выглядеть, чтобы сэкономить время, вы получите такой звонок, где вы запишете знания со всем, что он узнал, например, в этом случае, как схема таблицы и, знаете ли, миграции базы данных работают в фоновом режиме, это запустит агент-библиотекарь DOSU для создания того, что мы называем индексом знаний или тематической страницей, которая читаема человеком, э-э, что очень важно, но оптимизирована для агентов. Так что она очень лаконична, э-э, высокореферентна и плотна информацией. Так что, по сути, когда агент работает над такой темой, как эта, мы снова автоматически вставляем это в сессию кода Клода. Э-э, а затем также автоматически поддерживаем все эти знания в актуальном состоянии по мере изменения кода. Э-э, и, наконец, знаете ли, самая сложная часть вики, о которой мы много поговорим, — это понимание влияния. И поэтому мы также предоставляем вам аналитику, чтобы понять, как ваши агенты фактически используют эту вики и какое влияние она оказывает на вашу организацию. >> Отлично. Точно в срок. Очень, очень оперативно. Спасибо, Девон. Э-э, хорошо, Джефф. >> Хорошо, отлично. Э-э, у меня нет живой демонстрации, которой я мог бы поделиться, но я попытаюсь объяснить, почему нас интересует эта тема. Э-э, так что краткая история, э-э, если вы зайдете на сайт aigrant.com, вы увидите, что Chroma описана как программируемая память для ИИ. Это в 2023 году, я полагаю, когда мы это придумали. И поэтому я думаю об этой проблеме уже много лет. Э-э, вы, возможно, знаете Chroma как так называемую векторную базу данных. Я думаю, что на самом деле проблема, которую мы решаем, заключается в том, что мы выяснили, как хранить огромные объемы неструктурированных данных и сделать их чрезвычайно доступными для запросов ИИ и людей. И это, по сути, ключевая задача. Э-э, мы также весной выпустили модель под названием ContextOne. Это модель, которая является передовой в задаче агентского поиска. Э-э, и поэтому, я думаю, что, знаете ли, один из способов, которым мы думаем об этой штуке с вики, заключается в том, что это в некотором смысле новый вид индекса. Это способ обработки больших объемов неструктурированных данных и создания некоторого уровня карты поверх этих неструктурированных данных. Э-э, знаете ли, очень грубо, возможно, если у вас нет вообще никакого индексирования, это как большой блок данных, вы можете отправлять зонды и угадывать и проверять. А затем, если у вас есть вложения, разреженные или плотные вложения, у вас есть топология карты, но вы все еще угадываете и проверяете. А затем с вики, это как бы добавляет дорожную сеть и добавляет все трубы и соединения между этими местами и позволяет агентам лучше перемещаться. Э-э, и это позволяет избежать контекстного мошенничества и многих других вещей. Так что нас очень интересует эта идея вики как новой формы индексирования. Э-э, мы сами, как наша команда, экспериментировали с созданием, э-э, нашей собственной командной организационной памяти, э-э, путем обработки большого объема неструктурированных данных и создания одной из этих вещей. Мне очень интересно увидеть, э-э, э-э, эти горячие мнения о том, правильные или неправильные вики. Мы, безусловно, обнаружили, что их очень трудно как создавать, так и поддерживать. Э-э, и это как бы неочевидно, знаете ли, должны ли страницы быть длинными, если страницы должны быть короткими. Э-э, знаете ли, как поддерживать свежесть? Как поддерживать последовательность? Э-э, знаете ли, это создает много новых и сложных проблем, которые как бы частично решаются с помощью промптов и изменения промптов, но также, я думаю, многие из них на самом деле являются проблемами системной инженерии, где вам нужно думать о управлении параллелизмом и так далее. Э-э, и это нелегкие проблемы для решения. Так что, э-э, посмотрим, э-э, что мы придумаем в Chroma. Э-э, но это дает некоторый контекст, почему нас интересует эта тема. >> Отлично. Хорошо. Итак, отличные вступления от всех. Э-э, очень быстро, прежде чем мы начнем, есть раздел вопросов и ответов, э-э, есть раздел вопросов и ответов. Э-э, пожалуйста, задавайте любые вопросы, на которые вы хотите получить ответы, там. Мы, вероятно, потратим последние примерно 15 минут, отвечая на вопросы аудитории. Так что задавайте все, на что хотите получить ответ. Э-э, и если вам нравятся, э-э, если вам нравятся вопросы, ставьте им лайки. Э-э, я, вероятно, буду сортировать их по количеству лайков. Так что, пожалуйста, используйте это, чтобы убедиться, что мы отвечаем на то, что находится на первом месте в ваших мыслях. Э-э, возможно, для начала, э-э, я думаю, было бы полезно просто попытаться определить, что такое вики. И поэтому, возможно, я сделаю первоначальную попытку, а затем вы каждый скажете мне, где я не прав или где я не прав или что я упускаю, или подобные вещи. Так что, когда я думаю о вики, наивно я думаю о наборе файлов в некоторой структуре каталогов, которая обычно генерируется агентом и обычно для агента. Э-э, и, возможно, я остановлюсь здесь с этим кратким описанием. Есть ли что-то, что я упускаю? Как вы думаете о вики? >> Я думаю, что это определение вики перегружено технологией и перегружено случаем использования в некотором смысле. Э-э, например, как Википедия хранит данные? В файловой системе? Нет. Для агентов? Тоже нет. Это вики? Да. Э-э, так что я бы попробовал более абстрактное определение вики, которое, как бы, примерно представляет собой некоторый уровень гиперссылок, верно? Это в некотором смысле интернет, верно? У вас есть куча страниц, и они связаны друг с другом, э-э, и они снова предназначены для информативности, они предназначены для ясности, есть своего рода, э-э, компоновка страницы предназначена для потребления информации, знаете ли, там нет кучи отвлекающей рекламы повсюду, где, э-э, но, э-э, да, это все. Я остановлюсь здесь. Это, вероятно, некоторые мысли о том, что такое вики. >> Да, я, я как бы согласен с Джеффом, верно? Это как коллекция файлов в сегодняшнем мире, как бы, файлы Markdown, которые документируют что-то, будь то фактические документы или, знаете ли, заметки или воспоминания. Э-э, но, как бы, в своей основе это просто, знаете ли, большая коллекция файлов, которые связаны друг с другом каким-то образом через, как бы, ссылки на страницы или индекс, э-э, который, знаете ли, содержит текст и документацию, которую агенты или люди затем могут потреблять. >> Да, я, я бы согласился. Я думаю, что конкретно для вики LLM, возможно, не вики. Я думаю, что в целом я согласен с определением Джеффа, как, знаете ли, страницы, которые связаны друг с другом. Но я думаю, что для вики LLM, я думаю, твит Андрея Карпати хорошо справился с тем, как я действительно думаю об этом как о скомпилированном знании, как вы берете источники и строите индекс. Я, я очень согласен с формулировкой Джеффа, где каждая страница действует, я предвзят, но как кэш, по сути, она компилирует знания для будущего использования, чтобы вам не пришлось повторно исследовать эту информацию. >> Да, я думаю, это было очень интересно, когда мы обедали, Девон, я думаю, это была очень интересная аналогия. Можете ли вы расширить, как бы, эту, э-э, эту формулировку кэширования? >> Да, я думаю, так, э-э, я думаю, это переходит в мета, как бы, в, знаете ли, цель вики или, как бы, вики-абстракцию. И поэтому мой, э-э, знаете ли, я думаю, что то, что мне не нравится в вики сегодня с точки зрения, как бы, реализаций, заключается в том, что если вы говорите агенту сгенерировать вики, он генерирует что-то, что, знаете ли, потому что он обучен на человеческих данных вики, он будет выглядеть как вики для человека, и эти характеристики, и он, знаете ли, потому что это все, что существовало сегодня, верно, и что обычно выглядит так, это имеет некоторый уровень порядка, знаете ли, вы часто видите, как "начать работу", как в архитектуре, есть своего рода общая структура, к которой LLM или агенты обращаются, когда вы говорите им сгенерировать вики, которая по своей сути, на мой взгляд, как бы, ориентирована на человека, где ожидается, что кто-то будет читать ее от начала до конца, а затем [прочищает горло] отдельно, это, знаете ли, когда вы начинаете думать о том, что, э-э, знаете ли, почему иметь вики, верно, если вы думаете с первых принципов для агентов, есть два типа знаний, которые будут жить в вики. Один — это то, что я называю необходимыми знаниями, которые, как информация, которая больше нигде не существует, и поэтому, если вы знаете, что агент не имеет доступа к этой информации, если она не документирована в вики. Э-э, тогда другие знания, те, которые являются скорее скомпилированными знаниями, которые вы генерируете из источников, являются функциональными, верно, они там, потому что это сделает агента более эффективным, где ему не придется повторно исследовать эту информацию, чтобы прийти к тому же выводу. Знаете ли, своего рода, знаете ли, кэширование знаний — это, я думаю, интересная аналогия, а затем, если вы возьмете эту аналогию дальше, верно, это как кэш, вы не хотите, чтобы вся ваша база данных была кэшем, потому что это будет очень дорого, потому что вам придется поддерживать ее в актуальном состоянии с источником истины, и поэтому, э-э, вы хотите кэшировать только то, что актуально и будет часто использоваться или дорого пересчитывать. И поэтому, да, я, я думаю, что, э-э, концепция вики имеет смысл, но я думаю, что стандартная реализация слишком, как бы, с человеческой точки зрения. >> Может быть, вопрос для всех. Похоже, вы очень сильно думаете об этих вики LLM как о предназначенных для агентов. Э-э, вы, Джефф, Брейс, вы согласны с этим, или вы думаете, что это и, как бы, да, вики могут быть чем угодно, но когда люди говорят о вики LLM, или когда вы думаете о том, что вы хотите построить в смежной области вики, вы в основном думаете о создании для агентов или для людей, и это одно и то же? >> Я думаю, что исторически этот термин использовался для описания документации, которую потребляют как люди, так и агенты. Если мы думаем о Deep Wiki от Cognition, которая, я думаю, была первой популяризированной вики, это был, знаете ли, веб-сайт, который мы, люди, можем посещать и просматривать. Э-э, но у них также есть сервер MCP для потребления агентами. И я думаю, что это не плохой способ думать об этом, но в будущем, если мы подумаем о том, куда движется разработка агентов. Большинство вещей переходят в агента. Вы, люди, делаете все меньше и меньше рутинной работы, и это означает, что мы меньше читаем документы, и мы больше, как бы, просим нашего агента общаться с документами и предоставлять нам информацию. Так что я думаю, что в будущем эти вики должны быть в первую очередь разработаны для чистого взаимодействия с агентами, а затем вы используете своего агента, чтобы затем представить эту информацию вам. >> Я думаю, что если говорить с венчурным капиталистом, очевидно, ответ — они исключительно для агентов. Э-э, я думаю, что на практике это не так. Э-э, так, например, мысленный эксперимент. Допустим, для вашего агента было бы оптимально хранить всю эту вики не на естественном языке или английском, а только в скрытых векторах, которые полностью читаемы для человека, верно? В таком виде, что было бы, о, круто, что это существует. Однако это нарушает нашу способность как людей иметь какой-либо уровень контроля или управляемости над вики и, как бы, любой уровень читаемости и своего рода общего рабочего пространства. И поэтому, как бы, я на самом деле думаю, что очень важно, чтобы эти вики были на английском языке, а не в скрытых векторах. И поэтому на самом деле то, что это как бы мотивирует или говорит вам, это то, что вики предназначены для обоих. предназначены как для агентов, так и для людей. >> Может быть, хорошо, может быть, углубимся в это, э-э, поскольку вы все создаете продукты, как вы думаете о человеке в цикле, человеческой управляемости, где, какой правильный способ для людей взаимодействовать с этим процессом создания, курирования, как бы, вики, что бы вы ни называли? Как выглядит этот процесс человека в цикле для вас? >> У меня две мысли. Во-первых, я думаю, есть различие, потому что я собирался сказать очень похожую вещь Джеффу, как, да, вы можете довести это до крайности, где на самом деле агенты имеют свой собственный язык вики, который мы не понимаем, знаете ли, он просто находится в скрытом пространстве, но я думаю, что с точки зрения, есть разница между тем, если люди, если это интерпретируемо человеком, что я думаю, на самом деле очень, очень важно, э-э, против того, является ли аудиторией человек, является ли это тот же человек, который будет, знаете ли, читать эту страницу, и поэтому я действительно думаю, что мы хотим оптимизировать для агентов как аудитории, но сохранить ее интерпретируемой человеком. И, да, и тогда, что касается, знаете ли, что, э-э, что, э-э, какой был вопрос? [смех] >> Как, как вы, когда люди используют цикл? >> Да. Да. Держите в цикле для. >> Хорошо. Так что, э-э, мы, знаете ли, как часть продукта, э-э, держим людей в цикле, потому что многое из этого связано с процессом проверки PR. Так что мы проводим обзоры знаний, аналогичные обзору кода. Так что люди как бы наблюдают, как меняются знания, но им не обязательно утверждать каждое изменение. Я думаю, я имею в виду, что мы слышали от наших клиентов, что, знаете ли, они уже перегружены проверкой кода. Они не хотят, чтобы проверка знаний была бременем. Другая сторона этого, э-э, заключается в том, что я люблю говорить, что знания в конечном итоге согласованы. То есть, если они неверны, пока вы создаете механизмы самокоррекции, они, знаете ли, в конечном итоге будут исправлены в будущем. Так что, если вы, знаете ли, кэшируете или, как бы, записываете запись в вики, которая неверна, и вы предоставляете механизмы для агента, который, знаете ли, читает это, а затем обнаруживает, что это неверно, он может просто исправить это в будущем. Знаете ли, вы теряете некоторую эффективность токенов, но, знаете ли, в конечном итоге это будет исправлено, если это важно. Да, я как бы согласен с последним пунктом Девона о том, как, как агенты исправляют себя. Как бы, способ, которым мы настраиваем вики, если это режим кода, то эта вики живет в файлах Markdown в вашей кодовой базе. Так что там есть человеческий цикл, потому что он создает PR, и вам нужно просмотреть это, прежде чем оно будет объединено. Э-э, но для универсальной памяти, которая живет на вашем компьютере, и она просто записывает все, что хочет, без этапа проверки, потому что это было бы очень утомительно. Э-э, так что для нас, как, как, что мы сделали в вики, у нас есть способ для агента добавлять вопросы. Э-э, так что он может добавлять открытые вопросы, на которые он не знает ответа, а затем вы можете ответить на них или в последующих запусках, если он думает, что нашел ответ, он может пойти и пометить это как отвеченное. Знаете ли, ссылаясь на фактическую вики, которую он использовал, или на часть вики, которая ответила на этот вопрос. Э-э, а затем как человек, вы также можете зайти туда и добавить вопросы, ответить на вопросы самостоятельно. Э-э, а затем последнее, чего мы еще не сделали в агенте, но я хочу сделать сегодня или завтра, — это журнал изменений. Как, потому что вики просто изменяет себя без, знаете ли, вашего одобрения всех изменений, вы, возможно, не захотите одобрять каждое отдельное изменение, но вы, вероятно, захотите иметь некоторую видимость того, что изменилось, и если это все файлы Markdown, вы можете посмотреть разницу, но это станет очень утомительным. Так что вместо этого я думаю о очень кратком журнале изменений: "Привет, я отредактировал этот файл, чтобы документировать, знаете ли, этот новый продукт, который вы добавили, или что-то в этом роде", а затем, знаете ли, вы можете ретроспективно зайти туда и сказать: "На самом деле, эта часть журнала изменений звучит неправильно, можете ли вы углубиться в эту часть, э-э, я не знаю, нашего нового продукта или исправить это, чтобы сделать XYZ?" Таким образом, вам не нужно читать отдельные изменения, но у вас есть обзор того, что было изменено, и затем вы можете пообщаться со своим агентом, чтобы он исправил это. >> Что сейчас? О, извините, Харрисон. >> Нет, продолжайте. >> Я собирался сказать, что мы как бы находимся в эре инженерии промптов, где мы даже не находимся в инженерии каналов или инженерии циклов. Э-э, но в конечном итоге это будет инженерия циклов, не для того, чтобы быть совместимым с шумом, а просто потому, что это, вероятно, найдет отклик у некоторых людей в комнате. Э-э, и поэтому прямо сейчас я думаю, что человеческое прикосновение в самих промптах по-прежнему довольно важно. Точные сигналы для улучшения этих вещей также сложны, я думаю, для автоматического определения. И поэтому человеческое суждение очень полезно. Э-э, знаете ли, я думаю, что, знаете ли, приятная часть, как, вики по сравнению с необработанным поиском по исходному коду, заключается в том, что вы также можете ее исправить. Знаете ли, если что-то не так, если дата указана неверно, вы можете сказать: "Вы указали неверную дату". И, как бы, возможно, она галлюцинировала, и вы исправляете галлюцинацию, но, возможно, на самом деле исходный материал был неверным, и, как бы, вы [прочищает горло] как бы, исправляете исходный материал, обновляя сообщение в Slack трехмесячной давности, не имеет особого смысла. И поэтому я думаю, что этот аспект управляемости, управляемости вики действительно привлекателен. Э-э, но горький, возможно, не снова, чтобы бросать здесь жаргонные слова, но история горького урока заключается в том, что в конечном итоге мы должны в некоторой степени научиться доверять агентам, чтобы они знали, когда обращаться к нам и говорить: "Человек, мне нужна помощь с этим", это, знаете ли, неоднозначно или расплывчато, или у меня недостаточно экспертизы, чтобы принять решение, можете ли вы, пожалуйста, помочь. Я думаю, эта идея, как, э-э, интервьюирование агентов, интервьюирование людей, очень интересна. Э-э, и, э-э, знаете ли, возможно, мы просто очень рано во всем этом, так что, возможно, неправильно называть это в основном неисследованным, но по определению, возможно, в основном неисследованным. Что является самой сложной частью создания вики? >> Или все легко? Это так, это так легко. Нет ничего сложного, что нельзя [смех] >> промптировать его, чтобы сделать, или, э-э, промптировать для обновлений, прямо сейчас, я думаю, наиболее сложно. Э-э, как, как он может написать первый проход очень хорошо. Э-э, но по мере расширения, если вы получите 300 обновлений в свою вики, и ваша вики, знаете ли, длиной в миллиард токенов, заставить ее определить, где в вики обновлять, когда она получает новую информацию или обновляет информацию, а затем лаконично обновлять или вставлять или удалять информацию. Я думаю, это, вероятно, самая сложная часть. [прочищает горло] Вот что мы видели в, как, Open Wiki, а также в других агентах, которые мы создали, как, в Fleet, где он может обновлять себя, и, как бы, часто он хочет просто вставлять новые строки в промпт вместо того, чтобы изменять то, что он уже написал. Э-э, и, и иметь этот баланс между изменением, удалением и вставкой новой информации — это, как, как, сложная вещь, которую нужно правильно понять с агентами прямо сейчас, особенно когда они имеют дело с большим количеством контекста. >> Да, я бы сказал, э-э, может быть, три вещи, которые, как я думаю, сложны. Я на самом деле думаю, что генерация сложна. Э-э, не на небольших репозиториях или проектах, а на, знаете ли, у некоторых наших клиентов есть, знаете ли, десятки миллионов строк кода, и просто, как, крупные организации, и когда у вас есть что-то такого масштаба, понять, что важно, на самом деле является сложной проблемой. Э-э, потому что, если вы просто позволите агенту попытаться разобраться самому, он сосредоточится на неправильных вещах. И поэтому определение того, что на самом деле важно, является первой проблемой в масштабе, по крайней мере. Я думаю, что на небольших проектах агенты могут справляться довольно хорошо. И два — это, [прочищает горло] определенно, знаете ли, обслуживание. Я думаю, что проблема обслуживания действительно, действительно сложна. Э-э, как говорит Брейс, это просто промптинг — это одна часть этого. Э-э, но затем также делать это в масштабе и эффективно. Э-э, верно, потому что, если вы, знаете ли, ваша вики становится огромной, и вы тратите тонны токенов на ее поддержание, получаете ли вы на самом деле ROI, имеет ли смысл поддерживать все эти знания, даже если вы делаете это эффективно, что само по себе является проблемой, а затем последняя связанная часть — это наблюдаемость / знаете ли, получаете ли вы на самом деле понимание ROI, и, как я думаю, привлекательная часть вики заключается в том, что все интуитивно понимают это, знаете ли, с точки зрения ценности, но на самом деле измерение влияния прямо сейчас нелегко. >> Я согласен с тем, что сказали Брейсон и Девон, и я думаю, что, как бы, моя метафора заключается в том, что самая сложная часть прямо сейчас — это инженерия каналов, где цель — точность, но также и управление затратами. Э-э, вы, вероятно, не хотите тратить целое состояние на все ваши данные и все ваши обновления. Вы будете плакать. Э-э, и поэтому, знаете ли, хорошо, можете ли вы обойтись, знаете ли, общаясь с, я не знаю, с, это зависит от вашего промпта и зависит от всего остального, и как все это смешивается, и, да, это многомерная задача оптимизации, которую, я думаю, довольно сложно решить хорошо. >> Я думаю, я хочу еще раз сказать, что я согласен с тем, что сказал Девон в конце о измерении ROI на вики. Я думаю, что измерение ROI на многих случаях использования агентов действительно сложно, а на вики особенно сложно, потому что, знаете ли, ваш агент может читать из вашей вики, но, знаете ли, улучшило ли то, что он прочитал, его качество. Э-э, так что это то, над чем мы все еще думаем, и у нас пока нет хороших ответов, но я думаю, что это очень важная вещь, которую нужно сделать, особенно если вы хотите продать это людям, вам нужно сказать им: "Эй, это действительно сделает вашу жизнь или вашего агента лучше". Э-э, и я думаю, да, это очень сложно сделать хорошо. >> Я собирался спросить именно это. Как вы думаете об измерении влияния вики? >> Ваши агенты лучше благодаря ее существованию? >> Как вы это измеряете? >> Ты парень по оценке. Ты мне скажи, Харрисон. Ты знаешь. >> Идеи, которые мы обсуждали, э-э, для, как, Open Wiki на кодовых базах были, э-э, знаете ли, запустить бенчмарк кодирования агента над, э-э, его задачей без документа, а затем повторно запустить его с документом, и, знаете ли, если это, как, SweetBench, эти бенчмарки, как, очень насыщены, так что, знаете ли, он будет хорошо работать или агенты будут хорошо работать с лучшей документацией или без нее, э-э, но то, на что мы собирались посмотреть, это, знаете ли, является ли он более эффективным, так что, может ли он получить тот же правильный ответ, но быстрее и с меньшим количеством вызовов инструментов и меньшим количеством токенов. Э-э, и, знаете ли, мы пробовали с готовыми бенчмарками, агенты, как, знаете ли, эти бенчмарки уже есть в обучающих данных этих агентов с обучающими данными этих моделей. Так что, как бы, это не имеет большого значения, потому что они просто знают, что делать. Э-э, так что я думаю, что требуется разработка внутренних оценок, но да, то, как мы думали об этом, это, как, может ли он получить правильный ответ с меньшим количеством вызовов инструментов и меньшим количеством потребленных токенов, потому что теоретически он должен, он не должен искать так много, если вики содержит всю необходимую информацию. Он должен быть в состоянии найти этот лаконичный ответ, а затем использовать его для применения или применения к решению. >> Да, я согласен с этим. Э-э, мы провели некоторое внутреннее тестирование, и, знаете ли, для клиентов, у которых есть оценки, мы как бы работаем с ними над этим. Э-э, но да, как, я думаю, эффективность токенов — это действительно цель, с точки зрения внутренних оценок, когда мы называем это кэшем, по сути, вы работаете над темой, которая имеет запись в вики, знаете ли, запуски могут стоить примерно вдвое дешевле, потому что он собирает меньше контекста, это, как, способ, которым вы увидите эффективность токенов. Э-э, другое интересное наблюдение было, которое, знаете ли, также имеет смысл интуитивно, но результаты более последовательны. Э-э, интересно, как, если вы запустите одного и того же агента над одной и той же задачей, как, 10 раз, вы получите вариации в результатах, как, знаете ли, даже если он достигнет правильного ответа, но если у вас есть одна и та же отправная точка, которая является вики, так что у вас есть более последовательное семя, результаты также более надежны и последовательны. >> Может быть, два, я просто хочу поделиться, хочу поделиться, есть два способа думать об этом. Один — это как бы, подключение этой вики к вашим существующим рабочим процессам, в этом случае, знаете ли, надеюсь, вы увидите, как, знаете ли, дешевле, быстрее, потому что вы делаете меньше исследований, а затем также лучше, как, меньше человеческих вмешательств, когда вы думаете о лучшем для, знаете ли, существующих рабочих процессов агентов, а затем вторая часть, которая не является, как бы, пост-постингом, но на самом деле искренне, я не знаю, это, как, какие новые виды вещей позволяет делать эта, как бы, предварительно созданная вещь, и, как, эти вещи, вероятно, будут более основаны, знаете ли, все новое оценивается, и поэтому, как, эта корзина работы, которую они, они даже не делают сегодня, но наличие этой вики позволяет вам делать, вероятно, сначала будет электронными письмами на основе вибраций, а затем позже у нас будут, как, более строгие электронные письма. Но >> есть ли хорошие примеры этого, последнего типа вещей, которые являются чистыми новыми, которые вы можете делать с вики? Моя теория заключается в том, что вики, в некотором смысле, являются памятью агента, и, как, очень хорошая память, надеюсь, даст агентам возможность работать над задачами с более длинным горизонтом, и поэтому, как, очевидно, зависит от вашего контекста, но для организации, любая задача, которую вы можете рассматривать как долгосрочную, вы можете, по сути, развернуть агента в эту задачу, где вы, возможно, даже не могли бы сделать это раньше, что-то вроде этого. Я думаю, я на самом деле не думал об этом слишком много, но одна вещь, которую стоит обдумать, это проактивные действия агента. Так что, как, с большинством систем памяти, которые являются, как, шахматными для вашего клода, они помнят, что вы им говорите, но они не помнят вещи проактивно, потому что они не подключают внешние источники и не могут, как, постоянно обновляться. Э-э, но если ваш агент может, знаете ли, подключаться к этим источникам данных, таким как Slack, ваша электронная почта или Twitter, что бы это ни было, тогда он может проактивно запоминать вещи, например, из вашей ленты Twitter, которую вы еще не видели, о, как, исследованиях, а затем он может, знаете ли, предлагать или предпринимать действия от вашего имени, без необходимости заставлять вас. Это очень мета. И я также хочу предварить это тем, что мы на самом деле еще не пробовали это внутри. Но, знаете ли, это то, о чем я думаю, как, э-э, подключение агентов к другим источникам, чтобы он мог самостоятельно находить вещи, которые, как он думает, вас могут заинтересовать или которые вы хотите запомнить, а затем, если это, как, инженерный агент, возможно, он может прототипировать новые функции или задачи для вас или, как, знаете ли, черновик нового контента или, как, как, представлять вам идеи проактивно, а не реактивно. Единственная другая идея, которую я добавлю, — это то, что я думаю, действительно интересно, это, как, агентское сотрудничество, по сути, знаете ли, если у вас есть агенты из разных команд, продуктов в компании, имея вики как своего рода центральный репозиторий, в который они все вносят свой вклад, читают и пишут, я думаю, просто открывает, как бы, это, вероятно, задача с долгим горизонтом, в конечном итоге, но я думаю, что этот слой сотрудничества действительно, действительно интересен. Я хочу скоро перейти к вопросам, так что я, напоминаю людям, чтобы они заглянули в раздел вопросов и ответов и поставили лайки тем, которые вы хотите, чтобы вам ответили, или добавили свои. Но прежде чем мы это сделаем, Девин, ты дал мне горячую мысль, что ты не думаешь, что вики — это правильная абстракция, но ты здесь на вебинаре о вики. Так что, так что в чем нюанс? >> Ну, я, я, я как бы намекнул на это раньше, верно? И я думаю, что просто способ, которым мы говорим о вики сегодня, очень ориентирован на человека. Э-э, но я думаю, что если мы как бы пересмотрим проблему с точки зрения агента в первую очередь, вы получите, вы фактически пересмотрите как контент, так и структуру с точки зрения эффективности токенов. И я действительно думаю, что форма другая. Так что я думаю, что вики, знаете ли, в целом правда, но я думаю, что я действительно думаю, что я не думаю, что мы будем, если мы ускоримся на год, это будет, знаете ли, я думаю, что мы будем думать об этом больше как о кэше или индексе, как Джефф упоминал раньше. >> Что это? Можете ли вы дать мне конкретный пример того, что это значит с точки зрения формы вики? Как, что не должно быть? Что должно быть? Я думаю, язык будет очень, я имею в виду, мы уже видим это, гораздо больше тур, э-э, как, вам не нужен проза в том же смысле для агентов, как и для людей, высокореферентная, даже больше, чем существующие, э-э, как, статьи в стиле вики, потому что агенты очень хорошо справляются с тем, что вот вся информация, если ей нужно провести дополнительное исследование, вот где она может ссылаться. Я думаю, это более дружелюбно к агентам, чем для людей, вы не хотите копаться, но агенты очень хорошо справляются с этим. И затем [прочищает горло] другая часть — это просто выселение. Э-э, как, вики для людей, вы как бы хотите хранить вещи навсегда, потому что это может занять у вас пару часов или дней, чтобы прийти к тому же выводу. Э-э, но для агентов, э-э, я думаю, мы, вероятно, увидим что-то, где, если вики не используется, вы просто выселяете ее. Э-э, или, и [прочищает горло] как бы, более строго относитесь к тому, какая информация вообще имеет смысл записывать в вики, потому что, возможно, ее действительно легко и дешево пересчитать. Джефф, я думаю, вы описали вики как набор гиперссылок в начале. Так что я предполагаю, что вы согласны с комментариями Девина относительно ссылок. Есть ли что-нибудь еще, что можно добавить в отношении лучшего способа гиперссылки этих страниц друг на друга? >> Э-э, я думаю, есть куча переменных вокруг того, как вы даете агентам возможность, как бы, делать постепенное раскрытие. И поэтому, как, как долго должны быть ваши страницы, как коротко должны быть ваши страницы, чтобы вы могли, как бы, выгружать заголовки и использовать это как постепенное раскрытие, как ссылки, э-э, насколько агрессивно вы должны использовать активные ссылки по сравнению с пассивными ссылками, где, как, они хотят использовать поисковый запрос для поиска корпуса и поиска другой страницы. Э-э, как вы очищаете обратные ссылки, когда они устаревают или удаляются? Э-э, да, есть много таких, как, да, обслуживание с точки зрения обслуживания, проблемы агента, как, здесь. Э-э, и, да, я не думаю, что у меня есть ответы на любые из них, и они, вероятно, ответы варьируются в зависимости от вашего случая использования. Э-э, это все, что я хотел сказать. >> Круто. Хорошо, переходим к некоторым вопросам и ответам. Э-э, мне было бы интересно узнать для организаций, которые не состоят из программистов и инженеров, а скорее из работников умственного труда, есть ли у вас значимая метрика для измерения ценности там? И я бы, возможно, добавил что-то еще, что является еще более, возможно, более базовым вопросом, как, видите ли вы, что вики используются для, как бы, умственного труда, или это в основном для кодирования на данный момент? >> Я думаю, да, для умственного труда. Я думаю, если вы можете создать универсальную вики, то просто из, знаете ли, всех источников вашей компании, тогда, знаете ли, предполагая, что непрограммисты в вашей организации уже используют агентов для какой-то задачи или, как минимум, ChatGPT для, как, задавания вопросов, если вы можете подключить эту вики к этому интерфейсу чата, который они уже используют, надеюсь, вы сможете сделать их немного продуктивнее или быстрее отвечать на их вопросы, не заставляя их обращаться к людям, чтобы получить ответы. Э-э, для измерения ROI на этом, я думаю, это так же сложно, как, знаете ли, измерение для чего-либо еще. Как, знаете ли, являются ли они способны разрешить больше вопросов в своем агенте, когда он запрашивает вики, по сравнению с обращением к людям? Но я не знаю. Это все еще неизвестно для меня, кроме того, могут ли они получить ответы быстрее и быстрее, чем без вики? Я возьму крайнее мнение здесь, которое заключается в том, что я думаю, что, как, я даже не буду использовать термин вики, но что по сути вики — это состояние организации, это своего рода слой состояния, верно, организации или может быть, э-э, я думаю, что этот инструмент сам по себе будет как коммуникационным, координационным, так и исполнительным слоем для каждой компании на Земле, так что это, э-э, это, безусловно, влияет на работников умственного труда, но и на всех. >> Да, я скажу, что у нас есть примеры клиентов, с которыми мы работаем, у которых, я имею в виду, DoS очень ориентирован на знания о продуктовом инжиниринге, э-э, знаете ли, как бы, сторона организации, но у нас есть люди, которые строят это на стороне GTM или на стороне поддержки клиентов, где, знаете ли, иметь запись в вики для каждого клиента имеет большой смысл, потому что это очень распространенный запрос. Сказав это, я скажу, возвращаясь к проблемам вики, умственный труд, вики в организациях, очень сложны с точки зрения RBAC, кто может видеть что. Как вики отличается от создания графа знаний / графа контекста и, возможно, другого варианта этого, почему вики вместо графа знаний? >> Я имею в виду, вики — это как бы тип графа знаний? Как, если вы думаете о, как, концепции вики Карпати, это куча файлов, которые ссылаются друг на друга, или как, как Google, что, как, OKF Open Knowledge Format, где одна ключевая часть этого — это взаимная ссылка на страницы, это своего рода граф. Так что это, это как бы другой способ хранения узлов вашего графа, но как, если они, знаете ли, ссылаются друг на друга в этой паутине ссылок, это своего рода граф. >> Да, я просто скажу, как, извините, я собирался сказать, что RDF тройной магазин Neo4j стиль, жесткая база данных графа, я думаю, просто слишком, слишком предвзята, и вы хотите, чтобы агент имел больше гибкости, и, как, вики дает вам ссылки, и это то, что вы хотите, как, вы хотите ссылки, вы на самом деле не хотите, как, существительное, глагол, существительное. >> Да, я собирался сказать то же самое, по сути, граф-сторона больше похожа на язык запросов, он гораздо более структурирован. Я также думаю, что вики, знаете ли, хорошо подходят для семантического пространства, которое, как бы, когда вы выводите информацию, вы обычно находитесь в похожем семантическом пространстве по сравнению с графовым запросом. >> Я собирался спросить Джеффа, поскольку у нас есть вы по вики, векторным базам данных, они хорошо сочетаются? Они отдельные? Как, как вы думаете об этом? >> Я не знаю, что такое векторная база данных. Никто никогда не давал мне хорошего определения векторной базы данных. Это просто, насколько я могу судить, термин, который Андреас и Хоровіц придумали. [хмыкает] >> Да, ну, оказывается, каждая база данных — это векторная база данных, потому что каждая база данных теперь имеет векторный поиск. Так что, э-э, опять же, способ, которым мы думаем о проблеме, заключается в том, как хранить огромные объемы неструктурированных данных и как сделать их очень доступными для поиска, и поэтому, как, это проблема, которую мы хотим решить, и, э-э, знаете ли, мы должны предположить, что мы решим все проблемы, связанные с этим, и поэтому я думаю, что именно поэтому нас это интересует. >> Можете ли вы рассказать о способах узнать, когда вики неверна или устарела? >> О, и есть продолжение. Извините, я не видел этого. Нужен ли нам прокси-сервер валидации? Допустим, агент будет брать интервью у человека. Какими будут триггеры для агента? >> Я думаю, это сложно, верно? Знать, когда это неправильно, это как проблема оценки, где, надеюсь, это никогда не будет неправильно, потому что вы можете исправить это до того, как оно достигнет этой точки. Э-э, когда оно устареет. Я имею в виду, первое, что приходит на ум, это как, как бы, концепция Open Wiki, как, как, файл открытых вопросов, у него могут быть открытые вопросы, и, возможно, он может добавлять заметки, как, если он видит, если он добавляет некоторый контекст, который, по его мнению, может устареть, он может обновить этот файл открытых вопросов или, как, чтобы вернуться к файлу с, как, эй, пересмотреть это в, знаете ли, в эту дату, потому что это может устареть. Э-э, я, если мы предполагаем, что люди не смотрят на эти данные и не могут или не будут вручную изменять, потому что если люди это делают, то вы можете, знаете ли, сказать, что человек может проверить это, но как, как, если это только для агента, э-э, как, промптирование в него, э-э, э-э, знаете ли, идея о том, когда что-то может устареть, запишите это, а затем заставьте его пересмотреть этот файл "контекст может устареть" в будущем, чтобы затем проверить свой собственный контекст. Э-э, да, >> Я просто скажу то, что я сказал раньше, что я думаю, что знания в конечном итоге согласованы, пока вы создаете необходимые циклы для самокоррекции. >> Что это исправляет себя? >> Что выглядят циклы? >> Простой цикл — это, знаете ли, агент читает его, он обнаруживает, что он неверен, у него есть инструмент для его исправления. Я имею в виду, это самый базовый цикл. [прочищает горло] Каков лучший способ представить агенту вики? Операции с файловой системой / bash инструменты поиска. Я могу пройтись по этому тоже. Я думаю, это, вероятно, смесь того и другого, верно? Как, как, что мы обнаружили, это агентский поиск, где он просто использует инструменты файловой системы, не конкретно для вики, а просто для, как, попытки, знаете ли, заставить агентов находить конкретный контекст в этих больших каталогах, как кодовые базы. Они очень хорошо справляются с инструментами файловой системы. Э-э, это не всегда оптимальный путь, как, как, знаете ли, если вы можете, как, вы можете захотеть иметь смесь, знаете ли, агентского поиска плюс полнотекстовый поиск для просто поиска ключевых слов, или, возможно, есть, знаете ли, какая-то часть, как, семантический поиск, но я, я не думаю, что здесь есть универсальное решение. Вы, вероятно, хотите смесь режимов извлечения. Э-э, но затем, позволяете ли вы агенту выбирать этот режим извлечения, или вы просто как бы бросаете все, знаете ли, n из них, когда агент задает вопрос, я думаю, это как бы неизвестно для меня. И я могу вмешаться в это. Э-э, я думаю, что было много дезинформации о поиске, в основном распространяемой людьми, которые хотят, чтобы вы максимизировали токены, готовы заставить вас повторно обнаруживать 85 файлов, знаете ли, каждый запрос. И, э-э, я думаю, что горький урок, примененный к поиску, заключается в том, что вы должны дать агенту все инструменты, а затем, как, доверять агенту использовать эти инструменты эффективно, чтобы обнаружить нужную информацию как можно быстрее. И поэтому я как бы просто повторяю то, что сказал Брейс, что, как, дайте ему, да, дайте ему возможность GP находить закономерности в данных с помощью reax, что очень полезно. Э-э, но также, мы думаем, знаете ли, дайте ему разреженные векторы, g2, также дайте ему плотный векторный семантический поиск и позвольте агенту решить, правильную смесь инструментов и правильный порядок этих инструментов, чтобы как можно быстрее получить нужную информацию и, надеюсь, найти ее вообще. Правильно? Это одна из ключевых проблем — не просто найти ее быстро и дешево, но и найти ее вообще. Э-э, последнее, что я скажу, это, как, я не думаю, что файловые системы являются или будут, как, линди, как представление данных в состоянии покоя этих, э-э, этих данных, и, э-э, я думаю, что есть, знаете ли, файловые системы очень хороши в некоторых вещах, которые, в частности, как, чрезвычайно быстрый доступ к файлам, который необходим для некоторых вещей, таких как линтинг, например, или, знаете ли, другие операции, очень ориентированные на код, э-э, но они также очень плохи во многих вещах. Они плохи в контроле версий. Они плохи или медленны в контроле версий. Они плохи в контроле доступа. Они плохи в обнаружении. Э-э, я просто не думаю, что, я имею в виду, мы просто снова изобретаем все заново. Есть причина, по которой были изобретены базы данных. Знаете ли, мы не просто максималисты файловых систем, знаете ли, с 50-х годов или около того. Э-э, и поэтому я думаю, что мы как бы, э-э, должны снова открыть это, но, как, это будет вновь открыто. Так что >> но есть разница между хранением файлов и тем, как они представлены LLM, верно? Конечно, но также, я думаю, есть идеальный способ хранить данные таким образом, чтобы их можно было представить LLM, что, я полагаю, зависит от идеального способа представить их LLM, что возвращает нас к тому, как агенты должны получать доступ, и нужно ли им давать чтение, запись, нужно ли им давать поиск, как, какой правильный способ, как, если вам нужно дать ему семантический поиск, вы, вероятно, не будете хранить его в файловой системе, как, очевидный пример в одном направлении. >> Да. Э-э, круто. Я думаю, мы почти у времени. Так что спасибо. Спасибо всем, кто присоединился. Э-э, здесь также есть куча вопросов. Я, я, я, вероятно, попробую поделиться некоторыми из них с Девоном и Джеффом, и вы все должны следить за ними в Twitter. Они много думают об этой области и имеют хорошие острые мнения. Э-э, последнее, последнее объявление, которое я сделаю, это, если вам нравятся такие разговоры, мы привозим Interrupt, нашу пользовательскую конференцию, в Лондон и Нью-Йорк осенью. Э-э, и мы будем проводить кучу бесед у камина и выступлений и тому подобного, и говорить обо всем, что связано с агентами. Э-э, так что еще раз спасибо, Девин, Джефф и Брейс за то, что присоединились, и спасибо всем, кто присоединился. >> До следующего раза. Спасибо. >> Спасибо.