Transcription
Пару недель назад я рассказывал о новом открытом формате знаний Google. Это стандарт для создания баз знаний для наших персональных агентов и вторых мозгов. И это очень важно, потому что он берет вики LLM Карпати, которая полностью захватила мир, и дает нам универсальный формат, чтобы мы могли создавать базы знаний не только для себя, но и для обмена со всеми. Он определяет спецификацию. Так же, как MCP создал стандарт "агент-инструмент", а A2A создал стандарт "агент-агент". OKF создает для нас стандарт "агент-база знаний". И мне нравятся эти стандарты, потому что каждый новый — это шаг к тому, чтобы сделать ИИ максимально доступным. Я имею в виду, подумайте, насколько революционным был MCP для всех в прошлом году. И вот, я думал о том, как я могу поделиться с вами силой OKF как можно проще? Что, если я создам базу знаний, которая будет настолько невероятно полезной, что вы просто захотите попробовать ее прямо сейчас? Итак, я создал базу знаний или пакет OKF для всего моего YouTube-канала. Вы не ослышались. 200 видео, все упаковано, готово для вас, чтобы задавать любые вопросы. И мы также поговорим о том, как мы можем сделать это для других YouTube-каналов, потому что, конечно, я не ожидаю, что вы захотите остановиться на моем. Итак, переходим к моему облачному коду. Позвольте мне показать вам эту базу знаний в действии, а затем я покажу вам, как я ее создал и как вы можете использовать пару навыков, которые у меня есть для вас, чтобы создать свою собственную базу знаний для любого YouTube-канала. И вот здесь я решил задать более сложный вопрос сразу. Каков мой полный сквозной процесс создания новой функции с помощью ИИ-кодирующих агентов? То, для чего вам пришлось бы посмотреть очень полное видео или даже пару видео, чтобы получить ответ здесь, но я прошу моего агента провести меня через это шаг за шагом и даже указать конкретные видео, где я учу каждому из них. И вот он копается некоторое время. У него есть вся вики LLM, настроенная с индексным файлом, поэтому он знает, где начать, где искать, а затем он дает мне очень исчерпывающий ответ. Посмотрите на это, что я прочитал это вне камеры, кстати, и это идеальный ответ. Он цитирует все источники, такие как концепции, и даже конкретные видео с временными метками, откуда он получил ответ. Это просто невероятно полезно. И позвольте мне показать вам пару других вопросов очень быстро. Когда RAG мертв? Когда он все еще важен? Тип вопроса, который, вероятно, возникает у вас самих, или, по крайней мере, возникал в какой-то момент. Вам не всегда хочется смотреть целое видео, чтобы получить ответ. Итак, мы можем получить ответ на высоком уровне, а затем перейти к конкретному, если хотим узнать больше. То же самое здесь. Как на самом деле работает мой второй мозг под капотом? Каковы ключевые компоненты и какие видео объясняют каждую часть? Итак, получаем сводку, а затем можем углубиться, если хотим. Таким образом, мы не только можем использовать базу знаний для получения общих обзоров и быстрых ответов, но и для навигации по большим YouTube-каналам, большинство каналов, на которые вы, вероятно, подписаны, имеют сотни видео. И поэтому трудно успевать за всем. Эта база знаний плюс ваш второй мозг могут стать билетом для этого. И чтобы начать использовать эту базу знаний самостоятельно, вам нужно всего лишь один запрос, который вы должны отправить своему агенту. Возможно, у вас есть второй мозг, построенный на облачном коде. Вы используете Hermes или OpenCloud, что угодно. Всего один запрос. Итак, я оставлю ссылку на этот репозиторий GitHub в описании, который содержит полную базу знаний для моего YouTube-канала. И если вы прокрутите вниз в README здесь, вы просто скопируете этот запрос, отправите его своему агенту, и вы готовы к работе. Он выучит OKF, если ваш второй мозг еще не знает этого формата. Он клонирует базу знаний, а затем сразу же будет готов к тому, чтобы вы задавали любые вопросы, которые хотите. Итак, я расскажу немного больше о том, как я на самом деле создал базу знаний. Но сначала я хочу дать вам общий обзор структуры, чтобы вы могли увидеть, как все собрано. Итак, мы начинаем с README. Это просто для того, чтобы вы поняли базу знаний и имели этот запрос для ее установки. Первый файл, который агент просматривает, — это индекс. Так всегда работает в каждой вики. И поэтому, если ваш агент знает OKF, он уже знает, как ориентироваться во всем. Более важная часть этого индекса здесь — темы. Это то, что дает агенту общий обзор знаний, которые фактически существуют. Какие вопросы мы можем ответить? И поэтому он начинается здесь, а затем, основываясь на вопросе пользователя или вашем вопросе, он будет проходить через различные концепции и сущности, которые мы изложили в индексном документе. И все, что у нас есть здесь в концепциях, в сущностях, в самом индексе, это просто markdown. Все — это YouTube-видео, превращенные в транскрипты markdown, а затем извлеченные из них все основные концепции и сущности. И поскольку все здесь просто markdown, как нам, так и нашим агентам очень легко ориентироваться во всем. И поэтому вы не всегда будете делать это. Обычно вы просто будете заставлять своего агента искать по файлам. Но если вы хотите сами просеять вещи, вы можете просто сделать это прямо в своей IDE, такой как VS Code, или на платформе, такой как Obsidian. Я использую Obsidian и постоянно рассказываю о нем. И поэтому мы можем видеть все файлы здесь. Это также дает нам лучшее форматирование, если мы хотим взглянуть на информацию здесь, возможно, как вы знаете, мы проверяем источники, которые цитируются нашим агентом, например. И тогда другая вещь, которую определенно стоит быстро показать, — это мозг этой базы знаний. Глядя на представление графа в Obsidian, я думаю, вы можете оценить, сколько информации собрано в этой базе знаний и как все связано между собой. Итак, мы можем видеть, как инженерия контекста связана с вайб-кодированием, и мы можем видеть, о боже, даже трудно прочитать всю эту информацию. Вот как валидация связана с шаблоном под-агента. Например, у нас есть все эти связи, которые позволяют вашему агенту просеивать информацию и очень легко перемещаться по графу. И прежде чем вы спросите, да, это стоило много токенов LLM, чтобы построить всю эту базу знаний. Есть причина, по которой я начинаю только с моего YouTube-канала. Хотя я хотел бы просто получить огромный список всех лучших ИИ-YouTube-каналов и построить все это для вас, мне придется делать это со временем. Но мне также очень нравится видеть, сколько здесь информации, потому что это действительно показывает нам, что без LLM мы никогда не сможем надеяться построить что-то подобное. Я имею в виду, у вас может быть гораздо более упрощенная версия, но использование большой языковой модели для масштабирования того, сколько информации вы можете извлечь и связать информацию вместе. В этом красота вики LLM. Одним из самых важных инструментов для ваших ИИ-агентов является веб-поиск. Это способ дать ему доступ к актуальной информации. И независимо от того, что вы строите, вам это понадобится. Но вы также не хотите создавать функцию веб-поиска самостоятельно. Вы не хотите поддерживать скрейперы, вращать прокси, бороться с капчами. Я все это делал сам. SER API, спонсор сегодняшнего видео, — это ярлык, который вам нужен. Это API веб-поиска, который превращает результаты Google в реальном времени, видео на YouTube, Bing, другие поисковые системы в структурированный JSON для вашего агента одним вызовом. Никакого кода для скрейпинга, никакого управления прокси и никаких головных болей от анти-ботов. И невероятно легко встроить SER API в ваши ИИ-агенты в качестве инструмента, как я показываю здесь с моим пользовательским ИИ-агентом Pantic. И это выходит далеко за рамки простого получения обычных результатов поиска Google. Например, вы можете использовать их API Google Scholar для получения рецензируемых статей для создания исследовательского агента. Или, если вы обучаете модель, вы можете использовать наш API Google Images для получения изображений с предварительно классифицированными заголовками, миниатюрами и URL-адресами. Новости, тренды, карты — все возвращается в том же структурированном виде. И что мне действительно нравится, так это то, что все агностично к моделям. Не имеет значения, какую LLM или фреймворк вы используете, потому что это просто API, где вы или агент определяете параметры, а затем получаете результаты в структурированном JSON, который дает вам все, что вы получили бы в поиске Google. И каждый запрос выполняется в реальном времени. Так что вы не просто получаете кэшированную копию результатов. Начните использовать SER API с 250 бесплатными кредитами, нажав на ссылку в описании или отсканировав QR-код на экране. Круто. Итак, следующее, что я хочу быстро показать, — это то, как я построил эту базу знаний или этот пакет OKF, потому что вы можете воспроизвести это даже для чего-то, кроме YouTube. Вы можете использовать этот тип процесса для создания любой базы знаний, которую вы хотите. И, очевидно, нам пришлось пройти довольно большой процесс, чтобы извлечь сотни видео и выявить все ключевые концепции и идеи. И поэтому есть своего рода конвейер, который я построил для своего второго мозга, который я покажу вам в навыках, которые у меня есть для вас немного позже, но сначала давайте рассмотрим это. Итак, первое, что нам нужно сделать со всеми YouTube-видео, — это извлечь транскрипты. Мне нужны транскрипты в виде документов markdown, потому что это лучший формат для работы нашей LLM, и это формат всей базы знаний в первую очередь. И поэтому эта папка raw здесь содержит транскрипты каждого моего YouTube-видео. Итак, нажимая на любое из них, например, вот так, мы можем видеть точные временные метки для разных предложений. Это полное видео. Мы имеем дело с большим количеством текста. Но мне нужны необработанные транскрипты в этой базе знаний. Это, очевидно, лучшее место для цитирования источников и предоставления точных временных меток, если вы хотите посмотреть полное видео. И поэтому после того, как у нас есть необработанные транскрипты для каждого видео, мы пройдем процесс канонизации. Попробуйте сказать это быстро пять раз подряд. Здесь мы посмотрим на все транскрипты с высоты птичьего полета и определим вещи, которые повторяются. Каковы основные сущности и концепции, которые мы хотим записать как отдельные файлы, а затем связать вещи вместе, связав их с их оригинальными видео, чтобы у нас также был построен граф знаний. Итак, возвращаясь к нашей базе знаний, у нас есть транскрипты в папке raw, но это только отправная точка, потому что транскрипты не говорят о конкретной теме. Обычно видео охватывает множество различных тем. Поэтому, если мы действительно хотим сосредоточиться, поэтому мы хотим создать наши файлы концепций, охватывающие протокол A2A, абстракцию, дистракцию, или мы можем посмотреть на сущности и увидеть все инструменты, которые я освещаю на своем канале, например, у нас есть метод BMAD или bolt.new. Итак, если мы нажмем на AGUI, например, вся информация здесь агрегирована из разных YouTube-видео, где я говорю об этом. Итак, собирая все в один файл сущности. И тогда у нас есть наши концепции, такие как абстракция-дистракция, например. Это фреймворк или библиотека, которая обещает сделать так много для вас, что в итоге она стоит вам гибкости, контроля и понимания, которые вам действительно нужны, например, LangChain. И на самом деле он упоминает это здесь. Как будто он знает меня очень хорошо. Он проделал такую хорошую работу по созданию этой базы знаний. Но опять же, я говорю об абстракции-дистракции в довольно большом количестве разных видео, обычно когда я говорю о выборе правильного фреймворка для ИИ-агентов. И поэтому, собирая все это в одном месте здесь. И тогда я также могу прокрутить вниз здесь, чтобы увидеть источники, где в моих YouTube-видео я говорю об абстракции-дистракции, дайте мне точные временные метки. И соединение этих разных документов вместе также автоматически создает представление графа в Obsidian, потому что оно создает это каждый раз, когда я ссылаюсь на другой документ из одного, как мы смотрим прямо здесь. И канонизированный шаг здесь, безусловно, самый сложный, потому что многое зависит от того, чтобы направлять агента, чтобы он знал, какие типы сущностей и концепций заслуживают своего собственного выделенного файла. И действительно самая сложная вещь из всего этого — это разные концепции, о которых вы говорите в своих видео, не всегда будут обсуждаться одинаково. Например, основной рабочий процесс кодирования ИИ, который я преподаю, — это цикл PIV. Это сокращение от Plan, Implement, Validate (Планируй, Реализуй, Проверяй). И поэтому в одном видео я могу назвать это циклом PIV. В другом видео я могу назвать это рабочим процессом Plan Implement Validate или рабочим процессом PIV или Plan Build Verify. Я имею в виду, это немного натянутый пример, но вы понимаете, что агент должен распознать, что это говорит об одном и том же. Итак, мы соберем все это в этот выделенный файл в базе знаний. Таким образом, нам нужно нечетко сопоставить варианты. Это не просто сопоставление ключевых слов. Нам нужно, чтобы LLM рассуждала здесь и выяснила, что все это принадлежит markdown PIV-цикла в нашей папке концепций. И если есть что-то, что он идентифицирует как одноразовый инструмент, который я упомянул только один раз, он, вероятно, не заслуживает места, потому что если бы я освещал каждый инструмент, который я упомянул, даже один раз, в базе знаний, она была бы слишком большой. Она не масштабировалась бы. Вашему агенту было бы трудно ориентироваться во всем. И поэтому мы просто хотим взять основные концепции и сущности, которые освещаются более одного раза, а затем построить базу знаний, как мы смотрели в VS Code и Obsidian. Хорошо, последнее, что у меня есть для вас, к чему я обещал перейти, — это навыки, которые помогут вам создать базу знаний для вашего YouTube-канала. И поэтому они просто находятся здесь, в репозитории, который содержит базу знаний для моего канала. И поэтому я говорю о них в README здесь. Вам действительно нужно выбрать только один из этих навыков, и он пройдет через весь конвейер, который мы только что рассмотрели, чтобы построить базу знаний, просто получив один URL YouTube-канала. Это единственный вход, который вам нужен. Причина, по которой у меня есть три навыка здесь, заключается в том, что я просто хотел дать вам разные варианты услуг для получения транскриптов с YouTube. И поэтому лично я использую Super Data API. Я использую его уже давно для получения транскриптов с YouTube. Проблема в том, что это платный сервис, и я не ожидаю, что вы будете платить деньги, чтобы создавать эти базы знаний. Это самый надежный, по моему опыту, но, честно говоря, я бы посоветовал вам просто начать с одного из бесплатных вариантов. Это просто сложно, потому что вы не можете использовать YouTube Data API напрямую для чего-либо, кроме вашего собственного канала. Поэтому вам придется проходить через эти сторонние сервисы, такие как YouTube Transcript API, YT DLP, чтобы получить транскрипты с любого канала, если вы пытаетесь создать базу знаний, которая не из вашего собственного канала. Но в любом случае, глядя на один из навыков здесь, мы просто возьмем канал 2 KB. Итак, я перейду в Claude Skills Channel 2 KB. Здесь есть скрипт для получения транскриптов с канала. Остальное — это просто skill.md, который является полными инструкциями для агента, проводящими его через процесс создания базы знаний так же, как я это сделал. Итак, мы говорим ему прочитать спецификацию OKF, чтобы он понял формат для создания базы знаний здесь, а затем он извлечет транскрипты, пройдет через процесс канонизации и запишет все файлы для наших сущностей и концепций. И в целом это довольно просто, потому что этот навык не должен много объяснять, поскольку спецификация OKF — это то, где делается большая часть объяснения. Поэтому, если он прочитает это и знает, как производить формат OKF, это все, что вам нужно, кроме небольшого количества инструкций о том, как мы извлекаем информацию и работаем в нашей файловой системе. И теперь, чтобы запустить это, мы просто переходим в наш кодирующий агент, такой как Claude Code, запускаем / channel 2KB, а затем просто даем ему полный URL канала или ваш дескриптор канала, например, @ColeMaden. Теперь это долгий процесс, который будет требовать много токенов. Очевидно, мы создаем здесь много документов, но я думаю, что это того стоит, чтобы построить базу знаний для любого канала, на который вы обычно подписаны. Вот почему я хотел создать базу знаний для своего собственного канала для вас. Таким образом, вы можете немедленно загрузить ее и просто начать задавать вопросы, как я показывал в начале видео. И вот и все, что у меня есть для вас. Я призываю вас создать базу знаний для канала. Используйте мою, задавайте вопросы здесь. Вы получаете ответы невероятно быстро по сравнению с просмотром каждого видео. И, конечно, я все еще хочу, чтобы вы смотрели мой контент. Он по-прежнему дает вам более глубокое погружение, которое вам часто нужно, но это даже просто способ более эффективно ориентироваться по каналам. И поэтому, если вы цените это видео, вы с нетерпением ждете большего о OKF, использовании ИИ-помощников для кодирования, создании ИИ-агентов, я был бы очень признателен за лайк и подписку. И на этом я увижу вас в следующем.