Transcription
Привет всем. Миша, естественный интеллект. Проект DVR давно не появлялся. Уже много кто пишет, где пропал. Может быть, уже проект не развивается, может быть, ничего не двигается. В какой стране или в какой области сейчас ведутся разработки, если что-то ведётся? И я всё-таки решил, э, снять видео, э, где кратко покажу, чем сейчас занимаюсь, на что надеюсь, на во что верю. И я думаю, что всё станет понятно, потому что я думаю, что, ну, пора уже показать, пора показать, где я пропал, чем занимаюсь.
Итак, я уже сейчас работаю в компании, в которой занимаюсь искусственным интеллектом уже профессионально. Как вы помните, я раньше занимался просто как хобби. Постепенно это переросло уже в профессиональную деятельность. Естественно, на работе я делаю задачи, которые нужны в области интересов компании, в которой работаю. Ну а дома я продолжаю работать над тем, над чем мы работали ранее. И сейчас я покажу, что уже сделано, в чём смысл, в чём идея. Я думаю, что в процессе показа всё будет полностью ясно и понятно.
Итак, я пришёл к выводу, что бесконечно бороться и пытаться конкурировать и вообще думать в сторону больших языковых моделей, арендуя у глобальных поставщиков, неразумно. Кроме того, я вижу, что все тенденции, которые происходят сейчас в мире, говорят о том, что компании нуждаются в альтернативных и размещённых локально в контуре, работающих, выполняющих задачи внутри этого контура. То есть все решения должны быть абсолютно автономны, работать в закрытом контуре, обеспечивать все задачи компании и не зависеть ни от санкций, ни от каких-то капризов правил извне от поставщиков.
Ну и как только я, э, начал над этим работать, вы помните, это ещё год назад. Год назад уже пытался решить эту задачу я и моя небольшая команда. И вот эта работа постепенно вылилась в такую вот систему. Вы видите сейчас это вход в систему, в кабинет. Это уже локальная система, разворачиваемая полностью на сервере. Она может работать даже на не очень мощном оборудовании. Фактически система запускается даже на ноутбуке, и она позволяет развернуть небольшую нейросеть и на ней, э, решать абсолютно любые задачи.
Как это выглядит? Система построена модульно, потому что я вижу, что все будущие решения должны строиться следующим образом. LM, большая языковая модель, она должна быть использована только как двигатель, как движок. Вот. А обвес, всю конструкцию мы строим вокруг этого движка. Вот. И от того, какая архитектура вот этого движка выбрана, зависит то, как это всё будет работать, какой эффект мы получим на выходе. Поэтому мы с одного и того же движка можем, допустим, двигатель, да, сделать автомобиль, сделать ракету, сделать там катер, бензопилу, что угодно. Различие только в том, что это за движок, его размерность, его мощь. Э, ну вот такой как бы изначально был подход. Поэтому и образовалась вот такая вот система.
Ээ, также опять же, видя мировые вот эти все тренды и тенденции, я прекрасно понимаю, что, а, что-то делать универсальное, большое, ну, во-первых, у нас нет такой возможности, потому что нужны такие ресурсы, которых у меня нет, и у большинства компаний нет. Это ресурсы на уровне расходов целой страны. Поэтому я считаю, что нужно двигаться не в сторону вот таких вот серьёзных ресурсных, дорогих решений, где мы выплываем за счёт большой, сложной, умной модели, а делать небольшие классные решения с архитектурой, заточенной под решение конкретных задач.
Ну и начали мы ещё год назад. Вот я полгода не появлялся, примерно очень много работал. Год назад мы начали над системой RAG, Retrieval Augmented Generation, потому что основная проблема при работе с небольшими нейросетями в первую очередь - это ширина контекстного окна. Много информации не закинешь в вышку, а из-за этого мы не можем её использовать профессионально, потому что она, э, ну, это как оперативная память. То есть мы не можем вместить в это контекстное окно много данных. В итоге она у нас галлюцинирует. Ну, всем, всем известны вот эти все процессы, с которыми сталкиваются все разработчики, все пользователи при использовании особенно небольших маленьких моделек.
Сразу покажу, вот, вот в этой системе у меня есть Лира. Она проверяет нашу систему, она нам позволяет познакомиться со всем этим, она знает все ответы на все вопросы. И вот эту Лиру я получил благодаря нашей экспертной системе знаний. Тот самый RAG, который мы рисовали год назад. Большая система по работе с данными, куда мы загружаем любые книги, любые данные. Они обрабатываются, преобразуются в специальный формат, и потом мы с этим уже работаем внутри системы. Все эти данные превращаются потом в вектора, превращаются в графы. Всё это я показывал. Система эта разрабатывается давно, и сейчас уже это всё полностью работает. То есть дальше мы уже это всё потом тестируем, и это всё показывает прекрасные результаты. Там я использую и вектора, и семантическое сходство, лексическое сходство. А, использую графы. Это всё достаточно сложно. Ну, графы, например, сейчас это вообще очень модно. Графовые связи. И считается, что это решение всех задач. Ну, по моим тестам, насыщение графами даёт прирост от 1 до 5% в качестве вывода данных. Ну, не более того. То есть это не панацея.
Также к системе RAG хотелось получить нечто большее. Например, если мы работаем с учебниками, допустим, учебник химии, биологии, я должен иметь возможность не только загрузить этот учебник сюда, но и добавить медиаэлементы, например, клетку. Вот мы, например, проходим клетку по там биологии, чтобы я мог прямо в выдаче увидеть эту клетку. То есть не просто получить информацию, материал по выдаче, но и работать прямо в выводе с интерактивными данными: видео, аудио, 3D проекции, всё, что угодно. Поэтому предусмотрел ещё абстрактный режим добавления медиа информации уже надсистемно, то есть уже на сверху по RAG-скелету. Вот такая вот. Я, например, здесь конкретному чанку по книге Ремарка могу добавить вот 3D. И потом мы получаем уже в выводе. Вот я ещё раз покажу, например, что там у Ремарка было поводу любви и пруда. Оно сейчас почитает книжку Ремарка, оценит, найдёт нужный чанк и покажет, что там было. При этом покажет медиаякорь. То есть всё это сложно звучит, но без этого невозможно полноценно работать с серьёзной литературой. Например, если мы запускаем систему, работающую с учебниками образовательными, которые переполнены таблицами, переполнены формулами, изображениями, э, система должна уметь это всё перемалывать, э, и уметь со всем этим работать. Ну вот сейчас он подбирает, даёт ответ, и вот, как я показывал, он подгружает тот элемент, который у нас загружен конкретному чанку, который мы ищем. То есть таким образом мы можем сразу подгружать некие медиаданные кусочком информации, которые он нашёл. Вот он нашёл кусочки информации. Вот он показал, откуда он их взял. Вот наша книга "Триумфальная арка". А вот чанки, которые говорят о чём-то похожем, но вот наш идеальный чанк. Вот мы его читаем. И вот точная цитата. Таким образом, мы получили бесшовную RAG-систему. Она очень точная. Находит реально иголку в стоге сена. Ну, и с большими возможностями в области масштабирования. К ней можно добавлять самый различный функционал. Она отрабатывает действительно круто. А сам подход я запатентовал ещё в первой половине зимы прошлого года. Вот эта вся RAG-система, она даже запатентована.
Что ещё? Поэтому, в принципе, это то, с чего мы начали, да. Вот у нас появилась система, в которой мы работаем с локальным. И я показал экспертную систему, куда мы закидываем данные, показал систему, в которой мы уже работаем с этими данными. Э, опять же, наши графы никуда не уходят, просто что они как бы не являются решением всех проблем. Я использую графы больше для визуализации, чем для графового насыщения системы поиска RAG. Ну, а дальше покажу, что это всё даёт. А даёт это следующее. Ну, начнём с того, что раз у нас есть уже мощная RAG-система, она у нас гибридная, она у нас использует все подходы, она у нас агентская, она у нас одновременно использует там и вектора, и неточный лексический поиск, семантика, графовое донасыщение. То есть, в принципе, все вот эти механизмы, о которых мы слышим, читаем, и классическое построение RAG-систем, всё это я использовал, но, как оказалось, не всё является хорошей практикой. Поэтому в процессе использования, в процессе тестов вывел оптимальное соотношение этих параметров поиска. Оказалось, что RAG-системы, они могут работать по-разному. Можно искать, находить данные вглубь, можно вширь. То есть, ээ, разные подходы, разные философии даже, потому что я столкнулся, делал общую RAG-систему, потом в интересах компании делал систему для юридических задач. И для юридических задач RAG-система построена должна быть абсолютно иначе. Абсолютно. Она ищет совершенно по-другому, давая шансы менее значимым документам на влияние в общие картины ответа ответа юридического консультанта. Ну вот это один из моих реальных кейсов, с которыми я столкнулся и которые посмотрел на практике. Но сейчас не об этом.
То есть, в общем, суть идеи в том, что получилось сделать такую систему, которая разворачивается локально в закрытом контуре и состоит из небольших решений каких-то точечных задач. Ну, так как я уже показал, основа всего - это память. Как только мы решили проблему с памятью, мы научились создавать вот такие вот решения. Это вот наша Лира. Вот я её показывал. Здесь у нас вот её большая версия. Это просто наш собеседник. Наш собеседник, с которым мы общаемся ежедневно. Она всё знает, знает всё о системе. Но чем она интересна? Это тем, что у неё бесшовная память. То есть теперь я ещё раз по-простому объясню вообще свою идею. Смотрите, когда я вам сейчас что-то рассказываю, моя идея рождается у меня, если очень грубо, то есть, ну, прошу не критиковать, это грубо, всё намного сложнее. Вот. Ну, для того, чтобы упростить и понять принцип, общий принцип, а я скажу так, что первую идею, которую я хочу сказать, она у меня рождается в гиппокампе. Это такая старая часть мозга, и она рождается мгновенно. То есть первое моё воспоминание - это гиппокамп. Это быстрое воспоминание - это некий образ. Этот образ можно сравнить с вектором, ээ, с эмбеддингом в нейросетях. Это очень быстрая такая семантическая система. Так вот, вот этот вектор первый, первое моё воспоминание, он у меня рождён в гиппокампе. Дальше я начинаю насыщать эту информацию новыми воспоминаниями, ассоциациями. Это уже включается у меня неокортекс, в более новая часть мозга, более молодая с точки зрения эволюции. Неокортекс донасыщает моё первое воспоминание дополнительными данными, какими-то ассоциациями, что тогда было, какими-то дополнительными кадрами, какой-то информацией. И здесь у нас уже работает граф. Вот. То есть это графовое донасыщение. Потом эта информация складывается, умещается в мою оперативную память. Поэтому мы знаем, у нас есть кратковременная память, долговременная память. Так вот это всё помещается у меня в кратковременную память. И потом я вам это всё рассказываю, просто распечатывая это в аудиосигнал за счёт речевого центра, височная доля. При этом сам вот этот канал, да, пока, которым я сейчас пользуюсь для того, чтобы рассказать, он достаточно низкопропускной. То есть способность, пропускная способность этого канала достаточно низкая. Мысль я придумал уже давно. Она у меня была запечатана в так в таком с как бы первообразе. А, ну а распечатаю я его вот всё это время.
Ну для чего я это всё объясняю, для чего я это всё говорю? В искусственном интеллекте, в наших архитектурах, которые мы строим, мы можем делать точно так же. И я делаю зачастую точно так же. То есть, например, наше первичное воспоминание в гиппокампе я приравниваю к вектору, то есть получаю первый вектор, потом насыщаю из него кортекса, насыщаю из нашей RAG-системы дополнительными связями, расширяю графовыми связями и таким образом на выходе получаю как бы нужный ответ. При этом LLM наша маленькая, да, она же у нас небольшая. Вот, например, во всех примерах, которые я сейчас показываю, это 3,6, 2,7 миллиарда параметров. Это относительно маленькая модель. При этом система отлично работает и с 14 миллиардами параметров. Например, Mistral я пробовал. Система отрабатывает хорошо для таких размеров. Вот поэтому, если мы используем маленькую модель, мы должны её мозги вынести наружу, не надеяться на её общие знания. Поэтому в системе, которую я показываю, в системе DVR, я не использую общие знания модели. Я использую её только способность обернуть знания в понятную, привычную нам форму, в понятный язык, в понятные формулировки. То есть, фактически я использую LLM как речевой центр, больше ничего.
Ну и вернёмся дальше. Поэтому у нас получаются вот такие вот решения, где мы рассчитываем не на саму модель, а на именно на архитектуру. Например, наша вот эта Лира, которая сейчас нам улыбается и смотрит за курсором, она, общаясь со мной, она делает заметки. Она изучает меня здесь. Я показываю на профиле, где я с ней не общался, но она делает обо мне заметки для себя. У неё есть душа, она сама себя в процессе идентифицирует и сама себя дообучает. В итоге у неё формируется сложная система, которая позволяет ей удерживать контекст всех наших бесед. И то есть, можно сказать, чем мы, о чём мы с тобой общались в пятницу на прошлой неделе, она это всё скажет. И чем больше мы с ней общаемся, тем персонализированней она становится, потому что, э, она постоянно учится. Вот при этом обучение это не файнтюнинг модели, а это опять же улучшение структуры данных знаний, с которых с которыми она работает. Ну вот это одно из решений, которые у нас работают прямо сейчас. И это всего лишь один модуль "Лира". Вот. А модулей у нас несколько. То есть, ну, раз мы коснулись уже нашего помощника Лиры, сразу же расскажу про ассистентов. Например, в DVR текущем, которым все пользуются публичным. Там самое популярное решение - это конструктор ассистентов. Здесь он тоже реализован. Можно создавать любых ассистентов, выбирать готовых под разные задачи. Только они классно работают с RAG-системой встроенной. Они объединяются в группы, их можно делать командно, они собираются в папки, то есть всё реализовано, только реализовано намного мощнее, чем это в dvr.com. Вот. То есть эта система будет значительно сильнее. Также она более серьёзная в сторону интеграции, потому что она встраивается, ведётся полный лог разговоров с пользователями, устанавливаются тонколимиты на разговоры, журналирование ведётся, система встраивается в виджеты, как и то решение, только лучше и мощнее. Система встраивается в ботов. Это Telegram, это Mattermost, это Bitrix 24. Я сейчас заканчиваю интеграцию, то есть полное встраивание в Bitrix. Вот так это всё работает. Работает прекрасно. Сам пользуюсь. Здесь у нас множество бесед в параллели, то есть немножко по-другому архитектура устроена. Всё работает, опять же, полностью локально. То есть вот у нас мы уже рассмотрели два элемента.
Ну и сейчас ещё покажу немножко, не буду всё показывать, потому что решений много, это затянется. Покажу ещё вот такую штуку. Эволюция и идея в том, чтобы дать нашему ИИ, например, новости в какой-то области. Можем любые добавлять здесь каналы для новостей и позволить ему самостоятельно их читать. Он их самостоятельно читает и становится умнее. При этом после прочтения, после накапливания информации он сам себя пере, он меняет свою картину мира. То есть он сам себя перенастраивает, пишет дневник, ведёт, то есть все свои перенастройки он фиксирует. У него есть конституция. Конституция позволяет ему не зацикливаться, потому что первоначально я столкнулся с тем, что в процессе обучения у него наблюдались перекосы. Он начинал немного сходить с ума, двигаться в сторону, то есть накапливать ошибки какие-то, заблуждения, допустим, и закапываться в них настолько сильно, что со временем он терял адекватность. Но так как это у меня в экспериментальной части, я ввёл конституцию, протестировал, пока он работает интересно. В итоге это выглядит примерно вот так. То есть он потом сам себя вот это кора - это его ядро, это он сам себе добавляет как бы корректирует собственную картину мира, ведёт собственный такой дневник по улучшению. Но самое интересное, что он ещё собирает информацию в кластеры. Вот эти кластеры у нас сейчас я покажу здесь немного информации. То есть всю информацию, которую он вычитывает по теме, он их собирает в мерном пространстве в такие вот точки. Это вектора. И по ним он потом понимает тенденции, тренды в той области, которую он читает. Ээ, сейчас вот, может быть, здесь то есть, например, разные новости с разными смыслами в той области, которую он изучает, они относятся к разным идеям и разнесены в мерном пространстве в различных областях. Он их потом кластеризует, подсвечивает по схожести и потом выводит анализ на эту по этой теме. То есть в дальнейшем, ну, зачем это всё делается? Он выявляет фейки, вбросы, он выявляет тренды, и мы получаем полноценного специалиста, профессионала в какой-то отдельной доменной области. То есть мы в дальнейшем просто с ним общаемся, пишем ему, а он работает с тем, что консультирует нас по нашей области, которую на которую мы его как бы натаскиваем. То есть мы получаем специалиста в конкретной доменной области, вот, с которым можно консультироваться как суперпрофессионалом. Ну вот такая вот штука. Но это экспериментальная часть, то есть это ещё всё делается. И будет время, возможно, я доведу эту часть до хорошего, высокого результата.
Что ещё хотел показать? Ну, ещё покажу две вещи. Про вот эту вещь я думаю снять следующее видео. Это универсальный автономный решатель задач. То есть оказалось, что если мы даже небольшой и вот как на 3,6, 2,7 миллиарда параметров изменим архитектуру работы. Есть такие подходы при работе с LLM, как ReAct, CodeAct, субагентный подход, зацикливание. Если мы используем специальные подходы, о которых я расскажу в следующем видео, мы можем получать удивительные результаты. То есть наш ИИ перестаёт быть, перестаёт быть просто помощником, который отвечает там словами. Он у нас начинает действовать, он начинает создавать какие-то, выдавать аналитику, создавать какие-то интерактивные дашборды, всё, что угодно. То есть становится совершенно другого уровня решением, которое позволяет нам работать с документами, делать что угодно. Он сам ходит в интернет, сам высчитывает, сам рисует, моделирует какие-то процессы. То есть он превращается совершенно в другое решение, которое функционально значительно более полезно, чем мы обычно ждём от модельки. То есть я дальше в отдельном видео расскажу об этом, но это настоящее чудо. Если мы добавляем LLM глаза, руки, ноги, мы получаем примерно X10 к её возможностям, функциональным возможностям, способностям. И у нас появляется реально крутой помощник, который умеет, ну, абсолютно всё. При этом он ещё обучаем. Он работает через скилы, он анализирует собственные неудачи, он ведёт дневник. Я покажу это в следующем видео, но это прекрасно. Это какое-то настоящее чудо.
Ну и что ещё интересного сделал? Это ИИ Академия. Это то место, где мы можем под присмотром искусственного интеллекта чему-то учиться, проходить задачи, задания и узнавать что-то новое. Идея в том, что у нас готовые курсы, мы их читаем. И чтобы перейти к следующему к следующей задаче, искусственный интеллект нас проверяет, готовит вопросы по данному материалу, и пока мы не ответим на эти вопросы, он нас не пропустит на следующий урок. Плюс у нас постоянный помощник справа здесь наставник, который по методу Сократа помогает нам разобраться в материале. Вот, то есть по пройденному материалу он даёт мне вариант ответов, даёт мне возможность самому что-то написать и таким образом добивается от меня полного понимания материала. Потом ведётся здесь рейтинг, мы видим, кто, какой пользователь на каком уровне находится, что проходит, и я постепенно наполняю этот модуль новыми данными. Получился очень классный модуль, который я вывел даже в отдельное доменное имя. Любой желающий, кому интересно, может получить доступ к этой системе, потому что я вывел это в отдельное решение. Сейчас я вспомню, как я его назвал. DVR.dev.academia.pro. Вот как это выглядит. То есть фактически я запустил это ещё отдельным внешним решением, где можно попроходить эти курсы. И уже всё организовано здесь ну достаточно профессионально. Если будет интересно, я могу под видео, под этим дать ссылку на эти курсы. Можете попробовать. Очень круто. По ощущениям абсолютно другой уровень обучения.
В принципе, всё, что я хотел рассказать. То есть основная мысль была, что я никуда не пропал. Просто у меня очень много работы. И основное направление деятельности по работе это вот двигаемся в сторону автономных систем, потому что я вижу, что и меняется законодательство в эту сторону. Компании не могут в белую сейчас работать с искусственным интеллектом, а работают в серую просто потому, что нету соответствующих условий для официальной работы в закрытом контуре. Поэтому, в принципе, я и тружусь над неким таким вот решением.
Естественно, есть поддержка и внешних решений. Например, сейчас покажу. То есть мы спокойно можем добавлять ключи от любых внешних игроков, и они включаются в нашу систему. То есть, если я сюда добавлю ключ OpenAI или там любого там китайца, DeepSeek, Qi, там MiniMax, GLM модели, которые сейчас пользуются популярностью, всё это автоматически появится здесь. То есть автоматом, как в конструкторе ассистентов, так и вот в других решениях. Просто здесь в списке появятся и другие модели, которые могут использоваться уже внешне. Это уже на ваше усмотрение, потому что, ну, маленькая модель, на удивление хорошо справляется со всеми задачами, просто потому что удалось построить хорошую, качественную архитектуру по работе с этими моделями.
На этом у меня всё. Надеюсь, надеюсь, вам было интересно. Вот, как обычно, пишите комментарии. Буду благодарен за лайки. Э сразу прошу меня не обижаться на меня, что так редко появляюсь, но действительно я очень много работаю и нет возможности достаточно времени посвящать ещё и созданию видео. Делаю, в принципе, всё это сам, поэтому просто нет времени. На этом всё. Всего самого лучшего, самого доброго. Пишите. Всем пока.