Transcription
Всем привет. Меня зовут Глеб, и это подкаст с людьми из мира AI. И сегодня у нас в гостях Валерий Ковальский, Head of AI в Redmot. И я думаю, он нам расскажет кое-что интересное про рак, про то, как строить ээ большие какие-то агентские сети, не знаю, про бизнес на AI, ведь это большое агентство. А, привет, Валерий.
Всем привет. А, да, сегодня затронем, как это сказать, не, э, умирающую тему рагов, да, ведь достаточно часто с выходом, выходом новых лэмок, выходом новых бенчмарков, да, я лично, так как кручусь в этой сфере, замечаю а такой тренд, всё, рак больше не нужен, вышла моделька на миллион контекста. И действительно, хотелось бы, возможно, ещё раз, но сейчас более актуально, да, там или более подробно разобрать, ведь где он нужен всё ещё и почему он продолжает развиваться. Ведь там РК - это не всегда про векторный поиск, это про концепцию. И вот про неё поговорим. Давай тогда, Клеб, начнём с вопросов.
Да. И я бы для начала, знаешь, даже с чего начал? С самого простейшего, всё равно ликбеза. Что такое рак? Потому что, а, ну, я по себе знаю, я вижу по другим. Это для 95% людей- это некое магическое слово, которое мало что обозначает. Все знают только, что если применить рак а к нейросети, то сразу она начнёт всё классно искать по твоим там документам, по всему хранилищу твоих там, не знаю, фоток и всего на свете. Вот расскажи вообще, что это такое, почему он там, как ты говоришь, умирает или не умирает. А потом уже немножко будем углубляться.
Да, давай расскажу через призму, наверное, своего понимания. А вообще я тут какое-то время назад даже немножко в историю пошёл покопать, откуда вообще рак как сокращению появилось, да? А знаешь, в какой момент меня это заинтересовало, даже так скажу из интересного, знаешь, социального. Я был в Москве, да, там и на улице, буквально на плакате почти там в центре Москвы увидел огромнейший плакат, там рекламы то ли МВС, то ли ещё какого-то облака. У них было красными огромными буквами написано раг. Я такой думаю: "Ну всё как бы". Вот теперь, наверное, надо реально в массы очень подробно рассказывать, что рага - это не тряпка, а раal argumented generation, то есть это слово расшифровывается и что-то значит. Но если как бы копнуть в историю, я говорю, что нашёл на одном из сайтов интервью создателя этой как бы аббревиатуры. Ну то есть, знаете, человек состал её и тут давал интервью, говорит, я, говорит, честно, э не знал, что эта аббревиатура так разовётся и концепция в целом будет так сильно в сообществе нужна и подниматься создаваться фреймворке. Он говорит: "Я немножко в печали, что я так мало вложил в неё и ну там, ну как бы он такой я грущу насчёт этих трёх бук. По правде, рага - это действительно что-то большее, чем а там классические там, что привыкли сейчас понимать или представлять из там всех курсов. Действительно, а рак - это каждая буква расшифровывается, а ретри - это про поиск, а argumented - это про дополнение, ну там вставку или э там модификацию каких-то данных. И generation - это блок, где lm, основываясь на каком-то контексте, что-то генерирует. наверное, немножечко технины, но я попытаюсь, Глеб, если что, поправляй, очень упростить.
Да, я просто в целом хочу, чтобы широкая масса понимала, да, достаточно аудитории как раз-таки, что такое RAG и как он работает с lm. Ведь когда мы взяли с вами lm, будь тоpt, будь то сейчас, конечно, это решается разными подходами, будь тотроopic или интерфейс, в Гугле с GM вы общаетесь, модель заморожена, её взяли в каком-то году или в каком-то месяце или квартале обучили, и у неё нету новых данных. За новыми данными она ходит с помощью навыков, которые сейчас появляются очень распространённые вот эти агентские сети. Она ходит в интернет, ищет актуальную информацию, но в основном она тянет внутреннюю информацию себе. И когда мы, допустим, ограничены ходить в интернет или нам есть необходимость ходить не в интернет, а в свои знания, в свои данные, свои PDF, свои документы, то мы, а, организуем раг локальный. По факту, можно сказать так, очень натянуто, я много с кем спорил, но текущее взаимодействие с поисковой строкой и с Гуглом, где вам маленькая моделька делает sumary, это тоже некоторые некоторой степени рак как концепция. Там уже действительно другие технологии используются. Сам поисковой индекс Гугла собрал в себе огромное количество сайтов и самри делается именно по этой части. Но если в целом разобрать, у нас всегда, а, раг - это существующий источник знаний сейчас обновлённый, будь то корпоративная база знаний, будь то, не знаю, ваши PDF, будь то даже возможные диалоги, которые вы просуморизировали и положили туда.
Можно я тут даже ещё кое-что от себя добавлю, а-а, потому что я над этой концепцией много тоже размышлял. И, а, главный мой вывод, что она гораздо сложнее звучит, чем есть на самом деле. То есть даже сами сама аббревиатура, как она переводится, эти страшные английские слова, как бы, а всего лишь всего лишь а вот когда я у меня книжка лежит на столе, я оттуда выделил одно предложение и вставил в запрос нейросети и сказал: "А найди мне в этом предложении слово Петя". Как бы это уже рак. [смех] Это по согласно определению это рак. А дальше вопрос просто, что эта книжка может как-то автоматизированно туда загоняться. Какой-то там может быть, ну, какой-то целый конвейер предварительных поисковых каких-то сложных движков, которые кусочки, значит, этой книжки нарезают и так далее. Но по факту это, ну, вот я уж что-то вставил, и это уже рак. Вот как? Ты согласен с таким подходом?
Я согласен с таким подходом. Всё-таки, когда мы динамически берём, а, откуда угодно, динамически - это значит, что мы в момент, когда человек или система, будь то там ваш кодовый агент, а, хочет запросить какие-то внешние знания, да, то есть неважно, куда он там пойдёт, а, я с натяжкой в целом готов сказать, что это раго концепция. Вот. А потому что под капотом разные технологии могут работать. И как бы там ни было, да, бывают разные подходы и технологии, которые применяются там внутри. Например, в Open есть агенты, там можно применить подход рага, там действительно есть вектор Store, там можно это применить подход векторного поиска, да, там разбивки документов. Но всё это про, не знаю, а вопрос о том, кто кто готов запариться и построить дико сложный workкflow для достижения какой-то точности. Ещё в двадцать третьем году Open Night же внутри тоже строят раги. Совершенно много их. У них они есть разные. Они про них рассказывали на de Day. А в двадцать третьем году я оттуда достал у себе в презентацию а слайдик, сколько нужно технологий прокопать, чтобы сделать действительно рабочий рак. Это что значит? Что ты действительно можешь взять книжку, да, нарезать странички, положить какую-то базу данных, а, и динамически к ней обращаться и подсовывать в ЛМ, а в момент её ответа. Ну, то есть находя какую-то релевантную информацию к твоему запросу. И базовая точность будет там 40 п%. Ну, минимально. То есть она она уже будет какая-то точность нахождения релевантной информации, которую бы ты бы хотел подсовывать в ЛМ для того, чтобы она отвечала или находила её в целом. И там вот такой списочек такой нормальный из, наверное, пятнадцати плюс технологий, которые стоит прокопать. И что важно здесь отметить, вы можете их все сейчас взять, а, скачать в готовом фреворке. Не знаю, на языке крутится что-то типа авто, а, GPT, да, там, а, какие-нибудь ещё другие фреймворки, их очень много. А GitHub действительно пистрит готовыми фреймворками для построения ракконцепций на базе разнейшего набора технологий. И это вот такая вот, ну, не знаю, пирамида, которую стоит понимать, что ранцепция, внутри масса технологии и подходов. Существует сверху очень много фреймворков. И опять же Ширак может решать там комбинировано огромное количество задач, а, там от поиска корпоративной базе знаний, >> даже есть рак по картинкам. И это в целом переходит в такое состояние. Многие сопротивляются, но я считаю, что если мы что-то ищем, динамически подсовываем в LLM, LLM может даже не генерировать, а делать какие-то выводы. Для меня и я вот как бы с тобой согласен, ты уже рак. Ну, то есть базово. Вот многие с этим не согласны. И есть ещё такое расколовшееся мнение, что рак - это только про векторный поиск. То есть если мы, да, берём только вектора и, например, что рак - это только про вектора и это только про там КН семантическую близость. Такое мнение тоже есть.
про векторный поиск, потому что, мне кажется, действительно у очень многих людей эти, ну, эти понятия в голове тесно сцеплены, что когда мы говорим рак, мы имеем в виду векторный поиск. Когда мы имеем в виду векторный поиск, там, когда мы говорим векторный поиск, мы имеем в виду рак. А что такое векторный поиск? Почему он вот как-то так близок нам получился по значению? И только ли векторным поиском ограничивается дело?
Давай попробуем. А я сказал бы так. Я, наверное, дилетант с точки зрения архитектур, а, векторных моделей. Это отдельно, да? У нас же есть вот, грубо говоря, а, там, не знаю, lm мы привыкли, да, вот что мы что-то пишем, а, lм из её свойства эмерджентности, недетерминированности и объёмов знаний генерирует нам что-нибудь. А есть обратная сторона на этапе чуть пораньше, когда мы там только взяли текст как символы, их токинизировали, и нам нужно какое-то представление. По факту вектора - это вообще в целом, ну, фундамент трансформеров. Так-то так или иначе там позиционные вектора есть вектор там токенов и вектора сложных, но это не суть. Давай за как это за за минуту и для девятиклассников что такое векторный поиск. А дальше мы углубимся.
Давай для девятиклассников и за минуту всё-таки. Что такое вектора и как с ними жить? Э, у нас есть текст любой какой-то пока что на текст.
Книжка. Вот у нас книжка. Давай. Война и мир.
Давайте возьмём книжка. Да, да, да. Книжка Война и мир. Отлично. Мы взяли эту книгу и хотим, а, найти что-то в ней. Мы её кладём в реляционную базу данных, в обычную. Вот SQL называется, да? и производим там FTS Fulltext search поиск. Как вы в браузере жмёте клавишу, комбинацию клавиш Ctrl F, да, или представим, да, вот у вас книжка даже просто в PDФе открыта, ещё проще. В пдфе в браузере открыта книжка, и вы нажимаете Ctrl F и начинаете вводить какие-то буквы. У вас происвоит полнотекстовой поиск. То есть каждая буква или несколько начинает мэчиться с чем-то. Этот поиск уже недостаточен к тому, чтобы извлекать смыслы из неструктурированных запросов пользователей. Ведь я же могу написать гораздо более обширное предложение, чем парочку слов. И вот здесь мы начинаем переходить в сторону вот этого семантического или равновекторного поиска. Мы можем всю книжку векторизировать, неважно как. Мы не будем сейчас даваться подробности, что там можно порезать на какие-то чанки. Просто представим, что мы с вами всю книгу, да, весь текст, который в ней есть, векторизировали, представили вот этих векторах. Вектор обычно это какое-то количество цифр. Мы представим, что у нас 1.24 числа есть. Это вот представим, что каждый какой-то абзац был переведён вот в эти числа. Мы их сложили куда-то. И когда мы что-то ищем, а, допустим, раньше мы нажимали Ctrl F, и у нас происходило совмещение наших буковок и слов с тем, что находится в книжке, полнотекстовой поиск. Теперь же, когда мы вводим слово, наше слово векторизируется и составляется ему ищется максимально похожий вот этот вектор на основе предложений или абзацев, которые мы ранее положили с вами там специализированное место. То есть числа числа сравниваются с числами, да?
Да. Только более обширного размера, я бы сказал так, или имеющая больше признаков, потому что ваше слово там привет, которое переведено в вектор, представляете, его можно перевести в вектор, который будет иметь 1.24 значений. Ну вот, если представить в математике, и есть абзац книжки, он имеет столько же значений. Мы их сравниваем. Называется это там косинусное сходство. Если кто-то знает математику и настолько подробно, да, из девятого класса есть можно вычислить угол, да, косинусного расстояния. И вот чем угол меньше, тем значит, что а чанг кусочек вот этого текста а ближе к нашему слову привет. И мы таким образом можем найти максимально релевантные предложения или, как мы с вами ранее сказали, абзацы, где используется слово привет. Это будет некоторый подход семантического поиска, который сейчас используется и который так сильно бустанул вообще в целом всю эту сферу ЛМ, да, там рагов, баз знаний и там поиска какой-то информации, когда у нас есть какой-то непонятный структурированный запрос и мы к нему хотим найти релевантные участки этой книги.
Э, мне очень нравится, знаешь, что в этом, что вообще в концепции векторов, а-а, в лэмках, что это то место, где, э, математики встречаются с лириками. То есть, буквально человек нашёл способ описать любые понятия языка, и в том числе очень сложные, и в том числе там целые предложения, просто неким математическим числом, да, вектором каким-то набором чисел, и далее может их между собой сравнивать и применяя обычную, как это, такую а грубую математику. Ну, короче, мы нашли способ применять грубую вычислительную силу к таким вот эфимерным и прекрасным понятиям. Это очень, мне кажется, хорошо. В этом суть вообще того, что происходит происходящей революции. Вот. Давай, давай теперь дальше.
Угу.
Да. Теперь давайте, ну, наверное, дальше двинемся. Вот мы сейчас с вами прошлись, что рак - это концепция, да. Я немножко так зарезюмирую, вернусь, как бы, где это моё. Моё также опять же тоже кредо и, наверное, свойство. Я люблю подводить какие-то небольшие итоги. Мы с вами разобрались, что ратая концепция состоит из трёх ужасных слов, сложных, да, и под ними действительно мы вот вдвоём согласны, кроется огромное количество технологий, сложностей. И сейчас просто сообщество и в целом там весь мир пистрит огромным количеством подходов, да? Там чуть ли, ну, достаточно крупные компании соревнуются в исследовательских там действиях, подходах, да, выкладывал очень много всего полезного. Open про это рассказывает и тоже не забывает рассказать про то, какие они раги когда-то строили или в целом внутри используют. И мы с вами прошли сейчас, да, что такое векторизация, как она работает. Действительно, это математика чистейшая, которая пытается вот что-то прекрасное соприкоснуть с, да, там сухими и жёсткими числами, которые ничего про это не знают. Если мы с вами двигаемся дальше, то там начинает появляться разного степени, наверное, вот эти вот как-то точности и применения. А где же вот этот рак мы можем применять? Ну как я бы вот дальше пошёл бы, да, мы с вами взяли базу. И куда его можно применить? Раньше я люблю ещё, опять же, возвращаться к истории. Это, знаете, свойство, наверное, русских людей возвращаться к истории. Ну ладно. Здесь мы, ээ, в целом, да, говорим, что была такая технология RPA, роботизация процессов, там robotic process automation, по-моему, это расшифровывается, если я сейчас ничего не путаю. Это значит, что были какие-то процессы, допустим, чатбот техподдержки банков банка, представим. Или там, не знаю, вот если говорить про нашу аудиторию, там какое-нибудь приложение, связанное с там муниципальными или там Госуслуги, да, там есть система, которая что-то вам отвечает, и вы задаёте свой вопрос, она пытается найти релевантную информацию. Ранее всё строилось на некоторых деревьях решений, на более простых подходах, да, там существовали первые NLP-модели, которые были достаточно простые, где-то использовался ML для классификации, и это было до, наверное, выхода бертов, Робертов и, наверное, трансформеры архитектуры. Сейчас же RPA представили,
>> то есть это где-то до девятнадцатого года, правильно? Там плюс-минус.
Ну, где-то так, наверное, до девятнадцатого года прям действительно, если посмотреть, там были прямо даже такая роль, я не знаю сейчас как точно сказать, это сценарист таких движков. То есть буквально были люди, которые писали сценарии для таких движков. Они буквально открывали огромный либо визуальный редактор, либо огромный GON, где у них было кучу зависимости, и они рисовали просто последовательность друг за другом, но на более, я бы сказал так, э, детерминированных вещах. То есть там не было такой вот обширной возможности учитывать семантику, учитывать определение интентов. Они были, но были сложны к обучению и подходу. То есть была другая другая эра этой технологии. Как только у нас появились вектора, появились М, которые начали понимать, а, и сухую математику переводить в смыслы и переводить в понимание запроса контента, появилась вот эта вот приставочка Джен, наверное. называется Gen RPA. В эту штуку вообще в целом очень огромные вложения были сделаны за последние 3 года. Это, NV CM. Я бы сказал, что это платформа сейчас генеративного RPA, то есть где можно залезть и без знания кода создать себе аэ ассистента, который бы отвечал на вопросы по, а, например, какому-то продукту, ну или там, вот, как я говорил, Госуслуги или по продукту банка. И что изменилось с того времени, да? То есть вот если говорить от применения, раньше нужна была команда, там человек из шести, которая соберёт данные, потом там два человека или три будут собирать этот сценарий. Сейчас же на моей практике для создания ассистента по продукту там компании, состоящим из там 20цати ПДФ, да, и там трицати сценариев, достаточно одного системного аналитика или бизнес-аналитика или в целом там, ну, такого человека, который умеет двигать мышкой в и может обучиться работать с ЛМ и задавать свои вопросы там в клод и настраивать связи между какой-то историей. То есть эта технология стала доступней. И если мы говорим про доме, а где же применяют рак, то их применяют в технологиях Search Assistant. Search assistant - это такой домен очень обширный, где мы создаём поисковых ассистентов, вопросноответных, сопровождающих, а ускоряющих, помогающих, которые в целом именно их основная задача стоит в том, чтобы искать информацию, агрегировать её и выжимать, делать некоторый генеation как ответ. Если говорить про применение в целом того, где это сейчас, я бы сказал так, актуально, я бы, кстати, может быть, и дополнил бы, потому что, ну, вот сейчас очень сильно хайпует тема, например, генерации кода, да? А там тоже же рак во все поля применяется. Аа вот этот кодинговый агент, он должен знать вообще, что происходит. Там тоже постоянно к нему подставляется какой-то контекст. Ну и вообще, а если говорить про реальные применения, я не могу даже себе особо представить применение нейросетей сейчас, которые бы без рага вообще, а, ну, вот как-то серьёзно работали, потому что вот ты идёшь в чатик, чатик с чат GPT или там Deeps или неважно что, ты что-то там делаешь. А, но без внешних данных обычно это, ну, на вот на том на том фундаменте, что обученная нейросетка, да, она тебе что-то даёт, но обычно это не дотягивает до твоих настоящих задач. То есть тебе почти всегда всё равно нужно что-то дополнительное. Тебе нужно там документик какой-то подставить, не знаю, курсовик свой, чтобы она по курсовику общалась с тобой или там, не знаю, опять же, по компании набор документов. по какому-нибудь процессу, какую-нибуд семантику этого процесса, ну и так далее. То есть на самом деле в реальных приложениях тот или иной вид рага, он вылезает там почти всегда, да? Иногда мы можем тупо в контекст херануть. А, и вот, кстати, тут сразу вопрос: а что бы нам в контекст не херануть? У нас контекст он миллион, пожалуйста. А, берём миллион контекста для это примерно там, я вам скажу, да, это а под 1.000 страниц А4 там, ну, что-то такое. Ну, это точно больше сотни. Вот и этого достаточно много. Почему бы просто не заполнять очень большие контексты и радоваться?
Да здесь есть, ну, смотри, наверное, я вот много на тоже об этом рассуждаю. По факту я же помимо того, что их изучаю, делаю, мы же разрабатываем продукты на базе рага. Ну, так или иначе. И нужно быть в тренде, понимать, что давай разделим немножко ещё, а, да, там наш вот этот весь слой на два сегмента. существуют облачные модели, и в действительности в них есть там у Джемини представители, хорошо работающие на огромном контексте. Есть локальные модели. И, ну, так как мы всё-таки там в России, да, то большинство компаний старается использовать локальное премисрешения, дабы исключить там утечку каких-то данных, да, и там, где есть персональные данные, нас юридически, да, обязывают всё-таки использовать локальные модели, да, там локальный infence, защищённый infence. И здесь кроются две важные истории. локальной модели сейчас. Ну вот прямо вот, да, 22 августа 2025 года. Эффективный контекст -э на размышление, там где нужно действительно применять сложные когнитивные навыки на вхо по моим экспериментам. И сейчас всё больше сообщество до этого доходит. Я там часто вижу разные сигналы, посты, да, там анализов вот этих лонгко контекстов. А находится в районе четырх 4 тире 10.000 токенов. То есть а 10.000 токенов - это на секундочку, ну там чуть поменьше, это три-четыре листа А4 очень плотных, да, и там как бы ты много информации не засунешь, ты туда всю компанию не положишь, ты сюда а всю свою кодовую базу не положишь. Ирак как раз-таки был нацелен, и его основная ещё задача, помимо решения вопроса замороженных данных и того, что данные в ЛМ не обновляются, эла проблема решить как раз-таки в том, что все лэмки плохо работают с большим контекстом. И это как бы э факт, наверное, даже с Gни. То есть мы можем положить миллион контекста, но если мы захотим извлекать большое количество иголок, есть такой тест needle highк, да, то есть поиск иголки в стоги сена. Если иголки будут не очень даже и симметричные, то есть они будут прямо не похожи, нам нужен будет какой-то вот ризанин, то как бы эффективность контекста там протухает. Там ещё видите, есть такое выражение, там гниющий контекст. Сейчас появилась статья очень большая, да, на эту тему. Есть ещё такой фреймворк и бенчмарк ноулима, который подтверждает мои слова, к нему можно обратиться будет в целом, загуглить, то в целом мы находимся в том, что и большие-то модели тоже, хоть миллион контекст существует, но когда нам нужен действительно, ну вот не просто там кто был персонажем в войне и мир такой-то, да, ну там, не знаю, с такими-то свойствами, здесь ЛМ в целом на миллионном контексте отлично свяжется, да, там справится, а к там хотим многоступенчатую задачу связ связанную с нашим кодом или связанную с каким-то бизнес-процессом, да? То есть нам тут либо придётся весь контекст как-то делить на какие-то куски, его по кускам там передавать, суммаризировать, либо использовать умный поиск, где контекст уже заранее подготовлен. Раг как раз-таки про это, где мы сток сена, в котором ищем, уменьшаем постоянно.
Да, я поделюсь своими наблюдениями. Я же, наверное, один из таких идеологов и пионеров так называемого ваншотпромтинга, когда ты, а, а, давайте все херанём в контекст. И вот поначалу, а, был, ну, это он, эта идеология появилась, когда, собственно, вышли модели с миллионными контекстами. Но я по своим экспериментам достаточно быстро пришёл к выводу, что, ну, тот же Gy, да, как бы про про модель заявлен миллион, но эффективно это тысяч100. Ну, прямо хорошо. Там 200, ну, уже такое больше уже ерунда. Причём даже не по метрикам, типа поиск каких-то иголок, да, то есть поиск понятий, а, а вот по метрикам сложной, связанной информации. Ну вот как кодовая база, например. То есть ему надо найти, например, ну, некий стекрейсинг провести, то есть как из одного части кода там вызывается другая часть кода, потом снова передаётся в управление и так далее. И вот прямо заметна деградация. Подсунешь ты, например, выжимку файлов там на 30.000 контекста, которые вот про про твой процесс, или подсунешь весь всё своё приложение, ну, допустим, на 300.000 контекста. Заметно он как бы заметно глупеет. Вот так вот. Это внешне это выглядит, как будто он глупые ответы начинает выдавать. А по факту это проблема именно больших контекстов. Да.
Да. И вот ты правильно подметил, что прямо хорошо 100.000 ся. А, да, там я продолжаю свои эксперименты, да, когда мне нужны, а, прямо многоступенчатые выводы и там в ваншоте, да, составить какой-нибудь workкflow, а при этом их последовательность. То есть, например, есть есть такая технология, React называется. Это Reasoning and Action. Это, наверное, база диалоговых агентов, когда модельку сначала заставляют, вводит в состояние, а, размышлений, аа, выбора навыков и типа действий. Соответственно, вот тут вот мы как раз приходим, что прямо отлично, у нас уже не 100.000, а у нас уже вот как раз-таки там даже у Jy Pro это 20-30.000 токенов. Прямо отлично. Это те метрики отличные, которые бизнесу реально помогают вот там в диалоговых агентах. Действительно там извлекают пользу продажником здесь и сейчас. И вот
Как бы основываются на каком-то долгоиграющих событиях, связанных с реальными рассуждениями. И мы как бы в целом, да, есть маркетинг, знаете, этот сейчас ходит шутка, да, говорит: "Я обучал Ламу 2, Ламу 3, а к Ламе 4 не прикасался в резюме". Вот такая же вот история про маркетинг, про Ламу 4, где 10 млн контекста. Я просто хочу, а так, знаешь, мои исследования, я сильно в это закопался такой, я подумал, ну, ну, хорошо, давайте 10 млн контекста, это здорово. Это RAG вообще не нужен. Это можно чуть ли, не знаю, весь data lake компании просто, блин, в модель сгрузить, камон, и что-то там искать и вообще с ней общаться. Это всё, это обучение больше не нужно. Ну, как бы дьявол кроется в деталях, да? Для того, чтобы развернуть такой контекст, ребята проводили эксперименты, нужно 512 сотых. Ну, там можно перемножить на стоимость. Это первое, да? А второе, данный контекст будет доступен только в каком-то там, конечно, формате специализированного запуска. Тебе понадобятся мегаинженеры, которые это всё умеют делать. Это можно будет распараллелить как раз на 512 человек. То есть у тебя 512 карточек, миллион, 10 млн контекста, но им будет доступен только один этот контекст. Ну, условно, в рамках 512 запросов. И это как бы ограничения такие здоровские. И мы возвращаемся к нашим моделькам, где у нас там, не знаю, на каком-нибудь около гражданском или одной развёрнуто 60.000 токенов, и мы вот воюем с какими-то небольшими, ну, китайскими аналогами, китайскими тюнами и хорошими моделями. Да.
Супер. А давай теперь, что за пределами векторного поиска, потому что вот мы поговорили про векторный поиск, проговорили про, ну, вообще проблематику контекстов, вроде как поняли, что RAG нужен, да? А теперь что там вообще? Потому что векторный пост — это вот я сейчас пойду на GitHub, я или там в Google, я наберу типа действительно фреймворк, который мне векторный пост делает. Я за час, наверное, разверну себе какое-нибудь решение, и всё будет работать. Вопрос, почему здесь вообще какие-то бизнесы существуют? За что они берут деньги? А и почему корпорации — это это какие-то там долгие проекты, а не 5 минут?
>> Да, смотри, наверное, основная вот здесь история кроется в ETL. То есть у нас есть, да, там процесс, связанный с вообще предобработкой данных. Ну, и мы, когда стали реализовывать большое количество,
>> Что такое ETL сразу? [смех]
>> Extract, Transform и третья буква забыл, как расшифровывается. Всё связано с данными.
>> Ага. Так, то есть когда у тебя есть возможность взаимодействовать с, грубо говоря, исходными данными, ты их настроил как бы экстрактинг, ты настроил процесс их трансформации, и у тебя это всё на поток поставлено, да, и, грубо говоря, ты на поток знаешь, что у тебя есть формат э каких-то исходных там данных. Load, э-э
>> Load, Load, третья буква Load. Я вот сейчас загуглил, да.
>> Третья буква, да. Да, вот загрузить, да, и ты определил, куда загрузить. Э-э, там условно у компании в data lake где-то разроно лежат какие-то данные, ты их заэкстрактил, как-то модифицировал, переразметил и куда-то положил, подготовил. И в целом, да, как бы, если мы разберём, это, наверное, там 95% э процессов, связанных с обучением моделей, а, даже, да, с ML, LLM, любыми. И также, грубо говоря, с вот с этими RAG, да. А как бы когда ты один, когда у тебя есть там свои записки и ты хочешь их в RAG положить, условно, ну, тебе будет в целом плюс-минус достаточно, ну, наверное, часа. Когда мы скажем, что я хочу парсить 10 каналов в Telegram, положить их в RAG и сделать вопрос на ответного бота, ну, тебе понадобится по вечерам там, да, допустим, 5 дней, потому что у тебя изначально уже там Telegram в каком-то одном формате пост сообщения, и у тебя уже там не Telegram за тебя продумал кусочек телепроцесса, там уже всё структурировано. Ты когда получаешь там JSON с этим сообщением, он у тебя там прямо вообще такой там там вылезанный, всё круто, у тебя чёткие поля есть, ты оттуда всё забрал, всё это, ну, как бы модифицировал, там, транспонировал, вообще всё круто получилось. Когда мы заходим в какую-то компанию, почему вообще бизнес-то не существует, да, на этой сфере, мы приходим и как бы вот а там, знаешь, и там сканы PDFок, не [смех] не PDFы сканов и прочее, да? Не, ну там там, знаешь, там выжженное поле, вот эти вот лысые менеджеры, держащиеся вот так вот за три волосины и просто не понимающие, что с данными делать. И как бы ты приходишь и протягиваешь руку помощи и говоришь: "Я знаю, как надо сделать. Давай мы всё сожжём и построим новое". Вот примерно так выглядит. И как бы получается, что ты предлагаешь всё сжечь, построить новое и как бы и как бы вот потихонечку, да, ты начинаешь разбираться, распутывать тот клубок данных, применять агентов. Тут LLM-ки прямо круто помогают. Это, кстати, второй домен, где применяется совместно с, ну, там, конечной концепцией RAG — это data extraction. Тебе не нужно целую команду держать аналитиков. Ты можешь, в принципе, взять данные, настроить там их открытие PDFок, буквально взять две LLM-модельки, одну мультимодальную, вторую текстовую и начать нон-стопом размечать эти данные, складывать, создать какую-нибудь, не знаю, говоришь LLM-ке, а просто "раздели мне все эти документы, придумай теги сама". Дальше теги приводишь к единой таксономии, получаешь таксономию, таксономию приводишь к кластерам. Ещё раз проходишься по всем данным, присваиваешь уже э свою правильно созданную таксономию из своих тегов. Вот у тебя появилась разметка. Но это всё время. Это нужно выстроить процессы, нужно пообщаться с экспертами, нужно получить доступ к этим данным, нужно настроить там промты для разметки, нужно настроить, куда мы будем складывать и как. И эти все как бы процессы сейчас в компаниях по факту под LLM, под AI Native создаются с нуля, поэтому они растягиваются на полгода, а то и больше. И как бы сложностей возникает масса. Это я говорю, что построить сам RAG конечный, когда ты уже, в принципе, в нём разбираешься или даже какую-то поисковую систему, в основном все же хотят просто понять, что у них за данные есть. У нас есть какой-то бизнес-процесс, мы хотим понять, что у нас есть. И и кидают в тебя полтора-двухгиговую выгрузку Excel, которая без человеческого сопровождения никакого отношения к данному бизнес-процессу вообще не имеет. Или имеет косвенно. Но человеку, чтобы понять, как пользоваться этими данными, человеку нужно 2,5 месяца онбординга. И здесь мне нравится, у меня такая есть интерпретация. Я раньше занимался Computer Vision, и у меня был такой вопрос. Я ездил по объектам прямо буквально такой в каске, чумазый с фонарями, с камерами. И как бы там технолог, да, старший технолог производства спрашивает: "А вот сюда можно повесить камеру и настроить ваши вот эти вот магические искусственный интеллект, чтобы он всё мне тут распознавал?" Я говорю: "Ну давайте подойдём поближе". Он говорит: "Зачем?" Ну, давайте мы подходим поближе к месту, на которое указал. Я говорю: "А вы глазами здесь вот видите, что вы хотите детектировать?" Он говорит: "Нет, ну у вас же там супер-пупер технологии". Я говорю: "Вот если вы глазами не можете видеть то, что мы здесь хотим увидеть, ну, даже если мы скоростную камеру поставим, да, я говорю, сложно здесь распознаётся, нету чётких очертаний, каких-то историй, то мы и как бы наш магический и настроить на это не сможем". И такая же история с LLM, она никуда не делась. Если процессу человек даже внутри компании по текущим данным поддаётся обучению за полтора-два месяца, что вы хотите от локальной LLM-ки, у которой сейчас там уровень интеллекта двенадцатилетнего школьника, но она в целом неплохо может выдавать из себя а там вот этот поиск по интернету, который когда-то был в неё загружен.
>> Мне мне, кстати, знаешь, это это ну такая очень интересная штука. Действительно, люди же это воспринимают как магию. А магия она должна вот так вот по щелчку, она просто должна работать и всё. И когда ну это эти эти эффекты даже с мощными LLM-ками это постоянно наблюдается, когда аа ну, например, и сила её ответа вообще, что она тебе ответит, очень сильно зависит от того, что ты у неё спросишь. Я бы сказал, это прямая прямая зависимость.
>> Что и как?
>> Что и как? Что и как? А, а люди, задавая как бы тупые вопросы, получают тупые ответы, говорят, что она не работает. И тут ну, это первый вопрос, там, как мы её спрашиваем. Второе, а действительно, а может ли хотя бы человек разобраться в вот в этой проблеме, которую ты мне тут пытаешься рассказать? Э-э, о'кей, вот у тебя действительно есть куча данных, а человек в них что-то найдёт? Нет, не найдёт. А почему ты думаешь, что должна там LLM что-то найти? Представь, что LLM — это, а, технически такой более сложный и более глючащий человек. А, то есть он хуже в целом всё равно работает. Почему он-то найдёт, а человек не найдёт? Ну, не знаю, там, ну, это же магия, как бы, это же должно там произойти. Или а там в вот в моём случае я сейчас вот сам думаю, как как мне продавать продукт, а, говоря, что там сканирование какое-то займёт у вас там несколько часов, да? А это же должно работать мгновенно. Ну правильно, как бы я же щёлкаю на кнопку, и всё всегда должно происходить за миллисекунду. Как мне рассказать? Не знаю, что там она думает минуту, например, и из этих минут складывается потом час. Ну, короче, есть такие вот какие-то проблемы.
>> Да, ну это стандартная история. Мне даже очень нравится на эту тему такой мем. Он очень много сейчас ходит. Говорит: "Нам нужно внедрить и в процессы". А куда хотите? — говорит. Ну а куда можно? Она говорит: "А куда нужно?" [смех] И здесь вот такая же ситуация. Это нормально. Мы там с Сашей, да, э-э, Абрамовым часто пересекаемся, встречаемся по одной мысли, что говорит, наша с тобой сейчас основная задача не то, чтобы даже продукты пилить, а наша твоя задача основать социальный инжиниринг на тему того, что вот мы понимаем, как LLM обучаются, да, что это попугай по интернету, мы с тобой понимаем, что потом у неё есть post-train, есть там, а, да, там pre-train, да, там потом и есть разные стадии, которые начиняют её как разными свойствами. мы это с тобой понимаем, так давай, короче, придумаем и будем вот разделиться механиками социального инжиниринга, как мы это донесли до людей, которые думают, что это silver bullet. И мы там, ну, обсуждали очень интересные были подходы разные, где мы используем свои навыки, убеждения, да, вот как раз демонстрации, объяснения, даже вплоть до проведения каких-то демок. Вот почему это так не работает, а вот так работает. И вот как раз-таки защиты вот этих там бюджетов, которые сейчас нужны там на железо, на модификации, на обучение сотрудников, буквально оно тоже нужно. Есть и сопротивляющиеся, есть и неверующие, есть и те, кто, знаешь, там агностики и вообще отрицающие всю эту историю. Ведь они все есть и с ними приходится взаимодействовать. И хуже всего, когда вот эта вот вся масса характеристик собралась в твоём клиенте.
>> [смех]
>> И она как бы она как бы в нём борется, да, ему хочется и не можется. А есть сверху ещё те, кто сделали прыжок веры и такие отдались этому искусственному интеллекту. Говорят: "Засуньте нам его весь вот вот прямо как хотите". И тут как бы ты вот начинаешь в целом играться уже не в терминале, не в IDE писать код, а у тебя уже начинает работать другая какая-то вот часть мозга, которая за за убеждение, за евангелизм, за за, не знаю, там, пророчество и так далее. Ты там рассказываешь, как в будущем будет хорошо, но сейчас потерпите, надо ещё немножечко поучиться. Вот. Ну, как бы [смех] всё, конечно, RAG-ами, векторными поисками не обмажешь, но основная работа где-то кроется в моменте пока что нашего социального взаимодействия, где мы друг другу вот объясняем и рассказываем эти базовые концепции чуточку другим языком.
>> Угу. Смотри, а такой вопрос. Вот и правильно я понимаю, что у тебя очень много заказчиков из России, крупных заказчиков, да, это твои основные клиенты. И как вообще, не знаю, вот российский ландшафт применительно к внедрению различных нейросетей. А потому что мы знаем, что выходят свободные китайские модели, например. Насколько они хорошо решают задачу, насколько там у России, допустим, есть шанс вообще догнать какую-то там топовые американские модели. Но в итоге, ну, и вот вообще, что ты думаешь по поводу этого, по поводу технологического, может быть, отставания? Как мы его решаем и куда это всё приведёт?
>> Давай по порядку, наверное. Что касается, да, там решения клиентов, э, э, соответственно, ну, вот прямо внутри у меня есть, ну, однозначное, да, там сейчас убеждение, что, мм, люди внедряют повсеместно любой доступный искусственный интеллект в рамках LLM, в рамках генеративной истории, там, где действительно видят своё личное ускорение. И большинство там евангелистов, наверное, вот таких внедрятелей, которых я вижу, это люди, которые, знаешь, почувствовали, знаешь, сейчас витает в в облаках везде, да, там вот в интернете, что этот год не только про агентов вообще в целом, про них часто говорят, а он про личную продуктивность. И я сам тоже вижу такие истории, что если ты с клиентом общаешься, он сам использует повсеместно, да, там, то у него этих базовых вопросов не возникает. Вот такие базовые вопросы точности, галлюцинации, проблем, доказательств, скорости работы, они возникают у людей, которые, ну, по факту даже не открывали Excel. Это, знаешь, есть такие типа: "Да, ты, ну, как бы Excel-то открывали?" — говорит, я, говорит, даже доступ не запросил. Вот. И здесь такая же ситуация. Но что касательно гонки, я не считаю, что мы находимся в гонке. Всё-таки весь российский Big Tech сейчас сконцентрирован так или иначе на суверенитетной какой-то технологии. Она как бы решает какие-то внутренние задачи. Там всё прекрасно. Там и метрики крутые, там и модели здоровские, они просто нам недоступны. И есть другая задача, да, там, грубо говоря, распространять эти продукты в массы. Сейчас лучше всего сработала стратегия взять, ну, взять китайское хорошее, дотюнить и получить лучшее на российском рынке. Так сделал Банк, ТЧ со своими моделями. И я бы сказал так, что они сейчас для российского сегмента чатинга, а, там, саппорта и всяких таких вот систем простых агентских достаточно top of the top из моделей именно языковых больших, да, там до 32 млрд параметров. Что касается, когда догоним, ну, мне сложно, знаешь, я я честно не знаю в Big Tech планы по закупкам железа, но оно, ну, очень сильно коррелирует с возможностями. А также количество людей, которые занимаются сборками датасетов именно на post-train и на именно RL часть, да, то есть в целом. А я бы сказал так, что мы ещё где-то там год назад находимся на количестве данных, качественных данных органических, которые именно под русский язык собраны. Возможно, вот сейчас, да, там с получением доступа и также к зарубежным лидерам мы сможем догнать по там многим архитектурам, и это тоже действительно видно. Сейчас происходит такая история, что, да, там гибридизируй, объединяй и получай лучшее. На русский язык мы с вами буквально под конец года сейчас увидим очень хороших много релизов. Я слышу, там вижу, подглядываю. Многие компании готовят хорошие такие плотные релизы. Какие-то из них будут open source, какие-то из них будут, ну, скорее всего, по API, но они будут точно. И это даст хороший буст бизнесу. Сейчас же пока что всё на уходит на уровне экспериментов, и клиенты часто сопротивляются. Знаете, с какой стороны? Даже я вижу экспертов, которые разобрались в матчасти. В матчасти, да, очень отлично. Они там изучили всё вправо, влево, вверх, в потолок. Но вторая часть в них говорит о том, что они не знают, как это применять. Да, то есть мало сейчас людей, которые всю эту матчасть применили и поняли, какую надо выбросить, а какую надо модифицировать. И здесь вот начинает срабатывать защитный механизм. Я же всё продумал, я же матчасть изучил, она должна так работать. Но ты ему говоришь: "На практике так не работает". И начинается, знаешь, такое этот как бы отторжение. И мало масса людей как бы такую критику воспринимают достаточно жёстко. И там, ну, возможно, даже взаимодействие или даже партнёрские отношения заканчиваются на этом этапе. Опять же ж, это всё на уровне технических специалистов, когда ты общаешься. Здесь важно слышать другую сторону и находить подходы. Опять же, если ты хочешь строить бизнес, если ты хочешь быть евангелистом, можно закрыться от всех и всех бить по голове за неправильные формулировки. Ну, тоже почему нет?
>> Знаешь, я чувствую такую проблему, что это каждое внедрение сейчас LLM-ок в каком-то смысле представляет собой исследовательскую работу. То есть у нас ещё рынок не развился до такой степени. Вот со всеми возьмём там, я не знаю, рынок трекинга задач. Вот у нас есть два-три варианта, как их трекать. Есть там Agile, есть какой-нибудь там Scrum, Kanban и прочее. Уже прямо вся область описана, все всё понимают, все всё знают. Вот дайте мне, пожалуйста, три Scrum, пять Kanban. Вот вот сюда вот и ещё туда. А то же самое там про бухучёт, про какой-нибудь, про продажи, про каких-нибудь там, ну, про практически там, не знаю, таблицы, дикие системы и так далее. То есть огромный пласт с традиционного софта, в принципе, он уже вспахан. Всё, там как бы нету, там крайне сложно придумать даже места, где что бы ещё такое сделать. Всё уже есть. Ну вот реально всё есть. А в LLM-ках есть такая история, что мало того, что мы не знаем, где их применить, вот у нас компании, мы ещё и не знаем, а можем ли мы на текущем уровне там технологии доступных средств это применить. И у нас каждый продукт по сути исследовательский, и мы заранее даже не уверены, какого вот уровня результата мы получим. То есть вот, как ты говоришь, мы получим точность 40%. Во-первых, что это значит, да? А, во-вторых, а получим ли мы 90? А давайте вы мне напишите, что мы получим 95, и тогда мы с вами контракт заключим, да? Вот какие-то такие вещи. Вот мне кажется, вот в этом есть некоторое, ну, недопонимание со стороны бизнеса. Вот что ты про это думаешь?
>> Ну давай с конца про метрики. А если мы всё-таки застряем на них внимание на старте проекта, да, опять же ж вот, ну, с LLM по-другому никак. И это, наверное, ну, не информационное, как сказать, цыганство. Здесь всё-таки важно изначально вот, э, отработать эти ожидания. Я бы сказал так. У меня был, ну, не то чтобы печальный опыт, но как бы опыт того, что мы сразу с ходу комитились на какие-то точности. А где-то там опять же ещё на передовой в этих вот материальной части, матчасти, да, там мы узнали, что в целом можно её достичь, но какой ценой. А как бы в целом срок нашего релиза сместился с 3х месяцев до девяти. Нормально. Ну это классика же проектного менеджмента. Сроки в три раза. Ну даже может никто не удивился. Нет. Да, это же первый проект с AI под капотом был, который мы реализовывали. И здесь опять же ж мы закомитились на точность, а клиент как бы сказал: "Достигайте". Вот при каждой перепроверке мы её не достигали, и каждый раз приходилось переписывать какую-то значимую часть платформы, чтобы эта штука как-то начала извлекать точность выше. Здесь опять же ж по моему сейчас опыту всё больше, ну, как сказать, не то чтобы лояльных, но как бы попробовав внутри компании и понимает, что они сами не смогли. Причину как раз-таки того, что, ну, опыта недостаточно, а команда умеет только разрабатывать и не смотреть на то, а как это будет в продукте работать. К чему я веду? В лабораторных условиях, а-э, когда ты взял там тестовые датасеты какие-то, твои твой агент или твоя система работает отлично. Как только ты выводишь её, ну, грубо говоря, из из садика в школу, она перестаёт работать вообще в целом или может просто в целом не давать той, а, точности, того качества, которое ты изначально предполагал. А связано это как раз-таки с тем, что даже тот бизнес, который тебе в лаборатории помогает устроить, вообще не понимает, как работают процессы, хоть и предполагает. Ну либо ты не понимаешь. Вот я на своём примере, вот у меня продукт по анализу репозиториев, а я там что-то сделал, а говорю: "О'кей, давайте я буду ваши там смотреть чужие репозитории". Мне кидают. Я такой: "Господи, да что ж вы такое творите? Как так можно-то?" И я понимаю, что мои процессы, то, как я всё придумал, с реальным миром, ну, это какой-то 5% реального мира, то, что на самом деле люди там делают со своими кодовыми базами, и мне надо к остальным 95% там как-то приспосабливаться. Ну вот простой такой пример, да.
>> Ну, о'кей. А-э, так в целом, опять же ж, э, про приспособление, ну, не знаю, я всё-таки сейчас нахожусь всё ещё в состоянии того, что, а, как это, [смех] не то, чтобы нахожу клиентов, которые именно в таком формате как бы могут взаимодействовать, но базово, подсознательно всегда стараешься выйти на таких людей, которые могут с тобой именно находиться вот на одной страничке. понимание того, всё-таки, как эти LLM работают.
>> Угу. Угу.
>> Если мы как бы оба не находим здесь, ну, какой-то связи и там, грубо говоря, общего понимания, да, консенсуса, это всегда будет какая-то там гонка догоняющего или там проверяющего. Единственное, что действительно прямо сильно отличается сейчас, да, там ранее мы проходили по фичерлисту, в котором есть буквально написано: "Кнопочка делает вот это, а вот эта кнопочка делает вот это". И ты такой: "Ну, как бы отдавай на тест приложение, да, классической digital разработки". Мог сказать, и ты сейчас сам понимаешь, да, в продуктах у меня тест пройден, кнопочка делает это, располагается там, где мы утвердили, дизайн соответствует, а логика под этой кнопочкой выполняется правильная, то сейчас же, да, там в час чаще всего в продуктах, которые предполагают люди, у нас есть поисковая строка. Это, кстати, нас возвращает, наверное, да, там терминал, как я ещё называю, там чатинг в терминале. По факту все эти интерфейсы очень похожи на эту историю, да. Мы мы там вернулись лет на 10 назад в формате взаимодействия с интерфейсами. Вот там сейчас, конечно, есть разные передовые штуки, где там появляются AI Native интерфейсы, да, там UX и AI Driven дизайны, но они ещё пока что далеки от идеала вообще в целом того, как это могло выглядеть. Ну вот мы вернулись, да, к поисковой строке, где у нас есть тут вот ввод вообще от пользователя, то тут как бы в целом у нас ли есть всегда два желания. Либо сделать вообще, чтобы вот прямо было доступно всё. Пиши, что хочешь, я потом разберусь и буду потом проводить кучу итераций улучшений своей системы. А либо мы разрешаем только что-то одно. И это опять же ж сильно ломает возможности LLM, которые могли бы мы извлечь на старте. И это частая проблема даже у любого технического задания, которое я читаю. Мы хотим, а бульдога носорогом, чтобы он знал кличку хозяина на директора компании, умел отвечать на бухгалтерские вопросы, ходил в реляционную базу данных, анализировал все навыки, имел историю, хорошо общался на русском, на киргизском и ещё на каком-нибудь другом языке из малой языковой группы. А мы не хотим. А нет, давайте файнтюнинг. Или не хотим файнтюнинг. Сколько он стоит? Нет, не хотим файнтюнинг. В общем, себя и она как бы на круг вот пока что такая так. А потом ты этого носорога поставляешь, они говорят: "А почему он не знает цвета марки какого-нибудь автомобиля Rolls-Royce?" Говоришь: "Так, блин, это же не было в задании такой. Ну, он же он же умный, он же как бы должен". Я его тут спросил, где наш офис находится, он не в курсе, да. [смех] Вот. А я лично наблюдаю ещё такую тему, что с этими LLM-системами достаточно сложно вообще бывает сформулировать, что есть хорошее качество, например, хорошее качество результата, хорошее качество ответа. Вот кроме как, знаешь, в терминах это что-то вайб, не вайб. Вот как это он мне он мне хорошо ответил по вайбу или что-то мне как-то вот ну что-то не то. И ну я представляю себе, какая головная боль там, если ты работаешь с заказчиками в таком формате. Вот такие какие-нибудь вещи у вас встречаются? Нет.
>> Ну, вообще встречаются. Просто опять же ж как ты их там митируешь вообще в целом вводишь в какую-то полезную для себя сторону. Если мы говорим про опять же ж вот всё-таки разработку, да, там какую-то под заказ, ну, она сейчас наверное ещё пару лет будет устаканиваться, будут выбираться, знаешь, как вот Agile SCM, по какому вы способу разрабатываете, проекты ведёте, такая же история сейчас. Там модифицируются ML system design документы, да, есть такой ML system design doc вообще там Валера Бабушкин, привет, да, который в целом вообще про него рассказал когда-то миру и сейчас существует полезная история, да, то есть как бы и мы сами приходим к каким-то автоматизированным фреймворкам. Мы приходим сейчас к тому, как вести проекты, как вообще их в целом а защищать, утверждать, какие точности есть, сколько стоит, сколько команды нужны, какие должности появляются. Потому что раньше Machine Learning Engineer никто не продавал. У него и ставки не существовало. Теперь же есть Machine Learning Engineer. Теперь же почасовая у него есть оплата. Ну, понятное. Теперь есть NLP Lead, NLP Senior, ML Ops, LLM специалист, который шарит за поднятие не только ML на LLM. Это всё как бы сейчас пока, ну, таким вот огромным пластом наращивается на на на, ну, нанизывается на вот этот пласт, да, там разработки. Но что касается продуктов, ну опять же ж сейчас там с LLM под капотом, продукты они так или иначе, ну вот как мне понравилось одна из тем, да, все всё равно друг друга очень часто копируют, да, сейчас куда не плюнь, чуть ли не каждый стартап пытается сделать кодинго агента агента, который решает какую-то уникальную, но свою проблему, да, там вот они сталкивались с такими проблемами в разработке, они её сейчас и да, там кто-то придумает потенциально совершенно новую направление или там какую-то изменяет флоу или упрощает польский пользовательский путь. Гиганты на это смотрят, ждут, потом поглощают. Это всё, ну, понятная и традиционная история. Но если мы говорим про, опять же ж, там крупных клиентов, здесь всё просто очень сильно зависит от того, как ты с ними взаимодействуешь и как ты, как человек можешь объяснить, что же такое. Потому что без нас LLM сами про себя рассказать ничего не могут. А так или иначе, это будет ещё достаточно долго. Есть время ещё вкатиться в эту историю, ребят.
>> Угу. А у меня напоследок два вопроса. Первый про твою компанию. А чем она хороша на этом рынке? Почему вот надо обращаться в Redmotв, если ты хочешь что-то в LLM-ках сделать? Вот давай расскажи про это что-нибудь.
>> Ну, в первую очередь, давай, наверное, расскажу, что Redmit Robot изначально вырос и вообще образовался как мобильный разработчик. То есть в целом сделали очень много крупных мобильных приложений для России. И это был такой основной прямо, ну, пайп, наверное, и вайб и вообще там специализация. Сейчас же там последних 6 лет, там с 19-го года мы занимаемся Computer Vision, да? Причём мы там взяли такую прямо большую планку для промышленности, крупной отраслевой промышленности России. И действительно, там, если поискать про нас на Хабре, да, там на VC, у нас есть достаточно огромное количество статей, как мы решали очень нестандартные задачки, связанные с CV на этих производствах, и делали достаточно крупные продукты. Далее мы как бы организовали и учредили вот LLM, GNI, ну, некоторую структуру. И сейчас потом я бы сказал так, чем мы отличаваемся на рынке, тем, что у нас, ну, так не не поменялся времён мобильной разработки, да, мы наносим непоправимую пользу человечеству. И, соответственно, с этой точки зрения очень любим, очень любим и умеем в кастом. Хоть у нас есть продуктовая линейка какая-то, но подход к каждому клиенту у нас уникальный и специализированный. Мы можем поставить продукт, можем его модифицировать, поставить людей, сделать цифровую трансформацию. И это то, что нас выделяет на рынке как раз-таки экспертиза взаимодействия с некоторым, знаешь, там CX именно прямо клиента. Мы понимаем, как он хочет, как слышим его, общаемся, очень много говорим действительности своей, но и делаем, да? То есть каждое наше действие — это реально какой-то отчёт, презентация, прямо крупный какой-то маркетинговый ход сейчас, в данный момент. И в действительности там мы не ушли в такую крупную бюрократию, что, да, там наши продукты — это коробки, они коробки, но которые можно открыть. и их можно поменять по составу. Вот, наверное, сейчас мы сильны в этом.
>> Прекрасно. И последний вопрос. А что тебе лично во всей этой LLM-движухе интересно? Какие-то твои личные проекты? А чем ты занимаешься вот в свободное время?
>> Ну, первое, что мне интересно, железо. Отсылка, да, как фон сзади. Вот я люблю как, ну это буквально вот у кого-то один компьютер, один ноутбук, а это всё мои личные компьютеры, [смех] которые так или иначе там где-то сейчас крутится векторная моделька, где-то крутится модель реранжирования, где-то моделька по генерации видео, моделька по генерации изображений, там свои видеокарточки, всё рассчитано. Я экспериментирую с разными open source проектами, open source моделями. Хочу понимать, как они запускаются, что требует, да, то есть быть здесь всё-таки на гребне волны. И меня это прямо дравит. Мне эта история нравится, но это в первую очередь. Вторая часть, мне нравится работать с большими данными. Я в целом часто беру себе, нахожу какие-то pet-проекты, которые работают с большим количеством данных. И, э, меня дравит возможность реально извлекать из вроде как повседневности полезность как для себя, так и для людей. У меня очень много pet-проектов, которые доступны бесплатно. Вот там масса Telegram-ботов, масса каких-то интерфейсов, но они все нацелены на личную продуктивность. Это сервисы транскрибации, сервисы поиска вопросов на ответов и просто буквально прокси доступы к LLM. А поэтому меня всё ещё, наверное, если прямо вот подытожить, драйвит личная продуктивность. Я стал быстрее. Аа, наверное, качество где-то материалов, которые я делаю, пострадало. Я прямо здесь очень согласен. И прям, наверное, это та база, которая с которой я сталкиваюсь ежедневно. Я очень хорошо могу упаковать что-нибудь в презентацию и в какой-нибудь документ на базе LLM и своих знаний, но этот потом документ придётся очень сильно прошерстить и по нему прямо пройтись и его прямо проанализировать. А, соответственно, личная продуктивность отличный такой прямо драйвер на текущее время. И мне прямо нравится, что LLM а мне это дали как инструмент.
>> Прекрасно. А используйте LLM-ки, в том числе для личной продуктивности. А сегодня мы поговорили с Валерием Ковальским, руководителем по AI в Redmдроботе. Очень крутой. А все ссылочки на различные инструменты и так далее мы дадим в описании под видео. Там же будет Telegram-канал Валерия. Можете приходить, подписываться. Ну, и естественно, мой Telegram тоже подписывайтесь. Всем спасибо. До новых встреч. Пока.
>> Всем пока.