Transcription
технических спецификаций. Запись. Отлично. Запись. Добро пожаловать на наш вебинар, который организовывают компании Т из группы компаний Nit и компании Арена Дата Каталог. Давайте для начала немного подождём всех. Наверное, кто у нас приходит иногда с небольшими опозданиями, и проверим связь, что у нас всё хорошо, что вы нас видите и слышите. Напишите, пожалуйста, в чатик какие-нибудь плюсики, если вы нас видите, слышите, видите презентацию, мы не булькаем, не квакаем, и вы видите картиночку. Очень приятно, все с нами уже здесь. Очень приятно, спасибо большое. Видно и слышно хорошо. Очень приятно это услышать.
Собственно, пока мы собираемся ещё несколько минуточек, я дам небольшую вводную по тому, как у нас сегодня будет всё организовано, как какой будет регламент. Сегодня у нас есть несколько докладчиков, есть основная часть вебинара, где мы поделимся нашей экспертизой. Ксения, да, добрый день. Где мы поделимся нашей экспертизой, где мы, собственно, покажем вам, как работает система, расскажем про неё. И в конце будет специально выделенное время для ответов на вопросы. Но если у вас будут возникать какие-нибудь вопросы, то, пожалуйста, пишите их в чатик. Мы не обещаем, что ответим прямо сразу, потому что, возможно, на ваш вопрос ответ будет где-то чуть позже в презентации. Но мы обязательно ответим на нём тогда, когда это будет уместно, либо при переходе между слайдами или разделами, либо в самом-самом конце, если вопрос будет какой-то очень крупный. Повторюсь, пишите, пожалуйста, в чатик ваши вопросики, на всё ответим обязательно. Ну и мы немного подождали опаздывающих. На этом можем, наверное, переходить уже и к тому, что все у нас уже собрались.
Я бы хотел начать с того, чтобы представить наших спикеров. Меня зовут Дмитрий Демидов, я руководитель департамента машинного обучения и больших данных компании Norbit. Достаточно давно в IT и занимаюсь всем-всем-всем. А сейчас в большей степени корпоративными хранилищами данных и всем, что с ними связано. Со мной сегодня моя коллега, это Оля Перее. Она у нас старший системный аналитик, как раз в направлении корпоративных хранилищ данных. Работает в нашей компании, занимается вопросами Data Governance и корпоративных хранилищ данных. Сегодня Оля выступит, прошу её всех поддержать, задавать вопросы. Оля очень хорошо презентует, рассказывает про этот продукт и имеет хорошую практику и опыт в его использовании на задачах заказчиков. Также с нами из очень уважаемой компании Арена Дата Каталог наши дорогие гости. Это Иван. Генеральный директор. Иван, если ты с нами, как раз сейчас. Учёный момент всех. Вот. И с нами ещё Артём Нестерчук. Он подключится немного позже, ближе к сессии ответов на вопросы. Артём - это очень важный человек для продукта, это владелец продукта, поэтому можно будет задать даже вопросы, которые касаются какого-то развития, дорожной карты и всего, что связано с целым с продуктом.
Ну и, собственно, дальше я бы хотел рассказать, ну, передать слово Оле. Но перед этим рассказать буквально про то, почему мы этот вебинар организовали. Сейчас мы все понимаем, в какое время таких перемен мы попали. Понимаем, что очень много изменилось в связи с уходом вендоров. Понимаем, что задачи корпоративных хранилищ данных, они снова стали такими достаточно актуальными. Если раньше даже у всех, теперь пришло время либо перевнедрения, либо какого-то наведения порядка. И может быть, какие-то компании пошли в самостоятельный путь или просто дошли до точки, когда им необходимо управлять своими данными. И сейчас мы видим очень устойчивый спрос заказчиков на продукты, связанные с каталогами данных. Это Data Каталоги, которые помогают ускорить процесс и получить более... Это процессы, которые просто помогают при решении задач корпоративных хранилищ данных. И сегодняшнее мероприятие мы бы хотели провести в таком формате рассказа про то, как такой инструмент, как Арена Дата Каталог, может использоваться в бизнесе и показать большую практическую часть о том, как именно он выглядит и как он работает. Обращу внимание на то, что Data Каталог - это один из инструментов в общей стратегии Data Governance. При этом есть ещё и другие инструменты, такие как, например, MDM-системы, которые очень тесно пересекаются с Data Каталогом, потому что тоже работают с нормативно-справочной информацией, правда, больше со справочниками и с классификаторами. И кстати, буквально на днях, это уже на следующей неделе, 12 декабря, у нас будет мероприятие, посвящённое MDM на примере закупок. И если кому-то интересна эта тема также, то вы сможете тоже её посетить. Наш вебинар будет открыт для всех желающих, пожалуйста, присоединяйтесь.
Теперь я передаю слово Оле. И коротко повторю, что если у вас есть вопросы, пожалуйста, пишите в чат, мы их видим и в подходящий момент на них ответим. Оля, да, прошу прощения, сейчас я передаю слово Ивану, потому что он расскажет нам про Data Каталог и про компанию.
Так, так. Назад. Да, слышно ли меня? Да-да-да, тебя слышно. Да, коллеги, мы, соответственно, как компания, находимся в холдинг Арена Data Software холдинг, являемся по сути сестринской компанией для Арена Data и совместно работаем над развитием платформы продуктов Арена Data для управления данными, построения хранилищ данных, аналитики. Те базовые принципы, которые мы закладывали в продукт - это открытые стандарты и архитектура. Это, безусловно, принцип, по которому всё, что мы можем сделать в пользовательском интерфейсе, мы можем сделать через API, что очень помогает нам на проектах внедрения и интеграции со смежными системами. Да, это фокус на задачах пользователей, фокус на задачах пользователей. Мы на ранних этапах развития продукта сделали довольно много таких UX-исследований, чтобы поддержать потребности разных групп пользователей в компании, как и довольно продвинутых, там, архитекторов данных, разработчиков, ETL, дата-инженеров, так и рядовых пользователей, пользователей-аналитиков, для того, чтобы они могли легко найти те показатели, которые им нужны, отчёты, которые их рассчитывают, реализуют. И уделяем этому большое внимание. Сейчас у нас на одном проекте прошло обучение 150 сотрудников заказчика, это был очень такой ценный фидбек от нас, во многом приятно и во многом, да, очень важно. Мы всё-таки понимаем, где мы ещё можем улучшиться и находимся в этом постоянном контакте и смычке. Продукт он действительно достаточно быстро развивается. Автоматизация рутинных задач для управления данными, да, и для поддержки работы стюардов данных - очень важное направление нашей работы. Тоже сейчас уделяем большое внимание развитию этого функционала. Сейчас там дальше расскажем и покажем, что есть сейчас, и есть очень интересные вещи в роадмапе. Сейчас также вот с точки зрения обучения, у нас в учебном центре Арена Дата выходит скоро выходит полноценные даже несколько курсов для разных ролей пользователей. Учебный курс, да, видим к нему интерес, и это тоже важная часть, собственно, поддержки наших заказчиков в достижении результатов с продуктом. Да, безусловно, служба поддержки, которая работает, условно, полноценная локализация продукта в его вхождении в реестр отечественного ПО, доступность продуктовой команды для заказчиков, в том числе, важно с точки зрения достижения достижения целей проектов и внедрений.
Здесь хотелось бы, может быть, чуть больше рассказать о тех проектах, которые у нас сейчас идут. Всего у нас таких проектов, которые движутся к или уже в промышленной эксплуатации, или сейчас находятся на этапе внедрения. Да, сейчас запускается ещё несколько проектов, достаточно сложных, интересных, в том числе, наверное, первый важный проект для такой уже полноценной импортозамещения западного продукта, потому что первые наши проекты, они были в новых заказчиках, которые только внедряли у себя процессы, и, соответственно, инструмент в виде каталога данных Арена Дата Каталог. Вот здесь можно, наверно, открыто назвать. На текущий момент два проекта. Вот на слайде у нас FMCG - это Unilever. Буквально на днях вышел пресс-релиз совместно с компанией. Это была миграция, поддержка из Microsoft, которые отключили для компании локализацию хранилища, локализацию, по сути, всего импортозамещения, всего аналитического стека. Это и хранилище, и управление данными, и слой. Здесь очень важно было уже изначально в прозрачной среде с правильно выстроенным управлением, поскольку сроки были сжатые. Да, это это требовало гибкого подхода. А гибкий подход требует прозрачности, в том числе описание всех потоков данных. Да, и в результате мы достигли ситуации, когда и потребители конечных цифр на уровне BI-систем могут видеть всю все цепочки поставки данных, значения там терминов, показателей и оценить, насколько быстро находить то, что им нужно в новой абсолютно новой, очень быстро построенной системе, системе буквально за месяцы. Да, так и в обратную сторону. Инженерная команда и подрядчика, и заказчика, которая очень активно работала на этом проекте, могут быстро оценить влияние тех изменений, которые они делают в ETL-слое, в стейджинг, а в источниках. Да, какие-то изменения проходят. Это был такой очень важный фактор успеха. Да, и второй проект FSI - это Ак Барс Банк. Мы с CD Банка в апреле выступали на клиентской конференции Арена Дата, как раз рассказывали о запуске проекта. Сейчас он у нас уже подходит к такому промежуточному итогу, да, и началу уже полноценной промышленной эксплуатации продуктов в банке. Довольно комплексный проект трансформации, в принципе, процессов управления данными внутри компании, задачами повышения показателей Time to Market, упрощение онбординга аналитиков в компании, сокращение сроков на разработку и на изменения в аналитическом слое в соответствии с требованиями бизнеса. Да, ну и другие интересные проекты. Да, здесь, наверное, основное, что хочется сказать, что мы с этими заказчиками, нашими первыми, поскольку продукт начал развиваться, а по сути, в начале двадцать второго года, у нас первые эксперименты были в конце двадцать первого, находимся сейчас в очень, в очень, в очень тесной такой связи, обсуждаем и наш roadmap, и требования, в том числе приоритизируем развитие продукта в соответствии с потребностями заказчика. Да, и сейчас для нас эта обратная связь очень важна. Соответственно, и даже вот на тех достаточно большом количестве пилотов, которые у нас ведутся сейчас партнёрами, да, в том числе с компанией, в которой очень сильная команда [музыка] мы видим достаточно большой интерес к теме, потребность внедрения соответствующих практик наведения порядка в хранилищах, да, которые существуют достаточно давно, либо же уже правильном подходе к построению новых хранилищ с нуля. Да, вот как пример, компании Unilever. Так, Дмитрий, я возвращаю на этом слово.
Да, спасибо. Да, хотел бы добавить несколько слов ещё про компанию Norbit, потому что мы как компания занимаемся большим количеством различных направлений. Для нас направление данных - это одно из самых перспективных на ближайшее время. Но вообще большая, стабильная и очень широкопрофильная компания, больше 23 лет на рынке, с огромным штатом и огромным опытом по проектам. Большинство каких-то значимых проектов у нас отмечены серьёзными наградами. И для нас есть целый набор отраслей. Но вот сейчас мы видим, что, например, дата-каталоги, наверное, самое популярное направление - это финансовый сектор, это розница, это промышленность и всякие другие сектора. И, собственно, поэтому, видя этот восходящий тренд на направление Data Governance, мы и активно развиваем эту практику, обучаем специалистов и делаем проекты по Data Governance, встроенными в проекты по, в целом, по корпоративным хранилищам данных. В целом, с точки зрения решений, с которыми мы связываем, собственно, дата-каталоги, это достаточно большая линейка. Это и одновременно сейчас на экране те решения и те направления, которыми мы занимаемся как Norbit, и эти же решения, экспертиза в них, позволяет нам в том числе реализовывать проекты, связанные с дата-каталогами, потому что часто для нас именно внешние системы являются источниками данных, а опыт коллег из соседних подразделений помогает нам очень в таком динамичном и эффективном режиме организовывать взаимодействия для того, чтобы из этих систем, как из источников, эти данные получать и там, где это нам необходимо, эти данные корректным образом обрабатывать и визуализировать. Также важный момент для нас, что у нас есть подразделение, которое занимается организацией работ с методологией, и мы умеем организовывать методологию, бизнес-процессы таким образом, чтобы система не висела в воздухе, а чтобы система была привязана к реальным бизнес-процессам компании и выполняла те необходимые функции, там, чтобы сотрудникам было понятно, как с этим работать, чтобы данные первичные, особенно то, что касается бизнеса, в дата-каталогах оказались корректным образом систематизированы. И такая экспертиза у нас есть. Это помогает реализовывать такого рода проекты. При этом, если говорить именно про корпоративное хранилище данных, то в основном нашими вендорами и партнёрами являются компания Арена Data и многие другие лидеры в этой области, в том числе и компания Harmony, и облачные продукты, облачные решения. И тот стек, на котором мы в основном реализовывали данные, это современный технологический стек, который в основном родом из Open Source, доступный сейчас и всё набирающий популярность. Но стоит обёрнутый, делают этот софт Enterprise такого уровня софтом от уважаемых вендоров. И для нас управление данными - это, собственно, и корпоративное хранилище данных, и MDM, и решения, связанные с дата-каталогами. И также мы используем предиктивную аналитику и обучение машинное обучение для того, чтобы ускорить эти процессы и там, где нужно, заменить человеческий труд на работу уже. Ну, собственно, теперь наконец пришло время передать слово Оле. Оля, пожалуйста, подключись. Теперь мы просим тебя рассказать подробнее данных, как они используются.
Прекрасно. Сейчас секундочку. Видно ли мой экран? Да. Так, прекрасно. Итак, добрый день. К самому продукту Арена Дата Каталог начать, конечно, следует с того, что каталог данных является инструментом для организации совместной работы с данными в компаниях. Само понятие каталог данных несёт в себе следующее: это центральное хранилище информации о структуре, свойствах и отношении между данными. То есть, аналогично обычной библиотеке, мы понимаем, что для управления данными мы должны в себе сформировать это, катализировать, управляться экспертами в предметных областях. Это информация о контексте, легко доступная наравне с самими данными. И, конечно, чтобы можно было легко и просто исследовать данные, не опасаясь проблем с безопасностью.
Какие же проблемы решает использование каталога данных? На данном слайде представлены частые боли, с которыми многие сталкиваются при работе. Люди, работающие с данными, часто тратят уйму времени на их поиск, но найти мало, надо быть в их правильности, актуальности и полноте. Всё это формирует такой важный фактор, как доверие к данным. Если его нет, это очень большая проблема для организации, принимающей решения на основе как раз-таки этих данных. Здесь же стоит и отметить, что подключение нового сотрудника к работе с данными может приводить к серьёзным отвлечениям его коллег из-за отсутствия единой точки входа. Каталог данных может помочь сократить эти затраты. Также нередко приходится сталкиваться, когда поиск и анализ информации о данных занимает очень большое количество времени, то есть из-за этого затягивается, соответственно, и реализация отчётов, анализ, и появляется риск возникновения ошибок или риск неполноты данных, или когда вы видите большое количество однотипных отчётов, не понимаете, откуда брать актуальную информацию, и плюс ко всему, не понимаете вообще, к кому обратиться. Это тоже очень сильно оттягивает решение тех или иных задач. Ситуация, когда вы видите атрибут в таблице или отчёте и тоже не понимаете, откуда поступили данные, почему они такие, тоже не единичная. Не хватает какой-то карты, где можно проследить историю наполнения объекта или атрибута. А следующая ситуация может встретиться также, когда, например, есть необходимость в определении ненужных дублей или уникальности данных, или, например, определить наличие ненужных символов в строке, соответствие значения формату. А так как проверка качества данных чаще всего настраивается вручную, к тому же в разных системах, то можно упустить таким образом какие-то ошибки в этих данных. Также очень часто встречается проблема, что люди могут вкладывать в один и тот же термин совершенно разные понятия, и, соответственно, нет общего понимания, и в какой-то момент это может привести к неправильной реализации и последующей полной переработки. Отта при масштабировании, например, чёткого понимания, какая информация важна именно для нас, соответственно, возможно, вместо затрат на подключения новых дорогих ресурсов для масштабирования системы будет достаточно всего лишь убрать или перенести часть некритичных данных в более дешёвое хранилище. Ну и, конечно, проблема с информационной безопасностью. Всегда есть риск утечки информации, независимо от того, специально это было сделано или случайно. Такое может случиться всегда и везде. Разница между этими всеми случаями только в том, что компания как компания пытается предотвратить это и как ведёт себя после, то есть какие выводы она делает. В этом случае каталог данных помогает снизить ущерб от возможных утечек, потому что КД позволяет гораздо тщательнее работать с различной чувствительностью информации в плане хранения, каталогизации, обновления и выдачи доступа, в том числе и отзыв этих самых прав. То есть, в данном случае, возможно, простая метка на конкретном объекте данных сможет избавить от больших потерь в будущем.
Программное обеспечение Арена Дата Каталог сформировано на основе практик Data Governance. Это целостная стратегия управления корпоративными данными. С помощью методологии Data Governance можно решать задачи по управлению информационными активами компании. Четыре основных составляющих методологии Data Governance отображены как раз-таки у нас на слайде: это сбор метаданных, бизнес-глоссарий, поиск данных и качество данных. Основной эффект от внедрения продукта Data Governance - это ускорение обработки и быстрое предоставление данных. Все эти пункты собраны в рамках одного проекта - это Арена Дата Каталог. Рассмотрим каждый раздел отдельно. Начнём со сбора метаданных. Сбор метаданных - это технологическая платформа. Осуществляется подключение к источникам данных с помощью специальных коннекторов. Эти коннекторы разные для известных таких как SQL, Oracle и так далее. Можем подключаться к инструментам, к очередям сообщений, инструментам таким как Superset или Click. Движок сбора метаданных позволяет строить автоматические Data Lineage, то есть графическое отображение того, как данные приходят, преобразуются и в каком виде они передаются дальше. То есть это таблицы, дашборды, графики. Благодаря при изменениях будут внесены соответствующие корректировки и в текущую Data Lineage. При этом те, кто подписан на этот объект, будут уведомлены об изменениях. Также можно связь прописать вручную или же внести корректировки также вручную.
Далее перейдём к качеству. Контроль качества данных внутри инструмента встроены стандартные проверки значений в колонке или в колонках. Благодаря этому пользователь может оперативно узнать, что с данными произошло что-то не так. Может быть, при трансформации произошли какие-то изменения данных в поле, или, например, что-то произошло в информационной системе, на что следует обратить внимание, если показатель вышел, допустим, за пределы установленных границ. А также можно проверку можно прописать через SQL-запрос самостоятельно. При этом в случае, если запрос построен как-то некорректно, то запрос попадает в раздел "прервано", а не пропишет проверку как резко отрицательно. Запускать эти технические проверки можно как вручную, так и по расписанию. Если будет настроена проверка по расписанию, то будет сформирована своеобразная статистика, где мы будем видеть информацию за определённый период. Это необходимо для понимания того, насколько целостная информация лежит в системе и в дальнейшем проанализировать, с чем чаще всего встречается та или иная ошибка.
Следующий раздел, куда мы перейдём, это бизнес-глоссарий. В бизнес-глоссарии определяются основные термины, с которыми работает компания в зависимости от профиля, конечно. А для каждого термина зафиксировано описание, методология расчёта показателей, владелец данных и другая информация. Основными преимуществами бизнес-глоссария является то, что пользователь во много раз быстрее осуществляют поиск терминов благодаря доступности и мощным средствам многокритериального поиска, удобная работа благодаря размещению контента глоссария в различных удобных форматах, плюс актуальность информации, которую поддерживает большое количество экспертов из IT и бизнес-подразделений, и расширение словарей благодаря распределению по зонам ответственности, таким как домены или там предметные области. А система позволяет экспортировать и импортировать данные большим количеством терминов, производить групповые операции над объектами, при предварительном формировании задачи на согласование можно настроить, чтобы термины отправлялись на согласование к установленным лицам, вставлять различные ссылки и смотреть историю изменений.
И последний раздел, который мы рассмотрим, - это поиск данных. Пользователь может зайти в АДК с соответствующей ролью и вбить в поисковой строки необходимую информацию, которая может быть сформирована как в поле таблиц, часть описания к объекту, наименование самого объекта. После ввода ключевых слов пользователь сможет увидеть все объекты, где есть упоминания данной фразы или слова. Целевое видение функциональности АДК выглядит следующим образом, как показано на слайде. То есть у нас есть данные, которые хранятся в разных системах, они загружаются в систему АДК через коннектор. В ней мы уже обрабатываем и выполняем свои задачи, которые обговорили ранее. А из системы мы можем переходить во внешние системы, где можем оформлять задачи или хранить доп. информацию, например, такие сервисы, как Jira или Confluence. Можем строить аналитические объекты, отчёты, дашборды и тому подобное. И, соответственно, в центре всего этого у нас находятся пользователи, которые используют данные. Плюшки системы. Эти роли для пользователей можно настроить самостоятельно и проработать отдельную ролевую модель с ограничениями и доступностью на своё усмотрение. Для оценки эффективности работы с данными информация о наполнении ДДК представлена в виде дашборда в разделе аналитики. Встроенная система мониторинга качества использования метаданных помогает отслеживать текущее состояние, динамику ключевых метрик, таких как общее количество источников данных, количество источников данных с заполненными описаниями, владельцами, количество источников данных по уровню бизнес-критичности системы, ежедневное количество пользователей платформы, просмотры пользователей по типу источников данных. Анализ метрик можно проводить как по всем объектам, так и в разрезе конкретных команд или уровня критичности данных. Система мониторинга постоянно развивается. В последнем релизе были добавлены метрики для проверок качества данных, а в ближайшем будущем планируется расширение количества доступных для отслеживания метрик и включения сбора данных по элементам глоссария. Также в ближайшей перспективе планируется разработать витрину показателей в базе данных самого инструмента, на основе которой можно будет как раз-таки создавать отчёты, дашборды во внешних системах BI по необходимым показателям и, собственно, в удобных разрезах. На слайде можем сейчас наблюдать пример того, как может выглядеть работа во вкладке "Аналитика".
Итак, собственно, перейдём далее. Мы познакомились с основной функциональностью инструмента. А теперь давайте посмотрим на то, как, как же это всё реализовано. На данном слайде, который вы сейчас видите, представлена техническая архитектура и взаимодействие компонентов инструмента. На схеме отдельно хотелось бы выделить следующие компоненты, которые и реализуют основную функциональность инструмента: это, конечно, DC Ingestion Framework, выполняющий задачи по захвату метаданных из внешних систем, таких как SQL и так далее. Далее - это сервер приложений D-Form, которая организовывает работу остальных компонентов. Search Engine для быстрого поиска информации по глоссарию и в метаданных. И, конечно, Commander, который отвечает за настройку и реализацию процессов согласования. А также на слайде показана возможность настройки и реализация возможность настройки балансирования загрузки на нескольких инстансах приложения и возможность настройки аутентификации с использованием SSO. Как проговорили ранее, система Арена Дата Каталог имеет большое количество поддерживаемых адаптеров метаданных. При этом в дальнейшем планируется также развитие систем, которое отображено в разделе справа. Приоритетное направление развития адаптеров метаданных.
На какие же выгоды можно рассчитывать по результатам внедрения инструмента Data Каталог и процессов Data Governance? Например, можно рассчитывать на уменьшение времени разработки функциональности с данными за счёт единого источника информации о данных, простого и быстрого поиска информации, прозрачности происхождения и источников данных. Также можно говорить о повышении доверия к данным благодаря прозрачности качества данных, доступности информации о владельцах, ответственных за данные. В отдельных случаях возможно сокращение затрат за счёт устранения дублирования данных, размещённых в системах, или исключения задач по реализации уже существующего функционала, например, отчёта. И вероятность снижения рисков возникновения инцидентов ИБ на основе правильно размещённых данных проще организовать процессы разграничения прав доступа к данным и процессы работы с ними.
Эффект от внедрения Арена Дата Каталог рассмотрим прямо сейчас на примере одного клиента - FS, у которого есть необходимость в поиске достоверной информации. Как мы видим на слайде, одна из главных проблем больших компаний - это то, что поиск актуальной, достоверной информации занимает очень много времени. В некоторых алгоритмах это может занять примерно 2,5 месяца, а вместе со всеми коммуникациями и аналитикой данных. Плюс ко всему, на каждом этапе обработки запроса присутствует всё-таки большое количество участников, что не всегда есть хорошо. Но после внедрения Арена Дата Каталог поставленную задачу планируется реализовать буквально за два человеко-часа благодаря тому, как говорили ранее, что все данные собраны, актуализированы и распределены в одной системе, в которой можно как раз-таки отследить историчность, владельца, многое-многое другое.
Для того, чтобы вас более подробно познакомить с системой Арена Дата Каталог, мы вам покажем сценарии решения смоделированной задачи. Аа задача пользователя в рамках данной демонстрации - это подготовить регулярную отчётность по показателю EBITDA. Сценарий задачи поставлена аналитику, которая в дата-каталог выданы права обычного пользователя. Для демонстрации подготовлен стенд с данными о доходах и расходах департаментов на предприятии. А продемонстрируем вам сценарий, который связан с возможностями АДК, визуализации Data Lineage на примере анализа происхождения данных по одному из показателей. Итак, для данного сценария была смоделирована компания, необходимо подготовить регулярную отчётность по одному из финансово-экономических показателей. Для примера возьмём показатель EBITDA. В рамках этой задачи мы покажем примерные действия системного аналитика, как с помощью инструмента АДК можно решить данную задачу. Уточним, что аналитик в нашей системе имеет роль обычного пользователя, то есть имеет доступ только на просмотр данных. Сейчас перейдём в саму систему непосредственно. Собственно, для демонстрации данного сценария нам необходимо зайти в саму систему, и после того, как мы вошли в систему, мы попадаем на главную страницу АДК. На ней мы можем увидеть, конечно же, строку поиска, строку поиска, которая расположена вверху. По центру расположены вкладки с новостной лентой, уведомлениями и заявками, если они есть на данный момент.
момент. А слева расположена строка меню. Здесь мы видим обзор, вкладки, такие как "Обзор", "Глоссарий", "Качество данных", "Аналитика" и "Классификаторы". На них мы остановимся чуть поподробнее.
Вкладка "Обзор". Собственно, здесь на странице мы видим список объектов АДК. Здесь представлены все объекты каталога: каталога, таблицы, очереди сообщений, конвейеры, ML-модели, то есть всё максимально, что есть в нашей системе, здесь отображено по полной.
Вкладка "Глоссарий" - словарь бизнес-терминов ВДК. Он имеет древовидную вложенную структуру, то есть внутри каждого словаря можно создать различные предметные области, а в каждой из предметных областей можно создать свои дочерние подсловари. Может быть не один, есть возможность создавать различные словари, например, в зависимости от направления бизнеса. Система позволяет производить групповые операции, экспортировать и импортировать данные большим количеством терминов через меню "Настройки", или создавать различные типы терминов и формировать набор атрибутов для этих самых терминов.
Следующую вкладку, которую мы рассмотрим, это "Качество данных". Здесь отображаются созданные тесты в разрезе таблиц, список всех тестов по всем объектам каталога и набор тестов, которые в дальнейшем используются для ПДК объектов.
Вкладка "Аналитика" - единое представление о состоянии всех ресурсов. Здесь, собственно, собраны отчёты CDO, позволяющие оценить эффективность работы с данными.
И вкладка "Классификаторы" - список идентификаторов, то есть тегов в загруженной информации, который можно связать с объектами АДК. Система предлагает как свои преднастроенные классификаторы, так и также можно представить возможность создать собственные классификаторы по своим каким-либо условиям.
Вернёмся на главную страницу. И здесь справа мы видим расположен раздел с подписками и дополнительной информацией по недавним действиям наших наших. В первую очередь, для нашей задачи необходимо найти информацию по показателю для сбора и формирования требования к отчётности по нему, поэтому переходим к поиску самого показателя.
Для того, чтобы осуществить поиск какого-либо объекта ДК, необходимо ввести в поисковую строку ключевые слова или фразы, характеризующие данный объект. В нашем случае осуществим поиск интересующего нас показателя по его наименованию. Ита, секундочку. Это мы делаем с целью понять, существует ли уже подобный показатель в глоссарии, ознакомиться с его значением и выяснить, существует ли на основе этого показателя какая-либо отчётность.
Собственно, нажимаем Enter и получаем результат поиска. Поиск объектов в ТК осуществляется на основе нескольких моментов. Это, то есть, можно поиск осуществить по краткому или полному имени объекта, описанию в этом объекте, или, например, метаданным компонента, такие как столбцы таблиц, или, допустим, название диаграммы в отчёте. Также возможен расширенный поиск с дополнительными условиями, такими как владелец, классификаторы, уровень сервисы, база данных и многое-многое другое. При необходимости можно осуществить поиск в расширенном не по одному полю, а по нескольким, используя операторы "И" или "ИЛИ". Если в результате поиска получено очень много объектов, то система даёт возможность прописать необходимые условия, а также отфильтровать необходимые объекты.
Складок на панели слева, соответствующих типу объекта, таких как таблицы, глоссарии, дашборды, очереди сообщений, модели ML, классификаторы, контейнеры и другое. В случае, если поиск выдал несколько сущностей с разными типами, то пользователь должен сначала определиться всё-таки с типом, а потом уже в представленном списке выбрать нужный тип объекта. Также есть возможность выбрать необходимый тип объекта до начала осуществления поиска. Это можно сделать с помощью скрытого меню слева от поиска. Как мы видим, здесь предоставлены типы объектов. Но так как в нашем случае поиск выдал не очень много значений, то пользоваться возможностями расширенного поиска мы, конечно, не будем.
Если нажать на область возле какого-либо объекта в списке, то справа появится окно со справочной информацией по этому самому объекту. Для получения детальной информации об объекте нажимаем на него и попадаем в его карточку. В нашем случае результаты получились такими, что нам необходимо выбрать глоссарий и термин. Собственно, это из глоссария, и переходим в карточку этого самого термина.
Перейдя в объект термина, пользователь видит в первую очередь это название: краткое и полное. Это тип объекта глоссария, в нашем случае это показатель. Статус: он бывает как "активный", "кандидат" или "черновик". В нашем случае этот статус "активный", что должно свидетельствовать о том, что данные в этом термине максимально актуальны. В этой карточке также в карточке термина должны быть указаны как бизнес-владелец, так и предметная область, к которой относится данный термин.
Здесь мы также видим ряд вкладок, по которым мы пройдёмся более подробно. Вкладка "Термин". Собственно, здесь содержится основная информация объекта, например, описание, наименование, формула расчёта, период расчёта и многое-многое другое. Мы знакомимся с описанием показателя, видим, что инструмент позволяет реализовать в описании термина ссылки на другие термины глоссария или внешние источники. Смотрим периодичность предоставления информации, примеры значений, формулу для расчёта, единицу измерения и другие характеристики. Согласно полученной информации, убеждаемся, что это тот самый показатель, который нам необходим согласно задаче.
Продолжаем исследование вкладок и переходим, собственно, на вкладку "Связанные термины". Вкладка "Связанные термины" отображает список связанных с данным термином других терминов из бизнес-глоссария. На вкладке также отображается тип связи: он может как быть родительским с дочерней связью, связь "термин-антоним", "синоним" или просто связь и наименование связанного термина. Для удобства связи можно их отсортировать.
Переходим на следующую вкладку - это "Происхождение термина". Мы видим аналогичные связи между терминами, но уже в графическом виде. С помощью знаков плюс мы можем раскрыть данную схему для того, чтобы понять, какие данные термина связаны между собой. Например, из этой схемы мы можем понять, мы можем понять, что такие термины, как "план", "факт", "отклонение факта", являются дочерними терминами сущности "аналитические показатели". Вот так, "аналитические показатели". Итак, понимаем, что это условно соответствует для нашего нового отчёта.
Продолжаем исследование и переходим на вкладку "Связанные с термином объекты данных". Эта вкладка отображает список таблиц, хранилища, дашбордов и многое другое объектов каталога, связанных с данным термином, сгруппированные по отдельным вкладкам. Здесь, в нашем случае, только таблицы, но также здесь бывает несколько вкладок других. Видим, что с целевым показателем связана на данный момент одна таблица витринного слоя и нет связанных отчётов. На основе этого мы можем сделать предположение, что отчётности по данному показанию показателю в компании на данный момент ещё не существует. Поэтому мы хотим собрать больше информации о витрине, которая связана с нашим показателем. Можем ли мы использовать её в качестве основы для нашей отчётности? Или, допустим, что-то другое? Поэтому для этого мы переходим в объект таблицы, кликнув по её наименованию.
Перед нами объект "Fin_indicate_subject". Мы можем увидеть следующую информацию: это бизнес-владелец объекта и привязанные к нему теги, указанные под названием объекта. А также справа расположен раздел со связанными классификаторами и терминами из глоссария, которые могут помочь определить задействованного проекта или термина. Также есть возможность перейти в карточку уже связанного термина, кликнув на него.
Также здесь мы видим ряд вкладок. Вкладка "Схема". Здесь расположено описание объекта и его атрибутивный состав с описанием по каждому атрибуту. Ознакомившись с описанием витрины и её атрибутивным составом, вы можете понять, что в ней содержатся данные о плановых и фактических показателях, включая целевой показатель.
Вкладка "Лента активности и задач". Действия и комментарии относительно объекта. Здесь может также содержаться полезная информация того, что мы можем вообще посмотреть, когда последний раз вносились изменения в карточку витрины и что это вообще были за изменения. Исходя из заведённых задач, исходя из оставленных комментариев коллег, мы можем понять также состояние относительно актуальности витрин и релевантности данных вообще в ней.
На вкладке "Пример данных" увидеть пример наполнения интересующих нас показателей. И теперь переходим на вкладку "Профилирование и качество данных". Здесь слева на странице расположены три раздела, с помощью которых можно осуществить отслеживание и анализ данных таблицы. В разделе "Профилирование таблиц", в разделе "Профилирование столбцов" можно отследить данные по столбцам и определить, как отработали тесты. Здесь пользователь может наблюдать результат проверки столбцов на созданные наборы проверок, уникальность и так далее. Также в данном разделе для каждого поля можно сделать отдельную проверку самостоятельно. Тест можно провести в рамках максимального, минимального значения, также отследить ловы строки.
В разделе "Качество данных" здесь уже пользователь может увидеть весь список проверок, созданных на объект, посмотреть, как они выполнились, к каким условиям, и при необходимости может отредактировать их с помощью специальных кнопок. В нашем случае проверки для пользователей, для показателей "Ита" уже прописаны и выполнены корректно. В случае, если проверки отрабатывают с ошибками, то загорается раздел "Ошибка". Если же проверка будет отработана некорректно, то будет подсвечен тест. То необходимо нажать на кнопку "Добавить сущность". Эта кнопка расположена во всех полностью разделах, поэтому её сложно потерять. В рамках этого действия прописать условия, описание и время проверки, и, собственно, наш тест будет уже готов. Также обновить, перезагрузить, откорректировать набор проверок можно во вкладке "Качество", которую показывала, показывала ранее. Заходить отдельно в объект в этом случае.
Случается вкладка "Происхождение". Эта вкладка отображает связь между объектами, на основе которых строился дашборд. Здесь представлено родословное, позволяющее отследить путь формирования данных, на основе которых строятся витрины и её дальнейшее использование. Первоначальное отображение схемы родословной представлено в виде текущего объекта и связанных объектов со стороны источников данных и приёмников на глубину одного слоя. Для того, чтобы увидеть полную родословную, можно нажать на значок плюс на крайних объектах на схеме. В этом случае есть возможность поколоночной, при нажатии на кнопку "Развернуть всё". В данном случае это будет выглядеть таким образом. При выборе любого из объектов родословной появляется окно с метаданными по объекту, в котором содержится информация по основным метаданным, классификаторам, описаниям объекта, а также профилирования и качеству данных.
Анализируем поток данных для нашего отчёта. Можем проследить историю трансформации атрибутов по плановым и фактическим значениям показателя "Ита" от сырого слоя через детальный до витринного слоя по каждому из объектов. Мы можем проверить показатели по качеству для того, чтобы понять, насколько достоверны вообще данные на каждом из этапов, на основе которых построился отчёт. Можем ли мы им вообще доверять? А также пользователь может перейти в карточки других объектов, кликнуть по ссылке объектов в открывшемся окошке и, анализируя поток данных дальше, мы видим, что данная витрина используется уже в построении отчёта "Выполнение плана".
Перейдём в объект "Отчёт" для более детального анализа. На странице дашборда в шапке под названием находится ссылка на сам отчёт BI в системе. Очень удобно, не нужно тратить время на поиск отчёта BI в системе, особенно если в компании используется не один BI-инструмент. А чуть ниже указаны бизнес-владелец и теги. Справа видим панель с привязанным к отчёту классификатором и термином глоссария, аналогично табличным объектам, как мы уже ранее видели. Видим, что к объекту привязан термин глоссария с наименованием, соответствующим названию отчёта. Переходим в этот термин. Видим, что для этого термина назначен тип объекта "BI-отчёт". BI-отчёт. А добавление кастомного типа объекта позволяет быстро сориентироваться, к какому виду артефактов относится данный термин. Возможность введения собственных настраиваемых типов объектов позволяет упростить организацию глоссария и вести документирование, например, по концептуальной или логической модели данных, контрактам данных, организационной структуре компании или предприятия. Также для каждого типа объекта глоссария можно настроить собственный процесс согласования или настроить отдельные оповещения согласно типу объекта глоссария.
В термине "Выполнение плана" по наименованию, что в нём собраны основные характеристики данного отчёта. Это, конечно же, описание, это скриншот из BI-системы. Это может быть, кстати, очень полезно, если сотрудник не имеет доступ непосредственно к самому отчёту, ну, если необходимо собрать какую-то общую информацию об этом отчёте. Знакомимся также с другими характеристиками отчёта: это цель отчётности, это целевая аудитория, это периодичность предоставления данных и многое-многое другое. Видим, что здесь также расположена ссылка на отчёт в самой BI-системе, и, собственно, мы можем перейти по ней.
Как мы уже поняли из описания и непосредственно самого отчёта, здесь представлены данные об основных KPI, их динамика выполнения относительно плана. На основе полученной информации мы понимаем, что в целях наших задач нам может быть достаточно просто добавить аналогичную визуализацию по показателю "Ита" в текущий отчёт. С этой целью мы возвращаемся обратно в объект дашборда через "Связанные термины", через "Связанные термины объектов данных" и, собственно, выбираем наш дашборд. Тут нам нужен первый раздел "Детали". Он содержит себе описание дашборда и список диаграмм, содержащихся в дашборде. С этой целью мы возвращаемся, мы не возвращаемся, уже всё, мы здесь.
Таким образом, с помощью инструмента АДК, на примере нашей задачи, мы за довольно короткое время смогли изучить следующее: это сам показатель, это узнать формулу его расчёта, это найти источник данных, на основе которых мы можем построить отчётность по данному показателю. И вместо того, чтобы создавать новый аналогичный дашборд со всеми необходимыми витринами и процессами загрузки, смогли, проанализировав и изучив все доступные данные, которые нам предоставили, найти уже существующий отчёт по аналогичным показателям и, собственно, прийти к выводу, что необходимость в разработке нового отчёта отсутствует, достаточно всего лишь доработать уже существующий отчёт. Собственно, на этом наша задача согласно сценарию считается выполненной.
Возвращаемся к нашей презентации. Для участников нашего мероприятия мы подготовили небольшой опросник. Для участия нужно пройти по ссылке, указанной в QR-коде. Всех прошедших опрос ждёт небольшой бонус с нашей стороны. Также сейчас хочу пригласить коллегу из АДК, Артёма Нестерчука, для рубрики "Вопрос-ответ". В чатике, но некоторые не успел, поэтому давайте пока к нам подключается Артём, я как раз тоже постараюсь прокомментировать некоторые вопросы.
Вот первый вопрос был от Александра Степанова по поводу критериев и их значение и готовности предприятия заказчика к внедрению данной технологии. Очень правильный вопрос, Александр, спасибо вам большое. Самые, наверное, значимые критерии: первые и, наверное, это то, что в компании должна быть потребность в быстром Time to Market в части дата-продуктов. Ну, а как следствие, возможно, и в части вообще всего бизнеса. То есть должна быть потребность в том, чтобы процессы, связанные с работой с источниками, работой со слоями хранилища данных, с работой в BI или с поставкой данных между информационными системами, необходимо было ускорять. То есть, если в вашем бизнесе работа с данными не значима, то, возможно, для вас и дата-каталог будет не на первом месте. Но если для вас эти процессы важны, и вы понимаете, что от их скорости зависит скорость всего вашего бизнеса и ваша эффективность, то это вот первый признак того, что эти процессы будут влиять, являться значимыми критериями.
Также есть дополнительные важные критерии: это достаточно крупная дата-команда. То есть, если у вас дата-команда, а дата-команда - это системные аналитики, это разработчики, разработчики хранилищ, разработчики BI, вот если этих, если этих людей, сотрудников мало, там, не знаю, несколько человек, там, 2-5, то пока они ещё могут договориться друг с другом, написать всё в Excel. Но когда такая команда становится уже там из десятков людей, то просто за счёт того, что они все будут делать одно и то же, изобретать какие-то велосипеды или толкаться руками и локтями в одном Excel-файле, вы будете терять производительность, терять эффективность. Поэтому это тоже критерий. То есть, второй критерий - это, собственно, дата-команда. Ну и также значимыми критериями являются количество источников данных. Потому что, если у вас одна-единственная система, то, скорее всего, документация по ней уже есть, и все всё и так знают. Но если систем у вас несколько, и если у вас есть хранилище данных, и в которое загружаются данные, там, не знаю, из пяти, десяти или там десятков или сотен или тысяч систем - это точно критерий. И ещё один критерий - количество отчётов, визуализаций. Ну, если вы используете хранилище для визуализации, а не просто для трансформации данных или сопровождение источников и получателей, то в этом случае количество отчётов BI оно тоже будет для вас значимым критерием. Если у вас один отчёт, ну, если он, наверное, даже достаточно сложный, то проблем, скорее всего, вы не схватите. А вот если у вас десятки или там сотни отчётов, и они примерно про одни и те же данные под разными углами, то тогда это как раз прекрасный критерий, который подсвечивает необходимость внедрения дата-каталога.
По поводу следующего вашего вопроса: "Какова структура затрат на внедрение?" Мы с удовольствием ответим, но это вопрос, который требует, наверное, разговора один на один. Пожалуйста, напишите на нашу почту, либо она сейчас у вас на экране: info@norbit.ru, либо на мою почту: d.midov@norbit.ru, и я вам расскажу подробнее, потому что структуру лучше показывать с листа, рассказать, из чего она формируется, какие драйверы, как это всё работает. Вот, Александр, скажите, пожалуйста, ответил на ваш вопрос? Поставьте плюсик, если всё понятно или требуются какие-то комментарии.
Так, если потребность есть, то возможность, зрелость предприятия не важна? Ну, смотрите, если есть "зачем", то всё остальное как бы уже становится немного вторичным. Если есть для этого мотивация, то есть зрелость предприятия и в целом хранилище, она важна, но она потянется автоматически как часть, да, процесса. Вот я чуть ниже ответил на... Позволь я здесь тоже так скажем, с очень зрелыми западными продуктами года три-четыре тому назад я бы на ваш вопрос ответил, что зрелость важна. Да, сейчас мы видим совершенно другую картину на рынке. Она во многом обусловлена тем, что мы в продукте, и не только мы, но и некоторые западные стартапы, американские, они тоже перешли к парадигме, в общем, создание продуктов. При этом, да, с развитым функционалом, но вы можете его использовать, можете, можете не использовать. И сейчас наша практика, вот те клиенты, о которых я в начале говорил, это как довольно зрелые заказчики, так и совсем незрелые, стартовые заказчики, которые осознали, что у них есть проблемы, и её нужно начинать решать, да, и решать системно. Но при этом, действительно, и в продукте, и практике у партнёров, и, безусловно, у Норбит, они подтверждают, что скоуп пилота, вот там первого этапа, либо пилотного проекта, либо внедрения, может быть достаточно ограниченным, и это уже принесёт, принесёт пользу. Да, и это также, собственно, там скоуп внедрения и зрелость, она, она также отражается, грубо говоря, на факторах ценообразования. То есть, стартовый проект может быть относительно небольшим. Вот, и это то разительное изменение на рынке, которое произошло, вот буквально за последние там, за последние 2-3 года. Да, и одним из факторов, да, ещё раз повторюсь, это простота, фокус на UX для пользователей, да, который позволяет вот этого добиться, потому что там с какой-нибудь Информатикой это просто невозможно.
Александр, у вас возникло жгучее желание попробовать? Ну, надеемся, что возникло. Обращайтесь, расскажем, покажем поподробнее. Даже если зрелость предприятия не самая высокая, то в любом случае начать прорабатывать стратегию Data Governance - это хорошая идея. Вот у нас есть один из заказчиков, с которым мы работаем сейчас, и как раз зрелость не очень высокая, но, изучая процессы, связанные с Data Governance, они выстраивают свою стратегию, то есть вплетают вообще всего дата-стека. Коллеги, сразу строят его правильно. То есть, иногда незрелость предприятия - это возможность построить правильный процесс и правильную дорожную карту, опираясь уже на те шишки, которые набили другие компании. Потому что иногда зрелость компании и в целом, и да, процессов, если она уже в какой-то момент зашла не туда, может играть такую злую шутку и быть даже неким ограничителем развития, потому что "а у нас по старинке так, вот всё велось, мы всегда так это 2 месяца делали и дальше будем делать".
Ну, давайте тогда отвечу на следующий вопрос. Вот следующий вопрос тоже от Александра: "Какие наиболее значимые риски?" Я про риски расписал достаточно подробно сейчас в сообщении, но прокомментирую, что ключевой риск - это организационные риски. Ну, и опять же, это не то чтобы прям список рисков, которых нужно бояться, а это список таких областей, в которых нужно заранее всё проработать, потому что дата-каталог - это не только технический инструмент, но это инструмент ещё и бизнесом. Что есть владельцы систем, есть получатели этих данных, и в какой-то момент именно внутренние технологические процессы дата-команды необходимо вплетать в процессы организационные, с эксплуатацией систем, с работой с ними. И понятно, что делать, но нужны подробности. И опять же, обращайтесь, расскажем поподробнее, как со всем этим быть.
Следующий вопрос по поводу ответственности и работоспособности. Тоже ответил текстом, но если раскрывать поподробнее, то за продукт отвечают наши уважаемые коллеги из Arenadata. Они делают прекрасные дистрибутивы, решают технические проблемы в ядре, предоставляют платформу, на которой мы как партнёр делаем для вас решение, которое отвечает именно вашим потребностям, встроено в ваши бизнес-процессы. И таким образом, поддержка осуществляется в несколько этапов. У вас есть ваша команда, которая решает простейшие вопросы внутри команды. Следующий этап - это мы как партнёр, который решает вопросы, связанные с вашим конкретным солюшном, с вашим решением, с тем, как оно у вас работает. И если мы что-то видим не так или не так, или требуется какая-то консультация по использованию ядра, или какая-то доработка или багофикс, то мы взаимодействуем в ваших интересах с компанией-вендором, с Arenadata, и предоставляем вам конечное решение под ключ для вашей задачи.
Александр, скажите, пожалуйста, по поводу рисков и по поводу поддержки, насколько понятно? Может быть, если что-то непонятно, готов прокомментировать. Можете написать. Да, спасибо большое. Смотрите, следующий вопрос у Рона по поводу поддержки. Так, нет, пропустил какой-то вопрос. По-моему, вопрос был от Марии Муравьёвой по поводу альтернативы другим дата-каталогам. Ну, всё правильно. Arenadata Data Catalog - это не просто альтернатива, это, наверное, такая очень правильная альтернатива, достаточно продвинутая. Если мы говорим про решение, только рассматривать, например, продукт и Open Source, сравнивать их, потому что это разные по смыслу решения. Потому что Open Source решения, они в целом поддерживаются сообществом, и, наверное, полноценно можно и в них быть их потребителями и глубоко их использовать тогда, когда вы тоже часть этого сообщества и тоже как-то развиваете продукт. В других случаях это будет немножко как бы затруднено, потому что когда вам нужно какое-то развитие продукта или поддержка, то вам нужно общаться с сообществом, а не с кем-то, кто отвечает персонально или денежно за результат. Поэтому это не Open Source решение, а это именно вендорский продукт, который является очень таким похожим по функциональности на Open Source продукта, но гораздо более развит с точки зрения Enterprise компаний и сервисов, которые с ним связаны.
По поводу явных преимуществ, я здесь, наверное, позволю, я вот как раз из вопроса Марии тоже прокомментирую первые два пункта. Я на второй там дополнительно ответил в чате. Наверное, самый важный вопрос и ответ на то, почему мы начали разработку с бизнес-глоссария и до сих пор его продолжаем развивать под требования довольно продвинутых заказчиков. В Open Source мире в принципе нету проектов или продуктов с развитым бизнес-глоссарием. Он во всех Open Source продуктах, которые есть сейчас, он в абсолютно зачаточном состоянии. Что для таких, наверное, более уже продвинутых заказчиков, которые в процесс управления данными вовлекают бизнес, да, это и вся вот эта история, он просто категорически недостаточен. Да, и мы, взаимодействуя с и с потенциальными заказчиками, уже заказчиками, понимаем, что это критично. Именно поэтому мы с него и... На это на самом деле коннекторы метаданных. То есть, мы поддерживаем и дорабатываем коннекторы, которые мы взяли из Open Source мира. Да, и тоже с ними есть проблемы, можем там в деталях рассказать много всего интересного, весёлого там про коннекторы GCS, который есть в Open Source, и так далее. Да, там Atlas, который тоже не работает с некоторыми источниками, хотя, хотя должен. Но, во-первых, мы перед вами отвечаем за то, что то, что мы поставляем и поддерживаем, работает. А во-вторых, мы очень много сейчас внимания уделяем тоже развитию коннекторов, в том числе к, во-первых, к BI-системам российским, да, или к BI, которые активно сейчас внедряются на рынке. Мы очень много внимания уделяем коннекторам к платформе Arenadata. Да, это в первую очередь Greenplum. Вот, Arenadata, и там мы поддерживаем сейчас очень сложные сценарии построения, дали, соответственно, использование там всяких внутренних механизмов, с внешними таблицами и с другими источниками, что важно для заказчиков. Опять же, да, и чего нету в Open Source мире. Да, вы там таких решений просто не найдёте.
Дам, возвращаю слово. Очень правильно. Присоединяюсь к к словам. В общем, могу только сказать, что всё верно, даже добавить, честно говоря, нечего. Вот, соответственно, по поводу редакции платных, бесплатных, Community, Enterprise, приходите, пожалуйста, всё расскажем подробнее. Вопрос абсолютно правильный, расскажем индивидуально, покажем предложение и обсудим конкретно под вашу задачу. По поводу самостоятельного внедрения. Ну, мы, конечно же, как компания-интегратор, рассчитываем на то, что вы обратитесь к нам, но продукт достаточно хороший, и если у вас развитая экспертиза, то, наверное, вы можете и сами тоже на него посмотреть и самостоятельно принять решение о том, хватает ли вам вашей экспертизы для того, чтобы его внедрять.
Вот. Следующий вопрос от Анны был по поводу требований к инструментам для того, чтобы автоматически считывать метаинформацию о трансформациях атрибутов. Артём, я, наверное, здесь тебе дам, сможешь ответить на этот вопрос. Да, коллеги, всем добрый день. Вопрос правильный. Ответ на него и да, и нет. То есть, с одной стороны, мы можем получить какие-то метаданные согласно вашему проектированию и построить ли там, хотя бы верхнеуровнево. Но при этом мы имеем... Ну, давайте на примере Па. У нас есть три возможных варианта. Будем захватывать для третьего. Никаких действий со стороны непосредственно заказчика и проработки каждого водитель процесса. Остальные либо... Ну, рекомендательно. Мы просим привести их к некоему стандарту, либо добавлять дополнительные операторы для более точного и явного стояния по колоночным процессов. Ну, то есть, короткий ответ: есть рекомендации по построению, но в целом возможно получение метаданных даже не приведённых к какому-то стандарту разработки. Если на вопрос ответила, Ана, то да, там уточнить в чате. Здесь, наверное, важно прокомментировать, что именно мы на проектах всегда рекомендуем, и заказчику это, безусловно, важно, добиваться максимального покрытия процессов автоматическим построением, а, Lineage. Да, и здесь как раз есть рекомендации, то есть там и Airflow, и DBT поддерживаются. Вот, но на практике всегда встречаются сложные случаи там с какими-нибудь динамическими SQL-запросами и так далее, которые наш анализатор SQL-кода сам не разберёт для построения именно поколоночной Lineage. Коллеги ответили на вопрос. Ну, в общем, наверное, правильный здесь вот ответ от... Действительно, пробовать под ваш случай. Я думаю, что разработчики смогут составить такой код, который окажется не разобранный, но при определённых, как вы правильно написали, требованиях, он может оказаться и правильно разобран.
Следующий вопрос по поводу т. Запись вебинара. Да, напишите, пожалуйста, нам. Вот есть там специальная формочка, мы по этой формочке вам ответим и в том числе сможем вебинар к вам запись прислать. Так, соответственно, от Романа вопрос по поводу материализованных представлений. Артём, переадресую вопрос тебе. Про материализованные представления и их профилирование и взаимосвязи. Да, спасибо, Дмитрий. Представления мы поддерживаем. Они опционально у нас включаются при непосредственно загрузке метаданных из СУБД. А для них доступен полный функционал. А это, соответственно, отдельно подгружается дилька, которая используется для построения, например, какой-то вьюшки, и мы можем отследить сразу уже на моменте загрузки именно метаданных, без парсинга и SQL, на основе каких объектов, каких таблиц, каких столбцов было построено наше представление. И также доступны все возможности, аналогично там базовым таблицам, как в каталоге данных. Это и дальнейшее происхождение данных, например, может это представление используется для построения какого-то дашборда. Это и профилирование, и качество данных, и информация об использовании этого представления. То есть, всё поддерживаем, доступен полный функционал, аналогично таблицам. Угу. Спасибо большое. Да, коллеги, если по этому вопросу тоже необходимы какие-то комментарии, Роман, пожалуйста, уточняйте.
Следующий вопрос от Анны по поводу создания функциональности по логической модели данных, по модели. Артём, вопрос тебе. Расскажи, пожалуйста, планируете ли вы делать свой или свой саде. Я коротко в чате уже ответила. Планируем добавлять возможность автоматического построения ERD для физической модели, а, чтобы мы визуально смогли отследить, какие у нас взаимосвязи, какие ключи между какими таблицами используются. И также добавить возможность, а, редактирования, например, создание ключа, который будет добавлен позднее, который не добавлен, а, скажем, на физике, но по смыслу он существует. Это всё также можно будет визуализировать и отследить в каталоге данных. Да, спасибо большое. Так, по поводу... Да, спасибо большое, Роман. Вы, я вижу, дали ответ очень правильный. Действительно, сакцентируют находится в реестре отечественного ПО, и это действительно критично. Кстати, тут интересная история. Дело в том, что к нам обращалось, обращалось некоторое количество заказчиков, которые внедрили у себя Open Source продукты, например, тот же самый там Open Metadata и так далее, а на этапе прохождения службы информационной безопасности потребовалось гарантировать, что в продукте нету закладок и не документированных возможностей. И с Open Source возникла очень серьёзная проблема, что оно работает, оно даже там, ну, как бы выполняет то, что записано в документации, но его невозможно поставить на, ну, на такую как бы процессы эксплуатации, потому что нету документов, утверждающих отсутствие не документированных. Никто не может сказать, что его там нету, или что оно там есть. А мы все, естественно, рассчитываем на то, что продукты достаточно чисты от этого, но скачивать каждую следующую версию из Open Source репозитория и тратить время на проверку отсутствия не документированных возможностей - это достаточно трудозатратно. А без обновлений мы все понимаем, как сложно жить. Вот. А следующий вопрос по поводу... Так, ну, кажется, мы здесь уже это обсудили. Так, так, так, так. Ага. Так, ну и с Анной тоже мы, мне кажется, ответили на вопрос. Если не ответили, то, пожалуйста, переходите по нашему коду и оставляйте ваши данные, и в последствии мы с вами свяжемся, сможем ответить на эти вопросы.
Коллеги, если у вас остались ещё вопросы, пожалуйста, напишите в чатик. С удовольствием ответим. Со своей стороны, я хотел бы поблагодарить своих коллег Олю, Ивана, Артёма за ответы и за проведение мероприятия. И также напомнить, что 12 числа у нас будет ещё одно мероприятие, посвящённое MDM-системам. Но по сегодняшнему нашему, собственно, вопросу повестки встречи - это дата-каталоги. Вы всегда можете обратиться к нам по указанным контактным данным. Мы вас проконсультируем, расскажем подробнее, покажем, при необходимости, продукты и поможем вам перейти к стадии уже планирования проекта и внедрить дата-каталог, ускорить ваши процессы работы с данными и ускорить и улучшить процессы работы вашей дата-команды.
Александр, по поводу MDM-систем, мы будем 12 декабря проводить ещё одно мероприятие. Следующее, оно сейчас перед вами на экране. Вы можете по QR-коду пройтись и получить дополнительную информацию по этому мероприятию. Мы будем показывать продукт Harmony MDM и наш продукт Norbit SRM систему как закупочную систему. Но сама по себе область MDM-систем, она применима не только к закупкам, но и к любому вашему, в целом, крупному бизнесу. Просто можете посмотреть в качестве примера именно то, как MDM-системы, какую пользу они приносят при работе с процессами закупочными. На этом мы наше мероприятие заканчиваем. Благодарим всех за участие, за работу по подготовке этих докладов и за посещение. Пожалуйста, обращайтесь, пишите нам на наш ящик электронной почты info@norbit.ru или на мою почту d.midov@norbit.ru. Также есть специальный QR-код для коммуникации. Спасибо всем большое за участие.