Корпоративное управление данными: цифровизация с Arenadata

В продолжение вчерашней статьи о победителях российского ИТ-конкурса «Проект Года» от профессионального сообщества GlobalCIO в номинации «Аналитика и Big Data», сегодня мы рассмотрим корпоративную платформу управления данными ПАО «Газпром нефть», реализованную на базе продуктов отечественного разработчика Big Data решений: Arenadata Hadoop и MPP-СУБД Arenadata DB (Greenplum).

Зачем ПАО «Газпром нефть» нужна корпоративная платформа управления данными

Напомним, наряду с проектом «Сервис интеграции и анализа данных», о котором мы рассказывали вчера, этот проект ПАО «Газпром нефть» также занял 1-ое место конкурса GlobalCIO-2020 в номинации «Аналитика и Big Data» [1]. Как и в случае с сервисом интеграции и анализа данных, разработку корпоративной платформы управления данными (Reporting HelpDesk, RHD) выполняло ООО «Газпромнефть — Цифровые решения» совместно с интегратором ЗАО «Крок инкорпорейтед». Работа над проектом стартовала в 2018 году и была успешно завершена в декабре 2020 года.

Чтобы повысить эффективность процессов управления данными (Data Governance и Data Management), RHD обеспечивает следующие возможности [2]:

прозрачность данных за счет единого источника информации и правил управления ею, включая быстрый поиск по структурированным и слабоструктурированным данным;
единое понимание терминологии, взаимосвязей между бизнес-терминами/показателями и источниками данных, методологии расчетов/трансформаций, а также происхождения данных (data lineage);
быстрый доступ полномочных пользователей к нужным данным и сервисам через единую точку доступа к глоссарию, каталогу данных, аналитической отчетности, порталу самообслуживания с помощью RBAC-модели;
доверие к информации за счет средств контроля качества данных, а также инструментов управления инцидентами и проблемами;
цифровизация бизнес-процессов с помощью внедрения соответствующих моделей данных;
повышение аналитической ценности данных за счет инструментов самообслуживаемой бизнес-аналитики (self-service BI).

Как все это реализуется на практике, мы подробнее рассмотрим далее.

Российский open-source продукты с поддержкой вендора + закрытые Big Data решения: особенности технической реализации RHD на Arenadata и Informatica

Продукты платформы RHD размещены в частном облаке (Private Cloud), поскольку обрабатываемые данные являются «чувствительными» и, согласно ограничениям службы безопасности, не могут быть размещены за пределами корпоративной сети. За хранение и аналитическую обработку, а также управление СУБД отвечают Arenadata DB, Arenadata Hadoop, PostgresPro, MS SQL Server.

На аналитическую распределенную MPP-СУБД Arenadata DB ложится основная нагрузка по преобразованиям структурированных данных и представлению конечных пользовательских витрин для BI-системы Qlick, выполнения ad-hoc аналитики и организации «магазина данных» (Data Market) на корпоративном портале. А потоковые и слабоструктурированные данные хранятся и обрабатываются в Arenadata Hadoop.

Интеграция данным между различными уровнями и сервисами, в т.ч. ETL-процессы, выполняется с помощью Informatica PowerCenter, а за качество данных отвечает Informatica Data Quality. Управление метаданными обеспечивается через Informatica Enterprise Data Catalog, а поддержка бизнес-глоссария и каталогизация данных ведутся в системе Alteryx Connect.

управление данными, Data Governance, Data Management, Big Data, цифровизация нефтегазовой отрасли — Корпоративная платформа управления данными в «Газпром нефти»

Примечательно, что платформа RHD ориентирована на всех сотрудников ПАО «Газпром нефть», которые являются пользователями корпоративных информационных систем в каждом филиале по России и в других странах [3]. Дополнительными преимуществами решения является использование отечественных технологий хранения и аналитики больших данных от компании Arenadata, что снижает санкционные и валютные риски. А зарубежные проприетарные решения Informatica и Qlick в перспективе планируется заменить подходящими российскими продуктами. Развитие проекта планируется продолжить в 2021 году в рамках корпоративной стратегии цифровизации предприятия, включая активное внедрение цифровых двойников в производство.

Узнайте о возможностях эффективного хранения и оперативной аналитики больших данных с продуктами Arenadata на практических курсах в нашем лицензированном центре Школа Больших Данных, который является единственным авторизованным партнером вендора по обучению и сертификации специалистов: