Битва инженеров Big Data: DataOps vs DevOps – кто за что отвечает

Мы уже писали о происхождении термина DataOps, а также про методы и средства реализации этой концепции непрерывной интеграции данных между процессами, командами и системами в рамках data-driven company. Продолжая тему развития Agile-подходов в мире больших данных, сегодня рассмотрим, чем отличаются сферы ответственности DataOps- и DevOps-инженеров и почему оба этих специалиста должны присутствовать в Big Data команде.

Чем схожи DataOps и DevOps: 5 общих фактов

На основе происхождения и целевой направленности этих понятий, можно выявить несколько характеристик, которые их объединяют:

1. Сокращение сроков разработки и поставки готового продукта (программного приложения или актуальных данных) за счет принципов Agile, в частности, гибкости и самоорганизации;
2. Непрерывность процессов интеграции (Continuous Integration) и развертывания (Continuous Deployment);
3. Автоматизация процессов тестирования, развертывания и мониторинга с помощью технологий контейнеризации и виртуализации (Jenkins, Docker, Rocket, Kubernetes и т.д.) [1];
4. T-образная модель компетенций, когда необходимо иметь широчайший технический кругозор, будучи экспертом в конкретной прикладной области;
5. Работа с инфраструктурными решениями для Big Data (локальными кластерами Hadoop и облачными платформами), включая подготовку, настройку и администрирование сред развертывания.

В чем различие девопс- и датаопс-инженеров

Итак, DataOps и DevOps являются практическим продолжением принципов Agile и нужны для повышения эффективности ИТ-процессов, а также цифровой трансформации бизнеса. Однако, при схожести многих моментов, их локальные цели и, соответственно, средства достижения, отличаются.

Если DevOps концентрируется на быстрой и непрерывной поставке работающего программного обеспечения, то DataOps сосредоточен на демократизации и актуализации данных, а также возможностях оперативного и безопасного доступа к ним [1].

Поэтому процессы, в которых задействованы DataOps- и DevOps-инженеры, тоже отличаются: девопс-процесс имеет меньше шагов и больше концентрируется на непрерывности цепочки разработка-тестирование-развертывание. В датаопс используется гораздо большее количество инструментов, т.к. приходится иметь дело с множеством источников и моделей данных, управляя информационными потоками (оркестрация, orchestrate), корпоративными озерами (Data Lakes) и «песочницами» данных (Sandbox Management), формируя воспроизводимые среды для работы с Big Data [3]. О средствах реализации DataOps мы рассказывали здесь.

В таблице представлены отличия DataOps- и DevOps-инженеров по следующим критериям [2]:

• сфера ответственности;
• направления деятельности;
• прикладные задачи;
• взаимодействие с другими членами команды Big Data.

Итак, в связи с разными сферами ответственности и прикладными задачами, а также с учетом общей Agile-направленности, можно сделать вывод, что DevOps— и DataOps-инженеры нужны Big Data команде. Какие еще специалисты требуются для успешного проекта по большим данным или корпоративной/отраслевой цифровизации, мы расскажем в следующей статье.  

А получить практические знания и навыки, необходимые для каждого руководителя, администратора, DataOps-, DevOps-инженера, аналитика и пользователя Big Data, вы можете на наших практических курсах в специализированном учебном центре по технологиям больших данных и машинного обучения в Москве.

• Аналитика больших данных для руководителей
• Data Pipeline на Apache Airflow

1. https://www.osp.ru/os/2018/2/13054175
2. https://devops.com/devops-dataops-catalysts-for-organizational-transformation/
3. https://bigdataschool.ru/blog/dataops-devops-4-big-data.html