Пока Agile (эджайл) из методологии разработки программного обеспечения становится настоящей философией ведения бизнеса, мы разберем, какие именно принципы этого подхода используются в каждой системе больших данных и почему любой Big Data проект успешно реализуется с помощью этих идей.
Что такое Agile: краткий ликбез
Изначально термин Agile относился к подходам и практикам гибкой разработки программного обеспечения, нацеленной на сокращение сроков вывода на рынок готового продукта и минимизацию рисков с помощью сведения разработки к серии коротких циклов (итераций). Ключевые идеи Agile, изложенные в Agile Manifesto, сосредоточены на командном взаимодействии, скорости реагирования, готовности к изменениям и ценности работающего продукта [1].
Такое видение отражает требования современного бизнеса к организации работы и, поскольку основные принципы Agile не связаны ИТ-спецификой, подход становится популярной практикой выстраивания процессов в различных прикладных областях: от нефтегазовой отрасли до банковской сферы. Например, проект «ГЕО Scrum», запущенный в «Газпром нефти» в 2018 году, для увеличения скорости принятия решения о целесообразности разработки новых активов геологоразведки [2]. Телеком-компании и множество финансовых корпораций (Центральный Банк РФ, Сбербанк, Альфа-Банк, Барс Банк и другие) также активно внедряют Agile для ускорения и оптимизации внутренних бизнес-процессов [3-6]. В частности, по итогам года эксплуатации Agile-практик в проектном офисе ЦентроБанка, скорость достижения результатов увеличилась примерно в 2 раза, повысилась вовлеченность сотрудников, улучшена прозрачность и управляемость изменений [4]. Этот гибкий подход отлично работает в управлении проектами, заменяя собой «громоздкость» классических методов постепенного выполнения задач. Кроме того, ориентация эджайл на эффективное командное взаимодействие соответствует ценностям цифровизации, что подтверждает опыт Райффайзен-Банка [7]. Таким образом, цифровая трансформация становится еще одним драйвером распространения эджайл.
Большие данные – большие скорости
Непрерывный поток огромного объема информации из интернета, корпоративных систем или приборов попадает под определение Big Data при больших скоростях загрузки или накопления. Быстрота реагирования и высокая частота представления результата также являются одним из 12 основополагающих принципов Agile Manifesto [1].
Непрерывные изменения
Несмотря на тщательное тестирование даже коммерческих дистрибутивов Apache Hadoop (Cloudera, HortonWorks, ArenaData, MapR и др.), выпускаемых крупными ИТ-корпорациями, уязвимости встречаются в них также часто, как и в open source-аналогах. Чтобы предупредить взломы, утечки данных и другие нарушения корректного функционирования, вендоры и Apache Software Foundation постоянно выпускают обновления программного обеспечения. Подобная адаптивность и готовность к изменениям свойственны и для эджайл-методов, поскольку главной ценностью гибкой методологии является конкурентоспособный работающий продукт, а не точное следование первоначальному плану [1].
Самоорганизация данных, компонентов и специалистов
Важной характеристикой Big Data считается разнообразие форматов представления данных: от простого текста до графических символов и видеопотоков. При этом качество информации не всегда бывает высоким: аномальные, некорректные или отсутствующие значения встречаются достаточно часто. Тем не менее, все эти большие данные, разумеется, при должной настройке инфраструктуры, автоматически обрабатываются и анализируются с помощью специализированных компонентов, в т.ч. методов машинного обучения (Machine Learning). Подробнее об этом читайте в наших материалах по подготовке данных (Data Preparation).
В свою очередь, практически все элементы экосистемы Hadoop, на которой строится инфраструктура Big Data, развиваются с учетом взаимной интеграции друг с другом и сторонними продуктами. Об этом мы рассказывали в статьях о сравнении локальных дистрибутивов Hadoop и облачных решений для больших данных. Agile-команды также отличаются высоким уровнем самоорганизации: благодаря непрерывному взаимодействию, ретроспективному анализу проделанной работы и механизмам обратной связи, участники проекта быстро и эффективно решают возникшие проблемы [1]. Читайте в нашей следующей статье о развитии идей Agile в концепцию непрерывной поставки работоспособного продукта: DevOps в Big Data.
Все детали практического внедрения Agile в проекты Big Data и цифровой трансформации (цифровизации) в курсе BDAM: Большие данные для руководителей в специализированном учебном центре обучения пользователей, инженеров, администраторов и аналитиков Big Data в Москве.
Источники
- https://ru.m.wikipedia.org/wiki/Гибкая_методология_разработки
- https://www.gazprom-neft.ru/press-center/sibneft-online/archive/2018-december/2206442/
- https://onagile.ru/industries/telecommunication/agile-in-telecom
- http://www.tadviser.ru/index.php/Проект:Agile_в_Банке_России
- https://vc.ru/sberbank/38179-agile-na-11-000-sotrudnikov
- http://futurebanking.ru/post/3734
- http://www.tadviser.ru/index.php/ Статья:Интервью_с_CIO_Райффайзенбанка_Андреем_Поповым
