Недавно мы рассказывали про модель зрелости MLOps от Google. Сегодня рассмотрим альтернативную методику оценки зрелости операций разработки и эксплуатации машинного обучения, которая больше похоже на наиболее популярную в области управленческого консалтинга модель CMMI, часто используемую в проектах цифровизации. Читайте далее, по каким критериям измеряется Machine Learning Operations Maturity Model и как применить это на практике.
5 критериев для оценки MLOps-зрелости
Предложенная компанией Google 3-х уровневая модель оценки зрелости MLOps не является единственной. Например, альтернатива от исследовательской ИТ-компанией GigaOm, в отличие от Google-варианта, учитывает не только технологии поддержки жизненного цикла машинного обучения, но и корпоративную культуру, которая неотделима от любой технической парадигмы. GigaOm выделяет 5 уровней MLOps-зрелости, оценивая состояние Machine Learning и окружающей инфраструктуры на предприятии по следующим критериям [1]:
- стратегия (Strategy) — насколько хорошо подход MLOps согласуется с приоритетами руководства в организационном и культурном плане;
- архитектура (Architecture) — способность управлять данными, моделями, средами развертывания и другими артефактами как единым целым;
- моделирование (Modeling) – навыки и опыт в области Data Science, позволяющие создавать модели, которые релевантны бизнесу и правильно представляют предметную область;
- процессы (Processes) — эффективное, действенное, измеримое и масштабируемое выполнение рабочих задач всех участников, задействованных в ML (аналитики и инженеры данных, ML-специалисты, Data Scientist’ы);
- управление (Governance) – способность создавать безопасные, ответственные и справедливые ML-решения, с заслуживающими доверия входами и выходами, а также объяснимыми результатами.
Разработка и внедрение ML-решений
Код курса
MLOPS
Ближайшая дата курса
7 октября, 2024
Продолжительность
24 ак.часов
Стоимость обучения
54 000 руб.
Machine Learning Operations Maturity Model от GigaOm
Далее в таблице показано, как по вышеотмеченным критериям выстраиваются 5 уровней MLOps-зрелости по GigaOm-модели.
Критерий |
Уровень 0 |
Уровень 1 |
Уровень 2 |
Уровень 3 |
Уровень 4 |
стратегия (Strategy) |
· отсутствие Data Scientist’ов · скептицизм ТОП-менеджмента по отношению к ценности ML для бизнеса |
· небольшие и разрозненные команды Data Scientist’ов и инженеров Big Data · небольшое число ML-энтузиастов в команде руководителей |
· есть тенденция к координации небольших команд Data Scientist’ов, инженеров и разработчиков Big Data · разработка ML-моделей пока дискретна и не структурирована |
· большие, тесно интегрированные друг с другом команды Data Scientist’ов, инженеров и разработчиков Big Data · наличие органа управления данными и ответственных лиц на уровне ТОП-менеджмента, таких как CDO (Chief Data Officer) · новые члены ML-команды быстро включаются в работу (около недели) · в крупных ML-проектах имеются контрольные точки для непрерывного мониторинга и учета прогресса |
· ML позиционируется как стратегическая инициатива, драйвер развития компании · Процессы доставки ML-решений хорошо управляются · Инженеры и исследователи данных интегрированы в единую команду |
архитектура (Architecture) |
· разрозненные хранилища данных с частными интеграциями между отдельными системами · данные не готовы к непосредственному ML-моделированию и не подготавливаются к нему заранее |
· основные корпоративные данные готовы для ML · архитектура данных до сих пор незрелая · наиболее значимые корпоративные данные хранятся и эксплуатируются в облачных сервисах |
· архитектуру данных можно назвать зрелой · большинство корпоративных данных готово для ML · явная приверженность к облачным решениям для хранения и обработки данных |
· корпоративные данные хорошо каталогизированы и управляемы · имеются автоматизированные конвейеры обработки данных (data pipeline) · ML-конфигурации и инфраструктура являются управляемыми · ML-модели, как правило, реализуются в виде микросервисов |
· Имеется всеобъемлющая архитектура для управления всеми данными · Хранение и потребление данных выстроено в целостный конвейер через все проекты компании · Ведется мониторинг целевой ML-инфраструктуры с целью оптимизации затрат и расходования ресурсов |
моделирование (Modeling) |
· обучение моделей производится вручную · ограниченное число пилотных ML-решений, запущенных в отдельные бизнес-проекты |
· ручное обучение моделей · несколько пилотных ML-решений · мониторинг ключевых ML-экспериментов без управления самими моделями |
· ведется мониторинг ML-экспериментов и управление моделями · зависимости различных ML-моделей между собой не отслеживаются и не до конца понимаются |
· модели каталогизированы по жизненному циклу, с учетом воспроизводимости и повторного использования · результаты ML-моделирования предсказуемы и целостны, поддаются аудиту и воспроизводству |
· Взаимозависимости между моделями контролируются и управляются · Влияние даже небольших изменений на ML-модели может быть измерено и оценено |
процессы (Processes) |
· DevOps-практики не используются в поддержке жизненного цикла ML · Критерии успеха ML-проектов четко не определены |
· Некоторые DevOps-практики, такие как CI/CD адаптированы к не ML-компонентам · Нет целостности в оценке успеха ML/MLOps-проектов |
· ML-разработка итеративна в Agile-стиле, но CI/CD не применяются к моделям · Экспертиза по ML-инфраструктуре еще не наработана · Имеющиеся метрики и показатели оценки ML и MLOps-проектов не коррелируют друг с другом (отсутствие целостного подхода) |
· Данные тестируются на пригодность к ML, а отслеживаются на предмет изменений в процессе распространения · Ведется контроль версий всех артефактов (датасеты, тесты, модели) · DevOps-практики, такие как CI/CD и code review применяются к коду ML-продукта · MLOps-конвейер в production включает мониторинг всех этапов, от упаковки до развертывания и эксплуатации |
· Обширный ML—pipeline поддерживается частыми обновлениями моделей · Новые алгоритмы и подходы могут быть протестированы на полном масштабе · Ведется автоматический сбор показателей, уведомлений, непрерывный анализ проблем, например, дрейф данных, а также автоматическое переобучение моделей в случае изменчивости данных, среды или других условий |
управление (Governance) |
Не рассматривается по причине фактического отсутствия объектов и средств управления |
Не рассматривается на корпоративном уровне, но может частично применяться к отдельным участкам ML-операций |
· Не рассматривается объяснимость результатов ML-моделирования · ML-модели могут быть предвзяты (особенность формирования датасета, отбора признаков или алгоритма) · Ведется мониторинг релизов ML-моделей |
· Политики безопасности применяются к моделям и данным · Учитываются этичность и объяснимость ML-моделей и систем · предпринимаются попытки удалить предвзятые переменные из моделей · Возможность злонамеренного использования ML-решений учитывается в их жизненном цикле с целью предупреждения или смягчения последствий |
· Специалисты по информационной безопасности интегрированы в MLOps · ML-системы защищены от внешних манипуляций · ML-модели, операции и решения непрерывно подлежат аудиту (кто, когда, зачем и что изменил) |
Согласно общему принципу моделей зрелости, организация продвигается по уровням последовательно, при этом путь каждой компании индивидуален. Не существует универсальных рецептов продвижения по ступеням какой-либо Maturity Model, включая MLOps. Однако, единая модель дает представление о приоритете каждого критерия, помогая CDO и другим ТОП-менеджерам планировать дальнейшие усилия через единые цели, маркеры и действия, актуальные для всех организаций [1].
В заключение отметим, что эффективное развертывание машинного обучения и MLOps-зрелость – это не просто предоставление объяснимых результатов Machine Learning в нужное время уполномоченным пользователям, а целая корпоративная культура с Agile— и DevOps-принципами. Здесь идет речь о непрерывной ответственности и безбарьерном сотрудничестве всех участников процессов каждого этапа жизненного цикла ML-артефактов (датасеты, модели, код) [2]. Как реализовать это организационно и технически, мы поговорим завтра. А практические приемы внедрения MLOps в проекты цифровизации частного бизнеса или цифровой трансформации государственных и муниципальных предприятий вы узнаете на наших специализированных курсах в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:
- Разработка и внедрение ML-решений
- Аналитика больших данных для руководителей
- Построение эффективных конвейеров обработки данных с Apache Airflow и Arenadata Hadoop
Источники
1. https://azure.microsoft.com/ru-ru/resources/gigaom-delivering-on-the-vision-of-mlops/
2. https://opendatascience.com/what-are-mlops-and-why-does-it-matter/