Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations

Критерий

Уровень 0

Уровень 1

Уровень 2

Уровень 3

Уровень 4

стратегия (Strategy)

·       отсутствие Data Scientist’ов

·       скептицизм ТОП-менеджмента по отношению к ценности ML для бизнеса

·       небольшие и разрозненные команды Data Scientist’ов и инженеров Big Data

·       небольшое число ML-энтузиастов в команде руководителей

·       есть тенденция к координации небольших команд Data Scientist’ов, инженеров и разработчиков Big Data

·       разработка ML-моделей пока дискретна и не структурирована

·       большие, тесно интегрированные друг с другом команды Data Scientist’ов, инженеров и разработчиков Big Data

·       наличие органа управления данными и ответственных лиц на уровне ТОП-менеджмента, таких как CDO (Chief Data Officer)

·       новые члены ML-команды быстро включаются в работу (около недели)

·       в крупных ML-проектах имеются контрольные точки для непрерывного мониторинга и учета прогресса

·       ML позиционируется как стратегическая инициатива, драйвер развития компании

·       Процессы доставки ML-решений хорошо управляются

·       Инженеры и исследователи данных интегрированы в единую команду

архитектура (Architecture)

·       разрозненные хранилища данных с частными интеграциями между отдельными системами

·       данные не готовы к непосредственному ML-моделированию и не подготавливаются к нему заранее

·       основные корпоративные данные готовы для ML

·       архитектура данных до сих пор незрелая

·       наиболее значимые корпоративные данные хранятся и эксплуатируются в облачных сервисах

·       архитектуру данных можно назвать зрелой

·       большинство корпоративных данных готово для ML

·       явная приверженность к облачным решениям для хранения и обработки данных

·       корпоративные данные хорошо каталогизированы и управляемы

·       имеются автоматизированные конвейеры обработки данных (data pipeline)

·       ML-конфигурации и инфраструктура являются управляемыми

·       ML-модели, как правило, реализуются в виде микросервисов

·       Имеется всеобъемлющая архитектура для управления всеми данными

·       Хранение и потребление данных выстроено в целостный конвейер через все проекты компании

·       Ведется мониторинг целевой ML-инфраструктуры с целью оптимизации затрат и расходования ресурсов

моделирование (Modeling)

·       обучение моделей производится вручную

·       ограниченное число пилотных ML-решений, запущенных в отдельные бизнес-проекты

·       ручное обучение моделей

·       несколько пилотных ML-решений

·       мониторинг ключевых ML-экспериментов без управления самими моделями

·       ведется мониторинг ML-экспериментов и управление моделями

·       зависимости различных ML-моделей между собой не отслеживаются и не до конца понимаются

·       модели каталогизированы по жизненному циклу, с учетом воспроизводимости и повторного использования

·       результаты ML-моделирования предсказуемы и целостны, поддаются аудиту и воспроизводству

·       Взаимозависимости между моделями контролируются и управляются

·       Влияние даже небольших изменений на ML-модели может быть измерено и оценено

процессы (Processes)

·       DevOps-практики не используются в поддержке жизненного цикла ML

·       Критерии успеха ML-проектов четко не определены

·       Некоторые DevOps-практики, такие как CI/CD адаптированы к не ML-компонентам

·       Нет целостности в оценке успеха ML/MLOps-проектов

·       ML-разработка итеративна в Agile-стиле, но CI/CD не применяются к моделям

·       Экспертиза по ML-инфраструктуре еще не наработана

·       Имеющиеся метрики и показатели оценки ML и MLOps-проектов не коррелируют друг с другом (отсутствие целостного подхода)

·       Данные тестируются на пригодность к ML, а отслеживаются на предмет изменений в процессе распространения

·       Ведется контроль версий всех артефактов (датасеты, тесты, модели)

·       DevOps-практики, такие как CI/CD и code review применяются к коду ML-продукта

·       MLOps-конвейер в production включает мониторинг всех этапов, от упаковки до развертывания и эксплуатации

·       Обширный ML—pipeline поддерживается частыми обновлениями моделей

·       Новые алгоритмы и подходы могут быть протестированы на полном масштабе

·       Ведется автоматический сбор показателей, уведомлений, непрерывный анализ проблем, например, дрейф данных, а также автоматическое переобучение моделей в случае изменчивости данных, среды или других условий

управление (Governance)

Не рассматривается по причине фактического отсутствия объектов и средств управления

Не рассматривается на корпоративном уровне, но может частично применяться к отдельным участкам ML-операций

·       Не рассматривается объяснимость результатов ML-моделирования

·       ML-модели могут быть предвзяты (особенность формирования датасета, отбора признаков или алгоритма)

·       Ведется мониторинг релизов ML-моделей

·       Политики безопасности применяются к моделям и данным

·       Учитываются этичность и объяснимость ML-моделей и систем

·       предпринимаются попытки удалить предвзятые переменные из моделей

·       Возможность злонамеренного использования ML-решений учитывается в их жизненном цикле с целью предупреждения или смягчения последствий

·       Специалисты по информационной безопасности интегрированы в MLOps

·       ML-системы защищены от внешних манипуляций

·       ML-модели, операции и решения непрерывно подлежат аудиту (кто, когда, зачем и что изменил)