Пока инженеры данных и специалисты по Data Science привыкали к MLOps, начав понимать важность и необходимость этой концепции непрерывной разработки и эксплуатации систем машинного обучения, в Data Science появился новый термин с модным –Ops окончанием. Разбираемся, что такое ModelOps, чем это отличается от MLOps и как применить его на практике.
Что такое ModelOps и чем это отличается от MLOps
Согласно определению аналитического бюро Gartner, выпущенному в конце 2020 года, ModelOps – это система операций с ML-моделями, ориентированная на руководство и управление жизненным циклом широкого спектра операционализированных моделей искусственного интеллекта (ИИ) и методов принятия решений, включая машинное обучение, графы знаний, правила, оптимизацию, лингвистические и агентные модели. Можно сказать, что ModelOps лежит в основе любой корпоративной стратегии искусственного интеллекта, управляя жизненными циклами всех моделей в производстве на всем предприятии, от запуска в production до оценки и обновления приложения согласно набору управляющих правил. Это позволяет бизнес-экспертам самостоятельно оценивать работу ИИ-модели с экономической точки зрения, независимо от специалистов по обработке и анализу данных.
Цель ModelOps в устранении разрыва между развертыванием модели и ее управлением в производственной среде с учетом бизнес-показателей, технических ограничений и рисков. Технически это реализуется с помощью повторно используемых компонентов, которые позволят версиям модели соответствовать бизнес-приложениям и включают MLOps-практики, как мониторинг модели, обнаружение дрейфа и активное обучение. Можно сказать, что ModelOps — это расширение MLOps для масштабируемого и управляемого объединения нескольких объектов, решений и платформ ИИ. ModelOps требует тех же специалистов, что и MLOps, а также компетенций, связанных с ИТ-операциями, управлением рисками и общим бизнес-менеджментом. Таким образом, в отличие от MLOps, ModelOps фокусируется не только на моделях машинного обучения, а нацелено на операционализацию всех ИИ-решений и используется ИТ-командой и бизнес-стейкхолдерами. ModelOps фокусируется на управлении моделями и комплексном управлении жизненным циклом, где нужно убедиться, что прогнозируемая ценность для бизнеса, операционная эффективность, а также уровни рисков соответствуют требованиям.
ModelOps полезен для решения таких проблем, как:
- согласованное управление множеством ML-моделей, отличающихся друг от друга по области применения, настройке и группам клиентов;
- сложность данных и аналитических алгоритмов;
- ужесточение нормативных требований, например, в области защиты персональных данных;
- разрозненная среда с множеством разнопрофильных команд – масштабирование ИИ может быть проблематичным из-за неэффективной координации разных групп специалистов. ModelOps помогает создать среду, где ML-модели можно легко перенести из разработки в производство.
Можно рассматривать ModelOps ModelOps как связующее звено между всеми остальными элементами конвейера ИИ, которое снижает риски «скрытых» решений, разработанных вне контроля ИТ-отдела и уменьшает несоответствия через оптимальное распределение ресурсов и повторное использование компонентов. Как это реализуется на практике, рассмотрим далее.
Технологии реализации концепции Model Operations
Платформы ModelOps обеспечивают единое представление всех моделей и различных конвейеров, ускоряя их развертывание и смягчая дрейфы. ModelOps улучшает интерпретируемость того, как создаются модели, и позволяет измерить их достоверность, а также помогает исправить отклонения от заданного базового уровня, сопоставляя результаты с ключевыми показателями эффективности бизнеса. ModelOps дает возможность генерировать новые идеи и выявлять интересные закономерности с помощью инструментов автоматизации, прогнозирования и оптимизации. Эта унифицированная среда сокращает затраты времени и денег на создание, развертывание и управление моделями за счет тесной интеграции с дешевыми облачными хранилищами и аналитическими сервисами.
Процесс ModelOps фокусируется на автоматизации управления, управления и мониторинга моделей в производстве на предприятии, позволяя ИИ и разработчикам приложений отслеживать смещения, устойчивость и надежность данных, кода и алгоритмов, а также бизнес-метрик. Сюда же относится обнаружение дрейфа, технические и нормативные ограничения, а также процедуры утверждения для внедрения моделей ИИ в производство в качестве бизнес-приложений. Процесс начинается со стандартного представления моделей-кандидатов для производства, включая спецификацию модели со всеми компонентами и зависимыми частями: данные, аппаратная и программная среда, классификаторы, и подключаемые модули кода, ключевые показатели эффективности бизнеса и уровни риска.
Задачи ModelOps очень похожи на MLOps. Следует отслеживать прогресс каждой модели, устанавливать целевые показатели точности для моделей или их классов и отслеживать их по таким параметрам, как дрейф и ухудшение во время разработки, проверки и развертывания. Также следует определить, на какие рыночные показатели влияет эксплуатируемая модель и сколько вычислительных ресурсов она потребляет. Поэтому к компонентам реализации ModelOps относятся инструменты CI/CD, среды разработки и тестирования, управления версиями и хранилища моделей.
Все это можно попытаться реализовать самостоятельно, выстроив сложную архитектуру конвейеров и хранилищ данных с мониторингом поведения и версионированием моделей, датасетов и программного кода. Однако, для крупных предприятий более рационально посмотреть в сторону готовых платформ, например, следующих:
- ModelOp Center — набор гибких и расширяемых микросервисов, которые обеспечивают последовательное развертывание, мониторинг и управление всеми аналитическими моделями, независимо от их базовой инфраструктуры разработки и развертывания;
- Modzy — программная платформа ModelOps и MLOps, позволяющая предприятиям развертывать, управлять и получать выгоду от ИИ — в любом масштабе. Она поддерживает интеграция с конвейерами данных, инструментами обучения моделей, конвейерами CI/CD и бизнес-приложениями для повышения эффективности преобразования ИИ.
- Datatron — универсальное решение, позволяющее автоматизировать, оптимизировать и ускорить модели машинного обучения. Он поддерживает широкий спектр фреймворков и языков, таких как TensorFlow, H2O, Scikit-Learn, SAS, Python, R, Scala и пр. Кроме того, он поддерживает как локальную, так и облачную инфраструктуру.
- ModelOps от SAS – комбинированный пакет с ПО и сервисами для управления аналитическими моделями, включая предоставление подробного плана проекта, оценку текущих моделей и их диспетчеризацию.
- Superwise – решение, которое управляется API, поэтому его можно легко интегрировать в существующую среду. Оно помогает обнаруживать новые фичи, генерировать ключевые показатели эффективности и устанавливать пороговые значения, просматривая данные, чтобы поддерживать работоспособность ML-моделей, включая прогноз производительности и управление версиями.
Пара примеров
В заключение рассмотрим пару сценариев применения ModelOps. К примеру, в банке используются сотни моделей временных рядов, которые должны быть честными и точными, а также работать надежно. ModelOps автоматизирует жизненный цикл моделей в производстве, включая технические, деловые и нормативные ключевые показатели эффективности и пороговые значения. Это обеспечивает управление и мониторинг множеством моделей во время их функционирования, а также обновления по мере необходимости без нарушения работы самих бизнес-приложений. ModelOps как диспетчер на железной дороге следит за тем, чтобы все поезда шли вовремя и по правильному пути, обеспечивая контроль рисков, соблюдение нормативных требований и эффективность с точки зрения бизнеса.
Еще одним примером использования ModelOps является медтех, в частности, мониторинг уровня сахара в крови диабетиков на основе данных о состоянии пациента в режиме реального времени. Модель для прогнозировании гипогликемии должна постоянно обновляться с учетом текущих данных, а любые аномалии должны постоянно отслеживаться с обеспечением доступа к ним в распределенной среде, чтобы информация была доступна на мобильном устройстве, а также для отчетности в системе медучреждения. Оркестровка, управление, переобучение, мониторинг и обновление ML-моделей выполняются с помощью ModelOps.
Как применить лучшие практики MLOps в реальных проектах для эффективной аналитики больших данных на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:
Источники
