Архитектура ML-систем

Программа курса «Архитектура ML-систем»

1. Этапы ML-проекта и инструменты

• • основные этапы ML-проекта и ресурсы, необходимые для его реализации
  • жизненный цикл ML-решения
  • варианты подходов и технических инструментов для реализации ML-проекта на разных этапах его жизненного цикла — обзор и верхнеуровневое сравнение

Вы будете иметь представление о жизненном цикле ML-проекта и этапах его реализации, поймете задачи и обязанности задействованных в этих процессах участников (DS/DE/DEV/DevOps/MLE), а также познакомитесь с инструментами реализации ML-решений.

2. Трекинг экспериментов, хранение артефактов и ML-моделей

• • что такое трекинг экспериментов и для чего нужен
  • преимущества общих многопользовательских инструментов хранения артефактов экспериментов и ML-моделей
  • воспроизводимость экспериментов

Вы сможете выбрать решение для трекинга экспериментов, хранения артефактов ML-моделей, а также поближе познакомитесь с MlFlow и ClearML, узнав их преимущества и недостатки.

3. Сценарии использования ML-моделей и формирования признаков (фич, feature)

• • фичи (признаки) для ML-модели и как с ними работать: что такое feature-инжиниринг
  • доставка фич до продуктивной среды
  • архитектура хранилища признаков (Feature Store)
  • паттерны эксплуатации ML-моделей в продуктивной среде

Вы получите представление об этапах работы с фичами для ML-модели, узнаете способы и инструменты доставки фич до продуктивной среды, познакомитесь с подходами к организации хранилища признаков (Feature Store) и сценариями использования ML-моделей в продуктивных средах: по запросу через Rest/gRPC API, в пакетном или потоковом режимах.

4. Инструменты оркестрации и их использование в ML-проекте

• • обзор и сравнение популярных инструментов оркестрации (Airflow, ArgoWorkFlow, Mage.AI)
  • применение инструментов оркестрации в реализации ML-решений с практической демонстрацией

Вы узнаете возможности популярных инструментов оркестрации и особенности их эксплуатации, а также сможете выбрать подходящее средство для управления задачами подготовки данных к машинному обучению и их доставки в хранилище признаков.

5. Проверка поведения обученной ML-модели (инференс)

• • инференс как третий этап жизненного цикла ML-модели (после обучения и развертывания), работа обученной нейросети на конечном устройстве и конечный результат обработки данных
  • способы вычисления инференса ML-моделей
  • инструменты развертывания инференса ML-моделей

Вы познакомитесь с инструментами для разработки инференс-сервисов, а также no-code средствами развертывания инференс-сервисов ML-модели: MlCore, MlServe, Triton, TF, TorhcService.

6. Сопровождение ML-моделей в production

• • что включает в себя сопровождение ML-модели
  • организация процессов сопровождения ML-моделей
  • политики доступа к данных (ML Security и Data Privacy)

Вы будете понимать, какие процессы необходимы для сопровождения ML-моделей в продуктивной среде, как отслеживать сходимость и стабильность оценок и фичей, от чего зависит скорость и точность инференса, как организовать наблюдаемость ML-модели, включая MPP-подход (Model Performance Predictor) с учетом подходящей политики доступа к данным.

7. AutoML в MLOps-конвейере (опционально 4 ак. часа)

• • современные инструменты автоматического машинного обучения (AutoML)
  • как AutoML ускоряет срок окупаемости ML-проектов, снижая TTM (Time To Market)

Вы будете знать о современных инструментах AutoML и как их эффективно использовать на различных этапах жизненного цикла ML-проекта.

8. Эксплуатация больших нейронные сетей в продуктивном контуре (опционально 4 ак. часа)

• • большие нейронные сети и методы их оптимизации
  • инфраструктура для эксплуатации больших нейронных сетей
  • особенности работы с большими языковыми моделями (LLM) и системами расширенной аналитики (RAG)
  • нейронные сети на микрокомпьютерах

Вы поймете, как достигать нужного качества ML-решения с учетом возможностей и ограничений по эксплуатируемым ресурсам, познакомитесь с GPU и большими нейронными сетями, поймете особенности работы с LLM и тонкости построения RAG-систем, а также узнаете про эксплуатацию нейронных сетей на микрокомпьютерах.