2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для решения задач машинного обучения и подготовки для него данных.

Аудитория

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark MLLib. На этом курсе мы изучаем предоставляемые спарк возможности в части подготовки данных (векторы в том числе разреженные, работа с пропущенными данными, нормализация, категориальные данные и т.п.) и машинного обучения (стандартные алгоритмы — регрессии, классификации, нейронные сети и т.п. — и конвейерная обработка). Курс будет интересен не только дата сайентистам, но и инженерам данных — на курсе мы покажем, что делают дата сайентисты (на примере Apache Spark).

Соотношение теории к практике 50/50

Предварительная подготовка

• Опыт работы в Unix/SQL;
• Знания в объеме, аналогичном курсу Core Spark
• Начальный опыт программирования (Python/Java);
• Начальный опыт в экосистеме Hadoop

Программа курса

1. Введение в машинное обучение

• Профессии дата инженера и дата сайентиста
• Цикл работ согласно CRISP-DM
• Классификация алгоритмов машинного обучения
• Пример алгоритма

2. Feature Engineering и подготовка данных

• Особенности подготовки данных для машинного обучения
• Датасет и денормализация
• Стандартный набор операций по подготовке данных
• Дополнительные требования некоторых алгоритмов

3. Возможности Spark Mllib

• Векторы и разреженные векторы
• Алгоритмы обучения с учителем
• Нейронные сети и другие алгоритмы
• Подходы к продуктивному использованию настроенных алгоритмов

4. Базовый Workflow и конвейеры

• Базовый процесс обучения с использованием Spark MLLIB
• Понятие конвейера и его настройка в Spark MLLIB

5. Модуль Feature и предоставляемые возможности

• Стандартные операции очистки данных
• Работа с категориальными данными
• Векторизация текста
• Другие возможности модуля Feature