Все, что нужно знать для успешной работы с большими данными: методы аналитики и машинного обучения, основы и функционал компонентов экосистемы Hadoop, безопасность озера данных, цифровизация бизнеса и GDPR.

Что такое аналитика больших данных и зачем менеджеру разбираться в этом

Сегодня информация — это основа любого бизнеса, инструмент эффективного управления и оптимизации рабочих процессов. Аналитика больших данных (Big Data) вашего бизнеса поможет своевременно выявить и даже предупредить множество проблем, от оттока клиентов до утечки персональных данных. Чтобы понимать возможности современных технологий и выбирать  среди них наилучшее соотношение «стоимость/результат», менеджеру необходимо разбираться в базовых понятиях и прикладных решениях.

Теоретический курс «Аналитика больших данных для руководителей» ориентирован на руководство государственных предприятий и частных компаний, менеджеров и специалистов, которые хотят получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах Big Data и цифровизации бизнеса в условиях импортозамещения.

Итак, если вам необходимо:

• разбираться в основных  понятиях Больших Данных, Машинного обучения (Machine Learning), Искусственного интеллекта (Artificial Intelligence)
• понимать назначение компонентов экосистемы Hadoop, Spark, Kafka или терминов Data Lake, Delta Lake
• знать, в чем отличие Apache Hadoop, Arenadata, NoSQL, MPP  или Greenplum
• выявить нюансы облачных решений, контейнеризации и применимости к вашей отрасли бизнеса
• уяснить, что такое стандарт GDPR и как он влияет на ваш бизнес, риски и ограничения, и что такое политики Data Governance
• узнать особенности применение методологий для реализации процессов аналитики больших данных на примере CRISP-DM

Как организован курс Big Data для руководителей

Продолжительность: 3 дня, 24 академических часа.

Уровень подготовки: предварительный опыт не требуется.

Документ об окончании курса: сертификат учебного центра.

Курс «Аналитика больших данных для менеджеров» построен таким образом, чтобы всего за 3 дня даже самый занятой руководитель мог эффективно освоить теорию и практику современных технологий Big Data в контексте их бизнес-применения. Обучение включает все необходимые знания для успешного участия в проектах по анализу больших данных. Программа обучения содержит информацию о фазах жизненного цикла аналитических процессов при цифровизации бизнеса и переходе к использованию Big Data. Вы узнаете базовые и расширенные методы аналитики, в т.ч. техники поиска и извлечения знаний  из больших массивов разнородных данных. Также рассматриваются различные версии дистрибутивов платформы Hadoop, облачные сервисы для хранения и аналитики больших данных, «opensource» и коммерческие инструменты.

Подробно изучаются сценарии применения технологий работы с Большими Данными в организациях государственного сектора и различных отраслях бизнеса: банки и финансовые учреждения, промышленность, торговля, транспорт и др.

На сквозных примерах вы узнаете все особенности процессов инициации проектов цифровой трансформации, от сбора данных до формирования команды. Также детально познакомитесь с каждой фазой жизненного цикла работы с Big Data: подготовка данных, выбор модели, пилотное развертывание и тестирование  прототипа, промышленная эксплуатация.

В нашем 3-дневном тренинге вы получите ответы на актуальные вопросы работы с персональными данными и обеспечения безопасности при работе с Big Data. Материалы содержат много реальных примеров (use cases) монетизации больших данных в российском и мировом бизнесе.  Особое внимание уделено  условиям импортозамещения, а также возможным сложностям и специфике использования при работе с большими данными для различных секторов экономики в России.

Окончив курс Big Data для руководителей в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

Учебная программа курса «Большие данные для руководителей»

1. Введение в Big Data (Большие данные)
   • Большие данные и цифровизация бизнеса
   • Базовые принципы и отличия от классических подходов к работе с данными
   • Обзор методологии CRISP DM — модели жизненного цикла аналитики данных: получение данных, подготовка данных, планирование модели, построение модели, проверка результатов, внедрение
   • Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases)
   • Тенденции в подходах Big Data и что актуально на сегодняшний день
   • Технологии Big Data в условиях импортозамещения

2. Понимание Бизнеса (Business Understanding)
   • Определение бизнес целей для проекта Big Data
   • Отраслевая специфика аналитики больших данных. Общий разбор отраслевых сценариев (cases)
   • Инициация проекта — критические факторы успеха. Основные проблемы
   • Оценка ситуации: риски, ROI, доступные ресурсы, оценка зрелости компании
   • Приоритизация задач: Что делаем, а что нет
   • Высокоуровневый план проекта
   • Начинаем формировать команду проекта: специалисты и их компетенции, роли

3. Понимание данных (Data Understanding)
   • Определение источников данных
   • Специфика работы с потоковыми данными и batch в Big Data
   • Принципы формирования Data Lake: выбор платформы
   • Первичный сбор и анализ данных: инструментарий и доступные методы
   • Описание данных и сбор метаданных
   • Data management и Data Governance
   • Оценка качества данных Data Quality
   • Основные трудности и проблемы, критические факторы успеха, роли и навыки
   • Разбор сценариев (cases) для фазы Data Understanding

4. Подготовка данных (Data Preparation)
   • Подготовка данных – подходы Data Science: нормализация, очистка, выборки, enrichment, форматирование данных
   • Подготовка данных  – как процесс формирования Data Pipeline:
     • Процессы ETL и ELT
     • Зонирование Data Lake и сегментирование данных.
     • Назначение и сравнительная характеристика компонент экосистемы Apache Hadoop, NoSQL, DWH, платформ потоковой обработки для хранения и обработки Big Data на примерах (отраслевые сценарии)
     • Инструменты оркестрирования и автоматизации (Data Flow)
   • И снова о Метаданных: Data Lineage, Data Provenance, Data Governance, …
   • Безопасность больших данных
   • Основные трудности и проблемы, критические факторы успеха
   • Специалисты и их компетенции на данной стадии

5. Выбор и построение моделей (Modeling)
   • Классы аналитических задач и подходы к их решению
   • Обзор техник моделирования
   • Построение моделей и оценка моделей
   • Что нужно для успешного моделирования
   • Инструментарий для решения аналитических задач этапа моделирования
   • Оценка моделей и среда тестирования моделей: технические метрики оценки качества проведенного моделирования
   • А также песочницы, Machine & Deep learning, AI, Нейронные сети и многое другое
   • Команда Data Science и их компетенции
   • Основные трудности и проблемы фазы моделирования, критические факторы успеха
   • Облачные платформы для быстрой разработки
   • Место DevOps, MLOps для организации процессов разработки
   • Рассмотрение фазы моделирования на сквозных сценариях (cases): место, участники, взаимодействие с другими фазами и процессами

6.  Оценка результатов ( Evaluation)
   • Про бизнес-метрики оценки качества моделирования
   • Что делать если все плохо ? – возвращаемся на предыдущие фазы
   • Рассматриваем данную стадию в рамках наших сценариев (cases)
   • Отличия среды разработки и эксплуатации
   • Особенности этапа оценки

7. Развертывание  (Deployment)
   • Планирование развертывания модели
   • Мониторинг и обслуживание модели
   • Методологии автоматизации и вывода продуктов в промышленную эксплуатацию – DevOps и  MLOps
   • Задачи финального обеспечения фаз жизненного цикла Data Science: цикличность reviews, обновления и вывод из эксплуатации

8. Финальная переоценка проекта
   • Постанализ рисков и BIA, ROI и генерация ценности
   • Допущенные просчеты и методы их решения
   • Оценка процессов и оценка зрелости компании
   • Типичные ошибки применения CRISP DM
   • Альтернативные подходы и расширения CRISP DM (Domino, TDSP, SEMMA)