Практическое применение Big Data аналитики для решения бизнес-задач

Решите реальный бизнес-кейс на аналитической платформе, используя современные инструменты стека Big Data. Принимайте управленческие решения на основе ценных инсайтов, построив собственный аналитический ETL-конвейер для работы с корпоративными хранилищами и озерами данных.

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
PRUS
12 марта 2025
96 000 руб. 32 ак.часов Дистанционный

О продукте:

Чтобы оперативно принимать управленческие решения, прогнозируя и предупреждая любые внештатные ситуации, современный бизнес переходит к парадигме data-driven управления. Это позволяет в режиме реального времени выявить отклонения в технологических или производственных процессах и своевременно предупредить сбой. С коммерческой точки зрения потоковая аналитика больших данных позволяет «на лету» понять потребности каждого своего клиента и сформировать для него персональное коммерческое предложение в соответствии с потребностями и возможностями конкретного человека. Эти и другие кейсы можно реализовать, используя современные аналитические платформы, которые собирают исходные данные из разных источников, очищают и обогащают их, чтобы загрузить в корпоративное хранилище или озеро, откуда их будут потреблять аналитические приложения и BI-системы. Также при этом задействованы конвейеры потоковой и пакетной обработки данных на основе множества открытых и проприетарных технологий: Apache Kafka, AirFlow, NiFi, Spark, Flink, Greenplum, Snowflake, реляционные базы данных и NoSQL-хранилища.

Познакомиться со всеми этими и другими инструментами аналитической обработки данных, освоив их на сквозном практическом примере вам поможет наш базовый курс по архитектуре аналитических платформ Big Data технологий применительно к бизнес-задачам.

Аудитория:

    • ИТ-архитекторы, которые выбирают концепцию построения хранилищ данных и конкретные сервисы для решения задач бизнеса;
    • технические директоры, которые оценивают решения с точки зрения стратегии развития компании в плане IT-технологий;
    • дата-инженеры, разработчики и системные администраторы, которые будут непосредственно участвовать в реализации проектных решений;
    • аналитики данных, которым интересна архитектура используемой инфраструктуры.

Предварительный уровень подготовки:

    • опыт написания SQL запросов
    • работа с командной строкой linux

О курсе:

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса и лучшие практики data-driven управления

Цель курса: реализовать настоящий бизнес-кейс на аналитической платформе, познакомиться на практике с основными инструментами Big Data, узнать их назначение и место в архитектуре аналитической платформы

Продолжительность курса: 32 академических часа, 8 дней

Соотношение теории к практике: 50/50

Программа курса «Практическое применение Big Data Аналитики для решения бизнес-задач»

1. Постановка бизнес-задач и знакомство с BigData архитектурой

    • Определяем бизнес-потребность. Формируем ключевые требования к решению, которое позволит удовлетворить бизнес-потребность и принести ценность
    • Теория по архитектуре аналитического приложения BigData

Практическая часть: построение архитектуры анализа данных в зависимости от бизнес кейсов

2. Инструменты для анализа больших данных

    • Описание инструментов для анализа больших данных Spark, Hive, Dask и др.

Практическая часть: анализ данных с помощью Spark/Hive

3. DWH хранилища данных, слои накопления данных (stg, ods, dds, dim, mart)

    • Предназначение концептуальных слоев накопления данных
    • Очистка и трансформация данных
    • Batch загрузка данных
    • Stream загрузка данных

Практическая часть: загрузка данных различными способами

4. Способы организации хранения сырых данных (stg слой)

    • Теоретическое описание слоя хранения данных и его принципов
    • Big Data репозиторий, HDFS и форматы хранения данных
    • EDW концепция, преимущества и недостатки
    • NoSQL подход к хранению данных

Практическая часть: демонстрация работы с файлами в HDFS и S3

5. Инструменты для управления процессами обработки и перемещения данных. Часть 1

    • Введение в Airflow.

Практическая часть: настройки и демонстрация работы Airflow на примере простых задач

6. Инструменты для управления процессами обработки и перемещения данных. Часть 2

    • Создаем пайплайн перемещения данных с помощью airflow

Практическая часть: реализации пайплайна обработки и перемещения данных с помощью Airflow

7. BI инструменты для аналитика данных

    • OLAP/OLTP базы данных. BI инструменты (SuperSet, PowerBI, и др.), их архитектура и область применения.

Практическая часть: построение дашбордов в BI инструменте

8. Введение в ML

    • Кейсы использование ML
    • Разбор модели кейса

Практическая часть: встраивание модели в pipeline обработки данных

Скачать программу курса «Практическое применение Big Data Аналитики для решения бизнес-задач» в формате pdf

Отправить ссылку на:

Что Вы получите:

Успешно окончив курс «Практическое применение Big Data Аналитики для решения бизнес-задач» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите удостоверение установленного образца, которое может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Ермилов Дмитрий
Академия Федеральной службы безопасности Российской Федерации (Москва, 2012)
Профессиональные компетенции:
  • Ведущий Data Scientist в ФГУП “Центр информационных технологий”, Москва
  • Руководитель программ в Университете искусственного интеллекта, Москва.
  • Кандидат наук (2017 год, Московский государственный университет им. М.В. Ломоносова, Москва)
Конорев Олег
Академия Федеральной службы безопасности Российской Федерации (Москва, 2012)
Профессиональные компетенции:
  • Руководитель группы Data Science в НИИ “Квант”, Москва
  • Computer vision (CV) – решение задач по классификации и детектировании объектов на фото и видео, идентификации человека,  сегментации изображений и распознаванию текста с библиотеками OpenCV, Tensorflow API и архитектурами нейронных сетей  Yolo, SSD, fRCNN, U-net и пр.
  • Natural language processing (NLP) – решение задач по классификации текстов, извлечению именованных сущностей (NER) и ключевых слов с библиотеками gensim, nltk, fasttext, spacy и др. Построение различных архитектур на основе искусственных нейронных сетей с использованием различных представлений слов (Embedding, Word2Vec) и готовых нейросетевых решений (Bert, fastai)
  • Time series analysis – решение задач обработки, анализа и классификации аудио сигналов с библиотеками librosa, ffmpeg и различных архитектур нейронных сетей, а также предсказание значений временных рядов (time series forecasting) в приложении к котировкам активов с использованием классических решений (ARMA, ARIMA) и моделей на базе сверточных нейронных сетей (CNN), рекуррентных нейронных сетей (LSTM,GRU) и их комбинаций.
  • Проекты сегментации сигналов с различных датчиков и приборов и распознавания речи (speech-to-text) с облачными сервисами Yandex и Google.

Чтобы записаться на курс PRUS: Практическое применение Big Data аналитики для решения бизнес-задач позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту