Core Spark - основы для разработчиков

4х-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных.

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
CORS
16 декабря 2024
17 февраля 2025
12 мая 2025
48 000 руб. 16 ак.часов
Количество дней: 2
Дистанционный
Регистрация

О продукте:

Apache Spark – это фреймворк с открытым исходным кодом для разработки приложений распределённых пакетных и потоковых вычислений над большим объемом неструктурированных и слабоструктурированных данных. Он входит в экосистему проектов Hadoop, поддерживает вычислительную модель MapReduce, но сохраняет промежуточные результаты вычислений в памяти вместо записи на диск. Поэтому Spark работает гораздо быстрее и позволяет создавать высокопроизводительные приложения, способные быстро выполнять множество операций с огромными объемами данных. Фреймворк имеет модульный состав, поддерживая различные сценарии использования распределенных приложений, от интернета вещей до машинного обучения. Поэтому Spark-приложения активно используются в различных бизнес-задачах анализа и обработки больших данных.

Аудитория:

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования базовых компонентов Apache Spark: Low Level API, Structured API и Spark SQL.

Соотношение теории к практике 50/50

Уровень подготовки:

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Scala);
  • Начальный опыт в экосистеме Hadoop.

Программа курса «Core Spark — основы для разработчиков»

1. Обзор Apache Spark

    • Архитектура Spark
    • Обзор компонентов Spark и их назначения
    • Spark API и разработка программ.

2. Основные абстракции — знакомство со Spark RDD и Dataframe

    • Low Level API, использование Resilient Distributed Dataset
    • Structured API и основная абстракция Spark – Dataframe
    • Основные трансформации и действия.

3. Работа с источниками данных

    • Ввод и вывод данных в Spark
    • Работа с файлами и базами данных
    • Совместная работа с Apache Hive

4. Apache Spark SQL

    • Получение данных из SQL-источников
    • Обработка данных с помощью Spark SQL
    • Интероперабельность Dataframe и SQL

5. Основы настройки и конфигурирования

    • Знакомство с основными Shell
    • Запуск приложений с помощью spark-submit
    • Конфигурирование Spark
    • Планы запросов и Web GUI

Практические занятия будут проводиться на языках Python или Scala.

Скачать программу курса «Core Spark - основы для разработчиков» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Что Вы получите:

Окончив курс «Core Spark — основы для разработчиков» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Королев Михаил
МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:

Отзывы наших клиентов о курсе

Оставить отзыв

Чтобы записаться на курс CORS: Core Spark - основы для разработчиков позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту