Core Spark - основы для разработчиков

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
CORS
01 июля 2024
07 октября 2024
16 декабря 2024
48 000 руб. 16 ак.часов
Количество дней: 2
Дистанционный
Регистрация

2х-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для обработки и анализа больших данных.

О продукте:

Apache Spark – это фреймворк с открытым исходным кодом для разработки приложений распределённых пакетных и потоковых вычислений над большим объемом неструктурированных и слабоструктурированных данных. Он входит в экосистему проектов Hadoop, поддерживает вычислительную модель MapReduce, но сохраняет промежуточные результаты вычислений в памяти вместо записи на диск. Поэтому Spark работает гораздо быстрее и позволяет создавать высокопроизводительные приложения, способные быстро выполнять множество операций с огромными объемами данных. Фреймворк имеет модульный состав, поддерживая различные сценарии использования распределенных приложений, от интернета вещей до машинного обучения. Поэтому Spark-приложения активно используются в различных бизнес-задачах анализа и обработки больших данных.

Аудитория:

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования базовых компонентов Apache Spark: Low Level API, Structured API и Spark SQL.

Соотношение теории к практике 50/50

Уровень подготовки:

  • Опыт работы в Unix/SQL;
  • Начальный опыт программирования (Python/Scala);
  • Начальный опыт в экосистеме Hadoop.

Программа курса «Core Spark — основы для разработчиков»

1. Обзор Apache Spark

    • Архитектура Spark
    • Обзор компонентов Spark и их назначения
    • Spark API и разработка программ.

2. Основные абстракции — знакомство со Spark RDD и Dataframe

    • Low Level API, использование Resilient Distributed Dataset
    • Structured API и основная абстракция Spark – Dataframe
    • Основные трансформации и действия.

3. Работа с источниками данных

    • Ввод и вывод данных в Spark
    • Работа с файлами и базами данных
    • Совместная работа с Apache Hive

4. Apache Spark SQL

    • Получение данных из SQL-источников
    • Обработка данных с помощью Spark SQL
    • Интероперабельность Dataframe и SQL

5. Основы настройки и конфигурирования

    • Знакомство с основными Shell
    • Запуск приложений с помощью spark-submit
    • Конфигурирование Spark
    • Планы запросов и Web GUI

Практические занятия будут проводиться на языках Python или Scala.

Скачать программу курса «Core Spark - основы для разработчиков» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Что Вы получите:

Окончив курс «Core Spark — основы для разработчиков» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Королев Михаил
МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:

Отзывы наших клиентов о курсе

Чтобы записаться на курс CORS: Core Spark - основы для разработчиков позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Контакты авторизированного учебного центра
«Школа Больших Данных»
Адрес:
127576, г. Москва, м. Алтуфьево, Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»
Часы работы:
Понедельник - Пятница: 09.00 – 18.00
Остались вопросы?
Звоните нам +7 (495) 414-11-21 или отправьте сообщение через контактную форму. Также вы можете найти ответы на ваши вопросы в нашем сборнике часто задаваемых вопросов.
Оставьте сообщение, и мы перезвоним вам в течение рабочего дня
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Или напишите нам в соц.сетях
Поиск по сайту