Насколько ты знаешь Apache Spark: открытый тест на знание популярного Big Data фреймворка

Обучение Apache Spark, Kafka, Hadoop и прочим технологиям Big Data – это не только курсы, теоретические статьи и практические задания, но и проверка полученных знаний. Поэтому сегодня мы предлагаем вам открытый интерактивный тест по основам Спарк для начинающих. Проверьте, насколько хорошо вы знакомы с особенностями администрирования и эксплуатации этого популярного фреймворка обработки больших данных, ответив на 10 вопросов о Spark Core, SQL, Streaming и MLLib.

Насколько ты знаешь основы Apache Spark: интерактивный тест для начинающих

Продолжая разговор про Apache Spark и основы больших данных, сегодня вам предлагается интерактивный тест из 10 вопросов на знание основ и простых задач, которые часто встречаются на практике при администрировании кластеров и разработке Спарк-приложений. Ответы на многие из этих вопросов мы разбирали в статьях нашего блога. Подробно изучить темы, упоминаемые в тесте, вы сможете вы сможете на специализированных курсах Школы Больших Данных в нашем лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.

10 вопросов по Спарк

Выбирайте из предложенных вариантов тот, который считаете верным. Правильный ответ с объяснением вы узнаете после того, как нажмете кнопку ОТПРАВИТЬ. Успехов!

1.

Распределенную работу Спарк-кластера обеспечивает

 Apache Zookeeper

 GraphX

 YARN

 Kubernetes

2.

Какая структура данных в Apache Spark обрабатывается медленнее

 DataFrame

 Dataset

 RDD

3.

Зачем нужен механизм Graceful Shutdown?

 предотвращает дублирование данных в потоковой передаче

 организует непрерывное выполнение задач Spark-конвейера

 реализует плавное завершение текущих задач Spark-приложения, предотвращая потерю данных из-за немедленной остановки контекста в случае сбоя или запланированного перерыва

 обеспечивает автоматический перезапуск Spark-заданий в случае сбоя

4.

Ускорить выполнение Spark SQL-запроса можно с помощью

 переменных связывания (bind variable)

 кэширования данных

 принудительного запуска Garbage Collector

 инструментов SQL-on-Hadoop, например, Apache Hive или Cloudera Impala

5.

Интегрировать приложение Apache Spark с внешними хранилищами данных для считывания из них нужной информации можно с помощью

 импорта и экспорта файлов и таблиц с данными

 коннекторов Spark SQL API

 обмена сообщениями

 напрямую через механизм SQL-запросов

6.

Spark Streaming реализует следующий подход к обработке данных

 распределенный

 процедурный

 микро-пакетный

 потоковый

7.

Какая структура данных Спарк подойдет для низкоуровневых преобразований неструктурированных данных на языке R или Python

 RDD

 Dataset

 DataFrame

8.

Повысить производительность Спарк-кластера можно с помощью увеличения

 количества исполнителей и процессорных ядер

 объема RAM

 числа операций перетасовки данных (shuffle)

 уровня параллелизма вычислений

9.

Спарк-приложения выполняют вычисления MapReduce

 на жестком диске

 в кэше

 с использованием внешнего хранилища состояний, например, сторонней СУБД или файловой системы

 в оперативной памяти

10.

В какой структуре данных Спарк нужно определять схему данных вручную

 RDD

 DataFrame

 Dataset

 Загрузка …

Разумеется, данный тест не претендует на звание профессионального экзамена или квалификационного испытания по Спарк. Однако, такое небольшое упражнение поможет начинающим стажерам и студентам, которые самостоятельно изучают этот Big Data фреймворк, пытаясь разобраться с огромным объемом новой информации, систематизировать ее и применить к решению практических задач.

А детально освоить все упоминаемые в тесте темы и другие вопросы администрирования кластеров и разработки Спарк-приложений для аналитики больших данных, вы сможете на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

• Core Spark – Основы Apache Spark для разработчиков
• Анализ данных с Apache Spark
• Потоковая обработка в Apache Spark
• Машинное обучение в Apache Spark
• Графовые алгоритмы в Apache Spark