Аудитория

2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для решения задач графовой обработки данных.

О курсе

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark Graphframe. На этом курсе вы изучите предоставляемые фреймворком Spark возможности графовой обработки данных, графовых алгоритмов, представления информации в графовом виде, а также парадигму Pregel.

В качестве прикладных примеров рассматриваются реальные бизнес-кейсы:

• формирование списка интересов потребителя для точной сегментации целевой аудитории;
• определение круга знакомых пропавшего человека;
• выявление подозрительных схем финансовых транзакций;
• рекомендательные и антифрод-системы;
• поиск мошеннических схем в страховании;
• оптимизация транспортных маршрутов.

Соотношение теории к практике 50/50

Предварительная подготовка

• Опыт работы в Unix/SQL;
• Знания в объеме, аналогичном курсу Core Spark
• Начальный опыт программирования (Python/Java);
• Начальный опыт в экосистеме Hadoop

Программа курса «Графовые алгоритмы в Apache Spark»

1. Введение в графовую модель

• Понятие графа, его реализация
• Графовые алгоритмы и задачи.

2. Графовая обработка в Apache Spark

• Текущий статус поддержки графовых вычислений в Spark
• Основная абстракция Graphframe и работа с ней
• Представление графа в Spark Graphframe
• Основные атрибуты и методы.

3. Графовые алгоритмы в Apache Spark

• Реализованные графовые алгоритмы
• Применение для решения практических задач

4. Pregel и его применение

• Парадигма Pregel и ее история
• Реализация в Spark
• Применение для решения практических задач