2-хдневный практический курс по Администрированию кластера Apache NiFi для специалистов, отвечающих за администрирование, настройку и сопровождение потоковой обработки информации в озеро данных (Data Lake) на базе кластера NiFi.

Что такое Apache NiFi и где это используется

Apache NiFi — это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в другие системы. Также NiFi обеспечивает балансировку нагрузки и предоставляет GUI для проектирования потоков данных.

На практике Apache NiFi широко используется в следующих задачах:

• распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из него в сторонние системы, включая облачные платформы и базы данных;
• ETL-интегратор технологических данных со smart-устройств при организации IoT/IIoT-систем;
• средство реализации концепции «данные как сервис» (Data as a Service), которое собирает REST-подобные запросы, отправляя их в инструмент моделирования в поточном и в пакетном режимах;
• маршрутизатор больших файлов и аутентификационных потоков, который взаимодействует с внешними хранилищами данных и инструментами моделирования с помощью SQL-запросов;
• шлюз данных и транзакционный маршрутизатор для получения бизнес-метрик в режиме реального времени с последующей обработкой с помощью Apache Spark и других инструментов аналитики Big Data и машинного обучения.

Для кого предназначен курс Apache NiFi

Наши курсы обучения по NiFi ориентированы на системных администраторов, инженеров данных (Data Engineer), архитекторов и разработчиков Big Data систем, а также специалистов по администрированию и сопровождению потоков данных с использованием Apache NiFi.

Если вы хотите получить следующие знания и навыки:

• понять, что такое Apache NiFi;
• уяснить отличия NiFi и MiniFi;
• освоить принципы потоковой обработки данных в экосистеме Hadoop;
• научиться устанавливать, настраивать и поддерживать кластер NiFi;
• освоить методы администрирования кластера NiFi;
• настраивать мониторинг и оптимизацию потоков данных в кластере NiFi;
• интегрировать Apache NiFi с другими Big Data фреймворками (Kafka, Hadoop, MiniFi) и внешними системами,

все это и многое другое вы узнаете на практических примерах в рамках нашего курса по администрированию Apache NiFi.

Предварительный уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
• Начальный опыт работы с Hadoop

Как устроены практические курсы по администрированию кластера NiFi

Продолжительность: 2 дня, 16 академических часов.

Соотношение теории к практике 50/50

2-хдневный  курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных.  Курс содержит расширенные сведения по установке распределенного кластера Apache NiFi, администрированию и интеграции этой платформы с другими технологиями Big Data в соответствии с лучшими практиками (best practices).

Вы изучите необходимый теоретический минимум, чтобы понять основные концепции этой платформы маршрутизации, преобразования и доставки данных из множества сторонних систем и узнаете некоторые особенности управления кластером НайФай. Преподаватель курса администрирования Apache NiFi подробно объяснит все тонкости установки, конфигурирования, мониторинга и прикладного использования этой Big Data системы, чтобы вы могли самостоятельно работать с ней в реальности.
На практике вы развернете собственный кластер Apache NiFi, настроив его конфигурацию, создадите свои сценарии и схемы потоковой обработки информации, реализовав собственный конвейер данных (data pipeline). 

Программа курса Администрирование кластера Apache NiFi

1. Введение в Apache NiFi
   • Архитектура Hadoop Data Flow
   • Архитектура решения и ключевые концепции Apache NiFi :
     • Принципы потоковой обработки данных
     • FlowFile
     • processor
     • connector
     • FlowFile Repository
     • Content Repository
     • Provenance Repository
   • Data Lineage и Data Provenance (Data Provenance Events)
   • Функционал NiFi по управлению потоковой обработкой данных:
     • гарантированная доставка
     • управление каналом (буферизация, pressure)
     • QoS
     • версионность
2. Администрирование NiFi
   • Установка и настройка кластера Apache NiFi
   • Управление кластером NiFi
   • Создание NiFi DataFlow
   • Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
   • Процессорные группы (Remote Processor Group)
   • Использование NiFi шаблонов
   • Оптимизация DataFlow
   • Инструменты мониторинга и уведомлений NiFi
   • Apache NiFi Registry версионность и поддержка production deployment
3. Интеграция и масштабирование
   • Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
   • Доступные расширения и готовые «из коробки» процессоры и коннекторы
   • Возможности интеграции кластера NiFi (consumer/provider) с Kafka
   • Apache Nifi vs MiniFi
   • Интеграция Apache Kafka, NiFi, MiNiFi
   • Типовые сценарии/схемы потоковой обработки данных