Основы Apache Kafka

Архитектура и принципы работы самой популярной платформы потоковой передачи событий. Узнайте, как использовать Apache Kafka для асинхронной интеграции приложений в реальном времени за 16 контактных часов с преподавателем и 1 дополнительный день самостоятельной работы на кластере

Код курса	Даты начала курса	Стоимость обучения	Длительность обучения	Формат обучения
BOKA	по запросу	36 000 руб.	16 ак.часов	Дистанционный

О продукте:

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Аудитория:

Администраторы кластера;
Дата-инженеры;
Архитекторы ИС;
Разработчики и аналитики данных;
Любые ИТ-специалисты, которые хотят освоить Apache Kafka.

Уровень подготовки:

Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
Владение текстовыми редакторами vi, nano

О курсе:

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных

Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере

Соотношение теории к практике: 60/40

Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом

Цель курса:

понять основные принципы потоковой передачи событий и EDA-архитектуры
познакомиться с особенностями работы Apache Kafka
научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
освоить основы администрирования кластера и утилиты этой платформы

Программа курса «BOKA: Основы Apache Kafka»

1. Введение в Kafka

- Что такое Apache Kafka?
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka

2. Основные концепции Kafka

- Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
- Брокеры (Brokers): Развертывание. Конфигурация Multibroker
- Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
- Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

- Требования по установке кластера Kafka
- Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
- Установка кластера Kafka без использования Zookeeper KIP-500
- Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
- Установка кластера Kafka на Yandex Cloud
- Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

- Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
- Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
- Публикация данных с консольного Producer
- Получение данных с консольного Consumer

5. Администрирование кластера Apache Kafka

- Утилиты командной строки для администрирования Kafka
- Управление группами потребителей (Consumer Group).
- Отказоустойчивость кластера Kafka
- Балансировка разделов(partition) и использование Partition Reassignment Tools
- Графические пользовательские интерфейсы GUI для работы с Kafka

6. Мониторинг производительности кластера Apache Kafka

- Оптимизация производительности компонент кластера
- Масштабирование кластера
- Best Practices Kafka/Confluent
- Мониторинг кластера Kafka
- Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

7. Интеграция с Apache Kafka

- Интеграция Kafka с внешними системами
- Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
- Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

- Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
- Организация доступа к Kafka через REST Proxy
- Schema Registry
- Что такое Kafka Schema registry
- Как работает Schema Registry

9. Основы Mirror Maker 2.0

- Зеркалирование кластера Apache Kafka и сценарии использования
- Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka

- Архитектура безопасности Apache Kafka
- Аутентификация и авторизация для кластера Apache Kafka

Скачать программу курса «BOKA: Основы Apache Kafka» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Чему вы научитесь:

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:

Установить и настроить кластер Apache Kafka
Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации
Администрировать кластер с помощью утилит командной строки
Выполнять мониторинг производительности кластера
Проводить базовые операции в Apache Kafka
Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени

Что Вы получите:

Успешно окончив курс «Основы Apache Kafka» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Комиссаренко Николай

Томский Политехнический Институт (Томск, 1994)

Профессиональные компетенции:

Сертифицированный тренер Arenadata (2019)
Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
EMC Certified Instructor (2007)
Dell EMC Specialist – Cloud Architect (2006)
Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
IT Service Manager (2006)
Certified Information System Security Professional (CISSP) (2006 -2010)
Certified Information Security Manager (CISM)

Чтобы записаться на курс BOKA: Основы Apache Kafka позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.