Практический курс Основы Apache Kafka

Архитектура и принципы работы самой популярной платформы потоковой передачи событий. Узнайте, как использовать Apache Kafka для асинхронной интеграции приложений в реальном времени за 16 контактных часов с преподавателем и 1 дополнительный день самостоятельной работы на кластере
Код курса
BOKA
Ближайшие даты курса
4 апреля, 2024
27 июня, 2024
Длительность обучения
16 ак.часов
Стоимость обучения
36 000 руб.

Что такое Apache Kafka и где это используется

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Программа курса "BOKA: Основы Apache Kafka"

1. Введение в Kafka

  • Что такое Apache Kafka?
  • Сценарии использования Kafka
  • Компоненты Kafka и Kafka экосистемы
  • Архитектура Kafka

2. Основные концепции Kafka

  • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
  • Брокеры (Brokers):  Развертывание. Конфигурация Multibroker
  • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
  • Потребители данных (Consumers): Очереди Consumers.     

3. Установка кластера Apache Kafka

  • Требования по установке кластера Kafka
  • Установка и настройка кластера Zookeeper: Настройка  кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
  • Установка кластера Kafka без использования Zookeeper KIP-500
  • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
  • Установка кластера Kafka на Yandex Cloud
  • Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

  • Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
  • Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
  • Публикация данных с консольного Producer
  • Получение данных с консольного Consumer

5. Администрирование кластера  Apache Kafka

  • Утилиты командной строки для администрирования Kafka
  • Управление группами потребителей (Consumer Group).
  • Отказоустойчивость кластера Kafka
  • Балансировка разделов(partition) и использование Partition Reassignment Tools
  • Графические пользовательские интерфейсы GUI для работы с  Kafka

6. Мониторинг производительности кластера Apache Kafka

  • Оптимизация производительности компонент кластера
  • Масштабирование кластера
  • Best Practices Kafka/Confluent
  • Мониторинг кластера Kafka
  • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

 7. Интеграция с Apache Kafka

  • Интеграция Kafka с внешними системами
  • Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
  • Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

  • Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
  • Организация доступа к Kafka через REST Proxy
  • Schema Registry
  • Что такое Kafka Schema registry
  • Как работает Schema Registry

9. Основы Mirror Maker 2.0

  • Зеркалирование кластера Apache Kafka и сценарии использования
  • Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka  

  • Архитектура безопасности Apache Kafka
  • Аутентификация и авторизация для кластера Apache Kafka

Программа курса «BOKA: Основы Apache Kafka»

Скачать программу курса «BOKA: Основы Apache Kafka» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Кому нужно обучение по Основам Apache Kafka

Аудитория:

Администраторы кластера, дата-инженеры, архитекторы ИС, разработчики и аналитики данных, а также любые ИТ-специалисты, которые хотят освоить Apache Kafka

Цель курса:

  • понять основные принципы потоковой передачи событий и EDA-архитектуры
  • познакомиться с особенностями работы Apache Kafka
  • научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
  • освоить основы администрирования кластера и утилиты этой платформы

Предварительный уровень подготовки:

  • Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
  • Владение текстовыми редакторами vi, nano

Чему вы научитесь

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:

Установить и настроить кластер Apache Kafka

Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации

Администрировать кластер с помощью утилит командной строки

Выполнять мониторинг производительности кластера

Проводить базовые операции в Apache Kafka

Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени

Как проходят курсы

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных

Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере

Соотношение теории к практике: 60/40

Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом

По завершении обучения вы получите

Успешно окончив курс "Основы Apache Kafka " в нашем лицензированном учебном центре «Школа Больших Данных»вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

Кто проводит курс

Преподаватель Школы Больших Данных Комиссаренко Николай
Преподаватель Школы Больших Данных

Комиссаренко Николай

Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
  • Сертифицированный тренер Arenadata (2019)
  • Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
  • EMC Certified Instructor (2007)
  • Dell EMC Specialist – Cloud Architect (2006)
  • Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
  • IT Service Manager (2006)
  • Certified Information System Security Professional (CISSP) (2006 -2010)
  • Certified Information Security Manager (CISM)

География наших клиентов

  • Москва
  • Санкт-Петербург
  • Нижний Новгород
  • Екатеринбург
  • Казань
  • Краснодар
  • Красноярск
  • Перьм
  • Челябинск
  • Новосибирск
  • Томск
  • Тверь
  • Саратов
  • Самара
  • Ростов-на-Дону
  • Хабаровск
  • Волгоград
  • Калуга
  • Якутск
  • Севастополь
  • Тольяти
  • Владивоссток
  • Тюмень
  • Южно-Сахалинск
  • Уфа
  • Ставрополь
  • Минск
  • Алматы
  • Астана
  • Ташкент
  • Душанбе
  • Бешкек

Контакты авторизированного учебного центра
«Школа Больших Данных»

Адрес:

127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»

Телефон:

+7 (495) 414-11-21
+7 (995) 100-45-63

Часы работы:

Понедельник - Пятница: 09.00 – 18.00

Оставьте сообщение, и мы перезвоним вам
в течение рабочего дня
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Или напишите нам в соц.сетях

Поиск по сайту