Основы Apache Kafka

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
BOKA
27 июня 2024
05 ноября 2024
36 000 руб. 16 ак.часов Дистанционный

Архитектура и принципы работы самой популярной платформы потоковой передачи событий. Узнайте, как использовать Apache Kafka для асинхронной интеграции приложений в реальном времени за 16 контактных часов с преподавателем и 1 дополнительный день самостоятельной работы на кластере

О продукте:

Apache Kafka – это распределенная отказоустойчивая платформа потоковой передачи событий. Этот фреймворк с открытым исходным кодом активно используется в качестве middlware-слоя для асинхронной интеграции корпоративных приложений и построения микросервисной EDA-архитектуры.

Благодаря своим архитектурным особенностям Kafka имеет высокую пропускную способность и обеспечивает долговременное хранение сообщений с гарантией строго однократной доставки. Kafka — это не только брокер сообщений, а целая экосистема, которая включает широкий набор инструментов для решения различных задач: KSQL, Kafka Streams, Kafka Connect с source- и sink-коннекторами к разным хранилищам. Поэтому с помощью Kafka можно организовать интерактивный сбор, агрегации и аналитику данных в крупных масштабах.

На практике Apache Kafka активно используется в системах интернета вещей (IoT/IIoT), а также в различных бизнес-приложениях, где нужно собирать, агрегировать и обрабатывать данные в режиме онлайн из множества различных источников: транзакционные и аналитические СУБД, файловые хранилища, системы веб-аналитики и пр.

Аудитория:

  • Администраторы кластера;
  • Дата-инженеры;
  • Архитекторы ИС;
  • Разработчики и аналитики данных;
  • Любые ИТ-специалисты, которые хотят освоить Apache Kafka.

Уровень подготовки:

  • Уверенное знание базовых команд Linux: опыт работы с командной строкой, файловой системой, POSIX
  • Владение текстовыми редакторами vi, nano

О курсе:

Офлайн-обучение или онлайн-курс проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель — рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются реальные бизнес-кейсы и лучшие практики разработки высоконагруженных приложений для анализа больших данных

Продолжительность курса: 16 ак.часов контактных занятий с преподавателем + дополнительные 8 часов самостоятельной работы на кластере

Соотношение теории к практике: 60/40

Инструментальные средства: для практических занятий используются бесплатные среды для разработки и решения с открытым исходным кодом

Цель курса:

  • понять основные принципы потоковой передачи событий и EDA-архитектуры
  • познакомиться с особенностями работы Apache Kafka
  • научиться использовать работы Apache Kafka для решения задач обработки потоковых данных и интеграции приложений в реальном времени
  • освоить основы администрирования кластера и утилиты этой платформы

Программа курса «BOKA: Основы Apache Kafka»

1. Введение в Kafka

    • Что такое Apache Kafka?
    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы
    • Архитектура Kafka

2. Основные концепции Kafka

    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
    • Потребители данных (Consumers): Очереди Consumers.

3. Установка кластера Apache Kafka

    • Требования по установке кластера Kafka
    • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
    • Установка кластера Kafka без использования Zookeeper KIP-500
    • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
    • Установка кластера Kafka на Yandex Cloud
    • Использование и настройка Yandex Managed service для Apache Kafka

4. Базовые операции в Apache Kafka

    • Операции с Топиками (Topic): Изменение конфигурации топиков, масштабирование топиков
    • Сегменты и индексы. Политика очистки логов (Log Cleanup Policy). Сжатие и консолидация данных в логах
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer

5. Администрирование кластера Apache Kafka

    • Утилиты командной строки для администрирования Kafka
    • Управление группами потребителей (Consumer Group).
    • Отказоустойчивость кластера Kafka
    • Балансировка разделов(partition) и использование Partition Reassignment Tools
    • Графические пользовательские интерфейсы GUI для работы с Kafka

6. Мониторинг производительности кластера Apache Kafka

    • Оптимизация производительности компонент кластера
    • Масштабирование кластера
    • Best Practices Kafka/Confluent
    • Мониторинг кластера Kafka
    • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana

 7. Интеграция с Apache Kafka

    • Интеграция Kafka с внешними системами
    • Утилита Kafka Connect: Архитектура Kafka Connect. Примеры настройки коннекторов
    • Сценарии интеграции с Apache Kafka

8. Расширенная конфигурация кластера Kafka

    • Kafka REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и AVRO-файлы
    • Организация доступа к Kafka через REST Proxy
    • Schema Registry
    • Что такое Kafka Schema registry
    • Как работает Schema Registry

9. Основы Mirror Maker 2.0

    • Зеркалирование кластера Apache Kafka и сценарии использования
    • Утилита Mirror Maker 2.0

10. Основы безопасности кластера Apache Kafka

    • Архитектура безопасности Apache Kafka
    • Аутентификация и авторизация для кластера Apache Kafka
Скачать программу курса «BOKA: Основы Apache Kafka» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Чему вы научитесь:

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Apache Kafka, и сможете:

  • Установить и настроить кластер Apache Kafka
  • Обеспечить безопасность и высокую доступность кластера, в т.ч. с помощью зеркальной репликации
  • Администрировать кластер с помощью утилит командной строки
  • Выполнять мониторинг производительности кластера
  • Проводить базовые операции в Apache Kafka
  • Реализовать асинхронную интеграцию приложений, публикуя и получая данные в реальном времени

Что Вы получите:

Успешно окончив курс «Основы Apache Kafka» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите сертификат установленного образца, который может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
  • Сертифицированный тренер Arenadata (2019)
  • Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
  • EMC Certified Instructor (2007)
  • Dell EMC Specialist – Cloud Architect (2006)
  • Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
  • IT Service Manager (2006)
  • Certified Information System Security Professional (CISSP) (2006 -2010)
  • Certified Information Security Manager (CISM)

Чтобы записаться на курс BOKA: Основы Apache Kafka позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту