Администрирование Apache Kafka в Kubernetes

3-хдневный практический курс по установке и настройке кластера Apache Kafka в Kubernetes.

Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
K8KA
13 сентября 2024
 72 000 руб. 24 ак.часов
Количество дней: 3		 Дистанционный
Регистрация

О продукте:

Apache Kafka: Основы и Преимущества

Apache Kafka — это мощная распределенная платформа для потоковой передачи данных, которая стала стандартом де-факто для построения масштабируемых систем обработки данных в реальном времени. Kafka позволяет надежно передавать и обрабатывать большие объемы данных, обеспечивая высокую производительность и гибкость. В начале курса участники познакомятся с архитектурой Kafka, основными компонентами (брокерами, топиками, продюсерами и консюмерами), а также ключевыми принципами работы с Kafka. Эти знания создадут прочную основу для последующего изучения развертывания и управления кластерами Kafka в Kubernetes.

 

Kubernetes и Managed Service for Kubernetes в Yandex Cloud

В рамках курса особое внимание уделяется использованию Kubernetes — системы оркестрации контейнеров с открытым исходным кодом, которая автоматизирует развертывание, управление и масштабирование контейнеризированных приложений. Участники познакомятся с основными концепциями Kubernetes, включая создание и управление кластерами, StatefulSets, Persistent Volumes и другие ключевые компоненты. В качестве платформы для развертывания кластера используется Managed Service for Kubernetes в Yandex Cloud, что упрощает управление инфраструктурой и обеспечивает высокую надежность и масштабируемость решений.

 

Strimzi: Оператор для Apache Kafka

Strimzi — это мощный инструмент, который позволяет легко развертывать и управлять кластерами Kafka в Kubernetes. В курсе будет детально рассмотрено использование Strimzi операторы для автоматизации развертывания Kafka, настройки брокеров, топиков и других компонент кластера. Участники научатся применять Strimzi для создания устойчивых к отказам и масштабируемых решений, интегрированных в экосистему Kubernetes.

 

Управление и мониторинг

Для управления кластерами Kafka будут использоваться такие инструменты, как RedPanda GUI консоль, предоставляющая удобный интерфейс для взаимодействия с Kafka, и Cruize Control, автоматизирующий балансировку нагрузки и поддержание стабильности системы. Мониторинг будет организован с помощью Prometheus и Grafana, что позволит собирать метрики, отслеживать производительность и визуализировать данные для своевременного выявления и устранения проблем.

 

Лабораторные работы

Практическая часть курса включает развертывание полноценного кластера Kafka в Kubernetes, настройку его работы и интеграцию с другими сервисами. Этот курс идеально подходит для DevOps-инженеров, системных администраторов и разработчиков, стремящихся овладеть современными технологиями управления Kafka в Kubernetes на платформе Yandex Cloud.

Аудитория:

Специалисты, желающие изучить методы администрирования и настройки кластера Apache Kafka на платформе Kubernetes (Yandex Cloud Managed Service for Kubernetes).

О курсе:

3х дневный курс «Администрирование кластера Apache Kafka в Kubernetes» предназначен для IT-специалистов, стремящихся углубить свои знания в управлении кластерами Apache Kafka и научиться развертывать и сопровождать Kafka в среде Kubernetes. В ходе курса участники научатся развертывать и администрировать кластеры Kafka с использованием современных инструментов и технологий.

Уровень подготовки:

    • Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
    • Опыт работы с Kubernetes

 

Соотношение теории к практике 40/60

Длительность: 24 ак. часов

 

Программа курса «Администрирование Apache Kafka в Kubernetes»

1. Введение в Apache Kafka

    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы
    • Архитектура Kafka
    • Кластер Zookeeper и KRaft протокол

2. Основные концепции Kafka

    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
    • Потребители данных (Consumers): Очереди Consumers.

3. Развертывание кластера Apache Kafka в Kubernetes

    • Обзор платформы Managed Service for Kubernetes
    • Предварительные требования и настройка окружения: Lens, Strimzi
    • Особенности решения с использованием Kubernetes: уровни абстракции, компоненты и архитектура решения, сравнение с Yandex Managed Service for Kafka и On—premises
    • Типовые сценарии, возможности и ограничения Kubernetes
    • Установка и настройка кластера Apache Kafka в Kubernetes
    • Настройка консолей управления и инструментов мониторинга кластера Kafka: Red Panda GUI, Prometheus, Grafana, Cruise Control

4. Обслуживание и сопровождение кластера Apache Kafka в K8s

    • Управление основными сущностями Kafka: Producers, Consumers, топики и пользователи
    • Использование Red Panda консоль GUI для управления
    • Мониторинг производительности кластера Kubernetes/Kafka c использованием Prometheus/Grafana: метрики и уведомления
    • Просмотр логов Kafka

5. Расширенная конфигурация кластера Apache Kafka в K8s

    • Настройка безопасности для кластера Apache Kafka
    • Сценарии отказоусточивости кластера Apache Kafka в K8s
    • Миграция данных с использованием MirrorMaker 2
    • Операции обслуживания и балансировка кластера Kafka c использованием Cruise Control
Скачать программу курса «Администрирование Apache Kafka в Kubernetes»

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Что Вы получите:

Окончив курс «Администрирование Apache Kafka в Kubernetes» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите удостоверение установленного образца, которое может засчитываться в качестве свидетельства о повышении квалификации.

Кто проводит курс

Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
  • Сертифицированный тренер Arenadata (2019)
  • Построение Data Lake и аналитика больших данных на решениях Arenadata, Cloudera, HortonWorks, EMC (Hadoop, Isilon), Pivotal, облачные решения, cистемы хранения данных уровня enterprise, информационная безопасность
  • EMC Certified Instructor (2007)
  • Dell EMC Specialist – Cloud Architect (2006)
  • Dell EMC XtremeIO, Isilon – Storage Aministrator, Data Science Specialist (2006)
  • IT Service Manager (2006)
  • Certified Information System Security Professional (CISSP) (2006 -2010)
  • Certified Information Security Manager (CISM)

Чтобы записаться на курс K8KA: Администрирование Apache Kafka в Kubernetes позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.
Поиск по сайту