Курс Apache Kafka: администрирование кластера
3х дневный практический курс администрирования Apache Kafka создан для администраторов, дата-инженеров и специалистов, которые стремятся научиться строить высоконагруженные, отказоустойчивые конвейеры потоковых данных (data pipelines), обрабатывать миллионы сообщений в секунду и управлять сложными распределенными системами.
Современный мир Big Data требует мгновенной реакции на события. Забудьте об ограничениях пакетной обработки и медленных ETL-процессах. После обучения на курсе Apache Kafka вы сможете создавать системы, которые анализируют данные в режиме реального времени, обеспечивая бизнес актуальной информацией для принятия критически важных решений. Наш программа проведет вас от фундаментальных концепций архитектуры Kafka, Zookeeper или KRaft режима до продвинутых техник администрирования, настройки безопасности с Kerberos и оптимизации производительности кластера. Мы предлагаем не сухую теорию, а максимум практики на реальных кластерах Kafka в облаке.
Кому нужен Курс Apache Kafka: администрирование кластера
Админы и DevOps
Вы получите все необходимые навыки для развертывания, мониторинга и эксплуатации продуктивного кластера Kafka. Курс охватывает темы от установки и базовой настройки до вопросов безопасности, резервного копирования, восстановления и оптимизации производительности.
Дата инженеры
Вы сможете проектировать и поддерживать эффективные и масштабируемые конвейеры данных. Вы глубоко разберетесь в архитектуре Kafka, научитесь настраивать топики, партиции и репликацию для обеспечения гарантированной доставки сообщений и отказоустойчивости всей системы.
Дата архитекторы
Вы получите полное представление о роли Kafka в современной архитектуре данных. Научитесь проектировать решения, где Kafka выступает как центральная шина данных для сбора и распределения данных между различными компонентами: от кликстрим источников и баз данных до систем аналитики и ML.
Минимальные требования
Уверенное знание команд Linux (опыт работы с командной строкой, файловой системой, POSIX, systemd, текстовыми редакторами). Базовые знания настройки компонент безопасности (Kerberos, PKI, LDAP). Попробуйте пройти наше бесплатное тестирование по Linux для определения степени готовности к курсу!
Программа курса Apache Kafka администрирование
Наш курс Apache Kafka построен на балансе теории и практики (50/50). Вся практическая работа выполняется на индивидуальных лабораторных стендах в облаке доступных в течении 2 недель с момента начала курса. Вам будет достаточно времени, чтобы после курса, просмотреть дополнительные видео модули и сделать дополнительные лабораторные работы, которые мы для Вас приготовили.
Программа обучения Apache Kafka предназначена в большей степени для администраторов и инженеров данных в обязанности которых входит выполнение задач настройки и обслуживания инфраструктуры потоковой обработки данных Data Flow. Для дата аналитиков, разработчиков и дата инженеров для которых необходимо программировать приложения распределенной обработки потоковых данных присмотритесь ко второму нашему курсу по Apache Kafka с уклоном в разработку DEVKI: Apache Kafka для инженеров данных.
В любом случае если у Вас появились вопросы звоните нам на тел. +7 (495) 414-11-21 или заполните регистрационную формы и мы с радостью ответим Вам на все ваши вопросы.
- Что такое Apache Kafka
- Сценарии использования Kafka
- Компоненты Kafka и Kafka экосистемы
- Архитектура Kafka 4
- Эволюция Kafka: от Zookeeper к KRaft
- Новая архитектура без Zookeeper (KIP-500, KIP-866)
- Что нового в Apache Kafka 4.0: ключевые функции, изменения и совместимость
- Кластер Zookeeper (опционально)
Лабораторная работа 1: Установка single-node кластера Apache Kafka.
Программа курса «KAFKA: Администрирование кластера Kafka»
Отправить ссылку на:
Как проходит обучение: Интенсив в 3 дня
Формат и расписание
Интенсивное 3х дневное обучение онлайн, с 10:00 до 18:00 (МСК), с двумя перерывами и 1 час обед. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.
Индивидуальный кластер Kafka
50% курса — практика. Доступ к персональному 3х узловому кластеру Kafka. Сквозной практикум от установки кластера до настройки Kerberos и репликации Mirror Maker на другой датацентр. Бонусные лабы!!!
Вспомнить все
Все видеозаписи лекций, презентации и дополнительные бонусные материалы доступны во время и после курса в системе дистанционного обучения или чате группы.
Онлайн поддержка
Чат группы обучения остается активным и после завершения курса для обеспечения поддержки как по теме курса так и по вопросам трудоустройства. Вы можете задать вопрос даже через год после обучения и найти поддержку от ваших одногруппников, преподавателей и менеджеров
Чему вы научитесь после курса Apache Kafka
По завершении нашего курса KAFKA: Apache Kafka администрирование вы сможете уверенно решать реальные рабочие задачи. Вот ключевые навыки, которыми вы овладеете:
- Разворачивать и настраивать высокодоступные кластеры Apache Kafka с нуля, как с использованием Zookeeper, так и в современном KRaft-режиме.
- Администрировать кластер на профессиональном уровне: управлять брокерами, топиками, партициями и потребителями через CLI и UI-инструменты.
- Обеспечивать безопасность кластера с помощью SSL/TLS для шифрования, SASL, Kerberos, OAUTH для аутентификации, а также настраивать детальные права доступа через ACL.
- Оптимизировать производительность и масштабировать кластер под высокие нагрузки, правильно подбирать конфигурации и выполнять балансировку партиций.
- Настраивать мониторинг с помощью популярных инструментов, таких как Prometheus и Grafana, для проактивного отслеживания состояния кластера и предотвращения сбоев.
- Проектировать отказоустойчивые решения, настраивать репликацию данных и репликацию между дата-центрами с помощью MirrorMaker 2.
- Планировать и проводить миграцию со старых версий Kafka на новые, включая переход на архитектуру без Zookeeper.
- Интегрировать Kafka с другими системами экосистемы Big Data, такими как Apache NiFi, Hadoop, ClickHouse, Greenplum для построения комплексных конвейеров данных.
Кто проводит курс
Профессиональные компетенции:
- Сертифицированный тренер Arenadata.
- Эксперт по построению Data Lake и аналитике больших данных на решениях Arenadata, Cloudera и в облачных средах.
- Обладает престижными международными сертификациями, включая CISSP и CISM, а также является сертифицированным архитектором облачных решений Dell EMC.
- Сертифицированный разработчик Spark и Hadoop (CCA Cloudera)
- Сертифицированный разработчик (Cloudera Certified Professional Data Engineer)
- Построение корпоративных хранилищ и озер данных (Cloudera CDH, Arenadata Hadoop, Arenadata DB)
- Организация ETL-конвейеров (Airflow, Spark, Flink, Trino)
- Обработка потоковых данных (Kafka, Kafka Streams, Flink)
- Поддержка и развитие инфраструктуры больших данных
Часто задаваемые вопросы (FAQ)
Коротко:
- мы не продаем видео курсы, а предпочитаем работать напрямую с клиентами во время лекций и лабораторных практикумов
- мы читаем курсы по Kafka c 2018 года, в расписании у нас 2 отдельных курса по Apache Kafka: курс по администрированию, настройке и эксплуатации Apache Kafka и курс Apache Kafka для разработчиков и инженеров данных. Мы не смешиваем -несмешиваемое!
- В нашем специализированном центре проводятся курсы, которые дополняют наши курсы по Kafka в вопросах разработки потоковых приложений, проектирования и интеграци потоков и хранилищ данных (ClickHouse, Spark, Flink, Hadoop, Greenplum, Nifi, Airflow, ML). Все курсы читаются практикующими экспертами.
- Мы не массовый продукт!
Отзывы наших клиентов о курсе
Отправьте заявку на обучение
Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам? Оставьте номер телефона или email и мы оперативно проконсультируем вас в течение дня