Освойте ClickHouse — самую быструю колоночную СУБД для онлайн-аналитики и обработки больших данных (big data). Наш интенсивный 5 дневный курс ClickHouse разработан для аналитиков данных и инженеров данных, которые хотят научиться строить высоконагруженные корпоративные хранилища (DWH), обрабатывать миллиарды строк за секунды и принимать решения на основе анализа данных в режиме реального времени.
Забудьте о медленных запросах и ограничениях традиционных баз данных. С ClickHouse вы сможете решать самые амбициозные реальные задачи по аналитике, а наш курс даст вам все необходимые для этого знания, навыки и best practices. Мы проведем вас от базовых концепций и синтаксиса SQL до сложной оптимизации запросов, проектирования и построения отказоустойчивых кластеров.
Вы устали ждать, пока выполняются ваши SQL-запросы в PostgreSQL или MySQL? На курсе вы научитесь получать результаты анализа многомиллиардных наборов данных мгновенно, строить сложные отчеты и освоите инструменты для визуализации данных, такие как Datalens, SuperSet и Grafana.
Дата-инженер
Вы сможете проектировать и поддерживать эффективные ETL-pipeline и конвейеры данных. Вы глубоко разберетесь в архитектуре ClickHouse, научитесь настраивать шардирование и репликацию, обеспечивать отказоустойчивость и интегрировать ClickHouse с Kafka и PostgreSQL.
Архитектор ClickHouse
Вы научитесь проектировать и строить OLAP хранилища на ClickHouse, способные выдерживать колоссальные нагрузки и обрабатывать миллионы запросов в день. Вы поймете, как правильно выбирать движки таблиц, настраивать индексы и оптимизировать структуру DWH под конкретные бизнес-задачи.
Администратор кластера
Вы получите все необходимые навыки для развертывания, мониторинга и эксплуатации кластера ClickHouse. Курс охватывает темы резервного копирования и восстановления, управление пользователями и безопасностью, а также настройку алертинга через Prometheus и Grafana.
Программа курса Построение DWH на ClickHouse
Наше обучение по ClickHouse построено таким образом, чтобы дать вам системные знания и максимум практического опыта. Соотношение теории и практики — 50/50.
Курс будет интересен как аналитикам данных и дата инженерам, так и архитекторам данных и разработчикам, принимающим участие в проектировании DWH.
Программа обучения по ClickHouse включает в себя сквозные примеры по развертывания кластера ClickHouse в облаке, проектирование объектов баз данных и таблиц, представлений и индексов на основании бизнес потребностей ваших клиентов по аналитике больших данных. Для полной картины мы также включили практические лабораторные работы и модули по настройке и обслуживании распределенного кластера ClickHouse, с проверкой режимов отказоусточивости и восстановления, репликации и мониторинга. Модуль оптимизации позволит разобраться в деталях профилирования и тонкой настройке хранилища OLAP для достижения оптимальной производительности ваших запросов. Для инженеров и аналитиков мы предусмотрели широкий спект лабораторных работ по интеграции ClickHouse c наиболее популярными системами: Greenplum, Iceberg, S3, Kafka и RabbitMQ.
* Программа курса на сайте, носит информационный характер, может незначительно отличаться от фактической и меняться без предварительного уведомления.
Назначение и архитектура ClickHouse
Логическая структура базы данных
Преимущества и ограничения колоночных СУБД
Сценарии использования и развертывания кластера (облако, on-premises, Docker)
Лабораторная работа: Создание кластера ClickHouse, настройка подключений и написание первых запросов к системным таблицам.
Движки баз данных и таблиц (семейство MergeTree, Log, Memory, Buffer)
Констрейнты, индексы и проекции для ускорения запросов
Простые и материализованные представления
Внешние и внутренние словари
Лабораторная работа: Проектирование и создание баз данных, таблиц, индексов и представлений в ClickHouse.
Специфические типы данных (включая вложенные структуры)
Команды DDL и DML
Эффективное написание SQL-запросов и best practices
Пользовательские функции (UDF)
Лабораторная работа: Пишем быстрые SQL-запросы и учимся их оптимизировать.
Профилирование запросов с помощью EXPLAIN и system.query_log
Партиционирование и кластеризация данных
Стратегии предварительной агрегации и кэширования
Лабораторная работа: Находим и ускоряем «тяжёлые» запросы, проводим профилирование и оптимизацию.
Шардирование и репликация данных для масштабирования и надежности
Настройка отказоустойчивого кластера
Балансировка нагрузки при обработке запросов
Лабораторная работа: Настраиваем собственный отказоустойчивый кластер.
Работа с JSON, массивами и геоданными
Потоковая обработка больших данных с помощью ClickPipes
Интеграция с Kafka, PostgreSQL
Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase
Лабораторная работа: Создаём конвейер потоковой обработки данных на ClickHouse с Kafka/RabbitMQ.
Материалы данного модуля предоставляются в формате видеоматериалов, с комплектом лабораторных работ, которые вы можете выполнить дополнительно, в свободное время, и при необходимости задать вопросы преподавателю.
Управление пользователями, ролями и доступами
Методы аутентификации
Настройка Named Collections для упрощения защиты интеграции с внешними источниками
Для администраторв кластера ClickHouse и дата инженеров которые выполняют задачи обслуживания и администрирования кластеров ClickHouse мы записали дополнительные модули которые могут быть полезны.
После просмотра видеоуроков, вы сможете задать вопросы преподавателю и выполнить дополнительные лабораторные работы для закрепления материала на практике.
3 часа дополнительных лекций по продвинутым темам администрирования и обслуживания.
5 часов дополнительных лабораторных работ для оттачивания навыков сопровождения кластера ClickHouse.
Программа курса «CLICH: Построение DWH на ClickHouse»
Скачать программу курса «CLICH_Построение DWH на ClickHouse» в формате pdf
Укажите e-mail, на который будет оправлена ссылка для скачивания файла:
Как проходит обучение: максимум практики и гибкости
Формат и расписание
Обучение проходит онлайн 5 дней, с 14:00 до 18:00 (МСК), с двумя короткими перерывами. Живые лекции и практические занятия на платформе для видеоконференций с записью трансляций. Доступ к лабораторным стендам 24 часа (круглосуточно) в течении 2 недель с даты начала обучения.
Практика на реальном кластере
50% курса — практика. Доступ к выделенному кластеру ClickHouse в Yandex Cloud в многопользовательском окружении имитирует реальную работу. Сквозной лабораторный практикум по всему жизненному циклу данных: от сбора данных с кластеров Kafka, RabbitMQ, Greenplum, S3 до визуализации в Datalens, Grafana или Superset.
Доступ ко всем материалам
Все видеозаписи лекций, презентации и методические материалы доступны во время и после курса в системе дистанционного обучения и чате группы.
Поддержка и сообщество
Чат группы обучения для общения с преподавателями и одногруппниками. Чат остается активным и после завершения курса для обеспечения поддержки как по теме курса так и по вопросам трудоустройства.
Руководитель группы по обработке и визуализации данных в Мастер Деливери
Организация ETL-процессов
Мониторинг и поддержка хранилищ данных (Clickhouse/Vertica/Greenplum)
Разработка на Python, Scala, SQL
Комиссаренко Николай
Томский Политехнический Институт (Томск, 1994)
Профессиональные компетенции:
Сертифицированный тренер Arenadata.
Эксперт по построению Data Lake и аналитике больших данных на решениях Arenadata, Cloudera и в облачных средах.
Обладает престижными международными сертификациями, включая CISSP и CISM, а также является сертифицированным архитектором облачных решений Dell EMC.
Часто задаваемые вопросы (FAQ)
Вместо абстрактного «проекта для портфолио» вы решаете осязаемый бизнес-кейс. Например, строите систему анализа поведения пользователей сайта.
Вы настроите прием кликстрим-данных из Яндекс.Метрики или логов веб-сервера в Apache Kafka
спроектируете в ClickHouse структуру таблиц для их эффективного хранения
создадите дашборд в Grafana или Superset, который в реальном времени будет показывать метрики пользовательской активности.
Этот проект продемонстрирует ваши навыки на всех этапах работы с данными.
Мы подходим к этому вопросу максимально честно и этично. «Школа Больших Данных» в основном работает с корпоративными клиентами, поэтому прямая помощь в трудоустройстве сотрудников наших заказчиков создала бы конфликт интересов.
Однако лучшая помощь в карьере — это знания и навыки, которые вы получаете. Наш курс дает именно это:
Для частных лиц мы предоставляем рекомендации по поиску работы и дальнейшему профессиональному развитию, а также можем помочь с подготовкой резюме или подготовиться к собеседованию (после окончания курса).
Главная ценность для всех слушателей — это глубокое изучение востребованной технологии, тщательное выполнение лабораторных работ и подготовка к профессиональной вендорской сертификации, которая является весомым аргументом для любого работодателя.
На рынке образовательных услуг существуют различия в предоставлении онлайн обучения:
Мы любим интерактивные курсы с живым преподавателем в режиме онлайн, которому вы можете задать сразу же ваши вопросы и получить ответ.
Мы не любим «говорящие головы» (видео записи) в которых преподаватель доступен только в виде отдельных коротких лимитированных сессий.
Формат видео мы приветствуем только для архивных курсов которые мы перестали читать или для выдачи дополнительных факультативных материалов лекций и практик которые из-за недостатка времени или объема материала не можем представить во время курса и с радостью готовы предложить вам для самостоятельного обучения
Мы делаем акцент на трёх вещах: максимум практики на реальной инфраструктуре (выделенныйоблачный кластер), преподаватели-практики из ведущих компаний и поддержка студентов в комьюнити даже после окончания курса.
Каждый курс уникален по своей программе и рассчитан на специалистов, уже имеющих базовый опыт работы с Linux, SQL или Python.
Прочитайте внимательно базовые требования которые находятся в программе выбранного вами курса ( если можно встроить линк с переменной для скачивания программы по странице где он назодится будет круто) или уточните у менеджера (LINK).
Если вы владеете SQL и работали с командной строкой Linux, наш курс clickhouse для начинающих в этой технологии подойдет идеально. Мы начнем с основ, но быстро перейдем к сложным темам.
Для уверенности попробуйте пройти предварительное тестирование перед курсом на знание ( SQL, Linux, Docker, Python).
Если вы начинающий то на нашем сайте (линк на бесплатные курсы) мы также предлагаем бесплатные курсы %coursename оформленые в виде серии статей с практическими занятиями или видео курсы по технологиям ( Python) в открытом доступе.
PostgreSQL — это транзакционная (OLTP) СУБД, отличная для операций чтения и записи отдельных строк.
ClickHouse — это аналитическая (OLAP) колоночная СУБД, созданная для невероятно быстрой обработки запросов, сканирующих миллионы и миллиарды строк для агрегации данных. Для аналитики данных ClickHouse в разы быстрее и дешевле в эксплуатации.
Нет, установка самого ClickHouse не требуется. Все практические работы выполняются на вашем выделенном кластере, доступ к которому мы предоставляем через браузер и консоль.
Но при желании мы также предоставляем инструкции и демо как самому поднять (установить ) кластер ClickHouse на своем облачном аккаунте абсолютно бесплатно или установить его в Docker или локально даже на ноутбуке.
Для доступа к кластеру через консоль CLI или при использовании графических веб консолей требуется минимальная установка необходимых компонент ( в зависимости от вашей операционной системы) под руководством преподавателя. Все инструкции вы получите перед курсом.
По окончании курса и успешной сдачи итогового теста вы получите удостоверение о повышении квалификации установленного образца от нашего учебного центра. Это подтвердит ваши знания и станет отличным дополнением к резюме. Данный курс также является фундаментом для подготовки к официальной вендор ClickHouse сертификации.
Отзывы наших клиентов о курсе
Андрей Казаков X5
О курсе CLICH: Построение DWH на ClickHouse
Курс очень содержательный, много практических занятий. Преподаватель старалась развернуто и подробно ответить на каждый вопрос. Много практических реальных кейсов. Было раскрыто много нюансов и тонкостей настройки и методов хранения данных.
Наталья Белькова РТК-ИТ
О курсе CLICH: Построение DWH на ClickHouse
Мне понравился как вводный курс, поскольку опыта работы в clickhouse нет, то оценить с другой позиции не могу. Лектор предоставил полезные ссылки, где можно более глубоко изучить тему, если будет необходимость. Понравилось, что лектор отвечал на все вопросы, разъяснял, если что-то было непонятно с первого раза. Мне не хватило примеров на реально больших данных, чтобы увидеть вживую преимущества инструмента по сравнению с другими. В целом все хорошо.
Яна
О курсе CLICH: Построение DWH на ClickHouse
спасибо большое)))) но, я все то что мне было необходимо для работы с кафкой в качестве системного аналитика- забрала)))) у меня не получилось поднять кафку на стороннем сервере, но я смогла поднять её на локальной машине))) правда по протоколу kraft. популяла сообщения из командной строки и написала маленький продюсер и консьюмер на питоне))) вообще очень мощная теория, очень мощный курс)))) я осталась довольна! буквально на каждом из занятий я ловила инсайты!!! особенно!!! работа кафки в оперативной памяти, я даже подумать не могла, что дисковая память будет её подтормаживать. просто шок в шоке. а ещё, я наконец то осмелился, пришла к разработчикам и продвинула идею, что перегруженные партиции надо выносить в отдельные топики, что бы не было перекоса данных, раньше меня бы просто послали и даже не слушали бы, но!!! я смогла отстоять свою точку зрения и добилась переноса bi партиций в отдельные топики)))) Спасибо огромное за шикарный курс!!!
Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам?
Оставьте номер телефона или email и мы оперативно проконсультируем вас в течение дня
Оставьте сообщение, и мы перезвоним вам в течение рабочего дня
Мы используем файлы cookie
Это поможет Вам эффективно использовать Сайт, а нам поддерживать корректное функционирование его сервисов. Подтвердите свое согласие на обработку cookie, приняв условия, согласно политике использования файлов cookie или покиньте сайт
