Построение DWH на ClickHouse

О продукте

ClickHouse – это популярная колоночная аналитическая СУБД, которая позволяет обрабатывать гигабайты данных в реальном времени. В отличие от строковых баз данных, например, mysql или postgresql, где информация данные хранятся на диске по одной строке за раз, что отлично подходит для транзакционных рабочих нагрузок, т.е. OLTP-приложений, в ClickHouse данные хранятся на диске по одному столбцу за раз. Каждый фрагмент данных представляет собой целый столбец. Поэтому все значения одного атрибута сущности сгруппированы вместе. Подобный принцип хранения данных сокращает время выполнения аналитических запросов в OLAP-приложениях, где соединяются данные по очень большому количеству записей.

ClickHouse имеет массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов. Такая архитектура отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут.

ClickHouse не поддерживает ACID-требования к транзакциям и ANSI SQL. Но эта СУБД предоставляет декларативный SQL-подобный язык запросов, включая такие операторы, как GROUP BY, ORDER BY, подзапросы в разделах FROM, IN, JOIN, оконные функции и скалярные подзапросы. Зависимые подзапросы пока не поддерживаются.

С архитектурной точки зрения один экземпляр ClickHouse на несколько серверов, к которым напрямую приходят запросы пользователей. Для репликации данных и выполнения распределённых SQL-запросов в ClickHouse используется сервис синхронизации метаданных ClickHouse Keeper, аналогичный по функциям Apache Zookeeper, но написанный на C++.

Высокую скорость обработки больших данных ClickHouse обеспечивает не только благодаря колоночному принципу хранения данных, но и за счет физической сортировки данных по первичному ключу. А векторный движок обработки запросов, оптимизированному для современных ЦП, а также распределенной и параллельной обработки запросов дает дополнительное ускорение.

Данные в ClickHouse располагаются на разных сегментах (shard), обеспечивая отказоустойчивость за счет репликации данных. SQL-запрос выполняется параллельно, т.е. одновременно на всех сегментах. Поэтому ClickHouse очень быстрый и может обрабатывать до 1 миллиарда строк в секунду на одном сервере и до двух ТБ в секунду на кластере из 400 узлов.

Эта колоночная СУБД отлично подходит для построения витрин данных и DWH, критичного к малейшим задержкам, обеспечивая быструю аналитику больших данных в реальном времени.

Аудитория

• Владельцы платформ данных;
• Архитекторы DWH;
• Разработчики корпоративных хранилищ данных;
• Дата-инженеры;
• Аналитики данных;
• Администраторы баз данных

Уровень подготовки

• Обязательны базовые навыки работы с SQL

О курсе

Курс позволит понять, как устроена платформа ClickHouse и каковые ее возможности для решения различных задач, связанных с обработкой и анализом больших объемов данных. Наше обучение включает практические задания, которые помогут вам закрепить полученные знания и научиться применять их на практике. Все задания основаны на реальных задачах, которые приходится решать дата-инженеру при работе с ClickHouse.

В ходе выполнения практических заданий вы выполните установку и настройку кластера ClickHouse, а также решите ряд задач, которые приходится решать дата-инженеру при работе с калстером ClickHouse. Участники научатся строить аналитические хранилища, интегрировать хранилища ClickHouse с внешними источниками, обеспечивать отказоустойчивость и выполнять задачи мониторинга, оптимизации  и эксплуатация корпоративного хранилища данных.

Продолжительность курса: 24 академических часа, 5 дней по 4 часа дистанционно.

Тестирование: 45 минутный тест на знание теории и практика по написанию SQL запросов в рамках пройденного курса.