Построение хранилища данных на базе Clickhouse

Освойте лучшие практики использования ClickHouse в качестве корпоративного хранилища данных. Архитектура популярной колоночной СУБД, принципы работы и эффективные приемы для дата-инженера, аналитика, администратора, а также специалиста по Data Science и Machine Learning
Код курса
CLICH
Ближайшая дата курса
11 марта, 2024
Длительность обучения
24 ак.часов
Стоимость обучения
72 000 руб.

Что такое ClickHouse И его роль в DWH

Clickhouse — это популярная колоночная аналитическая СУБД, которая позволяет обрабатывать гигабайты данных в реальном времени. Она имеет массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов. Такая архитектура отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут.

ClickHouse не поддерживает ACID-требования к транзакциям и ANSI SQL. Но эта СУБД предоставляет декларативный SQL-подобный язык запросов, включая такие операторы, как GROUP BY, ORDER BY, подзапросы в разделах FROM, IN, JOIN, оконные функции и скалярные подзапросы. Зависимые подзапросы пока не поддерживаются.

С архитектурной точки зрения один экземпляр ClickHouse на несколько серверов, к которым напрямую приходят запросы пользователей. Для репликации данных и выполнения распределённых SQL-запросов в ClickHouse используется сервис синхронизации метаданных ClickHouse Keeper, аналогичный по функция Apache Zookeeper, но написанный на C++.

Высокую скорость обработки больших данных ClickHouse обеспечивает за счет физической сортировки данных по первичному ключу. А векторный движок обработки запросов, оптимизированному для современных ЦП, а также распределенной и параллельной обработки запросов дает дополнительное ускорение.

Данные в ClickHouse располагаются на разных сегментах (shard), обеспечивая отказоустойчивость за счет репликации данных. SQL-запрос выполняется параллельно, т.е. одновременно на всех сегментах. Поэтому ClickHouse очень быстрый и может обрабатывать до 1 миллиарда строк в секунду на одном сервере и до двух ТБ в секунду на кластере из 400 узлов.

Эта колоночная СУБД отлично подходит для построения витрин данных и DWH, критичного к малейшим задержкам, обеспечивая быструю аналитику больших данных в реальном времени.

Программа курса «CLICH: Clickhouse как основа DWH»

Скачать программу курса «CLICH: Clickhouse как основа DWH» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла:

Программа курса "CLICH: Построение хранилища данных на базе Clickhouse"

1. Введение

  • Колоночные/строковые СУБД
  • Ограничение и особенности колоночных
  • Что такое ClickHouse
  • Преимущества и недостатки ClickHouse
  • Clickhouse VS Postgresql
  • Примеры использования ClickHouse
  • Установка и настройка сервера ClickHouse
    • Системные требования
  • Использование Docker для развертывания ClickHouse
  • ClickHouse в Yandex Cloud

2. Основы работы с данными в ClickHouse 

  • Создание баз данных/таблиц
  • Загрузка данных 
  • Типы данных и манипуляции с ними
  • Джойны
  • Индексы
  • Агрегация и оконные функции
  • Функции работы с датой и временем

3. Движки в ClickHouse

  • MergeTree
  •  Log
  • Движки для интеграций
  • Специальные движки
  • Обработка ошибок

4. Оптимизация производительности и нагрузки

  • Ограничения
  • Миграции
  • Кэширование и сжатие данных
  • Распараллеливание запросов
  • Балансировка нагрузки
  • Мониторинг и оптимизация запросов
  • Репликация и шардинг
  • Материлизация

5. Clickhouse и инструменты для визуализации данных

  • Datalens
  • SuperSet
  • Metabase
  • Grafana

6. Расширенные возможности и интеграции

  • Работа с географическими данными
  • Внешние ключи
  • Обработка событий в режиме реального времени
  • Интеграция с Kafka, Postgresql
  • Использование ClickHouse для машинного обучения

7. Администрирование и безопасность

  • Управление пользователями и ролями
  • Резервное копирование и восстановление данных
  • Шифрование данных
  • Аудит и мониторинг безопасности

8. Заключение

  • Комньюти
  • Сессия Q&A

Кому нужно обучение по Clickhouse

Цель курса:

научиться работать с ClickHouse и использовать его в качестве корпоративного хранилища данных (DWH)

Аудитория:

Предварительный уровень подготовки:

Как проходят курсы

Курс построен таким образом, чтобы всего за 6 дней дать студентам глубокое понимание и навыки работы с СУБД ClickHouse, включая ее архитектуру, возможности и ограничения.

Курс позволит эффективно использовать эту систему для решения различных задач, связанных с обработкой и анализом больших объемов данных. В курсе есть практические задания, которые помогут Вам закрепить полученные знания и научиться применять их на практике.

Продолжительность курса: 24 ак.часа, 6 дней по 4 ак.часа

Соотношение теории к практике: 50/50

Чему вы научитесь

В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Clickhouse и сможете:

работать с данными в ClickHouse

настраивать визуализацию и отчетность

администрировать и оптимизировать работу ClickHouse

По завершении обучения вы получите

Успешно окончив курс "Построение хранилища данных на базе Clickhouse" в нашем лицензированном учебном центре «Школа Больших Данных»вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

Кто проводит курс

Преподаватель Школы Больших Данных Горбатова Виктория
Преподаватель Школы Больших Данных

Горбатова Виктория

МГУ им. М.В. Ломоносова (Москва, 2017)
Профессиональные компетенции:
  • Разработчик Python/Data Engineer
  • Руководитель группы по обработке и визуализации данных в Мастер Деливери
  • Организация ETL-процессов
  • Мониторинг и поддержка хранилищ данных (Clickhouse/Vertica/Greenplum)
  • Разработка на Python, Scala, SQL

География наших клиентов

  • Москва
  • Санкт-Петербург
  • Нижний Новгород
  • Екатеринбург
  • Казань
  • Краснодар
  • Красноярск
  • Перьм
  • Челябинск
  • Новосибирск
  • Томск
  • Тверь
  • Саратов
  • Самара
  • Ростов-на-Дону
  • Хабаровск
  • Волгоград
  • Калуга
  • Якутск
  • Севастополь
  • Тольяти
  • Владивоссток
  • Тюмень
  • Южно-Сахалинск
  • Уфа
  • Ставрополь
  • Минск
  • Алматы
  • Астана
  • Ташкент
  • Душанбе
  • Бешкек

Записаться на курс

Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам?
Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение рабочего дня.
Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Поиск по сайту