Освойте лучшие практики использования ClickHouse в качестве корпоративного хранилища данных. Архитектура популярной колоночной СУБД, принципы работы и эффективные приемы для дата-инженера, аналитика, администратора, а также специалиста по Data Science и Machine Learning.
Clickhouse — это популярная колоночная аналитическая СУБД, которая позволяет обрабатывать гигабайты данных в реальном времени. В отличие от строковых баз данных, например, mysql или postgresql, где информация данные хранятся на диске по одной строке за раз, что отлично подходит для транзакционных рабочих нагрузок, т.е. OLTP-приложений, в ClickHouse данные хранятся на диске по одному столбцу за раз. Каждый фрагмент данных представляет собой целый столбец. Поэтому все значения одного атрибута сущности сгруппированы вместе. Подобный принцип хранения данных сокращает время выполнения аналитических запросов в OLAP-приложениях, где соединяются данные по очень большому количеству записей.
ClickHouse имеет массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов. Такая архитектура отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут.
ClickHouse не поддерживает ACID-требования к транзакциям и ANSI SQL. Но эта СУБД предоставляет декларативный SQL-подобный язык запросов, включая такие операторы, как GROUP BY, ORDER BY, подзапросы в разделах FROM, IN, JOIN, оконные функции и скалярные подзапросы. Зависимые подзапросы пока не поддерживаются.
С архитектурной точки зрения один экземпляр ClickHouse на несколько серверов, к которым напрямую приходят запросы пользователей. Для репликации данных и выполнения распределённых SQL-запросов в ClickHouse используется сервис синхронизации метаданных ClickHouse Keeper, аналогичный по функциям Apache Zookeeper, но написанный на C++.
Высокую скорость обработки больших данных ClickHouse обеспечивает не только благодаря колоночному принципу хранения данных, но и за счет физической сортировки данных по первичному ключу. А векторный движок обработки запросов, оптимизированному для современных ЦП, а также распределенной и параллельной обработки запросов дает дополнительное ускорение.
Данные в ClickHouse располагаются на разных сегментах (shard), обеспечивая отказоустойчивость за счет репликации данных. SQL-запрос выполняется параллельно, т.е. одновременно на всех сегментах. Поэтому ClickHouse очень быстрый и может обрабатывать до 1 миллиарда строк в секунду на одном сервере и до двух ТБ в секунду на кластере из 400 узлов.
Эта колоночная СУБД отлично подходит для построения витрин данных и DWH, критичного к малейшим задержкам, обеспечивая быструю аналитику больших данных в реальном времени.
Курс построен таким образом, чтобы всего за 6 дней дать студентам глубокое понимание и навыки работы с СУБД ClickHouse, включая ее архитектуру, возможности и ограничения. Для этого придется выполнять задания, решая задачи проектирования и эксплуатации корпоративного хранилища данных, включая выполнение операций devops.
Курс позволит понять, как устроена платформа Clichouse и каковые ее возможности для решения различных задач, связанных с обработкой и анализом больших объемов данных. Наше кликхаус обучение включает практические задания, которые помогут вам закрепить полученные знания и научиться применять их на практике. Все задания основаны на реальных задачах, которые приходится решать дата-инженеру при работе с Clickhouse. Задания выполняются онлайн, на платформе данных, предоставленной нашими специалистами devops, дополнительная оплата за экземпляр СУБД не требуется.
Продолжительность курса: 24 ак.часа, 6 дней по 4 ак.часа
Занятия проходят онлайн в дистанционном режиме с преподавателем. Практические задания тоже выполняются онлайн
Соотношение теории к практике: 50/50
Цель курса: научиться работать с ClickHouse и использовать его в качестве корпоративного хранилища данных (DWH)
Укажите e-mail, на который будет оправлена ссылка для скачивания файла:
В результате обучения вы приобретете базовые знания и навыки, необходимые для эффективной работы с Clickhouse и сможете:
Окончив курс «Построение хранилища данных на базе Clickhouse» в нашем лицензированном учебном центре «Школа Больших Данных», вы получите удостоверение установленного образца, что свидетельствует о повышении квалификации. По умолчанию документ выдается в электронном виде (pdf-файл), по желанию делаем бумажный вариант без дополнительной оплаты.
Чтобы записаться на курс CLICH: Построение хранилища данных на базе Clickhouse позвоните нам по телефону +7 (495) 414-11-21 или заполните форму регистрации ниже.
[art_feedback cat=0]