Что такое ClickHouse: Полный гид по колоночной СУБД для сверхбыстрой аналитики. Урок 1.

Если ваша работа связана с данными, вы наверняка слышали название ClickHouse. Это не просто очередная база данных, а мощный инструмент, который стремительно меняет подходы к аналитике в IT-компаниях по всему миру. В этой статье мы подробно разберемся, что же такое ClickHouse, почему он феноменально быстр в аналитических задачах и, самое главное, как вы можете начать с ним работать уже сегодня — как локально на своем компьютере, так и в облаке.

Миссия: обрабатывать огромные объемы данных с максимальной скоростью

История ClickHouse началась в 2009 году в стенах компании Яндекс, где он был создан для обслуживания системы веб-аналитики Яндекс.Метрика. Представьте себе задачу: обрабатывать триллионы событий ежедневно. Традиционные реляционные базы данных, такие как PostgreSQL или MySQL, просто не справлялись с такими колоссальными нагрузками. Стало очевидно, что нужен принципиально новый подход.

Именно так и родилась главная миссия ClickHouse ( далее CH): максимально быстро выполнять аналитические запросы (агрегацию, фильтрацию, группировку) на гигантских массивах данных. Важно понимать, что CH — это не замена базам данных для транзакционных операций, вроде банковских переводов или оформления заказов в интернет-магазине. Его стихия — это аналитика. В 2016 году Яндекс сделал ClickHouse проектом с открытым исходным кодом, что стало мощным толчком к его развитию и популярности в мировом IT-сообществе.

В чем секрет скорости? Колоночное хранение против строкового

Чтобы понять, почему CH так быстр, необходимо разобраться в его фундаментальном отличии от большинства привычных баз данных: он является колоночной СУБД (Column-Oriented Database Management System), в то время как PostgreSQL, MySQL, SQL Server и Oracle– строковые (Row-Oriented).

Начинаем работу: локальная установка через Docker

Docker – это самый простой и быстрый способ запустить ClickHouse на вашей машине, будь то Windows, macOS или Linux. Убедитесь, что у вас установлен Docker Desktop, и выполните в терминале одну команду:

docker run -d --name clickhouse-server --ulimit nofile=262144:262144 -p 8123:8123 -p 9000:9000 clickhouse/clickhouse-server

Давайте разберем эту команду:

-d: Запускает контейнер в фоновом режиме (detached mode).

--name clickhouse-server: Дает вашему контейнеру понятное имя.

--ulimit nofile=262144:262144: Устанавливает лимит на количество открытых файлов для процесса ClickHouse (важно для производительности).

-p 8123:8123: Маппинг портов. Порт 8123 используется для HTTP-интерфейса ClickHouse (например, для подключения через веб-браузер или BI-инструменты).

-p 9000:9000: Порт 9000 используется для TCP-интерфейса (для clickhouse-client, JDBC/ODBC драйверов).

-p 9009:9009: Порт для ClickHouse Keeper (если вы будете использовать его для координации кластера, хотя на этом этапе это не критично).

clickhouse/clickhouse-server: Имя Docker-образа, который мы используем.

Docker скачает образ (если его еще нет) и запустит контейнер. Для подключения к вашему новому серверу проще всего запустить еще один контейнер с клиентом:

docker run -it --rm --link clickhouse-server clickhouse/clickhouse-client --host clickhouse-server

-it: Интерактивный режим.

--rm: Удалит контейнер клиента после выхода.

--link clickhouse-server: Связывает клиентский контейнер с контейнером сервера по имени (устаревший, но простой способ для одного хоста). В более новых версиях Docker или в production лучше использовать Docker Compose или сетевые настройки.

clickhouse/clickhouse-client: Образ клиента.

--host clickhouse-server: Указывает клиенту, к какому хосту подключаться (имя вашего контейнера).

Если все прошло успешно, вы увидите приветственное приглашение clickhouse :). Поздравляем, вы в консоли ClickHouse!

Альтернатива: быстрый старт с ClickHouse Cloud

Если вы не хотите заниматься установкой и настройкой, идеальным вариантом будет ClickHouse Cloud или Yandex Cloud Managed Service for Clickhouse. Это полностью управляемый сервис, который позволяет вам создать готовый к работе кластер ClickHouse за несколько минут.

Через BI-инструменты (DBeaver, DataGrip, Metabase, Grafana и т.д.): Большинство популярных BI-инструментов имеют нативные коннекторы для CH. Вам просто нужно будет ввести полученные данные для подключения (хост, порт, пользователь, пароль) и убедиться, что включен SSL/TLS.

Создаем первую таблицу и работаем с данными

Теперь, когда у нас есть доступ к ClickHouse, давайте создадим нашу первую таблицу.

-- Создаем базу данных
CREATE DATABASE IF NOT EXISTS my_first_db;

-- Переключаемся в нее
USE my_first_db;

-- Создаем таблицу для логов
CREATE TABLE access_logs (
    timestamp   DateTime64(3),
    event_type  LowCardinality(String),
    user_id     UInt64,
    ip_address  IPv4,
    url         String,
    duration_ms UInt32
)
ENGINE = MergeTree()
ORDER BY (timestamp, user_id);

-- весь код доступен для выгрузки в SQL блокноте на GitHub https://github.com/BigDataSchoolRU/clickhouse_intro_course

Разберем команду CREATE TABLE:

timestamp DateTime64(3): Тип данных DateTime64 позволяет хранить дату и время с точностью до миллисекунд (3 знака после запятой). DateTime хранит с точностью до секунды.

event_type LowCardinality(String): String – это обычная строка. LowCardinality – это модификатор типа данных, который очень эффективен для столбцов с небольшим количеством уникальных значений (например, event_type – у вас будет ограниченный набор типов событий). Он значительно экономит память и ускоряет запросы на фильтрацию и группировку по таким столбцам.

user_id UInt64: Беззнаковое 64-битное целое число. Хорошо подходит для ID.

ip_address IPv4: Специальный тип данных для IPv4-адресов, который хранит их как 32-битное целое число, что очень эффективно для хранения и фильтрации.

url String: Обычная строка для URL.

duration_ms UInt32: Беззнаковое 32-битное целое число для продолжительности.

ENGINE = MergeTree(): Мы указываем, что используем движок MergeTree. Это основной движок для таблиц, предназначенных для хранения больших объемов данных с сортировкой по первичному ключу.

ORDER BY (timestamp, user_id): Это ключ сортировки (primary key) для MergeTree. Данные на диске будут отсортированы по timestamp, а затем по user_id. Это очень важно для производительности ClickHouse, так как он использует этот порядок для быстрого поиска и агрегации данных. При выполнении запросов с WHERE условием по timestamp или user_id, ClickHouse сможет быстро отфильтровать нужные блоки данных.

Теперь вставим несколько строк и выполним первый аналитический запрос:

-- Вставляем данные
INSERT INTO access_logs VALUES
('2024-06-19 10:00:00.123', 'page_view', 101, '192.168.1.1', '/home', 150),
('2024-06-19 10:00:01.456', 'click', 101, '192.168.1.1', '/button_a', 20),
('2024-06-19 10:00:02.789', 'page_view', 102, '10.0.0.5', '/products', 300);

-- Выполняем аналитический запрос
SELECT
    event_type,
    count(DISTINCT user_id) AS unique_users,
    avg(duration_ms) AS avg_duration_ms
FROM access_logs
GROUP BY event_type;

-- весь код доступен для выгрузки в SQL блокноте на GitHub https://github.com/BigDataSchoolRU/clickhouse_intro_course

Обратите внимание, что INSERT в ClickHouse оптимизирован для массовой вставки данных. Вставка по одной строке (INSERT INTO ... VALUES (...)) неэффективна для больших объемов. В реальных сценариях данные обычно вставляются большими пачками (батчами) или потоками из Kafka, S3 и т.д. Посчитаем количество уникальных пользователей и среднюю продолжительность событий для каждого типа события:

Что дальше?

Эта статья — ваш первый шаг в мир высокопроизводительной аналитики. Вы узнали о философии ClickHouse, его ключевых преимуществах и научились выполнять базовые операции. Мы также приглашаем Вас посетить наши курсы  для аналитиков и разработчиков на платформе ClickHouse   а также посмотреть статьи посвященные использованию СУБД ClickHouse

Использованные референсы и материалы

1. Официальная документация ClickHouse: https://clickhouse.com/docs/en/
2. Сообщество ClickHouse на GitHub: https://github.com/ClickHouse/ClickHouse
3. Интерактивная песочница ClickHouse Play: https://play.clickhouse.com/

SQL-блокнот к Уроку 1 бесплатного курса доступен в нашем репозитории на GitHub