ClickHouse — это колоночная система управления базами данных, разработанная для обработки аналитических запросов с высокой производительностью. Яндекс предлагает управляемую версию ClickHouse, предоставляя возможность легко разворачивать, масштабировать и управлять этой базой данных без необходимости углубленных знаний в области администрирования баз данных. В этой статье мы рассмотрим основные особенности управляемого ClickHouse от Яндекса.
Начало работы с Yandex Managed Airflow
Для того, чтобы начать пользоваться Yandex Managed Airflow, необходимо выполнить несколько простых шагов:
- Необходимо создать каталог в консоли управления.
- Далее нужно подключить DEB-репозиторий ClickHouse следующей командой:
sudo apt update && sudo apt install --yes apt-transport-https ca-certificates dirmngr && \ sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 8919F6BD******** && \ echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee \ /etc/apt/sources.list.d/clickhouse.list
- Далее устанавливаем зависимости и клиентское приложение clickhouse-client:
sudo apt update && sudo apt install --yes clickhouse-client
- Загружаем файл конфигурации для clickhouse-client:
mkdir -p ~/.clickhouse-client && \ wget "https://storage.yandexcloud.net/doc-files/clickhouse-client.conf.example" \ --output-document ~/.clickhouse-client/config.xml
- Далее создаем класитер и подключаемся к БД:
sudo mkdir --parents /usr/local/share/ca-certificates/Yandex/ && \ sudo wget "https://storage.yandexcloud.net/cloud-certs/RootCA.pem" \ --output-document /usr/local/share/ca-certificates/Yandex/RootCA.crt && \ sudo wget "https://storage.yandexcloud.net/cloud-certs/IntermediateCA.pem" \ --output-document /usr/local/share/ca-certificates/Yandex/IntermediateCA.crt && \ sudo chmod 655 \ /usr/local/share/ca-certificates/Yandex/RootCA.crt \ /usr/local/share/ca-certificates/Yandex/IntermediateCA.crt && \ sudo update-ca-certificates
- Указываем к SSL-сертификату RootCA.crt:
<config> <openSSL> <client> <loadDefaultCAFile>true</loadDefaultCAFile> <caConfig>/usr/local/share/ca-certificates/Yandex/RootCA.crt</caConfig> <cacheSessions>true</cacheSessions> <disableProtocols>sslv2,sslv3</disableProtocols> <preferServerCiphers>true</preferServerCiphers> <invalidCertificateHandler> <name>RejectCertificateHandler</name> </invalidCertificateHandler> </client> </openSSL> </config>
- Запускаем ClickHouse CLI со следующими параметрами:
clickhouse-client --host <FQDN_любого_хоста_ClickHouse> \ --secure \ --user <имя_пользователя> \ --database <имя_БД> \ --port 9440 \ --ask-password
С более подробной инструкцией можно ознакомиться в документации на официальном сайте по данной ссылке.
Yandex Managed Clickhouse: основные особенности и преимущества
- Автоматическое масштабирование: одной из ключевых особенностей управляемого ClickHouse является возможность автоматического масштабирования. Система мониторинга отслеживает нагрузку на базу данных и автоматически управляет числом узлов для обеспечения оптимальной производительности.
- Резервное копирование и восстановление: управляемый ClickHouse предоставляет средства для создания резервных копий данных и восстановления базы данных после сбоев. Это обеспечивает надежность и безопасность данных.
- Управление конфигурацией: администраторы могут легко управлять конфигурацией ClickHouse через веб-интерфейс или API. Это упрощает настройку параметров базы данных согласно требованиям проекта.
Таким образом, ClickHouse от Яндекса предоставляет удобное и масштабируемое решение для обработки аналитических данных.
Больше подробностей про применение ClickHouse в проектах анализа рабочих процессов Big Data вы узнаете на практических курсах по Airflow в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве: