Быстрый импорт из облачных хранилищ в Postgres

Новая расшифровка chdb для Postgres решает задачу быстрой загрузки и выгрузки данных из S3, GCS и Azure Blob Storage в разнообразных форматах. Вместо стандартных инструментов расшифровка встраивает движок ClickHouse прямо в процесс Postgres, что позволяет обрабатывать большие объёмы без лишних копирований и преобразований. Для инженеров это важно, потому что типичные сценарии импорта из облака часто упираются в ограничения форматов и скорости. Решение помогает командам, которые работают с распределёнными хранилищами, избежать промежуточных этапов выгрузки на локальный диск и повторной загрузки, что снижает время простоя и нагрузку на сеть. При выборе инструмента стоит оценить, насколько часто в проекте встречаются нестандартные форматы и требуется ли стабильная производительность при смене источника.

Сравнение производительности с другими расширениями

Тесты на наборе NYC Taxi в миллион строк показали, что chdb даёт наиболее стабильные результаты при работе с CSV, JSON и Parquet. pg_duckdb и pg_lake на базе DuckDB тратят в два-три раза больше времени на те же файлы из регионального бакета S3. aws_s3 приближается по скорости, но поддерживает только текстовые форматы и бинарный протокол Postgres. Разница возникает из-за того, что chdb использует оптимизации ClickHouse для чтения сжатых колонок и не тратит время на промежуточные преобразования в памяти. Такая разница особенно заметна при регулярных загрузках, когда каждая минута экономии складывается в часы за месяц. Инженерам важно понимать, что стабильность времени загрузки позволяет точнее планировать окна обслуживания и снижать риск срыва расписания дашбордов или отчётов.

В реальных условиях на серверах с четырьмя ядрами и 32 ГБ памяти chdb показывает предсказуемое время загрузки независимо от формата. Это снижает риск, что импорт затянется при смене источника данных или при добавлении новых сжатых файлов. Для команд, которые регулярно переносят логи или события из облачных озёр, такая стабильность позволяет планировать окна обслуживания без сильных отклонений. При принятии решения о внедрении стоит проверить, насколько критична предсказуемость времени именно в вашем окружении: если импорт выполняется ночью и не влияет на пользователей, разница может быть менее значимой, чем при ежедневных обновлениях в рабочее время.

Поддерживаемые форматы и ограничения совместимости

chdb наследует весь список форматов ClickHouse: Parquet, Arrow, Avro, ORC, Protobuf, MsgPack и другие, плюс алгоритмы сжатия gzip, zstd, lz4, brotli. pg_lake и pg_duckdb ограничиваются CSV, JSON и Parquet с gzip, zstd и snappy. aws_s3 вообще работает только с текстовыми файлами. Когда ClickHouse добавляет новый формат, chdb получает его автоматически без обновления расширения. Широкий набор форматов позволяет подключать источники напрямую, без написания дополнительных скриптов конвертации, что уменьшает количество точек отказа и упрощает поддержку. При оценке решения стоит учитывать, какие форматы уже используются в компании и как часто приходится добавлять новые источники.

На практике это значит, что можно загружать данные из систем, которые пишут в BSON или Prometheus, без предварительной конвертации. Однако при несовпадении типов между ClickHouse и Postgres приходится явно указывать структуру таблицы. Например, JSON-объекты маппятся в текст, и если колонка содержит массивы, нужно проверять ограничения или использовать дополнительные преобразования. Такие случаи встречаются редко, но требуют внимания при миграции схем. Перед окончательным выбором инструмента рекомендуется провести тестовую загрузку на реальных данных, чтобы выявить возможные расхождения типов и оценить объём ручной работы по приведению схемы в соответствие.

Встраивание в существующие процессы Postgres

Расширение поставляется в двух частях: chdb предоставляет функцию chdb_query для выполнения запросов ClickHouse, а chdb_hook перехватывает команду COPY и позволяет указывать URL облачных хранилищ напрямую. Можно создать таблицу и сразу загрузить в неё данные из Parquet-файла одной командой. Типы данных конвертируются через библиотеку pg-clickhouse-c, которая покрывает почти все соответствия между системами. Такое разделение даёт гибкость: можно использовать chdb только для разовых запросов или интегрировать его в существующие ETL-процессы через перехват команды COPY. При принятии решения важно понять, насколько глубоко расширение должно интегрироваться в текущие пайплайны и требуется ли сохранять совместимость с уже работающими скриптами.

В российском контуре это решение удобно для on-premise установок Postgres, где нет доступа к managed-сервисам с предустановленными расширениями. Однако нужно учитывать, что для работы с приватными бакетами придётся настраивать доступ через IAM или сервисные учётные записи, а также проверять совместимость с версиями Postgres, которые используются в изолированных сетях. Перед внедрением стоит протестировать маппинг типов на реальных данных, чтобы избежать потерь при преобразовании JSON или чисел с высокой точностью. Дополнительно следует оценить требования к безопасности и возможность аудита доступа к облачным хранилищам в рамках корпоративных политик.

Источник

Это краткий разбор материала ClickHouse. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Быстрый импорт из облачных хранилищ в Postgres.

Курс по теме — Построение DWH на ClickHouse