ClickHouse упростил анализ данных из 1С

Компания столкнулась с разросшимся корпоративным DWH на PostgreSQL, где цепочка загрузки и обработки данных стала непрозрачной. Разработчики тратили дни на восстановление логики расчётов, а обновление отчётов занимало часы. Переход на ClickHouse и XLTable позволил пересобрать контур, сократить объём хранилища в пять раз и обновлять данные шесть раз в день вместо одного. При этом сохранили привычный Excel-интерфейс для бизнеса. Корпоративное хранилище данных (DWH) представляет собой централизованную систему, которая собирает информацию из разных источников для последующего анализа и отчётности. Когда такая система разрастается без чёткой документации, любые изменения требуют значительных усилий и времени, а бизнес не может оперативно получать актуальные метрики для принятия решений.

Старые зависимости и скрытая логика

До миграции данные из 1С выгружались через тяжёлые представления, затем Apache Airflow переносил их в PostgreSQL. Там работали процедуры, функции и промежуточные таблицы, а финальные выгрузки формировались Excel-макросами на VBA. Разработчики, создававшие систему, уже ушли, документация отставала от реальности. Чтобы понять, почему показатель считается именно так, приходилось вручную восстанавливать цепочку таблиц и процедур. Это занимало несколько дней и делало любое изменение дорогим. Бизнес-метрики — выручка, маржинальность, прибыль — зависели от этих скрытых слоёв, поэтому технический долг напрямую тормозил управленческие решения. Представления в PostgreSQL — это виртуальные таблицы, которые формируются на основе запросов к реальным данным, но при большом количестве связей они становятся сложными для отладки. Apache Airflow выступает в роли оркестратора, то есть инструмента, который автоматически запускает и контролирует последовательность задач по переносу и обработке данных. Процедуры и функции — это хранимые на сервере базы данных алгоритмы расчётов, а макросы VBA позволяют автоматизировать действия внутри Excel. Когда вся эта цепочка теряет прозрачность, компания рискует ошибками в ключевых показателях и не может быстро адаптировать отчёты под новые требования бизнеса. Для решения вопроса «брать или не брать» подобную архитектуру важно оценить, насколько критична скорость обновления данных и есть ли в команде специалисты, способные поддерживать устаревшие связи.

Почему не стали оптимизировать существующую систему

Перенос старой структуры в новое хранилище сохранил бы все взаимозависимости и распределённую логику. Вместе с таблицами переехали бы десятки промежуточных сущностей и процедур без понятного описания. Поэтому решили использовать миграцию как повод пересмотреть источники, этапы обработки и семантический слой. Уже существовал импорт из 1С в основную шину на PostgreSQL, которой пользовались другие системы компании. Его расширили и сделали единым входом для аналитики, чтобы не плодить параллельные контуры обмена данными. Семантический слой — это промежуточный уровень, который переводит технические названия полей и таблиц в понятные бизнесу термины и предопределённые расчёты. Если сохранить старую схему, то даже после переезда на более быстрый движок сохранятся проблемы с пониманием логики и поддержкой кода. При оценке проекта важно учитывать, есть ли актуальная документация по расчётам: если её нет, то оптимизация существующей системы может оказаться дороже полной пересборки. Единая шина данных снижает риск расхождений между разными аналитическими контурами, что особенно важно для компаний, где несколько подразделений используют одни и те же источники.

Выбор ClickHouse и XLTable

Рассмотрели несколько вариантов семантического слоя, включая SSAS. ClickHouse выбрали за скорость на больших объёмах и простоту запросов, XLTable — за прямую интеграцию с Excel без дополнительных клиентских инструментов. В новой схеме данные из шины сразу попадают в ClickHouse, где агрегируются по нужным разрезам. XLTable позволяет бизнес-пользователям обращаться к этим агрегатам через привычные таблицы Excel, без VBA и ручных выгрузок. Время ETL сократилось с шести-семи часов до одного, а частота обновления выросла до шести раз в сутки. Объём данных за год упал со ста до двадцати гигабайт за счёт отказа от избыточных промежуточных таблиц. ETL (Extract, Transform, Load) — это процесс извлечения, преобразования и загрузки данных, который при большом количестве промежуточных шагов становится узким местом. ClickHouse хорошо подходит для аналитических запросов, потому что хранит данные в колоночном формате и быстро выполняет агрегации. SSAS (SQL Server Analysis Services) — это инструмент Microsoft для построения многомерных моделей, но он требует дополнительных лицензий и клиентских приложений. При выборе между вариантами важно понимать, готов ли бизнес отказаться от сложных макросов и перейти на прямой доступ через Excel: если пользователи привыкли к определённым формам отчётов, то интеграция с XLTable снижает сопротивление изменениям. Сокращение объёма хранилища и ускорение обновлений напрямую влияют на стоимость инфраструктуры и оперативность управленческой отчётности.

Как это работает в российских компаниях

В РФ многие DWH исторически выросли вокруг 1С и PostgreSQL, а Excel остаётся основным инструментом отчётности у менеджеров. Новая схема позволяет сохранить этот интерфейс, но убрать VBA-зависимости и длинные цепочки. При этом ClickHouse легко развернуть on-premise без облачных сервисов, а интеграция с существующей шиной данных снижает риск дублирования контуров. Командам, которые уже используют Airflow или аналогичные оркестраторы, достаточно добавить один источник и настроить материализованные представления. Главное ограничение — нужно заранее описать бизнес-логику, иначе даже быстрый ClickHouse не сделает модель прозрачной. On-premise развёртывание означает установку системы на собственные серверы компании, что важно для организаций с жёсткими требованиями к безопасности данных. Материализованные представления — это заранее рассчитанные таблицы, которые обновляются по расписанию и позволяют быстро получать готовые агрегаты. Для решения «брать или не брать» такой подход стоит рассмотреть компаниям, где Excel остаётся ключевым инструментом, а документация по старой логике отсутствует. Если бизнес-логика уже хорошо описана и изменения требуются редко, то можно ограничиться оптимизацией текущей системы. В противном случае пересборка контура даёт долгосрочный эффект за счёт прозрачности и скорости.

Источник

Это краткий разбор материала Habr. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: ClickHouse упростил анализ данных из 1С.

Курс по теме — Построение DWH на ClickHouse