Архитектура Data Platform в Атоме

Архитектура Data Platform в Атоме

 

Компания Атом за полгода построила аналитическую платформу с нуля, когда данные хранились только в таблицах Excel. Основной задачей стало объединение телеметрии с автомобилей, CDC-потоков и файловых источников в единое хранилище с возможностью быстрого доступа. Выбор Lambda—архитектуры позволил одновременно обрабатывать события в реальном времени и загружать данные по расписанию без конфликтов форматов и инструментов. Lambda-архитектура разделяет обработку на два независимых пути: потоковый для низкой задержки и пакетный для надёжных вычислений над большими объёмами. Такой подход важен, когда нужно одновременно поддерживать оперативные дашборды и тяжёлые отчёты, а также когда источники данных различаются по частоте и формату поступления.

 

Разделение потоков и выбор форматов

Lambda-подход разделил обработку на две независимые ветки. События от машин и внутренних систем идут через Flink в Paimon, потому что формат поддерживает фоновый compact без остановки джоб. Flink здесь обеспечивает непрерывную обработку потоков с гарантированной доставкой, а Paimon позволяет хранить данные в виде таблиц, которые автоматически объединяют мелкие файлы в фоне, сохраняя производительность запросов. Батчевые выгрузки из PostgreSQL и MySQL записываются в Iceberg с последующим compact после каждой загрузки. Iceberg даёт ACID-транзакции и историю версий для пакетных данных, что упрощает откат при ошибках загрузки. Nessie выступает каталогом для обеих таблиц, обеспечивая атомарные изменения и откаты. Nessie работает как система контроля версий для метаданных таблиц, позволяя командам переключаться между состояниями хранилища без риска потери согласованности.

Raw-слой хранит исходные файлы и JSON как есть, а Raw-iceberg переводит реляционные данные в табличный вид. Enterprise Data унифицирует модель, Data Marts дают готовые витрины. Физически это два бакета S3 с разными уровнями хранения и политиками жизненного цикла. Такой подход снимает проблему мелких файлов при непрерывной записи и сохраняет возможность SQL-запросов через Trino. Trino позволяет выполнять распределённые запросы к данным в разных форматах и бакетах без их перемещения. Разделение слоёв помогает оценивать, стоит ли принимать стек: Raw-слой снижает риск потери исходных данных, а унифицированные витрины ускоряют работу аналитиков, но требуют дополнительных ресурсов на поддержку каталога и жизненного цикла.

 

Инструменты оркестрации и доступа

Airflow управляет расписанием батчевых процессов и мониторит успешность compact. Spark используется для тяжёлых трансформаций в Enterprise Data. Доступ организуют через Trino для ad-hoc SQL, FastAPI для REST и дашборды. OPA/OPAL отвечает за RBAC и маскирование на уровне колонок, OpenMetadata собирает lineage и описания таблиц. OPA/OPAL позволяет задавать политики доступа на языке Rego и применять их централизованно, что важно для соблюдения требований к защите данных. OpenMetadata автоматически собирает информацию о происхождении данных и документацию, упрощая аудит и поиск нужных таблиц. Все сервисы крутятся в Kubernetes Яндекс Облака с managed ClickHouse и PostgreSQL, Terraform и операторами Flink. Управление через Terraform обеспечивает воспроизводимость инфраструктуры, а операторы Flink упрощают развёртывание потоковых приложений. При оценке стека стоит учитывать, что интеграция нескольких инструментов оркестрации и безопасности увеличивает сложность поддержки, но даёт гибкость в разделении прав и мониторинге.

 

Ограничения и применимость в РФ

Отсутствие точных цифр нагрузки на старте заставило тестировать на синтетике, поэтому реальные объёмы телеметрии могут потребовать доработки retention и шардирования. Managed-сервисы Яндекс Облака дают быстрый старт, но при росте стоит оценить стоимость egress и лимиты на количество партиций. Командам в России удобно, что весь стек доступен без VPN и лицензий, а Iceberg и Paimon работают поверх обычного S3-совместимого хранилища. При этом Nessie и OPA требуют отдельной поддержки, и не все компании готовы держать свой каталог метаданных. Выбор облачных сервисов снижает начальные затраты на инфраструктуру, однако долгосрочная экономика зависит от объёмов исходящего трафика и необходимости самостоятельного управления метаданными. Если компания планирует масштабирование за пределы одного облака, стоит заранее проверить совместимость форматов таблиц и каталогов.

 

Что учитывать при копировании стека

Paimon решает проблему мелких файлов только при потоковой записи, поэтому смешивать форматы нужно осознанно. Compact в фоне работает, но мониторинг задержек и размера файлов остается обязанностью команды. RBAC через OPA даёт гибкость, однако требует описания политик на Rego и тестирования на реальных ролях. При переносе в другой контур без managed ClickHouse и S3 нужно сразу планировать отказоустойчивость MinIO или Ceph и настройку резервного копирования метаданных Nessie. Перед внедрением важно оценить наличие экспертизы по каждому инструменту: потоковые форматы требуют внимания к compact-процессам, а политики доступа — регулярного аудита. Если команда не готова инвестировать в поддержку каталога метаданных и мониторинг, лучше рассмотреть более простые варианты с единым форматом таблиц.

 

Источник

Это краткий разбор материала Habr. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Архитектура Data Platform в Атоме.

Курс по теме — Построение DWH на ClickHouse

 

Построение DWH на ClickHouse

Код курса
CLICH
Ближайшая дата курса
30 ноября, 2026
Продолжительность
24 ак.часов
Стоимость обучения
76 800