Содержание
Команды начали терять контроль над ресурсами общего кластера Greenplum, когда тяжелые запросы стали влиять на работу всех пользователей, а закупка нового оборудования для расширения превратилась в отдельную проблему. В Лемана Тех решили разделить хранение и вычисления, перенеся сборку витрин на Data Lakehouse с таблицами Iceberg и отдельными кластерами Trino. При этом сохранили работу через SQL, YAML-конфигурации и Airflow, сократив цикл от изменений до продакшена с недели до нескольких часов. Миграция затронула уже 40 из 290 интеграций, и команда оценила реальное время сборки критической отчетности. Такой переход важен для оценки, потому что позволяет понять, стоит ли отказываться от монолитного хранилища в пользу более гибкой архитектуры, если текущие ограничения по ресурсам и скорости доставки уже мешают бизнесу.
Разделение хранения и вычислений
В старой схеме данные из S3 в формате Parquet загружались через PXF в ODS-слой Greenplum, после чего собирались витрины в marts. Общий кластер объединял хранение и обработку, поэтому неоптимизированный запрос мог замедлить всех. В новой архитектуре данные сразу попадают в таблицы Apache Iceberg в облачном S3, метаданные хранит Nessie, а вычисления выполняются на выделенных кластерах Trino. Airflow 2.x управляет запусками, готовится переход на версию 3.x, модели собираются через dbt и dbt-trino.
Greenplum представляет собой распределенную аналитическую СУБД на базе PostgreSQL, где хранение и вычисления тесно связаны внутри одного кластера. Это удобно при небольших нагрузках, но приводит к конкуренции за ресурсы, когда аналитические запросы разрастаются. Apache Iceberg — это открытый формат таблиц для озер данных, который обеспечивает ACID-транзакции, эволюцию схемы и оптимизацию запросов без привязки к конкретному движку. Nessie выступает как каталог метаданных с поддержкой версионирования, похожий на Git для данных. Trino — это распределенный SQL-движок, способный работать с множеством источников, включая Iceberg, и запускаться в изолированных кластерах.
Такой подход позволяет поднимать отдельные кластеры под ETL, BI, ad hoc-запросы и проверки качества. Каждый кластер можно настраивать независимо по памяти, CPU и concurrency. Пользователи продолжают обращаться к таблицам через привычный SQL-интерфейс, поэтому BI-системы и аналитики не меняют инструменты. Однако теперь требуется следить за несколькими Trino-кластерами и их подключением к одному каталогу Nessie, что добавляет работы платформенной команде. При принятии решения важно взвесить выигрыш в изоляции нагрузок и масштабировании без закупки железа против роста операционной сложности: если команда уже сталкивается с частыми задержками из-за общих ресурсов, разделение дает заметный прирост производительности и снижает риски влияния экспериментальных запросов на продакшен.
Сохранение привычного процесса
Код витрин хранился в монорепозитории, и этот подход перенесли на dbt-проект. В одном репозитории лежат SQL-модели, конфигурации, тесты SQLFluff и правила структуры проекта. YAML-файлы описывают параметры сборки и список моделей, а Cosmos генерирует из них DAG Airflow. Пользователь по-прежнему пишет SQL и правит YAML, не изучая новые языки или API.
dbt — это инструмент трансформации данных, который позволяет описывать модели на SQL и управлять зависимостями, а dbt-trino обеспечивает выполнение этих моделей на движке Trino. SQLFluff выполняет роль линтера, проверяя стиль и синтаксис запросов. Cosmos интегрирует dbt-проекты в Airflow, автоматически создавая направленные ациклические графы задач. Проверки структуры проекта и линтер SQLFluff помогают соблюдать единые правила именования и разделения по слоям ODS, DDS и marts. При этом dbt-trino выполняет модели на отдельном ETL-кластере Trino, а не в общем хранилище. Ограничением остается отсутствие единого стандарта модели данных: разные доменные команды продолжают использовать собственные подходы, и централизованно управлять ими сложнее, чем в Greenplum.
Для решения о миграции важно учитывать, что сохранение привычных инструментов снижает порог входа и ускоряет адаптацию аналитиков, однако отсутствие единой модели данных может привести к дублированию логики и сложностям при масштабировании команды. Если компания ценит скорость итераций и уже использует Airflow с YAML-конфигурациями, переход выглядит оправданным; в противном случае потребуется дополнительное время на выработку стандартов.
Локальная разработка через ветки каталога
Для тестирования пользователь поднимает Airflow в Docker и подключается к sandbox-кластеру Trino, который работает с development-веткой Nessie. Nessie позволяет создавать ветки каталога, где изменения сохраняются как ссылки на данные, без копирования объемов. Это дает возможность проверять модели на production-данных и изолировать эксперименты от main.
После завершения разработки ветка удаляется. Платформенная команда отслеживает очистку окружений, чтобы не накапливались устаревшие ссылки. Такой механизм ускоряет итерации, но требует дополнительного контроля за жизненным циклом веток и прав доступа в Nessie. При оценке подхода стоит обратить внимание, что возможность тестировать на реальных данных без риска для основного каталога сокращает время от разработки до продакшена, однако необходимость управлять ветками добавляет нагрузку на платформенную команду и требует четких процессов удаления устаревших окружений.
Ограничения и российский контекст
В российских компаниях закупка оборудования для расширения Greenplum часто упирается в сроки поставок и наличие совместимых узлов. Переход на Iceberg и Trino снижает зависимость от конкретного вендора и позволяет использовать имеющиеся S3-хранилища. При этом нужно учитывать, что управление несколькими Trino-кластерами и настройка Nessie требуют компетенций, которых может не хватать у команд, привыкших к монолитному Greenplum. Лицензионные риски Postgres-based решений также подталкивают к полностью открытым компонентам.
Решение о переходе стоит принимать, если приоритетны независимость от поставщиков оборудования и возможность горизонтального масштабирования вычислений. В то же время, если текущая команда не готова инвестировать в навыки работы с распределенными каталогами и несколькими кластерами, риски операционных сбоев могут перевесить преимущества.
Источник
Это краткий разбор материала Habr. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Переход с Greenplum на Lakehouse без смены SQL и Airflow.
Курс по теме — Каталог курсов Школы Больших Данных


