Doris 5.0 и Fluss для запросов по потоку и озеру

Doris 5.0 и Fluss для запросов по потоку и озеру

 

Apache Doris 5.0 добавил каталог Fluss, чтобы инженеры могли читать лог-таблицы и таблицы с первичным ключом напрямую. Запросы теперь совмещают свежие события из Fluss с историей, выгруженной в Paimon, без отдельного копирования. Это важно для задач, где нужно быстро сравнить текущее поведение с прошлыми периодами и текущим состоянием объектов. Такой подход помогает командам избежать дублирования данных между потоковой системой и аналитической базой, что снижает затраты на хранение и упрощает архитектуру. При выборе решения стоит оценить, насколько часто аналитикам требуется доступ к обоим слоям в рамках одного запроса: если такие сценарии редки, дополнительные компоненты могут усложнить поддержку без заметной выгоды.

 

Как Fluss хранит события и состояние в таблицах

Fluss предлагает два типа таблиц. Лог-таблицы подходят для событий, которые просто добавляются, например записей о срабатываниях или транзакциях. Они сохраняют порядок записи и позволяют потребителям читать поток непрерывно. Таблицы с первичным ключом хранят текущее значение по ключу и changelog, что удобно для конфигураций устройств или правил кампаний. Лог-таблицы удобны, когда важен полный хронологический порядок, а таблицы с ключом помогают отслеживать последние значения без ручной агрегации.

Каждая таблица разделена на слой лога для недавних записей и слой озера для старых. Сервис tiering выгружает старые записи в формат Paimon и фиксирует снапшот. Doris использует позицию последнего выгруженного оффсета, чтобы понять, где заканчивается история в озере и начинается свежий лог. Tiering представляет собой процесс автоматического перемещения данных, который снижает нагрузку на оперативный слой и позволяет хранить большие объемы исторических данных экономичнее.

Такой подход убирает необходимость держать отдельную очередь сообщений и копию в аналитической базе. Инженеры могут фильтровать и агрегировать данные прямо из Fluss, а результаты стабильных запросов при необходимости сохранять внутри Doris. При решении о внедрении важно понять, есть ли уже в компании опыт работы с подобными форматами озера данных: отсутствие такого опыта может потребовать дополнительного обучения команды и увеличить сроки проекта.

 

Чтение свежих событий без задержки на копирование

При анализе недавних вмешательств в тестах автопилота команда фильтрует записи по сегменту дороги, триггеру и версии ПО. Планировщик Doris фиксирует конечную позицию лога для каждого бакета на этапе планирования запроса. Это гарантирует, что запрос видит фиксированный срез и не получает новые записи, появившиеся во время выполнения. Фиксация позиции предотвращает появление непредсказуемых результатов при повторном запуске того же запроса, что критично для воспроизводимых аналитических отчетов.

Чтение идёт через Fluss Catalog, поэтому схема и метаданные доступны сразу. Запросы могут соединять данные Fluss с измерениями из внутренних таблиц Doris. Если данные повторяются и стабильны, их всё равно выгоднее хранить внутри Doris, а не пересчитывать каждый раз из источника. Catalog выступает как единая точка доступа к метаданным, что упрощает интеграцию и снижает риск ошибок при изменении схемы. При оценке решения стоит проверить, насколько часто данные в Fluss меняют структуру: частые изменения могут потребовать дополнительной настройки в Doris для поддержания согласованности.

 

Объединение истории из Paimon и свежих записей Fluss

Для сравнения с прошлыми неделями запрос должен охватить и выгруженные данные, и те, что ещё не достигли tiering. При включённом tiering Doris применяет Union Read: планировщик фиксирует снапшот Paimon и конечные оффсеты бакетов. Paimon отдаёт историю до снапшота, Fluss — записи от позиции tiering до фиксированного конца. Union Read позволяет получать целостную картину без ручного объединения результатов нескольких запросов, что экономит время аналитиков и уменьшает вероятность ошибок при склейке данных.

Это избавляет от ручного согласования пересечений и пропусков. Для append-only событий граница по оффсету предотвращает дубликаты. Если нужно проверить, как прошла выгрузка, можно запросить озеро и лог по отдельности. Append-only формат означает, что данные только добавляются, поэтому граница по оффсету работает надежно и не требует сложной логики разрешения конфликтов. При принятии решения о переходе на такое решение важно оценить объем исторических данных: если он велик, стоит заранее протестировать производительность Union Read на реальных нагрузках, чтобы понять, не возникнут ли задержки при частых запросах.

 

Ограничения и вопросы при внедрении в изолированном контуре

В российских компаниях Fluss и Doris доступны как open-source, без привязки к недоступным облачным сервисам. Интеграция требует настройки tiering-сервиса и контроля за JVM-памятью при Union Read, особенно на широких таблицах. Нужно следить за тем, чтобы снапшоты Paimon были достаточно свежими, иначе Union Read будет читать слишком много из лога. Контроль памяти особенно важен при работе с таблицами, содержащими много колонок, поскольку параллельное чтение может быстро исчерпать ресурсы.

При высокой нагрузке на бакеты стоит проверить распределение данных и размер JVM heap, чтобы избежать OOM при параллельном чтении. В контурах с жёсткими требованиями к изоляции достаточно развернуть оба компонента внутри периметра и настроить доступ только через Fluss Catalog. Если исторические объёмы велики, имеет смысл заранее оценить скорость tiering и частоту снапшотов. Решение стоит рассматривать, когда команда уже использует или планирует Fluss для unified stream и lake, а аналитикам нужно сравнивать события в одном SQL-запросе. При отсутствии таких задач проще оставить отдельные хранилища и копирование по расписанию. Оценка частоты снапшотов помогает понять, насколько свежими будут данные в озере и не приведет ли это к избыточной нагрузке на лог-слой при каждом запросе.

 

Источник

Это краткий разбор материала Apache Doris. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Doris 5.0 и Fluss для запросов по потоку и озеру.

Курс по теме — Каталог курсов Школы Больших Данных

 

Архитектура Данных

Код курса
ARMG
Ближайшая дата курса
21 декабря, 2026
Продолжительность
24 ак.часов
Стоимость обучения
76 800