Содержание
StarTree добавила в Apache Pinot задачу Segment Purge Task, которая принимает обычный WHERE-условие и переписывает только затронутые сегменты. Это решает задачу точечного удаления событий в immutable-хранилище, где раньше приходилось либо пересобирать данные снаружи, либо удалять целые сегменты. Для инженеров, работающих с телеметрией и observability, это означает, что запросы на удаление теперь можно выполнять без остановки пайплайна и без доступа к исходным данным. Задача полезна, когда нужно соблюсти требования к удалению персональных данных или исправить отдельные записи без перестройки всей таблицы.
Как устроено хранение и почему удаление всегда было дорогим
Pinot пишет сегмент один раз и больше не меняет его. Каждый сегмент содержит несколько миллионов строк вместе со всеми индексами в одном файле. Именно неизменяемость даёт высокую скорость чтения: файл можно memory-map, кэшировать и копировать между репликами без блокировок. Однако при удалении строк приходится создавать новый сегмент без ненужных строк и заменять старый файл целиком.
Minion скачивает сегмент, фильтрует строки, записывает новый файл и отдаёт его контроллеру. Брокер и серверы при этом продолжают отвечать на запросы. С точки зрения запросов строки просто исчезают после свапа сегментов. Такой подход неизбежно требует ресурсов на перезапись, поэтому важно понимать, какие сегменты попадут под задачу и сколько строк в них будет удалено. Перед принятием решения стоит оценить, насколько часто будут возникать подобные запросы на удаление и хватит ли мощностей Minion-нод для обработки без влияния на общую производительность кластера. Если сегменты большие и удаляется малая доля строк, перезапись может оказаться неоправданно дорогой по времени и по потреблению ресурсов.
Что уже умел open source Pinot
В открытой версии удаление строк возможно только косвенными способами. Retention удаляет целые сегменты по времени, segment delete API работает с целыми файлами, а upsert-таблицы используют специальную колонку для пометки удаления. Если данные не укладываются в эти схемы, приходилось выгружать диапазон из источника, фильтровать и заново загружать сегменты под теми же именами.
Эти методы требуют либо наличия исходных данных, либо перестройки всего пайплайна. Для типичных append-only таблиц телеметрии, где нужно удалить несколько сотен или тысяч событий по сложному условию, такие варианты оказываются слишком трудоёмкими. При выборе решения важно проверить, можно ли перевести таблицу на upsert без изменения схемы и нагрузки на ingestion. Если retention уже покрывает большую часть устаревших данных, а запросы на удаление редки, то дополнительные инструменты могут не потребоваться. В противном случае косвенные методы ведут к дублированию кода и риску несогласованности данных.
Как работает query based purge и что он даёт инженеру
Новая задача принимает SQL-подобное условие и применяет его к выбранным сегментам. Можно указать диапазон времени, список сервисов и дополнительные фильтры без написания отдельного кода. Перед запуском purge можно проверить, сколько строк попадёт под условие, и оценить объём перезаписи.
Стоимость операции складывается из скачивания, фильтрации и повторной загрузки сегментов. Чем больше сегментов затронуто и чем меньше строк удаляется из каждого, тем выше накладные расходы. Поэтому перед массовым purge полезно сначала сузить условие или проверить, не проще ли подождать retention. Для инженера это даёт возможность планировать удаление в непиковые часы и мониторить нагрузку на Minion. При принятии решения стоит учитывать, что операция всё равно потребляет ресурсы кластера и может временно увеличить задержку ответов на запросы, если Minion-ноды перегружены. Если запросы на удаление возникают регулярно и касаются сложных условий, выгода очевидна; если же они единичны, проще остаться на ручных скриптах или upsert.
Ограничения и как это ложится на российские контуры
В российских установках Pinot чаще всего используют on-premise без StarTree-компонентов. В этом случае задача недоступна, и приходится либо поддерживать собственный скрипт перезаписи сегментов, либо хранить данные в отдельной таблице с upsert. Если компания уже платит за StarTree, purge снижает трудозатраты на compliance-запросы, но требует мониторинга нагрузки на minion-ноды и планирования времени выполнения в непиковые часы. Важно заранее оценить, есть ли в бюджете средства на подписку и хватит ли экспертизы для настройки мониторинга. В open-source сценарии стоит взвесить затраты на разработку и поддержку собственного решения против рисков несвоевременного удаления данных.
Источник
Это краткий разбор материала StarTree. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Pinot научился удалять строки по SQL-запросу.
Курс по теме — Каталог курсов Школы Больших Данных


