DuckDB снижает сложность обработки данных вместо Spark

Инженер с двадцатилетним опытом перешёл от Excel и тяжёлых кластеров к DuckDB с DuckLake. DuckDB представляет собой встраиваемую аналитическую базу данных, которая выполняет запросы прямо над файлами без отдельного сервера. Новый инструмент решает задачу быстрого анализа файлов и

StarRocks дал аналитикам право строить витрины без тестовых кластеров

Компания перешла с Oracle на StarRocks, Airflow и dbt, чтобы 25 аналитиков могли сами собирать витрины через Git, а три инженера данных обслуживали всю платформу. Запросы, которые раньше работали десятки минут, теперь укладываются в 14 секунд в 99 процентах случаев. Главное измен

Debezium Platform научился отправлять алерты по метрикам

Debezium Management Platform раньше показывала метрики пайплайнов только на дашборде. Теперь она сама отслеживает пороги и уведомляет о нарушениях. Это снимает необходимость постоянно смотреть в интерфейс и позволяет реагировать на проблемы быстрее. Пайплайны здесь - это настроен

Arrow и Parquet — разница в памяти и на диске

Dremio напомнила, что Parquet отвечает за хранение колонок на диске, а Arrow - за представление тех же колонок в оперативной памяти. Parquet - это колоночный формат для файлов, который сжимает данные и хранит статистику, чтобы сократить объём и ускорить выборку. Arrow - это колон

Выбор формата Parquet, Avro или ORC в 2026

Сравнение Parquet, Avro и ORC помогает инженерам DWH подобрать формат под конкретные нагрузки чтения и записи. Parquet и ORC оптимизированы для аналитических запросов за счёт колоночной организации, Avro лучше справляется с частыми изменениями схемы при потоковой записи. Apache I

ClickHouse убрал лишний RTT в Native-протоколе

ClickHouse исправил причину лишней задержки в 32 мс на простых SELECT-запросах через Native-протокол. После простоя соединения больше двух секунд окно перегрузки TCP сбрасывалось, а несколько мелких пакетов метаданных не помещались в него сразу. Это вызывало дополнительный круг о

Бенчмарк для дата-агентов на своих данных

Статья показывает, как компании теряют доверие к дата-агентам после пилота: модель, промпт и метрики меняются, а никто не проверяет, остались ли ответы верными. Решение - создать фиксированный набор «золотых вопросов» с известными ответами и прогонять его при каждом изменении. Та

Управление Airflow через ChatGPT

Astronomer выпустила плагин astronomer-data, который позволяет инженерам работать с Airflow прямо внутри ChatGPT Work и Codex. Решение снимает необходимость постоянно переключаться между чатом, терминалом и веб-интерфейсом оркестратора. Плагин поддерживает как облачные, так и соб

Doris вместо Spark ускорила A/B-метрики в 145 раз

Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris и получила ускорение до 145 раз на типичном пути при снижении потребления ресурсов на 72 %. Задача была жёсткой: ежедневно обрабатывать сотни тысяч пакетных заданий по двум большим таблицам, где ключ соединен