Doris и Lance для векторного поиска в SQL

Doris научился читать Lance-датасеты напрямую и выполнять векторный поиск вместе с фильтрами, join и агрегацией в одном запросе. Раньше инженерам приходилось выгружать кандидаты из отдельного векторного сервиса, переносить их в аналитическую СУБД и собирать итоговый результат вру

Переход с Greenplum на Lakehouse без смены SQL и Airflow

Команды начали терять контроль над ресурсами общего кластера Greenplum, когда тяжелые запросы стали влиять на работу всех пользователей, а закупка нового оборудования для расширения превратилась в отдельную проблему. В Лемана Тех решили разделить хранение и вычисления, перенеся с

Статистика партиций Iceberg ускоряет планирование запросов

Apache Iceberg получил механизм инкрементального подсчёта статистики по партициям. Это позволяет движкам запросов точнее оценивать объём данных перед сканированием и сильнее сокращать объём чтения. Изменение особенно заметно при работе со Spark, где планировщик раньше опирался то

Doris 5.0 и Fluss для запросов по потоку и озеру

Apache Doris 5.0 добавил каталог Fluss, чтобы инженеры могли читать лог-таблицы и таблицы с первичным ключом напрямую. Запросы теперь совмещают свежие события из Fluss с историей, выгруженной в Paimon, без отдельного копирования. Это важно для задач, где нужно быстро сравнить тек

DuckDB CLI адаптировался под AI-агентов

DuckDB представляет собой аналитическую базу данных, ориентированную на работу внутри процесса и не требующую отдельного сервера. Её интерфейс командной строки (CLI) в версии 2.0 получил специальный режим агента. Этот режим меняет формат вывода так, чтобы он лучше подходил для яз

Pinot научился удалять строки по SQL-запросу

StarTree добавила в Apache Pinot задачу Segment Purge Task, которая принимает обычный WHERE-условие и переписывает только затронутые сегменты. Это решает задачу точечного удаления событий в immutable-хранилище, где раньше приходилось либо пересобирать данные снаружи, либо удалять

Debezium Platform UI добавил статус пайплайнов и доступ к докам

Debezium Platform теперь показывает состояние развёрнутых пайплайнов прямо в интерфейсе и выводит сообщения об ошибках без просмотра логов сервера. Инженеры получают быстрый доступ к нужным разделам документации из контекста текущей страницы и могут выгружать готовую конфигурацию

Ребалансировка в Kafka 4: KIP-848 против classic

  Вторая часть разбора Arenadata о пути сообщения в Apache Kafka от send() до фиксации оффсета задевает тему, которую обзоры чтения обычно проходят мимоходом, а именно протокол ребалансировки групп потребителей Kafka (Kafka consumer rebalance protocol). В Kafka 4.0 у классического протокола появился преемник по KIP-848, где партиции раздаёт брокер, а...

Переносимые представления Iceberg между движками

Apache Iceberg добавил в спецификацию поддержку представлений с хранением метаданных прямо в каталоге. Теперь SQL-запрос, схема, версии и зависимости описываются один раз и становятся доступны разным движкам без пересоздания. Это решает задачу совместного использования views в Sp

Шифрование таблиц Iceberg через KMS и Parquet

Dremio описала механизм шифрования таблиц Apache Iceberg на основе конвертного шифрования и модульного шифрования Parquet. Подход позволяет защитить данные на уровне таблицы без изменения прикладного кода. Для инженеров это означает возможность встраивать шифрование в существующи

Многотабличные транзакции Iceberg через REST-каталоги

Dremio описал механизм многотабличных коммитов в Iceberg REST Catalog. Он позволяет менять несколько таблиц в одной атомарной операции, сохраняя一致ность данных при параллельной работе. Это важно для пайплайнов, где обновление фактов и измерений должно происходить без частичных сос

DuckDB читает датасеты Hugging Face напрямую

DuckDB начиная с версии 0.10.3 умеет обращаться к датасетам на Hugging Face Hub по схеме hf:// и выполнять запросы без предварительной загрузки файлов на диск. Интеграция построена поверх расширения httpfs и позволяет работать с CSV, JSONL и Parquet прямо в репозиториях, где данн

Dragonfly ввел лимит 100 vCPU для бесплатного продакшена

Dragonfly перешел с BSL 1.1 на новую source-available лицензию начиная с версии 2.1. BSL 1.1 - это Business Source License, которая раньше позволяла свободное использование с отложенным переходом в полностью открытый код. Теперь бесплатное использование в продакшене ограничено 10

DataGrip встроил DuckDB для запросов через базы

JetBrains добавила в DataGrip возможность выполнять один SQL-запрос сразу по нескольким подключениям. Вместо разработки собственного движка кросс-базовых запросов команда встроила DuckDB и передала ему выполнение через собственные табличные функции. Такое решение позволило получи

Статистика таблиц Iceberg — Puffin, NDV и планы Trino

  12 октября 2026 года в блоге Dremio, компании-разработчика lakehouse-платформы поверх Apache Iceberg, вышел обзор того, как устроена статистика таблиц Iceberg (Iceberg table statistics) и почему оптимизатор запросов без неё работает вслепую. Обзор перечисляет виды статистики, но оставляет за кадром три практических вопроса. Кто именно пишет число уникальных значений колонки...

Vortex и бар для новых форматов Iceberg

В июле 2026 года в сообществе Apache Iceberg рассмотрели предложение добавить Vortex как четвертый формат данных. Автор разбил заявку на критерии и описание кандидата, чтобы сначала договориться о правилах, а потом обсуждать конкретный формат. Это важно потому, что любое расширен

Iceberg и Parquet решают разные задачи

Dremio напомнила, что Apache Iceberg и Apache Parquet относятся к разным уровням стека и не конкурируют между собой. Iceberg описывает структуру таблицы, метаданные и правила доступа, а Parquet хранит сами данные в колонковом виде. Без понимания этой разницы инженеры часто выбира

PostgreSQL добавил MergeTree из ClickHouse без форка ядра

Автор интегрировал колоночный движок MergeTree напрямую в PostgreSQL через table access method. Table access method - это интерфейс PostgreSQL, который позволяет подменять способ хранения и чтения данных в таблицах без изменения ядра СУБД. Решение работает на ванильном ядре 19 ве

Kafka 4.4.0 ввел DLQ и метрики ввода-вывода

Apache Kafka 4.4.0 вышла с 25 KIP и почти тысячей коммитов. Релиз добавляет поддержку dead-letter очередей для share-групп, новые метрики Linux I/O через JMX и механизм отложенной загрузки в tiered storage. Эти изменения влияют на мониторинг, обработку ошибок и затраты на хранени

GroeneAI чинит сбои CI в ClickHouse без людей

GroeneAI - автономный агент на базе ИИ, который с марта 2026 года внёс в ClickHouse более трёх тысяч merged pull requests. Он сам выбирает задачи из результатов CI и fuzzing-отчётов, воспроизводит сбои, пишет исправления, запускает тесты и ведёт pull request до слияния. Такой под