ClickHouse упростил анализ данных из 1С

Компания столкнулась с разросшимся корпоративным DWH на PostgreSQL, где цепочка загрузки и обработки данных стала непрозрачной. Разработчики тратили дни на восстановление логики расчётов, а обновление отчётов занимало часы. Переход на ClickHouse и XLTable позволил пересобрать кон

Агент для второй линии DBA — 10 тысяч тикетов за месяц

Sber перевёл автономного агента в режим второй линии поддержки для парка из более чем 800 экземпляров PostgreSQL-совместимой СУБД Platform V Pangolin DB. Вместо ручной обработки тикетов агент самостоятельно выполняет VACUUM, очищает место на дисках и планирует остановки. За 30 дн

Визуальный ETL на Dask для 1С

DVT решает задачу, когда сборка витрин для BI размазана по Airflow, скриптам на Python, представлениям SQL и Excel. Вместо этого процесс собирается в единую схему из готовых блоков, где каждый шаг - загрузка, фильтрация, сопоставление или расчёт - виден сразу. Инструмент построен

PostgreSQL 19 стабилизирует планы запросов

В мартовском коммитфесте PostgreSQL 19 приняли расширение pg_plan_advice, которое позволяет зафиксировать решения планировщика для конкретного запроса. Это важно, потому что нестабильные планы остаются одной из главных причин скачков производительности после обновления статистики

Политики бакетов вместо прокси в S3

VK Cloud добавил в Object Storage поддержку Bucket Access Policy. Теперь правила доступа хранятся прямо в бакете в формате JSON и проверяются самим хранилищем на каждый запрос. Это позволяет убрать внешний прокси и перенести авторизацию внутрь S3-совместимого сервиса. Для команд,

Порядок событий в Kafka Outbox ломается на трёх звеньях

В системах с transactional outbox и Kafka ключ партиционирования по order_id не гарантирует причинно-следственный порядок событий. Transactional outbox - это шаблон, при котором события сначала записываются в отдельную таблицу внутри той же транзакции, что и бизнес-данные, а зате

Выбор каталога для Iceberg на своём железе

Lakekeeper и Apache Polaris решают одну и ту же задачу: хранят указатели на актуальные версии таблиц Iceberg, выполняют коммиты и проверяют права доступа. Без надёжного каталога даже правильно записанные parquet-файлы быстро теряют целостность при параллельной работе Spark, Trino

Tantor Polar снимает потолок PostgreSQL

Tantor Polar разделяет вычисления и хранение, сохраняя полную совместимость с PostgreSQL. Это решает задачу, где классическая архитектура упирается в пределы одного сервера или страдает от сложностей репликации и шардирования при росте нагрузки. Новая машина Tantor XData Gen3 на

Trino для SQL-запросов к Iceberg в S3

Trino решает задачу прямого доступа к таблицам Iceberg, хранящимся в S3, через стандартный SQL без переноса данных и без запуска Spark-кластера. Раньше аналитикам приходилось копировать содержимое в PostgreSQL или ClickHouse, теряя преимущества озера данных и создавая проблемы си

ClickHouse 26.9 добавляет спиллинг и условный LIMIT

ClickHouse 26.9 вышел с 56 новыми возможностями и 135 оптимизациями производительности. Главные изменения касаются условных границ LIMIT, инкрементального обновления append-only materialized views и спиллинга на диск для DISTINCT-запросов с высокой кардинальностью. Эти функции сн

Polaris стал каталогом для Iceberg в Apache

В феврале Polaris перешел под крыло Apache и получил статус полноценного проекта. Это не просто смена лицензии, а перенос контроля над указателями версий таблиц Iceberg в открытый репозиторий. Для инженеров, строящих lakehouse, такой каталог определяет, кто и как видит актуальные

Платформа AstraZeneca — разделение хранилищ под разные задачи

Бизнес в AstraZeneca столкнулся с противоречивыми требованиями к данным: одни запросы требуют проверенных цифр для отчётности, другие - быстрых экспериментов на сырых логах, третьи - долгосрочного архива больших объёмов. Вместо единой системы компания разделила платформу на специ

ClickHouse для переноса Parquet в MySQL

ClickHouse добавил удобный способ загружать данные из Parquet-файлов напрямую в MySQL. Инженеры получают инструмент для разовых и регулярных задач миграции без написания отдельного ETL-кода. Решение опирается на table functions и named collections, что упрощает подключение и повт

CAS разделяет вычисления и хранение в ClickHouse

Altinity добавила Content Addressed Storage в Antalya 26.6. Новая функция даёт возможность перенести данные MergeTree-таблиц в общее объектное хранилище и масштабировать вычислительные узлы независимо от объёма данных. Для российских команд это способ снизить затраты на железо пр

Keeper убрал Java из координации ClickHouse

ClickHouse всегда нуждался в строгой координации для репликации, распределённых DDL и назначения блоков, хотя сами данные расходятся по eventually consistent модели. ZooKeeper давал нужную семантику сессий, эфемерных узлов и последовательных znode, но требовал отдельного Java-про

Пайплайны SQL в ClickHouse 26.8

ClickHouse 26.8 добавил оператор |> для записи запросов как последовательности преобразований. Это развитие подхода с FROM в начале, который появился ещё в версии 22.12. Инженеры теперь могут строить сложные аналитические запросы пошагово, без вложенных подзапросов и CTE, сохраня

Платформа o_rabbit для экспорта в Iceberg

MindWise построила инструмент o_rabbit, который переносит данные из разных источников в Parquet-файлы на S3, регистрирует их как таблицы Iceberg и делает доступными для запросов через Project Antalya. Это не просто замена вставок в ClickHouse, а перестройка всего ETL-контура под

Быстрый импорт из облачных хранилищ в Postgres

Новая расшифровка chdb для Postgres решает задачу быстрой загрузки и выгрузки данных из S3, GCS и Azure Blob Storage в разнообразных форматах. Вместо стандартных инструментов расшифровка встраивает движок ClickHouse прямо в процесс Postgres, что позволяет обрабатывать большие объ

Мониторинг PostgreSQL 19 — что изменится на практике

PostgreSQL 19 приближается к выходу и добавляет несколько точечных, но ощутимых улучшений в observability. Основные правки касаются видимости блокировок, гибкости логирования по типам процессов, разделения настроек для VACUUM и ANALYZE, а также учета реального объема полностранич

Репликация Postgres в ClickHouse за 200 мс

WalShadow решает задачу быстрой доставки изменений из Postgres в ClickHouse без логической репликации. Инструмент читает физический WAL напрямую, декодирует его вне источника и пишет блоки в нативном формате ClickHouse. В результате транзакции становятся видны в аналитической СУБ