Три источника времени ломают резервы в PostgreSQL

Приложение на Gin и GORM записывало время в таблицу через Go, а база добавляла значения через NOW(). В итоге одна и та же запись хранила метки из трёх разных источников: UTC из приложения, времени сессии базы и момента транзакции. Разница в три часа приводила к тому, что фоновая

Централизованный контроль прав в базах через Trino

Wildberries перевела управление доступом к данным на единую точку входа через Trino и Open Policy Agent. Это позволило уйти от ручной раздачи прав в десятках СУБД и получить сквозной аудит. Решение выросло из задачи одного отдела в кросс-департаментный процесс, где техническая ча

Датасет парковок Москвы в Parquet для DuckDB

Открытый набор из 4,6 млн записей по 210 парковкам Москвы решает задачу получения локальных данных для проверки time-series моделей занятости. Раньше инженеры опирались на устаревший набор UCI Parking Birmingham за три месяца 2016 года. Новый датасет покрывает полтора года с шаго

MCP усиливает уязвимости ИИ-агентов

Сторонние MCP позволяют агентам напрямую работать с GitHub, таск-трекерами и PostgreSQL без дополнительного кода. Это ускоряет интеграцию, но одновременно открывает канал для промпт-инъекций, которые модель не умеет фильтровать по источнику. В итоге агент может выполнить вредонос

Ivory 2.0 охватывает кластеры разных баз

Ivory перешел от узкого инструмента для PostgreSQL и Patroni к универсальной платформе управления кластерами. В версии 2.0.0 появилась новая архитектура с Keeper, добавилась поддержка MongoDB, Redis, ClickHouse, ZooKeeper и etcd, а также возможность развертывать кластеры из шабло

Doris вместо Spark ускорила A/B-метрики в 145 раз

Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris и получила ускорение до 145 раз на типичном пути при снижении потребления ресурсов на 72 %. Задача была жёсткой: ежедневно обрабатывать сотни тысяч пакетных заданий по двум большим таблицам, где ключ соединен

Выбор векторной базы без лишней сложности

В проектах RAG поиск по векторам на демо выглядит просто, но при росте документов и фильтров нагрузка быстро меняется. Команда может потратить месяцы на поддержку отдельной системы, хотя для задачи хватило бы расширения внутри PostgreSQL. Разбор помогает понять, когда pgvector ре

ClickHouse упростил анализ данных из 1С

Компания столкнулась с разросшимся корпоративным DWH на PostgreSQL, где цепочка загрузки и обработки данных стала непрозрачной. Разработчики тратили дни на восстановление логики расчётов, а обновление отчётов занимало часы. Переход на ClickHouse и XLTable позволил пересобрать кон

Агент для второй линии DBA — 10 тысяч тикетов за месяц

Sber перевёл автономного агента в режим второй линии поддержки для парка из более чем 800 экземпляров PostgreSQL-совместимой СУБД Platform V Pangolin DB. Вместо ручной обработки тикетов агент самостоятельно выполняет VACUUM, очищает место на дисках и планирует остановки. За 30 дн

Визуальный ETL на Dask для 1С

DVT решает задачу, когда сборка витрин для BI размазана по Airflow, скриптам на Python, представлениям SQL и Excel. Вместо этого процесс собирается в единую схему из готовых блоков, где каждый шаг - загрузка, фильтрация, сопоставление или расчёт - виден сразу. Инструмент построен

PostgreSQL 19 стабилизирует планы запросов

В мартовском коммитфесте PostgreSQL 19 приняли расширение pg_plan_advice, которое позволяет зафиксировать решения планировщика для конкретного запроса. Это важно, потому что нестабильные планы остаются одной из главных причин скачков производительности после обновления статистики

Политики бакетов вместо прокси в S3

VK Cloud добавил в Object Storage поддержку Bucket Access Policy. Теперь правила доступа хранятся прямо в бакете в формате JSON и проверяются самим хранилищем на каждый запрос. Это позволяет убрать внешний прокси и перенести авторизацию внутрь S3-совместимого сервиса. Для команд,

Порядок событий в Kafka Outbox ломается на трёх звеньях

В системах с transactional outbox и Kafka ключ партиционирования по order_id не гарантирует причинно-следственный порядок событий. Transactional outbox - это шаблон, при котором события сначала записываются в отдельную таблицу внутри той же транзакции, что и бизнес-данные, а зате

Выбор каталога для Iceberg на своём железе

Lakekeeper и Apache Polaris решают одну и ту же задачу: хранят указатели на актуальные версии таблиц Iceberg, выполняют коммиты и проверяют права доступа. Без надёжного каталога даже правильно записанные parquet-файлы быстро теряют целостность при параллельной работе Spark, Trino

Tantor Polar снимает потолок PostgreSQL

Tantor Polar разделяет вычисления и хранение, сохраняя полную совместимость с PostgreSQL. Это решает задачу, где классическая архитектура упирается в пределы одного сервера или страдает от сложностей репликации и шардирования при росте нагрузки. Новая машина Tantor XData Gen3 на

Trino для SQL-запросов к Iceberg в S3

Trino решает задачу прямого доступа к таблицам Iceberg, хранящимся в S3, через стандартный SQL без переноса данных и без запуска Spark-кластера. Раньше аналитикам приходилось копировать содержимое в PostgreSQL или ClickHouse, теряя преимущества озера данных и создавая проблемы си

ClickHouse 26.9 добавляет спиллинг и условный LIMIT

ClickHouse 26.9 вышел с 56 новыми возможностями и 135 оптимизациями производительности. Главные изменения касаются условных границ LIMIT, инкрементального обновления append-only materialized views и спиллинга на диск для DISTINCT-запросов с высокой кардинальностью. Эти функции сн

Polaris стал каталогом для Iceberg в Apache

В феврале Polaris перешел под крыло Apache и получил статус полноценного проекта. Это не просто смена лицензии, а перенос контроля над указателями версий таблиц Iceberg в открытый репозиторий. Для инженеров, строящих lakehouse, такой каталог определяет, кто и как видит актуальные

Платформа AstraZeneca — разделение хранилищ под разные задачи

Бизнес в AstraZeneca столкнулся с противоречивыми требованиями к данным: одни запросы требуют проверенных цифр для отчётности, другие - быстрых экспериментов на сырых логах, третьи - долгосрочного архива больших объёмов. Вместо единой системы компания разделила платформу на специ

ClickHouse для переноса Parquet в MySQL

ClickHouse добавил удобный способ загружать данные из Parquet-файлов напрямую в MySQL. Инженеры получают инструмент для разовых и регулярных задач миграции без написания отдельного ETL-кода. Решение опирается на table functions и named collections, что упрощает подключение и повт