Выбор self-hosted S3 для Iceberg после MinIO

MinIO потерял статус стандартного решения для on-premise lakehouse. Комьюнити-редакция ушла в архив, а Iceberg-таблицы требуют точного набора операций с объектами. Командам нужно оценить альтернативы по реальным паттернам чтения и записи, а не по общей фразе «S3-совместимость».

ClickHouse хранит историю Zabbix 8 без трендов

Zabbix 8 добавил встроенную поддержку отправки истории измерений в ClickHouse. Это позволяет разгрузить основную PostgreSQL или MySQL от потока сырых значений, сохранив сбор данных, обработку и срабатывание триггеров на сервере. Решение закрывает задачу долгосрочного хранения мет

Pandas Polars DuckDB и Spark на слабом железе

Бенчмарк на машине с двумя ядрами и 5,8 ГБ памяти показал, что для типичных аналитических задач переход на Spark часто избыточен. Вместо кластера можно обойтись DuckDB или Polars, которые справляются с файлами до 5 ГБ без падений по памяти и без настройки JVM. Тест охватил загруз

Бенчмарк Astronomer для Apache Airflow

Astronomer представила de-bench - набор из 139 задач, построенных на реальных производственных окружениях Airflow. Инструмент проверяет, насколько хорошо кодовые агенты справляются с оркестрацией, а не только с SQL или dbt. Airflow здесь выступает как система оркестрации, которая

ClickHouse для Jaeger трейсов

VK Cloud построил Cloud Tracing на Jaeger-совместимом API и OpenTelemetry. Сервис принимает спаны от сотен независимых клиентов, хранит десятки терабайт и отдаёт данные через привычные Jaeger UI и Grafana. Выбор хранилища при этом свёлся к двум вариантам из шести заявленных бэкен

Выбор стека наблюдения за DWH

Статья на Habr сравнивает практические варианты мониторинга и логирования корпоративного хранилища. Авторы показывают, как инструменты закрывают конкретные уровни контроля - от состояния серверов до качества данных и влияния сбоев на downstream. Разбор помогает инженерам понять,

ИИ пишет микросервисы с Kafka, но баги остаются

ИИ-модели уже генерируют backend и frontend по одному промпту, включая связки с Kafka, PostgreSQL и Redis. Однако на практике такой код часто содержит скрытые ошибки, которые проявляются только при реальной нагрузке. Разработчик по-прежнему нужен, чтобы эти ошибки найти и исправи

Три источника времени ломают резервы в PostgreSQL

Приложение на Gin и GORM записывало время в таблицу через Go, а база добавляла значения через NOW(). В итоге одна и та же запись хранила метки из трёх разных источников: UTC из приложения, времени сессии базы и момента транзакции. Разница в три часа приводила к тому, что фоновая

Централизованный контроль прав в базах через Trino

Wildberries перевела управление доступом к данным на единую точку входа через Trino и Open Policy Agent. Это позволило уйти от ручной раздачи прав в десятках СУБД и получить сквозной аудит. Решение выросло из задачи одного отдела в кросс-департаментный процесс, где техническая ча

MCP усиливает уязвимости ИИ-агентов

Сторонние MCP позволяют агентам напрямую работать с GitHub, таск-трекерами и PostgreSQL без дополнительного кода. Это ускоряет интеграцию, но одновременно открывает канал для промпт-инъекций, которые модель не умеет фильтровать по источнику. В итоге агент может выполнить вредонос

Ivory 2.0 охватывает кластеры разных баз

Ivory перешел от узкого инструмента для PostgreSQL и Patroni к универсальной платформе управления кластерами. В версии 2.0.0 появилась новая архитектура с Keeper, добавилась поддержка MongoDB, Redis, ClickHouse, ZooKeeper и etcd, а также возможность развертывать кластеры из шабло

Doris вместо Spark ускорила A/B-метрики в 145 раз

Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris и получила ускорение до 145 раз на типичном пути при снижении потребления ресурсов на 72 %. Задача была жёсткой: ежедневно обрабатывать сотни тысяч пакетных заданий по двум большим таблицам, где ключ соединен

ClickHouse упростил анализ данных из 1С

Компания столкнулась с разросшимся корпоративным DWH на PostgreSQL, где цепочка загрузки и обработки данных стала непрозрачной. Разработчики тратили дни на восстановление логики расчётов, а обновление отчётов занимало часы. Переход на ClickHouse и XLTable позволил пересобрать кон

Агент для второй линии DBA — 10 тысяч тикетов за месяц

Sber перевёл автономного агента в режим второй линии поддержки для парка из более чем 800 экземпляров PostgreSQL-совместимой СУБД Platform V Pangolin DB. Вместо ручной обработки тикетов агент самостоятельно выполняет VACUUM, очищает место на дисках и планирует остановки. За 30 дн

Визуальный ETL на Dask для 1С

DVT решает задачу, когда сборка витрин для BI размазана по Airflow, скриптам на Python, представлениям SQL и Excel. Вместо этого процесс собирается в единую схему из готовых блоков, где каждый шаг - загрузка, фильтрация, сопоставление или расчёт - виден сразу. Инструмент построен

PostgreSQL 19 стабилизирует планы запросов

В мартовском коммитфесте PostgreSQL 19 приняли расширение pg_plan_advice, которое позволяет зафиксировать решения планировщика для конкретного запроса. Это важно, потому что нестабильные планы остаются одной из главных причин скачков производительности после обновления статистики

Политики бакетов вместо прокси в S3

VK Cloud добавил в Object Storage поддержку Bucket Access Policy. Теперь правила доступа хранятся прямо в бакете в формате JSON и проверяются самим хранилищем на каждый запрос. Это позволяет убрать внешний прокси и перенести авторизацию внутрь S3-совместимого сервиса. Для команд,

Порядок событий в Kafka Outbox ломается на трёх звеньях

В системах с transactional outbox и Kafka ключ партиционирования по order_id не гарантирует причинно-следственный порядок событий. Transactional outbox - это шаблон, при котором события сначала записываются в отдельную таблицу внутри той же транзакции, что и бизнес-данные, а зате

Tantor Polar снимает потолок PostgreSQL

Tantor Polar разделяет вычисления и хранение, сохраняя полную совместимость с PostgreSQL. Это решает задачу, где классическая архитектура упирается в пределы одного сервера или страдает от сложностей репликации и шардирования при росте нагрузки. Новая машина Tantor XData Gen3 на

Trino для SQL-запросов к Iceberg в S3

Trino решает задачу прямого доступа к таблицам Iceberg, хранящимся в S3, через стандартный SQL без переноса данных и без запуска Spark-кластера. Раньше аналитикам приходилось копировать содержимое в PostgreSQL или ClickHouse, теряя преимущества озера данных и создавая проблемы си