Сравнение Parquet, Avro и ORC помогает инженерам DWH подобрать формат под конкретные нагрузки чтения и записи. Parquet и ORC оптимизированы для аналитических запросов за счёт колоночной организации, Avro лучше справляется с частыми изменениями схемы при потоковой записи. Apache I
Zabbix 8 добавил встроенную поддержку отправки истории измерений в ClickHouse. Это позволяет разгрузить основную PostgreSQL или MySQL от потока сырых значений, сохранив сбор данных, обработку и срабатывание триггеров на сервере. Решение закрывает задачу долгосрочного хранения мет
В сентябре 2026 года ClickHouse выпустила ClickHouse provider for Apache Airflow (провайдер ClickHouse для Airflow), официальный пакет apache-airflow-providers-clickhousedb, и интеграция двух популярных инструментов дата-инженера впервые получила поддержку от самих разработчиков СУБД и сообщества Airflow. Новость короткая, а вопросы за ней длинные. Чем провайдер отличается от того, чем DAG ходили...
Dremio описала, как Apache Iceberg хранит границы значений на уровне файлов автоматически, но точные NDV-статистики на уровне таблицы требуют отдельного вычисления. Без них планировщик запросов часто выбирает неоптимальный порядок соединений и сканирования, особенно в больших озё
Astronomer выпустил Astro IDE в общий доступ и добавил расширение для VS Code. Параллельно готовится версия для Cursor, а в перспективе меняется Astro CLI. Эти шаги позволяют работать с DAG Airflow в браузере, в привычном редакторе и через агентов без постоянной настройки локальн
Astronomer представила de-bench - набор из 139 задач, построенных на реальных производственных окружениях Airflow. Инструмент проверяет, насколько хорошо кодовые агенты справляются с оркестрацией, а не только с SQL или dbt. Airflow здесь выступает как система оркестрации, которая
StarTree добавил в Apache Pinot framework Custom Hash Function, который позволяет описывать сложные правила партиционирования прямо в конфигурации таблицы. Это решает проблему, когда Kafka и Pinot расходятся в способе расчёта номера партиции, из-за чего broker не может выполнять
VK Cloud построил Cloud Tracing на Jaeger-совместимом API и OpenTelemetry. Сервис принимает спаны от сотен независимых клиентов, хранит десятки терабайт и отдаёт данные через привычные Jaeger UI и Grafana. Выбор хранилища при этом свёлся к двум вариантам из шести заявленных бэкен
Вторая часть разбора Arenadata показывает, как потребитель Kafka получает данные, управляет отставанием и делит партиции. Понимание этих процессов помогает инженерам правильно настраивать poll-циклы, лимиты и группы, чтобы избежать простоев и растущего лага. Разбор фокусируется н
Статья на Habr сравнивает практические варианты мониторинга и логирования корпоративного хранилища. Авторы показывают, как инструменты закрывают конкретные уровни контроля - от состояния серверов до качества данных и влияния сбоев на downstream. Разбор помогает инженерам понять,
В корпоративных хранилищах данных сбой может возникнуть на любом участке конвейера: при выгрузке из источников, во время трансформаций или на уровне СУБД. Техническая доступность кластера ещё не означает, что данные приходят вовремя и в полном объёме. Observability позволяет соби
Приложение на Gin и GORM записывало время в таблицу через Go, а база добавляла значения через NOW(). В итоге одна и та же запись хранила метки из трёх разных источников: UTC из приложения, времени сессии базы и момента транзакции. Разница в три часа приводила к тому, что фоновая
Wildberries перевела управление доступом к данным на единую точку входа через Trino и Open Policy Agent. Это позволило уйти от ручной раздачи прав в десятках СУБД и получить сквозной аудит. Решение выросло из задачи одного отдела в кросс-департаментный процесс, где техническая ча
Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris и получила ускорение до 145 раз на типичном пути при снижении потребления ресурсов на 72 %. Задача была жёсткой: ежедневно обрабатывать сотни тысяч пакетных заданий по двум большим таблицам, где ключ соединен
DVT решает задачу, когда сборка витрин для BI размазана по Airflow, скриптам на Python, представлениям SQL и Excel. Вместо этого процесс собирается в единую схему из готовых блоков, где каждый шаг - загрузка, фильтрация, сопоставление или расчёт - виден сразу. Инструмент построен
Coding-агенты обещают писать код вместо вас. На практике большинство из них либо сидят в облаке и требуют API-ключи, либо превращаются в тяжёлые IDE-плагины, либо просто генерируют текст, который потом всё равно приходится вручную копировать, запускать и отлаживать. Каждый такой цикл отнимает время и внимание. Pi Coding Agent идёт другим...
Разберёмся, как собрать ИИ-ассистента на OpenRouter, который отвечает на русские вопросы по своей базе знаний, понимает картинки и стоит копейки. Это финальный кейс серии, где сходится всё пройденное: один ключ, дешёвая модель, русскоязычные эмбеддинги и мультимодальность. Соберём рабочий прототип, прогоним его на стенде и замерим стоимость и скорость. Весь...
Разберёмся, OpenRouter или LiteLLM что выбрать, и где вообще проходит граница между облачным роутером, self-hosted слоем, прямым API провайдера и российскими шлюзами. Универсального ответа нет, у каждого варианта своя ниша. В статье трезво сравним подходы, покажем LiteLLM в деле и выведем простую схему выбора. Это заключительный материал серии, поэтому...
Разберёмся, как обеспечить приватность данных в OpenRouter и держать доступ под контролем в команде. Для бизнеса это два главных вопроса к любому LLM-шлюзу: не утекут ли промпты и как ограничить, кто и сколько может тратить. OpenRouter отвечает на оба набором инструментов: политики данных и ZDR, свой ключ провайдера по...
Разберёмся, как генерировать изображения и аудио через OpenRouter одним ключом, а заодно распознавать речь и запускать генерацию видео. Идея та же, что и с текстом: один базовый адрес, один ключ, разные модальности. Не нужно поднимать отдельный Whisper-сервер, плодить SDK и держать по счёту у каждого поставщика. В статье пройдём...