Карта сайта

Страницы

• Usefull
• Авторские курсы Arenadata
• Авторские права
• Блог
• Видео
• Главная
• Карта сайта
• Консалтинг в области аналитики больших данных
• Контакты
• Курсы
• Курсы Apache Kafka
• Курсы Apache Spark
• Курсы Data Science
• Курсы Data Science и Machine Learning на Python
• Курсы greenplum
• Курсы Аналитики данных на Python
• Курсы для инженеров Big Data Science
• Курсы для инженеров данных и администраторов кластера
• Курсы по нейронным сетям и Machine Learning
• Об учебном центре
  • Анкета слушателя курса «Школы Больших Данных»
  • Государственная лицензия на образовательную деятельность
  • История, миссия и ценности ШБД
  • Клиенты
  • Корпоративное обучение: типовые и кастомные курсы для одного Заказчика
  • Митапы
  • Партнеры
  • Преподаватели
  • Проекты
  • Регистрация на курсы
  • Сертификаты и удостоверения
  • Стоимость обучения
  • Учебные классы
  • Часто задаваемые вопросы (FAQ)
  • Политика использования файлов cookie
  • Политика конфиденциальности
  • Согласие посетителя сайта на обработку персональных данных
• Обучение в стиле Agile
• Опрос на 2024 год
• Отзывы
• Правила сертификации
• Практикум
• Регистрация
• Сведения об образовательной организации

Статьи по разделам

• Рубрика: Data Governance
  • Metadata Management. Данные о данных как ключ к их ценности
  • Data Warehousing and Business Intelligence. От данных к инсайтам для бизнеса
  • Document and Content Management. Управление неструктурированными данными
  • Data Integration and Interoperability. Как «подружить» десятки систем и источников
  • Data Security. Защита данных как непрерывный процесс
  • Data Modeling and Design. От концепции к физической реализации в Big Data
  • Data Architecture. Проектирование фундамента для вашего озера данных
  • Data Governance. Как построить систему руководства и контроля данными, которая работает
  • Почему DAMA-DMBOK — это фундамент для любого специалиста по данным в эпоху Big Data?
• Рубрика: Архитектура данных
  • Data Storage and Operations. Как эффективно хранить и обслуживать петабайты данных
• Рубрика: Блог
  • Кэширование в Databricks SQL
  • Моментальные снимки распределенной файловой системы Apache Hadoop: тонкости снапшотов HDFS
  • От ETL до EtLT: эволюция в архитектуре конвейеров обработки данных
  • Apache CarbonData: еще один колоночный формат для больших данных
  • Как построить надежную архитектуру конвейера обработки данных: обработка исключений
  • Блеск и нищета микросервисной архитектуры для платформы данных
  • От ETL к ELT: архитектура конвейеров обработки данных для дата-инженера
  • Целостность и качество данных: ACID и транзакции в мире Big Data
  • Зачем вам RawGraphs: визуализация данных в Data Science
  • CDC для ETL-процессов в озеро данных: принципы работы, паттерны и ограничения
  • Профессиональная вендор-независимая сертификация по продуктам Big Data в 2023 году
  • OLAP-базы данных vs потоковые stateful-приложения
  • Мю-модель: новая ML-подобная архитектура данных
  • ТОП-7 проблем с платформами данных и способы их обойти
  • DWH по Кимбаллу и Data Mesh
  • Ад зависимостей для Python-разработчика: 4 библиотеки для визуализации графа
  • Apache Hadoop 3.3.4: краткий обзор главных обновлений
  • Оптимизация аналитических рабочих нагрузок в транзакционных системах с Data Mesh
  • Под капотом Process Mining: графовая аналитика для анализа бизнес-процессов
  • Безопасность архитектуры данных: проблемы Data Mesh и их решения
  • Трудности перехода: миграция данных с HDFS на MinIO
  • Идеальная облачная среда озера данных и DaaS: возможности и риски
  • Как повысить эффективность HDFS: 4 совета администратору кластера Apache Hadoop
  • Как устроено Lakehouse: архитектура и принципы работы
  • DWH + Data Lake или что такое LakeHouse
  • Что такое наблюдаемость данных и как ее обеспечить
  • Потоки и пакеты: сходства, отличия и примеры применения
  • Анализ связности направленного графа с библиотекой Networkx в Google Colab
  • Data Fabric и Data Mesh: versus или вместе?
  • Еще безопаснее: поддержка Kerberos Active Directory в продуктах Arenadata
  • Графовая аналитика больших данных с Apache Spark GraphX: что такое Pregel
  • Что такое Erasure Coding и как это устроено: под капотом Apache Hadoop HDFS 3.3.1
  • Новый релиз Apache Hadoop 3.3.1: ТОП-15 обновлений
  • Зачем вам Arenadata Platform Security: ТОП-5 преимуществ корпоративного Apache Ranger для безопасности Hadoop-кластера от отечественного разработчика Big Data решений
  • Apache Hadoop 3.2.2 — свежий релиз 2021: краткий обзор главной технологии Big Data
  • Почему вам нужны данные как сервис или что такое DaaS
  • Простые данные о больших числах или как реализуется нацпрограмма «Цифровая экономика РФ»: успехи, провалы и бюджеты
  • Цифровая экономика 2030: что нового в июльском Указе Президента РФ
  • Не только HDFS: как Apache Kudu ускоряет аналитику Big Data в Hadoop
  • Что такое Data Vault: моделирование КХД для архитектора Big Data
  • Кто такой Data Steward: как организовать обеспечение Big Data Quality
  • Что общего между Lean в ИТ и ITIL: цифровизация для бережного управления Big Data и наоборот
  • Agile и бережливое производство: что общего между Lean и DevOps
  • Облачный конвейер аналитики Big Data: что такое Data Fabric
  • Что такое BABOK и при чем здесь Big Data
  • Чем плоха CAP-теорема: критика и альтернативы для NoSQL и других Big Data систем
  • Как работает Apache Cassandra: запись, чтение и другие операции с Big Data в распределенной NoSQL-СУБД
  • Раз-два-много: уровни согласованности Apache Cassandra при распределенной обработке Big Data
  • ТОП-10 достоинств и 5 главных недостатков Apache Cassandra
  • Как защитить Big Data в кластере Kubernetes: лучшие практики, инструменты и приемы DevOps-инженера
  • Информационная безопасность для DevOps-инженера в Big Data: ТОП-5 проблем cybersecurity Kubernetes и Docker
  • Упакуем все: зачем нужны контейнеры и как с ними работать в Big Data
  • Блеск и нищета Kubernetes: достоинства и недостатки самой популярной DevOps-технологии для Big Data систем
  • Кто такой Big Data Administrator: профессиональные компетенции администратора больших данных
  • Кто такой Data Engineer в Big Data: профессиональные компетенции инженера данных
  • Кто такой Data Analyst в Big Data: что нужно знать аналитику данных
  • Я в Big Data пойду – пусть меня научат: большие данные — с чего начать
  • NoOps: DevOps умер, да здравствует девопс! Новый Agile в облаках
  • Чем DevOps-инженер отличается от администратора Big Data и сисадмина
  • Как измерить эксплуатационную надежность Big Data и зачем это нужно
  • Большая надежность для Big Data: эволюция Agile – SRE после DevOps
  • Who is who в Agile-команде Big Data: разбор ролей Data Professional’ов
  • Битва инженеров Big Data: DataOps vs DevOps – кто за что отвечает
  • Что такое DataOps: зачем Big Data свой DevOps с блокчейном и данными
  • 4 простых, но эффективных совета администратору Big Data и не только
  • Защити своего слона: 3 инструмента безопасности кластера Hadoop
  • Какой Hadoop лучше: сравнение 4 самых популярных дистрибутивов
  • Облачный слон для больших данных: обзор 6 популярных Hadoop-решений
  • Большие слоны в облаках: плюсы и минусы облачных Hadoop-решений
  • Как реплицировать, считать и удалить файлы в HDFS: подробности файловых операций
  • Как сохранить большие данные: операция записи файлов Big Data в HDFS
  • Как общаются друг с другом компоненты HDFS и почему это так важно для Big Data проектов
  • Как и зачем HR использует Big Data: технологии больших данных в управлении человеческими ресурсами
  • Как происходит цифровизация: 4 шага к эффективному бизнесу
  • Data Lake на 5-ку: озеро данных для зрелой компании
  • Как государство хочет облегчить жизнь россиянам с помощью технологий Big Data
  • Машинное обучение: наглядные примеры применения
  • Рубрика: Новости
    • Бесплатный митап «Retry Policy TASK» в Trino – не только и не столько надежность
    • Открытый митап «Исполнение запросов: Trino и Spark»
    • Обновление курса по Kafka: KRaft и другие новинки версии 4.0
    • Открытый митап «Trino для нетерпеливых»
    • Итоги 2024 и планы на 2025
    • Изменение линейки курсов: Hadoop в архиве
    • Открытый митап «Модель Dataflow и паттерны управления пайплайнами обработки данных в Apache Beam в Kubernetes»
    • Открытый митап «Модели и паттерны управления приложениями Apache Spark и Apache Flink на Kubernetes»
    • Успешный старт нового курса для дата-инженеров на Yandex Managed Service for Apache Airflow™
    • Бесплатный митап «Apache Spark на Kubernetes своими руками»
    • Международный хакатон «Лидеры цифровой трансформации»
    • Бесплатный митап «ELT в эпоху Big Data: что такое Data Build Tool и как это работает»
    • Бесплатный митап «Scala как язык разработки Spark-приложений»
    • Новая услуга от Школы Больших Данных: консультации наших экспертов по вашим проектам
    • Завершаем 2023 год, встречаем 2024!
    • Бесплатный митап «Работа с источниками данных в Apache Spark»
    • Защита авторских прав и Школа Больших Данных
    • Вторая клиентская конференция Arenadata — май 2022
    • Бесплатный митап: «Spark или pandas? Spark и pandas!»
    • Бесплатный митап «Установка Apache Spark — это просто»
    • Бесплатный митап «Apache Spark за 2 часа — для нетерпеливых»
    • Бесплатный вебинар по графовым алгоритмам в бизнесе
    • Школа Больших Данных знает и защищает свои права!
    • Школа Больших Данных теперь и в Telegram, присоединяйтесь!
    • 5 часов новых знаний и профессионального опыта от 11 экспертов: первая клиентская конференция Arenadata
    • Бесплатный день обучения ЗА ОТЗЫВЫ в 2021 году!
    • Внимание, РОЗЫГРЫШ призов!!!
    • Вебинар «Цифровая трансформация бизнеса» — что с чем едят!»  
  • Рубрика: Статьи
    • Model Context Protocol
    • Apache Hadoop в 2025: от фундамента Big Data до интеграции с S3, Ozone и облачными платформами
    • Kafka без дисков: разбираемся с KIP-1150
    • Управление метаданными в корпоративной платформе данных
    • Что такое HTAP: гибридная транзакционно-аналитическая обработка
    • Несогласованность в хранилищах и озерах данных: найти и обезвредить
    • Оркестрация контейнерных приложений с Argo Workflows
    • UDF во фреймворках Big Data: благо или необходимое зло?
    • Проблемы потоковой передачи в озеро данных и как Apache Iceberg их решает
    • Как извлечь данные из реляционной базы: основные паттерны
    • Изменения в Новом году
    • Большие данные и большие планы: TAdviser SummIT 2022
    • Школа Больших Данных стала официальным брендом!
    • Конкурс для айтишников от Rusbase и ВТБ
    • Big Data & AI Conference 2020
    • 11 марта Выездной курс по обучению руководителей «Аналитика Больших Данных», Алматы, Казахстан
    • Почему вам не помешает изучить каждый открытый курс машинного обучения?
    • С чего начинать Big Data обучение?
    • Почему полезно пройти курсы по машинному обучению
    • Представителям каких профессий не помешает пройти курсы по Big Data?
    • Большие данные (Big Data): сферы применения технологии
    • Data mining – что это такое?
    • Большие данные: общее описание и примеры использования
    • Новый курс по безопасности озера данных Hadoop
    • 9-я Международная промышленная выставка «Иннопром-2018»
    • Новые возможности развития в условиях четвертой промышленной революции
    • Рубрика: AI
      • GPT-5 на горизонте: Августовский релиз изменит правила игры в мире искусственного интеллекта
    • Рубрика: AirFlow
      • Не только Python: Go SDK в Apache AirFlow 3.0
      • Apache AirFlow 3.0: главные новости
      • AI SDK для Apache AirFlow: оркестрация LLM-задач
      • Что нас ждет в Apache AirFlow 3.0: обзор грядущего релиза
      • Переменные в Apache AirFlow: примеры и советы
      • Очереди задач исполнителя Celery в Apache AirFlow
      • BranchPythonOperator vs ShortCircuitOperator в Apache AirFlow
      • Декораторы в Apache AirFlow
      • Dataset vs XCom: что выбрать для обмена данными между задачами в Apache AirFlow
      • Разработка и добавление своего плагина в Apache AirFlow: практический пример
      • Расширение возможностей Apache AirFlow с помощью плагинов
      • Управление кодом в Apache AirFlow
      • Многопользовательское развертывание Apache AirFlow: проблемы и решения
      • Настройка планировщика Apache AirFlow
      • ETL по расписанию: 4 способа планирования запусков DAG в Apache AirFlow
      • Сериализация в Apache AirFlow
      • Apache AirFlow 2.10: что нового?
      • Отправка уведомлений в Apache AirFlow
      • YAML вместо Python: LowCode-разработка DAG в Apache AirFlow с DAG Factory
      • Как написать свой отсроченный оператор Apache AirFlow
      • Асинхронные Python-вызовы и отсроченные операторы в Apache AirFlow
      • OpenID, Flask-AppBuilder и CVE-2024-25128 в Apache AirFlow
      • Пулы и приоритеты задач в Apache AirFlow
      • Контекст в Apache AirFlow
      • 5 типовых ошибок в Apache AirFlow и как их исправить: советы дата-инженеру
      • Интеграция ClickHouse с Apache AirFlow
      • TaskFlow API и традиционные операторы Apache AirFlow: совместное использование
      • Apache AirFlow 2.9: обзор свежего релиза
      • Проектирование raw-слоя DWH для последующего преобразования в Data Vault
      • Состояние гонки в ETL-конвейерах: как дата-инженеру избежать коллизий данных
      • Тестирование доступности веб-сайта с помощью http-хуков Apache AirFlow
      • Как создать и запустить docker-контейнер Apache AirFlow на Windows
      • Как сменить SQLLite на PostgreSQL для бэкенда Apache AirFlow
      • Аутентификация и авторизация пользователей в Apache AirFlow
      • 5 советов начинающему дата-инженеру по AirFlow: личный опыт
      • Управление зависимостями: 5 подходов к проектированию конвейеров обработки данных
      • Apache AirFlow 2.8: обзор предновогоднего релиза
      • Лучшие практики работы с XCom и триггерами в Apache AirFlow: ТОП-10 советов
      • Параллельное выполнение задач в DAG Apache AirFlow: практический пример
      • Параметры настройки для масштабирования Apache AirFlow
      • Масштабирование Apache AirFlow: причины, риски и возможности
      • MLOps с Tecton и Apache AirFlow
      • Наборы данных в Apache AirFlow и как их использовать
      • Из PostgreSQL в Elasticsearch: пишем ETL-процесс в DAG AirFlow и запускаем в Colab
      • Как использовать в одном DAG Apache AirFlow задачи из разных Python-файлов
      • Уязвимости Apache AirFlow в 2023 году: от средних до критических
      • Что такое OpenLineage и как это связано с Apache AirFlow
      • Apache AirFlow vs Spark в Databricks для оркестрации рабочих процессов
      • Apache AirFlow 2.7: обзор августовского релиза
      • Разгружаем PostgreSQL: ETL-конвейер с Apache AirFlow в Google Colab
      • ETL для PostgreSQL с Apache AirFlow в Google Colab
      • 4 главных недостатка запуска Apache AirFlow в Colab
      • Как добавить свое соединение в AirFlow на Colab: DAG с отправкой данных в Телеграм-чат
      • Как запустить DAG AirFlow в Google Colab: простой пример
      • Как запустить Apache AirFlow в Google Colab с ngrok
      • 5 полезных инструментов для работы с Apache AirFlow
      • Отладка конвейеров Apache AirFlow с on_failure_callback()
      • Apache AirFlow 2.6: что нового?
      • Трудности дата-инженерии: отличия от разработки ПО и внедрение CI/CD
      • 6 лайфхаков работы с DAG в Apache AirFlow для дата-инженера
      • 4 ошибки с DAG в интерфейсе Apache AirFlow и способы их исправления
      • 5 типов оповещений Apache AirFlow и их мониторинг в Healthchecks.io
      • Отладка конвейеров Apache AirFlow: операторы, кластерные политики и обратные вызовы задач
      • Устранение зависших в очереди задач: новинки будущего релиза Apache AirFlow 2.6.0
      • Создаем свой оператор Apache AirFlow с ChatGPT
      • Как создать свой оператор и использовать обратные вызовы в Apache AirFlow
      • Бизнес-логика в DAG Apache AirFlow c ShortCircuitOperator
      • Удаленные исполнители задач Apache AirFlow: Celery vs Kubernetes
      • Зачем и как совмещать dbt с Apache AirFlow?
      • Вперед в прошлое: backfill для DAG в Apache AirFlow
      • Тонкости управления задачами в Apache AirFlow: лайфхаки для дата-инженера
      • ТОП-7 практик работы с DAG в Apache AirFlow для дата-инженера
      • Советы дата-инженеру: теги DAG в Apache AirFlow и качество конвейера данных
      • Зомби-задачи в Apache AirFlow: как их обнаружить и убить окончательно
      • 5 способов организовать динамическое изменение DAG в Apache AirFlow
      • CDC с Kestra вместо Debezium с Kafka Connect
      • MLOps с Apache AirFlow: оркестрация ML-конвейеров
      • Apache AirFlow 2.5: декабрьский выпуск
      • От задач до триггеров: краткий ликбез по программным компонентам Apache AirFlow
      • Soda для надежности и качества данных с Apache AirFlow и другими ETL-оркестраторами
      • Микросервисная архитектура в Big Data и способы ее реализации
      • Трудности выбора в MLOps: оркестрация ML-конвейеров с Vertex AI Pipelines и Apache AirFlow
      • Apache AirFlow 2.4: новинки осенних релизов
      • Динамическое изменение DAG Apache AirFlow через файл с плоской структурой
      • Обновление Apache AirFlow : самое важное для дата-инженера и администратора
      • Обмен данными между задачами в Apache AirFlow через XCom: достоинства и ограничения
      • Профилирование данных и повышение качества DAG-конвейеров Apache AirFlow с Whylogs
      • Сине-зеленое развертывание ETL-процессов с группами задач Apache AirFlow
      • 3 способа совместного использования DAG-файлов в Apache AirFlow на Kubernetes
      • Чем Apache Airflow лучше cron и как на него перейти
      • Ускорение загрузки и парсинга DAG-файлов в Apache AirFlow на Kubernetes
      • Битва ETL-инструментов: AWS Step Functions vs. Apache Airflow
      • Программный запуск DAG Apache AirFlow через REST API
      • Интеграционное тестирование DAG в Apache AirFlow
      • Модульное тестирование условной логики DAG в Apache AirFlow
      • Как построить логически сложный ETL-конвейер: ветвления DAG в Apache AirFlow
      • SIGTERM в Apache Airflow: 4 причины сбоя задач и способы их исправления
      • Атомарность и идемпотентность в Apache AirFlow
      • Динамическое сопоставление задач в Apache AirFlow 2.3
      • Apache Airflow 2.3: что нового?
      • CI/CD для дата-инженера: разработка DAG и развертывание в среде Airflow с GitLab
      • Еще 3 совета Astronomer для лучшей оркестрации данных с Apache AirFlow
      • ТОП-3 практики оркестрации данных с Apache AirFlow: советы Astronomer
      • Автосоздание CLI в Apache Airflow с Python Fire вместо Python-оператора
      • Бессерверный Apache Spark в Google Dataproc
      • Istio для Apache Airflow в Kubernetes: проблемы и решения
      • Самообслуживаемый ETL-конвейер с Apache Airflow и Amazon Athena: кейс hipages
      • Всему свое время: запуск DAG Apache Airflow по расписанию
      • Краткий обзор Apache Airflow Helm chart 1.5.0
      • Модульные тесты для DAG в Apache Airflow: примеры и лучшие практики
      • Внешний датчик в Apache Airflow для поэтапной загрузки данных в таблицы DWH
      • MLOps на AirFlow, MLFlow и сервисах AWS с экономией на облачном кластере за счет Spark 3
      • Apache Airflow 2.2.0: что нового?
      • Как создать собственный сенсор Apache Airflow: пример
      • От AWS EMR к Apache Spark 3 на Kubernetes в маркетплейсе Joom
      • Современная инженерия данных: от Data Lake к облачной Лямбда
      • Автомасштабирование подов Apache Airflow в Kubernetes по StatsD-метрикам из Datadog
      • Мониторинг Apache Airflow через Slack
      • Синергия Apache Airflow и Great Expectations для высокого качества больших данных
      • Apache Airflow vs Beam: сходства и отличия
      • Управление зависимостями между конвейерами данных в Apache Airflow и Prefect
      • Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand
      • Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач
      • Комбо Apache Airflow и NiFi для запланированного запуска ETL-конвейеров: практическая инженерия Big Data
      • Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science
      • Соединения и хуки в Apache Airflow: разбираем на примере SQLite
      • Как задачи в Airflow взаимодействуют друг с другом через XCom и Variables
      • 3 Р для контроля доступа к DAG’ам в Apache AirFlow: роли, ресурсы, разрешения
      • Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum
      • Запуск зависимых графов Apache Airflow
      • Что такое Apache Hop: еще одна альтернатива AirFlow
      • Строим масштабируемые ETL/ELT-конвейеры обработки данных с Apache Spark и AirFlow: 4 совета дата-инженеру
      • Airflow и TaskFlow: композиция операторов и задач с TaskGroup
      • Создавайте графы в Apache Airflow с помощью TaskFlow API
      • Начало работы с Apache Airflow
      • 2 способа установки Apache Airflow
      • Как Apache AirFlow под капотом Zapier обеспечивает low-code интеграцию веб-приложений
      • Как упростить загрузку данных в Data Lake с Apache AirFlow
      • В помощь дата-инженеру: 3 главных плюса реестра провайдеров Apache Airflow от Astronomer
      • Динамическая генерация DAG в Apache Airflow: 5 способов автоматизации рутинных задач
      • Лучшие практики разработки Big Data pipeline’ов в Apache Airflow: 10 советов дата-инженеру
      • Кастомизация Apache Airflow: мониторинг исполнения Big Data pipeline’ов со своими KPI
      • В помощь дата-инженеру: 3 DAG для самообслуживания Apache Airflow
      • Совершенно секретно: 5 советов по управлению секретами в Apache Airflow
      • Как повысить эффективность Apache Airflow в 3 раза с помощью прокси-сервера RDS
      • Не только AirFlow: как упростить тестирование и отладку Big Data конвейеров из Spark-приложений с Dagster
      • Практическая дата-инженерия: мониторинг data pipeline’ов в Apache Airflow и Dagster
      • Планируем и запускаем дата-конвейеры с Apache AirFlow и Dagster
      • Apache AirFlow vs Dagster: еще одно сравнение Big Data и ML-оркестраторов
      • Аналитика больших данных с Apache Airflow без дата-инженера: Viewflow от DataCamp
      • 3 оператора Apache Airflow для контейнерных конвейеров данных
      • Где развернуть Apache AirFlow: 3 инфраструктуры для дата-инженера
      • Разделяй и властвуй: управление зависимыми DAG в Apache AirFlow
      • 15 советов по работе с DAG в Apache AirFlow: лучшие практики дата-инженера
      • 5 преимуществ разделения пакетов в Apache AirFlow 2.0 или как создать свой провайдер с блэкджеком и хуками
      • 3 новинки для DAG в Apache AirFlow 2.0
      • Насколько ты знаком с Apache AirFlow: открытый тест для инженеров Big Data
      • Как протестировать Big Data Pipeline: тесты для Hadoop-конвейеров в Spark и Airflow
      • Сложности перехода: 3 проблемы миграции на Apache AirFlow 2.0 и их решения
      • Apache AirFlow 2.0: что нового?
      • 10 вопросов на знание основ Big Data: открытый интерактивный тест для начинающих
      • Борьба за качество больших данных в Airbnb: 3 направления для Big Data Quality
      • Чем отличаются Apache AirFlow и Luigi: выбираем оркестратор для Big Data Pipeline’ов
      • Не только AirFlow: Apache Luigi и еще 3 ETL-оркестратора для Big Data Pipeline’ов
      • 5 этапов продуктивной миграции в облачный Hadoop на базе Google Dataproc
      • Как Apache AirFlow помог Airbnb масштабировать Big Data Pipeline и управлять накладными расходами
      • Почему ваш Big Data Pipeline такой медленный: 5 причин роста накладных расходов на примере использования Apache AirFlow в Airbnb
      • Как не наступить на 10 главных граблей Apache Airflow в production: разбираемся на практических примерах
      • Что под капотом Apache Livy: принципы и особенности работы со Spark
      • Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов
      • Что такое Airflow Executor: 5 исполнителей задач и 2 их основных ограничения
      • AirFlow KubernetesExecutor: 3 способа запуска и 4 главных плюса для DevOps-инженера
      • Что такое AirFlow Kubernetes Operator и как это работает: обзор решений от K8s и Google
      • AirFlow на Kubernetes: DevOps-подход к автоматизации batch-процессов в Big Data
      • 7 достоинств и 5 недостатков Apache AirFlow
      • ETL для пакетов Big Data: 3 примера использования Apache AirFlow
      • Apache Airflow
      • Что такое AirFlow?
    • Рубрика: Beam
      • Apache Wayang vs Beam: сравнение фреймворков
      • Apache Wayang и Trino: versus или вместе
      • Мультиязычные конвейеры обработки данных в Apache Beam
      • Тонкости параллелизма в Apache Beam
      • Битва движков унифицированной обработки: Apache Beam vs Flink
      • Легковесная разработка унифицированных конвейеров Apache Beam с YAML API
      • Разработка унифицированных конвейеров обработки данных с Apache Beam
    • Рубрика: ClickHouse
      • Изучение ClickHouse: Итоги курса и следующие шаги в мире больших данных. Урок 10.
      • Администрирование и мониторинг ClickHouse: от системных таблиц до бэкапов. Урок 9
      • Аналитические суперсилы ClickHouse: Оконные функции и работа с массивами. Урок 8
      • Интеграции ClickHouse: работа с MySQL, S3, Kafka и внешними словарями. Урок 7
      • Оптимизация запросов в ClickHouse: индексы, EXPLAIN и лучшие практики. Урок 6
      • Глубокое погружение в движки MergeTree: Replacing, Summing, Aggregating и Collapsing. Урок 5
      • Продвинутые функции SQL в ClickHouse: обработка строк, дат и условная логика. Урок 4
      • Основы работы с данными в ClickHouse: вставка, выборка и первые аналитические запросы. Урок 3.
      • Типы данных и движки в ClickHouse: Фундамент для производительности. Урок 2
      • Что такое ClickHouse: Полный гид по колоночной СУБД для сверхбыстрой аналитики. Урок 1.
      • Настройка многопоточной обработки и планирование нагрузки ЦП в ClickHouse
      • Многопоточность в ClickHouse
      • Планирование рабочей нагрузки в ClickHouse
      • Отложенная материализация в ClickHouse
      • Под капотом PREWHERE в ClickHouse: сравниваем планы запросов
      • Зачем нужна оптимизация PREWHERE в ClickHouse
      • Выбор колоночной OLAP-СУБД: ClickHouse или StarRocks
      • Проект Antalya от Altinity: масштабирумый и недорогой LakeHouse на ClickHouse с Iceberg
      • 2 режима асинхронной вставки данных в ClickHouse и адаптивная очистка буфера
      • Синхронные и асинхронные вставки данных в ClickHouse
      • Как ускорить вставку данных в ClickHouse с помощью формата, сжатия и интерфейса передачи
      • Что влияет на скорость вставки данных в ClickHouse: главные факторы
      • Вместо тысячи JOIN’ов: изменение структуры данных для приема изменений из PostgreSQL в ClickHouse
      • Как ключи сортировки при CDC-передаче данных из PostgreSQL в ClickHouse могут снизить качество данных и что с этим делать
      • Дубли при CDC-передаче данных из PostgreSQL в ClickHouse и как их устранить
      • Совместное использование ClickHouse и PostgreSQL: CDC с PeerDB
      • Аналитика в реальном времени на ClickHouse с агентским ИИ
      • ClickHouse 25.1: что нового?
      • Как ClickHouse, MongoDB, Elasticsearch, DuckDB и PostgreSQL хранят и обрабатывают JSON-документы: подробности и детали
      • Обработка и хранение JSON-документов: сравнение ClickHouse с MongoDB, Elasticsearch, DuckDB и PostgreSQL
      • Дедупликация данных в ClickHouse: практический пример
      • Фаззинг-тестирование ClickHouse с BuzzHouse
      • ClickHouse vs Apache Doris: что выбрать для хранилища данных
      • Реализация архитектуры Medallion в ClickHouse
      • Проекции в ClickHouse
      • Как ClickHouse работает с gRPC: практический пример
      • ClickHouse Keeper vs Zookeeper: сервис синхронизации для кластера колоночной БД
      • Векторизация и диспетчеризация ЦП в Clickhouse
      • Телеметрия с Clickhouse
      • Новинки Clickhouse 24.9
      • Двухзвенная архитектура: одностраничные веб-приложения с Clickhouse
      • Зачем вам Chdb или как работать с Clickhouse без развертывания сервера СУБД
      • 5 причин использовать Clickhouse для ML-задач
      • Clickhouse 24.8: обзор очередного релиза
      • Clickhouse 24.7: главные новинки свежего релиза
      • Оптимальная сортировка таблиц Clickhouse: улучшения ORDER BY в релизе 24.6
      • Тонкости агрегации в ClickHouse: как избежать OOM-ошибки с GROUP BY?
      • Транзакции в ClickHouse
      • Индексы в ClickHouse
      • Модификатор FINAL в ClickHouse: как не выстрелить себе в ногу?
      • Оптимизация производительности ClickHouse: ребалансировка шардов и профилирование запросов
      • Интеграция ClickHouse с Apache NiFi
      • Управление ресурсами и планирование рабочей нагрузки в ClickHouse
      • Задержка интеграции ClickHouse с Apache Kafka и как ее снизить
      • Управление ресурсами и планирование рабочей нагрузки в ClickHouse
      • Кэширование в ClickHouse
      • Апрельский релиз ClickHouse 24.4
      • Интеграция ClickHouse с Apache Kafka и Yandex.Datalens: интерактивная аналитика
      • Интеграция ClickHouse с RockDB: практический пример
      • Как масштабировать ClickHouse: тонкости шардирования
      • Движки таблиц в ClickHouse: что и когда выбирать
      • 3 вида представлений в ClickHouse
      • Анализ временных рядов в ClickHouse и Greenplum
      • Словари в ClickHouse
      • SQL-запросы к Clickhouse в онлайн-песочнице: практический пример
      • Greenplum vs Clickhouse: сравнение аналитических СУБД для Big Data
      • Что не так с ClickHouse: 10 главных недостатков
      • За что все его так любят: ТОП-5 достоинств ClickHouse для Big Data
      • 3 проблемы движка интеграции ClickHouse с Kafka и способы их решения
      • ClickHouse + Kafka: 5 примеров совместного использования и особенности интеграционного движка
      • Очень быстрая аналитика больших данных: Arenadata QuickMarts и яндексовский ClickHouse
    • Рубрика: Flink
      • Оконные функции (Windowing) во Flink: анализ данных за временные интервалы
      • Пользовательское распределение данных для входного потока Lookup Join в Apache Flink 2.0
      • Водяные знаки в заданиях Flink для потоковой обработки данных из Kafka
      • PemJa вместо Py4J в Apache Flink для потокового режима выполнения Python UDF
      • Трудности перевода: реализация API Python в Java-приложениях
      • Обогащение ошибок при сбоях заданий Apache Flink с FLIP-304
      • Сериализация данных в Apache Flink
      • Новый Flink-коннектор к Prometheus для IoT
      • ETL-конвейер с Flink CDC: пример YAML-конфигурации
      • От Akka к Pekko: реализация RPC в Apache Flink
      • Гибридный источник данных Apache Flink
      • Предварительный релиз Apache Flink 2.0: что нового?
      • Зачем вам Fluss: новое унифицированное потоковое хранилище для работы с Apache Flink
      • Как RSS-служба Apache Flink реализует обмен данными в распределенной среде
      • Как Apache Flink восстанавливает пакетные задания после сбоя JobMaster?
      • Разделение DataStream в Apache Flink на побочные выходные потоки
      • Детерминизм непрерывных запросов в Apache Flink и проблема его отсутствия
      • От DataSet к DataStream: миграция API в Apache Flink
      • Apache Flink 1.20: обзор свежего выпуска
      • Расширенные функции Apache Flink
      • Асинхронные операции ввода/вывода в Apache Flink
      • Внешние ресурсы и пользовательская обработка отказов в Apache Flink
      • Чек-лист перед запуском приложения Apache Flink в производство
      • OLAP-сервис Apache Flink
      • Apache Flink 1.19: что нового?
      • Потоковая обработка данных из PostgreSQL с Flink SQL на платформе Ververica Cloud
      • 4 модели потоковой парадигмы обработки данных
      • Планирование заданий в Apache Flink: 4 реализации планировщика
      • Зачем Ververica Cloud заменила RocksDB на GeminiStateBackend для stateful-приложений Apache Flink
      • Обратное давление в потоковой передаче событий
      • Что нас ждет в Apache Flink 2.0: обзор главных фич мажорного релиза
      • Еще одна архитектура данных: Streamhouse с Apache Paimon
      • Что обеспечивает высокую доступность приложений Apache Flink
      • Возможности Apache Flink для разработчика: 3 API фреймворка
      • Под капотом задания Apache Flink: 3 этапа преобразования
      • Оптимизация использования RocksDB и параллелизма в Apache Flink
      • Apache Flink 1.18: что нового?
      • Еще 3 рекомендации для потоковых конвейеров Apache Flink
      • От профилирования до загрузки классов: 3 совета по оптимизации Flink-приложений
      • Как настроить потоковый конвейер Flink-приложений по рабочей нагрузке
      • Сетевые буферы в Apache Flink: что это такое и при чем здесь контрольные точки
      • Что такое Apache Flink Stateful Functions и как это использовать?
      • Почему производительность Apache Flink выше Spark: 5 главных причин
      • 2 режима развертывания приложений Apache Flink: что и когда выбирать
      • Как Apache Flink работает с файловыми системами
      • Обогащение потока данных в Apache Flink: 3 способа добавить эталонные значения
      • Под капотом PyFlink: как работает Python-интерфейс Apache Flink
      • Как ускорить выполнение заданий Apache Flink с помощью спекулятивного выполнения
      • Как ускорить JOIN-запросы с перекосом данных: мини-пакетная агрегация в Apache Flink SQL
      • Машинное обучение с Apache Flink: основные концепции ML-библиотеки
      • Гибридный режим пакетных shuffle-операций в Apache Flink
      • Создание и тестирование источника данных в Apache Flink
      • Из Kafka во Flink: пишем Python-приложение
      • Под капотом табличного хранилища Apache Flink
      • Тестовые наборы для проверки UDF-функций Flink-приложения
      • Как на лету обогатить поток данных Flink с использованием внешнего API
      • Мониторинг загрузки ЦП для приложений Apache Flink с Flame Graph
      • Журнал изменений для контрольных точек в Apache Flink
      • Знакомство с DataStream API в Apache Flink: запуск PyFlink-скрипта в Google Colab
      • Потоковые режимы коннектора Flink SQL к Kafka
      • Мартовский выпуск Apache Flink: обзор релиза 1.17.0
      • Где лучше запустить Flink-приложение: Kubernetes vs AWS EMR
      • Flink + dbt: разбор адаптера для SQL-конвейеров от GetInData
      • Как настроить Flink-приложение для потокового потребления данных из топиков Kafka
      • Тонкости тестирования приложений Apache Flink SQL
      • Устраняем дубли в потоковых данных с Apache Flink SQL
      • Apache Flink 1.16.0: обзор релиза
      • Управление памятью в Apache Flink
      • Flink + Kafka: Confluent купил Immerok
      • Как Apache Flink использует Calcite для выполнения SQL-запросов
      • Тонкости оптимизации SQL-запросов в Apache Flink с Calcite
      • Автомасштабирование и развертывание Apache Flink в GCP
      • Выявление мошенничества в реальном времени с Apache Flink
      • Перекосы данных в Apache Flink и что с ними делать: MapReduce Combiner и Bundle оператор
      • Под капотом источников данных Apache Flink
      • Как оптимизировать приложения Apache Flink в production: 5 советов инженеру
      • Строго однократная доставка сообщений в потоковой обработке данных с Apache Flink и Kafka
      • MLOps для Apache Flink с MLeap
      • Потоковый CEP и CDC с Apache Flink SQL: JDBC-коннектор от GetIndata
      • Окна и водяные знаки: потоковая обработка данных с Apache Flink
      • Применение SeaTunnel для управления SQL-заданиями Apache Flink и Spark
      • Оконные операции в Apache Flink: краткий ликбез для дата-инженера
      • Под капотом HTTP-коннектора к Flink SQL от GetInData: REST и HATEOAS
      • Потоковое обогащение данных с Flink SQL данными из внешнего сервиса по REST API
      • Поиск событийных цепочек в реальном времени с CEP-библиотекой Apache Flink
      • Как развернуть Apache Flink на Kubernetes: 4 способа
      • 3 проблемы Flink-приложений на Kubernetes и способы их решения
      • Мониторинг Flink-приложений: метрики JVM и RocksDB
      • Мониторинг задержки в приложениях Apache Flink
      • Мониторинг приложений Apache Flink: метрики и инструменты
      • 3 режима восстановления и форматы точек сохранения в Apache Flink 1.15
      • Табличное хранилище Apache Flink
      • Новинки Apache Flink 1.15: краткий обзор
      • Управление перемешиванием данных во время выполнения Flink-приложений
      • Обнаружение мошенничества при скимминге банковских карт c Apache Kafka, Flink и HBase
      • 2 подхода к динамической фильтрации потоковых данных в Apache Flink
      • Потоковая аналитика пользовательских сеансов с Apache Flink на примере Wynk
      • Лямбда-архитектура IoT-системы на Apache Kafka, Flink и Cassandra
      • Автоматическая диагностика и исправление сбоев в платформе данных Netflix c Apache Spark, Kafka, Flink и другими технологиями Big Data
      • Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote
      • Savepoint vs Checkpoint в Apache Flink: сходства и отличия
      • Управление состояниями в Apache Flink: краткий ликбез
      • Дыра в Apache Log4j: опасность для Hadoop, Spark, Kafka, Neo4j и других технологий Big Data
      • Потоки и пакеты: унифицированная аналитика больших данных c Apache Flink в Pinterest
      • Система обнаружения простоев онлайн-платежей на Apache Flink и Kafka: кейс Razorpay
      • Один на всех: реализация единого API для унифицированной аналитики больших данных c Apache Flink и Kafka в Pinterest
      • Apache Flink 1.14: что нового?
      • Не только Apache Kafka и Spark Streaming: 3 платформы потоковой аналитики больших данных
      • Потоковая аналитика больших данных на Flink SQL и Redpanda вместо Apache Spark с Kafka
      • Apache Flink для пакетной и потоковой обработки Big Data в больших компаниях: примеры Pinterest и Alibaba Group
      • Как рассчитать конверсию контекстной рекламы с помощью Apache Flink SQL: практический пример
      • Потоковая аналитика больших данных в Grafana с Apache Kafka, Flink и SQL Stream Builder
      • Как Byteman упрощает разработку и отладку приложений Apache Flink
      • Почему stateful-приложения Apache Flink падают в AWS: RocksDB и IOPS облачных SSD
      • RocksDB как хранилище состояний для stateful-приложений Apache Flink
      • Кейс потоковой аналитики больших данных с Apache Kafka, Spark (Flink) и BI-системами
      • Apache Kafka Streams, Spark Streaming, Flink, Storm или Samza: что и когда выбирать для обработки потоков Big Data
      • Сходства и различия популярных Big Data фреймворков распределенной потоковой обработки: сравниваем Apache Kafka Streams, Spark Streaming, Flink, Storm и Samza
      • Apache Flink vs Spark: что и когда выбрать для потоковой обработки Big Data
    • Рубрика: Greenplum
      • Почему расширение Citus для PostgreSQL не превратит его в Greenplum?
      • Интерконнекты Greenplum и как их ускорить
      • Идемпотентность и волатильность функций в Greenplum и PostgreSQL
      • Настройка автоочистки таблиц системного каталога в Greenplum
      • Машинное обучение в Greenplum: агенты и расширения
      • Внешние веб-таблицы в Greenplum и 2 способа их создания
      • Greenplum 7.2: обзор июльского релиза
      • Транзакции и блокировки в Greenplum
      • Выгрузка данных из Greenplum с GPSS
      • Обработка XML-документов в Greenplum
      • Параллельная обработка SQL-запросов в Greenplum
      • Индексация JSON-документов в Greenplum
      • Внешние и сторонние таблицы Greenplum: external vs foreign
      • 5 шагов проектирования DWH с подходом Data Vault: практический пример
      • Администрирование Greenplum с помощью утилиты gpsupport
      • Подходы к реализации CDC на примере Greenplum и PostgreSQL
      • Как повысить эффективность утилизации диска в Greenplum с расширением Diskquota
      • Миграция данных в Greenplum: риски и возможности
      • Как управлять Greenplum с VMware Command Center
      • Еще 11 конфигураций для повышения эффективности Greenplum 7
      • Тюнинг Greenplum 7: 12 конфигураций для администратора и дата-инженера
      • Машинное обучение с Greenplum: обзор ML-расширений
      • ТОП-5 советов по эффективному управлению данными в Greenplum
      • Сжатие данных в Greenplum
      • Параллельное восстановление таблицы из резервной копии базы в Greenplum
      • Как организовать мониторинг системных метрик Greenplum: подходы и инструменты
      • Изменение таблиц в Greenplum 7 без их перезаписи
      • Расширение возможностей Greenplum с фоновыми рабочими процессами и GPPC API
      • JIT-компиляция SQL-запросов в Greenplum
      • Танцы с зеркалами или как восстановить кластер Greenplum после сбоя
      • PL/Container для Greenplum: безопасный запуск UDF в Docker-контейнере
      • Как подключиться к Greenplum: обзор клиентов и настройка конфигураций
      • Хранение и обработка JSON-документов в Greenplum
      • Генерируемые столбцы в Greenplum 7: возможности и ограничения
      • Хранимые процедуры и триггеры в Greenplum
      • Python для Greenplum: обработка миллионов строк внутри БД с новой библиотекой
      • Распределенные снапсшоты в Greenplum для производительности и надежности
      • Графовая аналитика в Greenplum и PostgreSQL: обзор расширений и возможностей
      • EDA-архитектура данных в DWH: моделирование и реализация
      • Обработка геоданных в Greenplum с PostGIS
      • Распределенные транзакции в Greenplum
      • Колоночные и строковые: виды хранения данных в СУБД
      • Еще больше больших данных: масштабирование кластера Greenplum
      • Разделы таблиц в Greenplum 7: новинки и возможности
      • Кластеризация AO/CO-таблиц в Greenplum 7
      • Сборка мусора и очистка таблиц в Greenplum с командой VACUUM
      • Greenplum 7: краткий обзор бета-релиза
      • Новые методы доступа к таблицам в Greenplum 7
      • Каталоги, хранилища и витрины данных: принципы, практики и инструменты проектирования
      • Индексация таблиц в Greenplum
      • Шардирование в Greenplum
      • Greenplum 6.22.2: ноябрьский релиз
      • Шифрование данных в Greenplum с расширением pgcrypto
      • Greenplum 6.22: краткий обзор осенних обновлений
      • Разделение и распределение данных в Greenplum: лучшие практики
      • 3 аспекта проектирования схем данных в Greenplum
      • 4 серьезных уязвимости Greenplum и PostgreSQL за 2 последние года
      • Greenplum 6.21.1: обзор свежего релиза
      • Реализация LakeHouse на Greenplum и Cloudian HyperStore Object Storage
      • Как ускорить Greenplum с Heimdall Database Proxy: лайфхак для администратора
      • Улучшение совместимости Greenplum и HDFS благодаря записи/чтению AVRO-файлов с PXF
      • Greenplum 6.21.0: новые фичи и исправления ошибок
      • Greenplum + Python: обзор расширения
      • 5 способов организации ETL-процессов с Greenplum: команды и утилиты
      • Как связать Greenplum и Hadoop: интеграция c PXF
      • Arenadata Postgres: краткий обзор отечественного enterprise-дистрибутива
      • Greenplum 6.20: что нового?
      • Не просто Apache Solr: краткий обзор Tanzu Greenplum Text
      • Зачем вам GreenplumR: синергия MPP-СУБД и интерпретируемого языка для статистики
      • Не только PXF: краткий обзор интеграции Greenplum с другими Big Data системами и инструменты полнотекстового поиска
      • Где развернуть Greenplum: программно-аппаратное окружение серверов и достоинства Arenadata DB для администратора кластера
      • Greenplum под защитой: настраиваем Kerberos
      • Диску больше не наливать: проблема spill-файлов в Greenplum
      • Greenplum с PXF и глубокое обучение в Apache MADlib для классификации изображений
      • PXF, Greenplum и оптимизация SQL-запросов к разным источникам данных
      • Как устроен PXF Greenplum: архитектура и принципы работы
      • 5 главных плюсов облачного развертывания VMware Tanzu Greenplum
      • Еще пара лучших практик конфигурирования Greenplum: настраиваем параметры операционной системы хоста
      • 3 совета администратору Greenplum: лучшие практики настройки кластера
      • Как лучше настроить GPORCA для оптимизации SQL-запросов в Greenplum
      • Greenplum vs PostgreSQL: 7 сходств и 3 отличия
      • Как GPORCA ускоряет аналитику больших данных в Greenplum: оптимизация SQL-запросов с JOIN и немного математики
      • ADB-Spark Connector: интеграция Spark и Greenplum от Аренадата
      • Читаем планы SQL-запросов Greenplum на практическом примере и разбираемся с операциями
      • Как читать планы SQL-запросов в Greenplum: советы аналитику и дата-инженеру
      • Анализируй и оптимизируй: статистика таблиц и планы выполнения SQL-запросов в Greenplum
      • От простой вставки до внешних таблиц: как загрузить Big Data в Greenplum
      • Как ускорить Greenplum: настраиваем память хостов и сегментов
      • Большие данные под защитой: лучшие практики cybersecurity в Greenplum
      • Помнить все: 10 практик устранения нехватки памяти в Greenplum и 2 схемы управления ресурсами кластера
      • 3 технологии высокой доступности Greenplum для администратора Big Data кластера
      • Как построить OLAP-конвейер в реальном времени на Greenplum и Apache NiFi: разбор интеграционного коннектора для приема больших данных
      • Трудности перекоса: как устранить неравномерность данных и вычислений в Greenplum
      • Партиционирование таблиц в Greenplum: 10 лучших практик и особенности распределения по сегментам
      • Индексируем и сжимаем: особенности хранения и аналитики Big Data в Greenplum
      • Как хранить большие данных в Greenplum: ТОП-15 рекомендаций
      • Комбо Apache Spark и Greenplum для быстрой аналитики больших данных: разбор интеграционного коннектора
      • Как связать Greenplum и Kafka: 2 способа интеграции и коннектор Arenadata DB
      • Зелено – не молодо: как устроена MPP-СУБД Greenplum
      • 3 главных достоинства и недостатка MPP-СУБД для хранения и аналитики Big Data на примере Greenplum
      • Еще больше данных для торговой аналитики: Arenadata в Х5 Retail Group
      • Завод, телеком и госсектор: 3 примера внедрения Arenadata
      • От банков до Газпрома: 4 крупных успеха Arenadata – интересные кейсы за последнюю пару лет
    • Рубрика: HBase
      • Как устроен HFile: тонкости хранения данных в Apache HBase
      • Apache HBase vs Google BigTable: сходства и различия, варианты использования
      • Apache HBase vs Redis: сходства и различия, варианты использования
      • Преимущества Apache HBase для метода ближайших соседей
      • Безопасность данных в Apache HBase
      • Горячие точки в Apache HBase и 7 способов их устранения
      • Инкрементный бэкап и стратегия восстановления таблиц в Apache HBase
      • Под капотом NoSQL-СУБД: чем полезно LSM-дерево
      • Как соединить таблицы в Apache HBase: JOIN в NoSQL
      • Регулярные выражения в Apache HBase
      • Сбалансированная изоляция данных в мультиарендном кластере Apache HBase: опыт Flipkart
      • Миграция с Apache HBase в TiDB: кейс Pinterest
      • Большая проблема маленьких файлов в Apache Hadoop HDFS
      • Отказоустойчивое распределение данных в Apache HBase
      • Как реализуются ACID-свойства транзакций в Apache HBase
      • 10 лучших практик для повышения эффективности Apache HBase
      • Детективная история про SCR-конфигурации HDFS в региональных серверах Apache HBase
      • Как повысить эффективность кластера Apache HBase: YCSB-тестирование региональных серверов
      • Cloudera Operational Database: комплексная платформа данных на Apache HBase и Phoenix
      • Как реализовать строгую согласованность вторичных глобальных индексов таблиц HBase и с Phoenix: кейс Salesforce
      • Сложности индексации таблиц Apache HBase и способы их обхода с Phoenix
      • SQL-запросы к Apache HBase через Phoenix с HUE
      • Сложности перехода: миграция из Apache HBase в Google BigTable – кейс компании Box
      • Инкрементное резервное копирование таблиц HBase и аварийное восстановление с AWS S3
      • Масштабируемая индексация Apache HBase почти в реальном времени: кейс Pinterest
      • От JDBC-подключения до SQL-запросов: пара примеров по Apache Hive, HBase и Spark
      • Apache Cassandra vs HBase: что и когда выбирать для NoSQL в Big Data
      • Apache Cassandra и HBase: конкуренты или альтернативы – 10 ключевых сходств и отличий
      • 7 основных преимуществ и пара недостатков Apache HBase для Big Data систем
      • Птичка + рыбка: синергия Apache Phoenix и HBase для быстрой SQL-аналитики Big Data в Hadoop
    • Рубрика: Hive
      • SQL-on-Hadoop: Apache Hive vs Pig
      • Зачем вам WebHCat – REST API к HCatalog в Apache Hive
      • Apache Hive 4.0.0-alpha-2: что нового?
      • Как запустить службу внешнего хранилища метаданных Apache Hive в AWS EKS
      • Как перейти от Apache Hive к Iceberg: стратегии миграции данных
      • Блеск и нищета каталогов метаданных для Data Lake: преимущества Apache Iceberg над Hive
      • ETL-конвейер передачи данных из MySQL в Hive с Apache NiFi
      • От Apache Hive к Iceberg и Spark: модернизация озера данных в Airbnb
      • Абсолютно безопасно: 3 security-кита в Apache Hive
      • Быстрая индексация данных в HDFS, Hadoop и Spark с библиотекой Dione от PayPal
      • Материализованные представления в Apache Hive
      • Сериализация данных в Apache Hive
      • Как LLAP ускоряет выполнение SQL-запросов в Apache Hive
      • 5 лайфхаков по Apache Hive для инженера данных и специалиста по Data Science
      • Apache Hive 3.1.3: обзор обновлений от 8 апреля 2022
      • 7 приемов оптимизации SQL-запросов в Apache Hive с движком Tez
      • Тонкости Map Join в Apache Hive
      • Как связать Apache Kafka с Hive: разбор интеграционного коннектора
      • Интеграция Apache NiFi и Hive в ETL-конвейере
      • Настройка кластера Apache Spark и Hive на Hadoop
      • От Derby к Hive: хранилище метаданных для Apache Spark
      • Apache Spark и Hive для обработки партиционированных Parquet-файлов
      • Не только MSCK REPAIR TABLE: добавляем разделы в хранилище метаданных Hive с оператором AirFlow и Apache Spark
      • Не только SQL-операторы: Transform для манипулирования данными в Apache Hive
      • Дедупликация, нумерация и ранжирование строк в Apache Hive
      • Обращаемся к Apache Hive через Trino: архитектура движка и принцип действия коннектора
      • Преобразования типов в SQL-запросов Apache Hive и не только: сравнение разных версий и СУБД
      • Обработка вложенных структур в JSON-файлах для Hive Metastore c Apache Spark
      • UDF в Apache Hive: создание, регистрация и эксплуатация
      • Базовые DDL-операции в Apache Hive: основы NoSQL Big Data для начинающих
      • Базовые DML-операции в Apache Hive: основы NoSQL Big Data для начинающих
      • Зачем нужна статистика таблиц Apache Hive и как ее собрать
      • Как получить доступ к данным в AWS S3 из кластера Apache Hadoop через Hive и Spark
      • ACID-транзакции в Apache Hive: настройка, принципы работы и ограничения
      • Потоковая аналитика больших данных в Udemy: система отслеживания событий на Apache Hive и Kafka в AWS
      • Бакетирование vs партиционирование в Apache Hive и Spark
      • Apache Iceberg для Data Lake: что это такое, зачем нужно и как работает
      • Что такое индекс и почему его использование так важно при работе в Hive
      • Перспективы Apache Hive: развитие или забвение?
      • Еще пара примеров по Apache Hive и Spark: безопасный доступ и реализация SCD
      • Зачем вам Beekeeper или как очистить метаданные таблицы Apache Hive
      • Что такое драйвер JDBC и почему он важен для распределенной работы в Hive
      • Зачем Apache Hive внешняя база данных для MetaStore: смотрим на примере Arenadata Hadoop 2.1.4 со Spark 3
      • Tez vs Spark: что выбрать для Apache Hive
      • Как ускорить SQL-запросы в Apache Hive: ТОП-5 методов оптимизации
      • Основные join-операции в Apache Hive: основы NoSQL Big Data для начинающих
      • Зачем вам Hue или как писать SQL-запросы к Apache Spark еще проще
      • Еще 4 особенности бакетирования таблиц в Apache Spark и 7 конфигураций их настройки
      • Apache Spark для дата-инженеров: трудности бакетирования и способы их решения
      • 3 задания по Apache Hadoop для чайников: развлекательная проверка знаний
      • Быстрая OLAP-аналитика больших данных в Delta Lake c Apache Spark SQL и Presto
      • Как работают пользовательские функции в Apache Hive
      • Что под капотом ретаргетинга: прогнозирование намерений пользователя с Apache Hadoop и Spark Structured Streaming на сервисах Amazon
      • Какие бывают таблицы для быстрой работы с Big Data в Hive
      • Архитектура СУБД Apache Hive: основы Big Data для начинающих
      • Как спроектировать идеальный Big Data Pipeline: 5 главных качеств конвейера обработки больших данных с примерами
      • Как работает облачная аналитика больших данных на Apache Hadoop и Spark в Dataproc
      • Что не так с Delta Lake на Apache Spark: 7 основных проблем и их решения
      • Как сократить цикл BI-аналитики Big Data в тысячи раз или ETL-конвейер Apache Kafka-Storm-Kudu-Impala в Xiaomi
      • Быстрая аналитика больших данных в Data Lake на Apache Kudu с Kafka и Spark
      • Синергия Apache Kudu с HDFS и Impala для быстрой аналитики Big Data в Hadoop
      • Самостоятельная и независимая аналитика больших данных: разбираемся с self-service BI для Big Data
      • От косметики до машиностроения: 3 кейса внедрения технологий Big Data на примере Data Lake
      • Аналитика больших данных для фармацевтов: Arenadata Hadoop и другие Big Data системы в аптечной сети АСНА
      • Зачем вам Apache Bigtop или как собрать свой Hadoop для Big Data
      • Интеграция Elasticsearch с Apache Hadoop: примеры и особенности
      • 5 достоинств и 2 недостатка Data Vault для КХД и архитектора Big Data
      • Современное КХД в облаках: гибриды, лямбда, MPP и прочая Big Data
      • Не Hadoop’ом единым: что такое КХД и как его связать с Big Data
      • Apache Drill vs Cloudera Impala: SQL-аналитика Big Data не только в Hadoop
      • Что выбрать для SQL-аналитики Big Data в Hadoop: Apache Hive или Cloudera Impala
      • Как защитить Big Data в Hive и Impala: проблема безопасности в SQL-on-Hadoop
      • Что такое HiveQL: SQL для Big Data в Apache Hadoop — как работают Hive и Impala
      • Hive vs Impala: сходства и различия SQL-инструментов для Apache Hadoop
      • Hive и Impala: коллеги или конкуренты – обзор SQL-инструментов для Apache Hadoop
      • Apache NiFi vs StreamSets Data Collector: выбираем ETL-средство для Big Data и IoT/IIoT
      • Что такое Apache Chukwa, Sqoop и Falcon: сравнение 3-х пакетных ETL-средств для Big Data
      • Какие бывают форматы файлов Big Data: row vs column
      • Сложно, дорого, универсально: 3 мифа о Hadoop и их опровержения
      • Оптимизация запросов JOIN в Apache HIVE
    • Рубрика: Internet of Things
      • Как работать с протоколом MQTT в Apache NiFi: потоковая обработка данных для IoT
      • Выгодно и быстро: потоковая обработка миллионов событий в AWS с Apache Kafka
      • MLOps и ТОП-7 фреймворков для федеративного машинного обучения
      • Легковесный Apache NiFi для IoT: Docker-образ MiNiFi на Raspberry PI4 ARM64
      • Сложная обработка событий от IoT-устройств в Apache Kafka: кейс Tesla
      • Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera
      • Управление множеством IoT-устройств в Tesla на платформе Apache Kafka: организация топиков и парсинг сообщений
      • Миллион проблем IoT и Apache Kafka для их решения: опыт Tesla
      • Цифровизация рабочего пространства: ТОП-3 тенденции 2020
      • Зачем вам Tarantool: разгоняем большие данные с помощью In-Memory database
      • Что такое лямбда-архитектура: основы Big Data для начинающих
      • Как сделать город безопасным: Big Data и Machine Learning против преступности
      • Красивая Big Data и модный Machine Learning: 15 историй из мира fashion
      • Хайп вокруг Big Data с Machine Learning: прогнозы Gartner и российские реалии
      • 5 угроз, от которых искусственный интеллект защитит человечество, провоцируя множество новых
      • Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных
      • Что такое CATWOE и как это использовать для цифровизации и других Big Data проектов
      • Биометрия, GDPR, 152-ФЗ и все-все-все: как и зачем Big Data с Machine Learning сканируют наши лица и отпечатки пальцев
      • Реальная цифровизация: 7 примеров эффективного внедрения Big Data, PLM и IIoT в промышленности
      • Цифровизация производства и цифровые двойники: объединяем PLM, IoT и Big Data
      • 10 примеров применения Apache Cassandra в 5 направлениях Big Data
      • Apache Flume vs NiFi и еще 2 потоковые ETL-платформы Big Data и IoT/IIoT
      • Не только Apache NiFi: еще 6 ETL-фреймворков загрузки и маршрутизации данных в Big Data и IoT
      • Что не так с Apache NiFi: 5 главных недостатков, важных в Big Data и IoT-проектах
      • Чем хорош Apache NiFi: 10 главных достоинств для применения в Big Data и IoT-проектах
      • Блокчейн, озеро данных и еще 3 кейса Apache NiFi в комплексных Big Data системах
      • Как построить IIoT-систему на базе Apache Nifi: разбираем прототип
      • IIoT-интеграция АСУТП и Big Data: зачем это нужно и почему это сложно
      • Кто стоит за Industrial Internet of Things в России: государство, бизнес и еще 5 ключевых факторов развития отечественного IIoT-рынка
      • Что сдерживает развитие IIoT в России: 7 ключевых факторов
      • Реалии и перспективы современного IIoT-рынка в России
      • 5 главных трендов Internet of Things на ближайшие 5 лет
      • Как Apache Kafka Streams API помогает DevOps-инженеру Big Data систем
      • Как Machine Learning помогает бизнесу зарабатывать на погоде: Big Data и метеомаркетинг
      • И чем же она хороша: ТОП-10 достоинств Apache Kafka для Big Data систем
      • Как связаны Apache Kafka и Machine Learning: архитектура Big Data и IoT-систем
      • Алиса посылает Бобу сообщение: криптография в IoT и Big Data системах
      • Сетевая безопасность IoT-систем: IPv6 и криптография микроконтроллеров
      • Как сделать интернет вещей безопасным: 3 вида cybersecurity в Big Data
      • DDos-атака от видеоняни: информационная безопасность IoT и Big Data
      • Big Data-облака интернета вещей: что такое IoT-платформы и зачем они
      • Как интернет вещей использует Big Data: архитектура IoT-систем
      • Промышленный интернет вещей: 4 кейса применения Big Data в индустрии
      • Как Big Data с Machine Learning борются с пробками и улучшают дороги
      • Не бойся падать – большие данные подстелят соломку: умное страхование
      • Умная недвижимость: Big Data, Machine Learning и IoT в девелопменте
      • Эко-Big Data в большом городе: как технологии делают мегаполис чище
      • Логистика высокой частоты: 5 примеров успешного использования RFID-технологий – интернет вещей (IoT) в России и за рубежом
      • Радиочастотный интернет вещей в промышленности: как, где и зачем используются RFID-метки – 5 практических кейсов российских и зарубежных компаний
      • Как интернет вещей и большие данные увеличивают прибыль оффлайн-магазинов: 5 практических кейсов
      • И тебя посчитали: как интернет вещей и большие данные повышают офлайн-продажи, считая посетителей торговых центров
      • Что мешает развитию рынка дронов в России: 3 основные проблемы и пути их решения
      • Русский дрон: как интернет вещей меняет 4 сектора экономики России
      • Машинное обучение и дрон: 5 примеров успешного сочетания в России и за рубежом
    • Рубрика: Kafka
      • Гарантии доставки сообщений At-Most-Once и At-Least-Once
      • Проблемы ручной фиксации смещения потребителей в Kafka и их решения с KIP-1094
      • Где сохраняются и как фиксируются смещения потребителей Apache Kafka
      • ИИ-агенты на Apache Kafka и MCP-серверы: организация потокового обогащения LLM
      • Публикация очень больших сообщений в Apache Kafka
      • Долгожданный релиз Apache Kafka 4.0: главные новости
      • Удаление топика Kafka: неочевидные проблемы и как их решить
      • Чистота выборов и дилемма CAP-теоремы в кластере Apache Kafka
      • Автогенерация AsyncAPI-спецификации для Kafka с FastStream: практический пример
      • FastStream для работы с Kafka: практический пример
      • Настройка серверов Kafka в режиме KRaft
      • Stateful-преобразование потокового датафрейма из Apache Kafka с Quix Streams
      • Потоковый конвейер на Apache Kafka с библиотекой Quix Streams
      • Обратное давление в потоковых конвейера с Apache Kafka
      • Как наполнить Data LakeHouse данными из Apache Kafka с помощью Tableflow
      • Purgatory-механизм Apache Kafka для асинхронных операций
      • Из Kafka в Elasticsearch с помощью sink-коннектора OpenSearch: практический пример
      • Настройка JDBC-коннектора Kafka от Confluent: практический пример
      • Битва коннекторов Kafka от Confluent: JDBC-коннектор vs CDC Debezium
      • Apache Kafka 3.9: новинки свежего релиза
      • Как управлять многопользовательским кластером Apache Kafka
      • Миграция Apache Kafka с Zookeeper на KRaft
      • Публикация protobuf-сообщений и использование реестра схем Kafka
      • От сетевого буфера и обратно: 10 этапов публикации данных в Apache Kafka
      • Взаимодействие ksqlDB на Docker: примеры работы с CLI и REST API
      • Доступ к Kafka на Docker извне: тунелирование портов
      • Настройка портов Docker-контейнеров компонентов Kafka для запуска на офисном ноутбуке и Windows
      • Как запустить Apache Kafka с GUI на офисном ноутбуке и Windows: Docker в WSL
      • Публикация сообщений в Apache Kafka: пакетирование сообщений и подключение к брокерам
      • Бесконечное хранение данных в Apache Kafka с Infinite Storage от Confluent Cloud
      • Java-хуки Apache Kafka для UDF-функций ksqlDB
      • Apache Kafka 3.8: обзор свежего релиза
      • Потоковая агрегация и передача данных из Kafka в Redis через SQL-запросы в RisingWave
      • Потоковая агрегация данных из Kafka на SQL в RisingWave: пример
      • Потоковые соединения из Kafka на Python: практический пример
      • Что выбрать Python-разработчику для работы с Kafka: confluent-kafka vs kafka-python
      • Веб-хуки в Apache Kafka из PostgreSQL на платформе Upstash: пример
      • Apache Kafka и файловая система
      • Потоковая агрегация событий из Apache Kafka в RisingWave
      • Неконсистентность данных в распределенной системе: Apache Kafka и проблема двойной записи
      • Изоляция транзакций в Apache Kafka при потреблении сообщений
      • Транзакции в Apache Kafka: атомарность публикации сообщений
      • Пример потокового конвейера из Kafka в Elasticsearch на платформе Decodable
      • Как работают клиенты реестра схем Apache Kafka: подробный разбор
      • Публикация и потребление AVRO-сообщений с реестром схем Apache Kafka: пример на Python
      • Новинки Apache Kafka 3.7: обзор свежего релиза
      • Разделять ли топик Apache Kafka: 5 главных соображений
      • Плавное завершение работы брокера Apache Kafka и перевыборы лидера
      • Из Apache Kafka в Elasticsearch: реализуем sink-коннектор и строим дашборд в Kibana
      • Как использовать реестр схем Kafka Confluent: пример Python-продюсера
      • 4 стратегии мультирегионального развертывания Apache Kafka
      • Реализация CDC из PostgreSQL в Apache Kafka с коннектором Debezium
      • 4 способа реализации мультирегиональной репликации Apache Kafka
      • 2 решения Confluent для мультирегиональной георепликации Apache Kafka
      • Мультирегиональная репликация Apache Kafka: кластерные топологии
      • Сколько стоит инфраструктура Apache Kafka: 2 главные статьи затрат
      • 3 условия соединения многораздельных потоков в Kafka Streams
      • Динамическое и статическое членство потребителей Apache Kafka
      • Когда развернуть еще один кластер Apache Kafka и как им управлять?
      • Централизация или независимость: стратегия управления корпоративным кластером Apache Kafka
      • Магический байт в сообщениях и реестр схем Apache Kafka: проблемы и решения
      • Как повысить надежность кластера Apache Kafka: сбои публикации и стратегии их устранения
      • Apache Kafka vs Streams и Pub/Sub в Redis
      • Как язык разработки влияет на стратегию партиционирования в Apache Kafka: тонкости хэширования
      • Сквозное шифрование на уровне полей для Apache Kafka Connect с библиотекой Kryptonite
      • Apache Kafka 3.6: что нового?
      • Управление смещением в Apache Kafka: автофиксация и стратегия потребления
      • Как настроить source-коннектор Kafka Connect, чтобы повысить его пропускную способность
      • Зачем вам Conduktor Gateway для Apache Kafka
      • Защита чувствительных данных в системе с Apache Kafka через криптографию
      • Как измерить задержку потребления из Apache Kafka: простой пример
      • Мультиарендность в кластере Apache Kafka
      • Как устроено сжатие сообщений в Apache Kafka
      • Event Streaming vs Event Sourcing: 2 паттерна проектирования EDA-архитектуры
      • Swagger для асинхрона: составляем спецификацию AsyncAPI на примере Apache Kafka
      • Apache Kafka, BPMS и оркестрация процессов: versus или вместе
      • Квотирование в Apache Kafka
      • События в экосистеме Apache Kafka: проектирование EDA-архитектуры
      • Многоуровневое хранилище в Apache Kafka: разбираемся с KIP-405
      • Управление кластерами и коннекторами Apache Kafka в Arenadata Streaming с ADSCC
      • 8 исправленных ошибок в Apache Kafka 3.5.1
      • 6 уязвимостей Apache Kafka за последние 2 года
      • Apache Kafka 3.5.0: обзор июньского релиза
      • Обработка ошибок в потребителе Kafka с try-except: пример
      • DLQ в Kafka для AVRO-сообщений в Spark-приложении с библиотекой ABRiS
      • Как будет реализован KIP-932 для общих групп потребителей в Apache Kafka
      • Очереди и группы общего доступа для потребителей Apache Kafka: разбираемся с KIP-932
      • 3 способа прочитать данные из Kafka с помощью Spark
      • Как считать данные из Apache Kafka с определенного момента: пишем Python-скрипт
      • Разделенный мозг и зомби-продюсеры в Apache Kafka: как с этим бороться
      • Kafka Streams vs ksqlDB: что и когда использовать
      • Под капотом Kafka Connect: источники, приемники и коннекторы
      • Разделы и потребители Apache Kafka: практический пример
      • 2 способа удалить сообщения из топика Apache Kafka
      • UML-диаграмма последовательности потребления сообщений из Kafka
      • Под капотом продюсера Kafka: UML-диаграмма публикации сообщений
      • Kafka Streams vs Consumer API: 4 сходства и 5 отличий
      • 5 проблем с распределенными очередями сообщений и их решения в Apache Kafka с RabbitMQ
      • Лучшие практики работы с DLQ-очередями в Apache Kafka
      • Очереди недоставленных сообщений в Apache Kafka и RabbitMQ
      • MLOps c Kafka Streams и gRPC: 3 способа развернуть ML-модель в production
      • Планирование заданий Spark в EDA-архитектуре
      • Метрики приложений Kafka Streams и средства их мониторинга
      • Перебалансировка потребителей в Apache Kafka: чем она чревата и как с этим быть
      • Доступность vs надежность: выборы лидера в Apache Kafka
      • Как KRaft влияет на скорость работы и хранение данных в Apache Kafka
      • Apache Kafka 3.3.2: краткий обзор январского релиза 2023
      • Управление хранением данных в Apache Kafka: 5 главных конфигураций
      • Автомасштабирование приложений-потребителей из Apache Kafka на Kubernetes
      • События, сообщения, микросервисы и Apache Kafka: архитектурный холивар
      • СУБД вместо очереди сообщений: опыт команды Dagster Cloud
      • Группы потребителей в Apache Kafka и микросервисы
      • Контракты данных и еще 9 лучших практик применения Apache Kafka для ИТ-архитектора
      • Как клиенты Apache Kafka общаются с брокерами: протоколы и интерфейсы
      • Что лучше для аналитики в реальном времени: ksqlDB vs OLAP-база данных?
      • Под капотом Apache Kafka: пакетирование сообщений с RecordAccumulator
      • Мониторинг конвейеров Apache Kafka с инструментом Streams Explorer от Bakdata
      • Чем плохи медленные потребители для Apache Kafka, как их обнаружить и ускорить
      • Гибкая десериализация сообщений в Apache Kafka: от JSON к AVRO и наоборот
      • Под капотом Apache Kafka: разбираемся с файлами хранения и механизмами обработки данных
      • Масштабируемая шина событий на Apache Kafka для анализа пользовательского поведения в Whatnot
      • Улучшенная обработка пакетов с Apache Kafka и Logstash в Trendyol
      • Мониторинг системных метрик Apache Kafka с Iris
      • Знакомство с aiokafka: асинхронный Python-клиент для Apache Kafka
      • Apache Kafka vs AWS Kinesis: сходства и отличия
      • Не просто бургеры: архитектура данных в McDonald’s с Apache Kafka
      • Безопасная архитектура LakeHouse с Apache Kafka, управляемая метаданными
      • Абсолютно безопасно: PEM-аутентификация Apache Kafka по REST API
      • Лебедь, рак и щука: оптимизация Apache Kafka с теоремами CAP и PACELC
      • Как определить задержку потребителя Apache Kafka в Spark Structured Streaming
      • Apache Kafka vs JMS-брокеры: 3 главных отличия
      • Экономия места в Apache Kafka с форматом Parquet
      • Apache Kafka как решение проблемы параллелизма в микросервисах, управляемых событиями
      • Как обеспечить высокое качество потоковых данных с реестром схем Apache Kafka
      • Мониторинг микросервисов с Apache Kafka, Jaeger и OpenTelemetry
      • Управление купонами на скидки в маркетплейсе Trendyol с Apache Kafka и Couchbase
      • Управляемые повторы отправки сообщений из Apache Kafka c фреймворком Sping
      • Стойки кластера и отказоустойчивость приложений Kafka Streams с релизом 3.2
      • Apache Kafka 3.2: что нового?
      • Как быстро и безопасно удалять брокеры из кластера Kafka: решение от Confluent
      • Анализ данных Youtube в реальном времени с Apache NiFi, Kafka и Spark Streaming
      • Apache Kafka в Walmart для масштабируемого пополнения запасов в реальном времени
      • Больше или быстрее: ищем компромисс пропускной способности Apache Kafka
      • Отказы в Kafka-приложениях и FMECA-анализ: определить и устранить сбои
      • Интеграционное тестирование Kafka-приложений: 4 полезных библиотеки
      • Модульное тестирование Kafka-приложений
      • Как реестр схем помогает снизить нагрузку на запись сообщений в топики Apache Kafka
      • Вместо Tableau и Power BI: DataLens от Яндекса на примере внедрения в KazanExpress
      • Apache Kafka в облаках: краткий обзор управляемых сервисов
      • Блокчейн и Apache Kafka: versus или вместе
      • Упорядочивание событий в Apache Kafka: параметры продюсера и потребителя
      • Как распилить PHP-монолит на микросервисы с Apache Kafka: кейс Storyblocks
      • Микросервисная архитектура с Neo4j, Kafka и Outbox-паттерном проектирования
      • Синхронные и асинхронные продюсеры: Graceful shutdown для Apache Kafka
      • Аналитика больших данных в реальном времени с Apache Kafka, Spark, ClickHouse и S3
      • Serverless для Apache Kafka c Upstash
      • Копирование сложных структур данных из Kafka в СУБД с SMT и JDBC Sink Connector
      • 5 шагов по миграции на новый релиз Apache Kafka 3.1.0 и подводные камни
      • Apache Kafka 3.1.0: что нового?
      • Архитектура больших данных: 5 шаблонов проектирования распределенных систем
      • Архитектура больших данных: реализация шаблона CQRS на Apache Kafka
      • Безопасность Kafka на Kubernetes с помощью Strimzi: аутентификация и авторизация
      • Снова про Apache Kafka на Kubernetes: Strimzi в помощь
      • ksqlDB 0.22.0: ноябрьское обновление компонента Apache Kafka от Confluence
      • Повышаем устойчивость приложений Apache Kafka через обработку исключений
      • 10 важных конфигураций Apache Kafka для практической работы
      • Миллиарды сообщений в секунду: микросервисная ML-система на Apache Kafka и DynamoDB
      • Apache Kafka на Kubernetes vs KubeMQ
      • Apache Kafka и Kubernetes для микросервисов в логистике: кейс Sixfold
      • Зачем вам KubeMQ: брокер сообщений для Kubernetes вместо Apache Kafka
      • Как связать Neo4j с Apache Kafka: 2 способа интеграции
      • AVRO и JSON В Apache Kafka: краткий ликбез по реестру схем
      • Как передать данные из GridDB в Apache Kafka через JDBC-коннектор
      • Что такое Saamsa и зачем это разработчику Apache Kafka: краткий обзор
      • DataCater и Flow: еще пара альтернатив Apache Kafka для построения потоковых конвейеров
      • Пакетная обработка событий с Apache Kafka: прикладная дата-инженерия
      • 5 проблем Apache Kafka и как Redpanda их решает
      • Повышаем параллелизм и пропускную способность потоковых приложений с Apache Kafka и Akka Streams
      • Потоковый конвейер обработки видео с Apache Kafka и алгоритмами Machine Learning
      • FlowKat и Monokl: еще пара средств мониторинга за кластером Apache Kafka на базе KafkaJS
      • Что такое KafkaJS: как скрестить ежа с ужом, а Apache Kafka с Node.js
      • Горизонтальное масштабирование кластера Apache Kafka: тонкости переназначения разделов
      • Аналитика слишком больших данных в IoT-инфраструктуре Tesla c Apache Kafka, Alpakka и Akka Streams
      • Тонкости потоковой передачи данных в BigQuery из Apache Kafka и Spark: 5 неочевидных особенностей
      • Чем хорош Splunk S2S Source Connector от Confluent и как это связано с Apache Kafka
      • Как устроен API администратора Apache Kafka: методы AdminClient с примерами
      • Как создать микросервисный ML-конвейер в реальном времени на Apache Kafka и Spark
      • ksqlDB 0.19.0: июньские новинки для разработчиков Kafka от Confluent
      • 100% SLA в Apache Kafka: AVRO, заголовки и повторные попытки обработки данных
      • Еще больше потоковой аналитики Big Data с Kafka Streams: обработка больших сообщений
      • Как устроен JDBC-коннектор источника Kafka Confluent и при чем здесь реестр схем
      • Всего 2 cURL-вызова для потокового обновления данных с Apache Kafka Connect
      • Согласованность и полнота распределенной обработки потоков в Apache Kafka Streams
      • 3 проблемы приложений Apache Kafka Streams из-за RocksDB и способы их решения
      • Исправляем OOM-ошибки приложений Apache Kafka Streams через конфигурирование RocksDB
      • Real-time аналитика больших данных о сетевом трафике с Apache Kafka и Spark
      • Аналитика больших данных с JSON и AVRO в Apache Kafka: кейс компании Mobimeo
      • Под капотом Apache Kafka: zero copy и быстрые IO-операции с диском
      • Хранение, чтение и очистка сообщение в топиках Apache Kafka: 3 важных конфигурации
      • Масштабируемая видеоаналитика в реальном времени с нейросетями YOLO на Apache Kafka, Spark Structured Streaming и Cassandra
      • 7 новых фич Apache Kafka Streams в релизе 2.8.0
      • Не только KIP-500: 15 важных улучшений Apache Kafka 2.8.0
      • Проблема межкластерных транзакций в Apache Kafka и способы ее решения
      • Оптимизация хранения сообщений в топиках Apache Kafka: зачем и как упаковывать, сжимать и менять форматы
      • Apache Kafka теперь без Zookeeper — новый релиз
      • Зачем вам cURL или как быстро загрузить ответ REST API или HTTP-запроса в Apache Kafka
      • От пакетов к потокам с Kafka и Flink: аналитика больших данных по пользовательским сеансам в Spotify
      • Можно ли заменить Apache Kafka базой данных и почему не стоит даже пытаться
      • Как повысить отказоустойчивость продюсера Kafka: 5 практик по настройке ТОП-10 конфигураций
      • ОЗУ, Kafka и Logstash для решения IOPS-проблемы в кластере Apache NiFi
      • Cloudera Manager и еще 7 инструментов администратора для мониторинга Kafka-кластера
      • Тонкости интеграции Apache Kafka с Pinot для аналитики больших данных в реальном времени
      • Микросервисная real-time аналитика больших данных: потоковый OLAP на Apache Kafka, Pinot, Debezium и CDC
      • 7 важных функций, которых еще нет в новой Apache Kafka без Zookeeper
      • Сколько разделов вам нужно и при чем здесь KIP-500: разбираемся с партиционированием в Apache Kafka
      • Как достичь дзена CAP-теоремы в распределенных микросервисах или eventual consistency с Apache Kafka Streams
      • Как построить свой OAuth с аутентификацией и авторизацией для Kafka: кейс BlackRock
      • Премиум-коннектор в люксовый enterprise: интеграция Apache Kafka с Oracle Database
      • От пакетного до потокового озера данных с Apache Kafka: кейс компании Trainline
      • Как вести мониторинг финансовых транзакций в реальном времени с Apache Kafka и Spark в Delta Lake: пример аналитики больших данных
      • Как перейти на Apache Kafka без Zookeeper: готовимся к KIP-500 в релизе 2.8.0
      • Apache Kafka 2.7.0: ТОП-15 обновлений декабря 2020 года
      • ksqlDB и Kafka Streams: versus или вместе – сходства и различия инструментов потоковой аналитики Big Data
      • Потоковая аналитика больших данных с ksqlDB на Kubernetes: практический пример
      • Большие данные с малыми затратами: как снизить стоимость OLAP-аналитики Big Data в Delta Lake на AWS с Apache Kafka и Spark
      • Как читать медицинские снимки с Apache Spark: Big Data библиотека для быстрой обработки DICOM-файлов
      • Конвейер CDC для Databricks Delta Lake: пример быстрого сбора и аналитики Big Data с Apache Kafka и Spark
      • CDC для потоковой аналитики Big Data с Apache Kafka и Spark: 3 практических примера
      • Что не так с real-time обработкой транзакций в конвейере Apache Kafka-Spark Streaming: 3 проблемы и способы их решения
      • Apache Kafka или Pulsar: что и когда выбирать
      • 3 примера использования Pulsar в production вместо Apache Kafka
      • 5 главных мифов о превосходстве Apache Pulsar над Kafka и их опровержения
      • Кто быстрее: критика бенчмаркинга производительности Apache Kafka versus Pulsar
      • Почему Apache Pulsar — это не Kafka с RabbitMQ в одном флаконе
      • Что такое Apache Pulsar: новая Kafka или улучшенный RabbitMQ для потоков Big Data
      • Пробуем приложения Apache Kafka Streams в Kubernetes: probe-механизм и проблемы stateful
      • Как ваше состояние: запуск stateful-приложений Apache Kafka Streams в Kubernetes
      • CDC-репликация Big Data в реальном времени с Apache Kafka и Debezium в Confluent Cloud
      • А вы любите Kafka? Открытый тест из 10 вопросов на знание популярной Big Data платформы
      • Непростая аналитика больших данных в реальном времени: 3 способа перезапуска заданий Spark Structured Streaming по метке времени Apache Kafka
      • Как подготовить датасет к Machine Learning с PySpark и построить систему потоковой аналитики больших данных на Apache Kafka и ELK: пример прогнозирования CTR
      • Потоковая обработка событий в Machine Learning и Big Data: основы StreamSQL для начинающих
      • Зачем вам Feature Store или что не так с микросервисами в ML-системах
      • 5 советов по потоковой аналитике больших данных с Apache Kafka и Spark Streaming
      • Как построить ML-pipeline на Qlik Replicate, Apache Kafka и других технологиях Big Data: архитектура real-time аналитики больших данных
      • Apache Kafka и прочая Big Data для железнодорожников: кейс Deutsche Bahn
      • Что такое GraphQL и как это использовать в разработке приложений Apache Kafka
      • Чем хорош REST Proxy для Apache Kafka и что с ним не так: ключевые достоинства и недостатки RESTful API от Confluent
      • Что такое REST Proxy к Apache Kafka: разбираемся с RESTful API от Confluent
      • Как удаленному сервису достучаться к Apache Kafka по HTTP: REST API
      • От open-source до Confluent: 3 клиента Python для Apache Kafka
      • Как опередить спрос на модные новинки с облачными технологиями Big Data: кейс компании Boden по Apache Kafka и Snowflake
      • DataOps и инженерия больших данных: 10 лучших практик от корпорации DNB
      • Как устроен конвейер аналитики больших данных на Apache Kafka и Druid в Netflix
      • Зачем вам UNION вместо JOIN в Apache Druid и семплирование больших данных в Spark Streaming: пример потоковой аналитики Big Data
      • Почему вам нужно обучение разработке в Apache Kafka: 4 причины выбрать курсы от Школы Больших Данных
      • Что такое Graceful shutdown в Spark Streaming: основы Big Data для начинающих
      • Веб-реклама, ретаргетинг и проблемы потоковой аналитики больших данных с Apache Kafka, Spark Streaming и Druid: кейс платформы Outbrain
      • Apache Kafka, микросервисы и проблема удаления данных: 5 практических примеров
      • Конвейер Big Data для Machine Learning на Apache Kafka: разбираем систему речевой аналитики
      • Все грани Apache NiFi для построения ETL-pipeline’ов и обработки потоковых данных с Kafka и Spark
      • Kafka Connect для мониторинга событий и метрик: настраиваем JSON для интеграции с New Relic
      • Особенности JOIN-операций в Apache Kafka Streams на примере Twitter
      • Как Twitter построил на Apache Kafka новый ML-конвейер своей рекомендательной системы
      • Как укротить NiFi: решаем проблемы ввода-вывода
      • Apache Kafka как ядро event-streaming Big Data архитектуры: кейс The New York Times
      • Заменит ли Apache Kafka прочие СУБД в мире Big Data: за и против
      • Что такое Arenadata Streaming: сочетаем Apache Kafka с NiFi в корпоративном масштабе
      • Какой Machine Learning в вашем production: 5 популярных паттернов на любой вкус и 2 основные стратегии внедрения
      • Особенности корпоративной интеграции на ESB и Apache Kafka: vs или вместе?
      • Комбо потоковой обработки Big Data с Apache Kafka и NiFi: пара практических примеров
      • 3 проблемы администрирования Apache Kafka и пути их решения на практических примерах
      • Как сэкономить место на диске, управляя временем: проблемы администрирования Apache Kafka на примере Booking.com
      • Борьба со сложностью ACL-настроек в Apache Kafka или self-service авторизации в Booking.com
      • Особенности самообслуживаемой аутентификации Apache Kafka на примере Booking.com
      • 45+ кластеров и 2 DevOps-лайфхака по администрированию Apache Kafka от Booking.com
      • Как найти товарные остатки с помощью Big Data и Machine Learning: пример Леруа Мерлен
      • Как организовать конвейер self-service Machine Learning на Apache Kafka, Spark Streaming, Kudu и Impala: пример расширенной BI-аналитики Big Data
      • Потоковая платформа для интеграции Big Data и не только: 7 плюсов Apache Kafka
      • От беспорядочных связей к микросервисной консистентности: архитектурная история Big Data систем на примере Apache Kafka
      • Роль Python в мире Big Data: 5 причин освоить этот язык программирования
      • 5 причин разделения кластеров Apache Kafka по DevOps
      • Быстро, непрерывно, вместе: 3 принципа Agile в KSQL и Apache Kafka Connect
      • ТОП-10 ошибок интеграции Elasticsearch и Кафка при использовании Kafka Connect
      • Зачем вам Kafka Connect: разбираем на примере интеграции Elasticsearch с Кафка
      • Не только Kafka Engine: 4 альтернативы для интеграции ClickHouse и кейс Ситимобил
      • Интеграция Big Data или как связать Tarantool c Apache Kafka на примере Arenadata Grid
      • Big Data, Machine Learning и Internet of Things в складской логистике: 7 FMCG-кейсов
      • Data lineage и provenance: близнецы или двойняшки – Big Data Management для начинающих
      • Что такое Каппа-архитектура: альтернатива Лямбда для потоков Big Data
      • 7 принципов Lean в Big Data: бережливое производство больших данных
      • Как выбрать курсы по Spark: 4 ключевых аспекта, на что обратить внимание
      • Как работает Apache Zookeeper: 5 проблем самой популярной службы синхронизации для распределенных Big Data систем
      • Как Apache Kafka используется в реальном производстве: пример Северстали
      • Как ускорить работу producer’ов Kafka: параметры конфигурации производителей
      • Почему ваша Kafka такая медленная и как ее ускорить: 7 главных факторов производительности этой Big Data системы
      • Что такое гарантия доставки сообщений или как избавиться от дублей и потерь в Apache Kafka и других Big Data брокерах
      • Повышаем производительность Apache Kafka в высоконагруженных Big Data системах: пример Авито
      • Зачем Apache Kafka и другие Big Data системы используют Zookeeper и чем его заменить
      • Кому и когда нужны курсы по Kafka и другим технологиям Big Data: 5 реальных кейсов
      • Как выбрать хорошие курсы по Kafka и другим технологиям Big Data: 4 простых совета
      • Как Apache Cassandra, Kafka, Storm и Hadoop формируют рекомендации пользователям Spotify
      • 12 уровней IIoT-архитектуры: от периферийных датчиков до аналитики Big Data
      • Где и как используется Apache Samza: реальные примеры Big Data проектов
      • Где и как в Big Data используется Apache Storm: примеры применения
      • Что выбрать для потоковой обработки Big Data: Apache Kafka Streams или Spark Streaming
      • ТОП-7 сходств и различий между Apache Kafka Streams и Spark Streaming
      • Путешествуем во времени и пользовательском пространстве с Apache Kafka Streams
      • DSL и Processor API в Apache Kafka Streams для распределенной обработки потоковых данных
      • Как работает Apache Kafka Streams: архитектура и топология внутренних обработчиков потоков
      • Основы Apache Kafka Streams: чем отличаются потоки от таблиц и топиков
      • 5 достоинств и пара недостатков Apache Kafka Streams API для DevOps-инженера Big Data систем
      • Повышаем скорость обработки потоков Big Data с помощью Apache Kafka Streams
      • Как хранить большие данные: Apache Parquet, Avro и другие форматы Big Data
      • DevOps для потоков Big Data: Apache Kafka в кластере Kubernetes
      • Как связать Apache Kafka и Spark Streaming: 2 способа интеграции Big Data систем
      • Синергия Apache Kafka и Spark Streaming: потоковая обработка Big Data в реальном времени
      • Apache Kafka vs RabbitMQ в Big Data: сходства и различия самых популярных брокеров сообщений
      • Что такое Avro: как Apache Kafka и другие технологии Big Data используют эту схему данных
      • Как Apache Kafka работает с разными файлами Big Data: зачем нужен Schema Registry
      • Еще раз про Big Data Security: как обеспечить безопасность кластера Apache Kafka
      • Роль Apache Kafka в Big Data и DevOps: краткий ликбез и практические кейсы
      • KSQL — для тех кто любит Kafka и не знает Java
    • Рубрика: Machine Learning
      • Не только векторные БД: графовый RAG для LLM и агентского ИИ
      • От LLM до ИИ-агентов: эволюция чат-ботов и шаблоны рабочих процессов
      • Проблема изоляции ИИ-агентов и ее решение с помощью потоковой передачи
      • Как подключить LLM к контексту: модель контекстного протокола MCP
      • Почему колоночные форматы Parquet и ORC не подходят для ML-нагрузок
      • ТОП-5 проблем агентского ИИ и как их преодолеть
      • Потоковая обработка данных и EDA-архитектура для LLM-систем
      • 4 нейросетевых трансформера для прогнозирования временных рядов
      • Databricks Arc vs Splink: автоматическое связывание данных в промышленных масштабах
      • Знай своего клиента: качество данных с identity resolution в Zingg и Splink
      • Барьерный режим выполнения в Apache Spark и при чем здесь глубокое обучение
      • Кластерный анализ графов с медоидами: алгоритм k-medoids
      • Кибербезопасность в MLOps: угрозы и лучшие практики
      • Что такое LLMOps или MLOps для больших языковых моделей
      • Автоматизированное тестирование в MLOps: что и как проверять?
      • RAG-приложения и Neo4j: поддержка векторного индекса для LLM
      • MLOps для ИИ: AI-шлюз в MLflow
      • Программируй на английском: ИИ-SDK для PySpark от Databricks
      • Шаблон стека MLOps-инструментов и ТОП-5 практик его внедрения
      • Стандартизация MLOps с CRISP-ML
      • ИИ и векторные базы данных: как это работает?
      • Horovod на Databricks для MLOps в глубоком обучении
      • Эффективный MLOps с TAO Toolkit от NVIDIA
      • Что такое BioCypher: возможности Neo4j для биомедицины
      • Как развернуть ML-модель в production: шаблоны эффективного MLOps от Databricks
      • Как построить и запустить свой MLOps-конвейер с MyMLOps
      • Графовые алгоритмы без графовых баз данных: поиск сообществ с Networkx
      • ClearML для полного MLOps: примеры и возможности
      • Пара Python-библиотек для дата-инженера: pandas 2.0 и polars
      • Архитектура MLOps и управление инфраструктурой как кодом
      • Статистика vs глубокое обучение для анализа данных временных рядов: что выбрать?
      • Продуктовое мышление в MLOps и метрики оценки ML-модели
      • MLOps c Python-библиотекой Evidently: обнаружение дрейфа данных в ML-моделях
      • MLOps для Spark-приложений в AWS с Amazon SageMaker: кейс Udemy
      • FastAPI versus BentoML: что лучше для MLOps и почему
      • MLOps с Graphene: зачем и как использовать GraphQL для проектов Machine Learning
      • MLOps для устранения техдолга в проектах Machine Learning
      • TensorFlow на Apache Hadoop с TonY
      • MLOps c Kubeflow: компоненты ML-конвейера
      • MLOps c LakeFS и MLflow: версионирование данных
      • Практический NLP с Python-библиотекой spaCy для SEO-задач в Google Colab
      • Глубокое машинное обучение, реляционная парадигма и логическое программирование: versus или вместе?
      • Потоковое машинное обучение с Python-библиотекой River
      • Разработка мультимодальных ML-моделей с TorchMultimodal
      • MLOps c BentoML, MLflow и Kubeflow: автоматическое развертывание ML-модели
      • Асинхронное программирование в ML-системах
      • Почему глубокому обучению не обойтись без MLOps
      • Как использовать цепи Маркова для анализа моделей рекламной атрибуции
      • Построение MLOps-платформы с открытыми инструментами
      • Марковские цепи для анализа данных и NLP: теория и практика
      • Мониторинг Machine Learning в production: полезные советы и MLOps-инструменты
      • 7 причин не использовать Pickle-формат в MLOps для сохранения ML-моделей
      • Инструментарий MLOps c MLflow и DVC: versus или вместе?
      • MLflow vs Kubeflow: битва MLOps-инструментов
      • MLOps и ТОП-5 практик работы с MLflow
      • Интеграция Nebula Graph с Apache Spark
      • От чего зависит выбор MLOps-инструментов: 3 главных фактора
      • Чего ждать в MLFlow 2.0: конвейеры от Databricks
      • Графовое машинное обучение: кейс Airbnb
      • Познакомьтесь с ModelOps: новый расширенный MLOps для бизнеса
      • Технологии и инструменты преобразования речи в текст
      • Как управлять изменениями в ML-системах с MLOps
      • От Лямбда до Data Mesh: 7 архитектур данных для Big Data систем
      • Вместо Git и Python: MLOps для разработки и развертывания ML-систем
      • ТОП-5 проблем с данными в ML-системах и MLOps для их устранения
      • Feature Store на Apache HBase с Phoenix, RonDB и Kafka: кейс Dream11
      • DevOps + MLOps: мониторинг ML-моделей с New Relic
      • Рекомендательные системы: продвинутые алгоритмы
      • Что такое CML: MLOps и непрерывное машинное обучение
      • Neo4j на страже закона: кейс поиска рецидивистов
      • MLOps на Python и не только: кейс банка «Открытие»
      • Рекомендательные системы: что под капотом?
      • Практический MLOps: 4 стратегии развертывания систем Machine Learning
      • MLOps и тестирование систем Machine Learning
      • MLOps-конвейер с MLFlow: CI/CD для модели машинного обучения
      • MLOps на коленке: простое развертывание ML-модели с Apache Spark
      • MLOps и переносимость ML-моделей с помощью ONNX и Apache Spark
      • NLP с Graph Data Science в Neo4j: 3 эмбеддинг-алгоритма
      • MLOps на практике: опыт Glassdoor
      • Как организовать Feature Engineering на SQL-запросах: инженерия Data Science
      • Машинное обучение с Apache Spark: битва пакетов или отличия библиотек MLLib от ML
      • Конвейрезируй это: как построить ML-pipeline в Apache Spark MLLib
      • Преобразование столбцов в PySpark
      • 3 метода векторизации слов в PySpark
      • Как нормализовать данные в PySpark перед обучением ML-моделей
      • Линейная регрессия, регуляризация, кросс-валидация и Grid Search в PySpark
      • Как решить задачу классификации в PySpark
      • Как ускорить озеро данных или что такое Delta Lake на Apache Spark
      • Как внедрить MLOps: краткое пошаговое руководство
      • Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations
      • Готовы ли вы к MLOps: что такое Machine Learning Operations Maturity Model
      • Зачем вам MLOps: новый подход к Machine Learning в production
      • Чем похожи CRISP-DM и BABOK®Guide: бизнес-анализ в Data Science
      • Cloudera Data Science Workbench vs Arenadata Analytic Workspace: сравнительный обзор
      • 7 этических проблем отечественной цифровизации и пути их решения
      • Успехи Industry 4.0 на российских заводах: 5 примеров СИБУРа
      • Расширенная аналитика больших данных с помощью Self-service Machine Learning и AutoML: как Data Science усиливает технологии Big Data
      • Аналитика больших данных в Elasticsearch: возможности Machine Learning в ELK Stack
      • Что такое programmatic print и при чем тут персональный маркетинг с Big Data: 4 кейса от FMCG-гигантов
      • Видеоаналитика с Machine Learning в ритейле: персональный маркетинг vs 152-ФЗ
      • Как видеоаналитика Big Data с Machine Learning приносит деньги: 7 примеров FMCG
      • Коботы в ритейле: 3 причины взглянуть на робототехнику по-новому
      • Всегда Coca-Cola: 5 Big Data кейсов от FMCG-гиганта
      • Управление НСИ в эпоху Big Data: какой MDM нужен современному бизнесу
      • Когда количество не переходит в качество: почему большие данные требуют обеспечения Data Quality
      • 5 причин, почему робот-полицейский – это фантастика. По крайней мере, пока.
      • Big Data и Machine Learning спасают жизни: 3 кейса по распознаванию образов
      • Big Data и Machine Learning против мошенничеств в сфере страхования: 7 реальных кейсов
      • Что такое AML или Big Data и Machine Learning против отмывания денег
      • Умный антифрод: как Big Data и Machine Learning защищают ваши деньги
      • Найти и обезвредить: как Big Data и Machine Learning сканируют ваши соцсети для предупреждения преступлений
      • Искусственный интеллект против наркотиков: как Big Data и Machine Learning борются с отравой
      • Почему вам нужна расширенная аналитика Big Data и как ее получить
      • Big Data и Machine Learning против COVID-19: 3 кейса про коронавирус и искусственный интеллект
      • Machine Learning и не только: как устроены чат-боты
      • От телекомов до медицины: 10 примеров использования чат-ботов в бизнесе
      • Как Big Data и Machine Learning разговаривают с вами: чат-боты в России и за рубежом
      • 3 причины, почему искусственный интеллект не примет за вас решение — по крайней мере, пока
      • Аналитика больших данных и Machine Learning в образовании: 5 кейсов из ВУЗов
      • Аналитика больших данных и машинное обучение в HR: 5 примеров инсайтов на Big Data
      • Как снизить текучку кадров с помощью Big Data и Machine Learning: реальный опыт 5 крупных компаний
      • Big Data ищет таланты: 5 примеров использования Machine Learning в HR-поиске
      • Полный Deep Fake: как обмануть систему биометрии на базе Big Data и Machine Learning
      • Какая биометрия лучше: сравнительный обзор биометрических методов на базе Big Data и Machine Learning
      • Насколько уязвимы биометрические Big Data системы: причины ошибок и метрики их измерения
      • Как оценить стоимость прогноза Machine Learning и не только: строим confusion matrix
      • 5 причин, почему машинное обучение не заменит другие методы Cybersecurity и реальные примеры эффективного использования ML для защиты данных
      • Как машинное обучение защищает большие данные: ML в Cybersecurity
      • Кредитный скоринг от Яндекса vs GDPR и 152-ФЗ: кто собирает наши персональные данные для банковских моделей Machine Learning – Big Data для Большого Брата
      • Кто такой Data Scientist в Big Data: профессиональные компетенции исследователя данных
      • Почему каждый Data Scientist должен быть DevOps-инженером в Big Data
      • Выделение признаков: зачем отбирать предикторы и как это правильно сделать – готовим датасет к Data Mining и Machine Learning
      • Нормально делай – нормально будет: нормализация на практике — методы и средства Data Preparation
      • Data Preparation: полет нормальный – что такое нормализация данных и зачем она нужна
      • Оцифровываем текст: как превратить слова в числа для Data Mining – 5 NLP-операций Feature Extraction
      • Это не баг, а фича: генерация признаков для Data Mining
      • Зачем нужна очистка данных для Data Mining: 10 главных проблем подготовки датасета и способы их решения
      • Отберем то, что нужно Data Mining: как сформировать датасет для машинного обучения
      • Как подготовить данные к моделированию: 5 операций Data Preparation
      • Зачем менеджеру язык программирования R: 7 причин освоить аналитический инструмент Big Data и Machine Learning
      • Big Data и Machine Learning в HR: еще 5 примеров успешного использования информационных технологий для управления человеческими ресурсами
      • Интеллектуальный автоматизированный рекрутинг: Big Data и Machine Learning в HR
      • 20 проблем для Data Scientist, от которых не спасет CRISP-DM
      • 7 популярных ошибок при работе с данными по стандарту CRISP-DM
      • Большие данные и машинное обучение в аэропортах: 7 практических примеров в России и за рубежом
      • Большие данные в авиации: 4 кейса применения Big Data в аэропортах и самолетах
      • Почему вы не используете большие данные: разоблачаем 4 главных предубеждения о Big Data
      • Большие данные (Big Data) в малом бизнесе: миф или реальность
      • Как Big Data и Machine Learning помогут вам управлять корпоративной репутацией в интернете: разбираемся с SERM- технологиями
      • Монетизация Big Data: 4 способа заработать на больших данных вашего бизнеса
      • Как большие данные (Big Data) убивают типичного клиента или почему вам срочно нужен персональный маркетинг
      • Реклама и маркетинг: как сократить расходы и повысить выручку с помощью Big Data — 5 практических кейсов от российских и зарубежных компаний
      • Распознавание лиц: что это такое, как оно работает и кому это выгодно
      • Цифровизация и автоматизация – не одно и то же: разбираем 5 основных отличий
      • Как заработать $2-3 миллиарда за год на искусственном интеллекте
      • Как снизить отток клиентов с помощью алгоритмов машинного обучения
      • Как Big Data и Machine Learning в нефтегазовой отрасли помогают экономить миллиарды
    • Рубрика: Neo4j
      • Транзакции и параллельные запросы в графовой базе данных Neo4j
      • Обновленный JDBC-драйвер Neo4j: возможности и ограничения
      • 3 среды выполнения запросов Cypher в графовой базе данных Neo4j: что выбрать?
      • Слотовая или конвейерная: сравнение сред выполнения Cypher-запросов в графовой базе данных Neo4j
      • Оптимизация запросов Cypher к графовой базе данных Neo4j
      • Как создать дэшборд NeoDash для графовой базы данных Neo4j
      • Параллельная среда выполнения и блочный формат хранения данных в Neo4j
      • Вместо Neosemantics: обзор Python-библиотеки rdflib-neo4j для графовой СУБД Neo4j
      • Инструменты для ETL и миграций графовой базы данных Neo4j
      • Зачем вам Neosemantics: RDF-триплеты в Neo4j
      • 3 новых графовых алгоритма в Neo4j: новинки 2023
      • Под капотом Neo4j: изоляция транзакций и составные базы данных
      • Как на самом деле устроены графовые базы данных?
      • Кто кому заплатил: пример поиска банковских транзакций в Neo4j
      • Пишем Python-скрипт для работы с графом в Neo4j
      • 4 способа попробовать Neo4j: сравнение альтернатив
      • Что такое Memgraph и чем она отличается от Neo4j: сравнение графовых СУБД
      • Neo4j vs TigerGraph: сравнение графовых СУБД
      • Ищем кратчайший путь с Cypher-запросами в Neo4j
      • 5 популярных языков запросов к графам
      • Кто с кем против кого: анализ графа социальных связей в Neo4j
      • Что такое Py2neo: Python вместо Cypher в приложениях с Neo4j
      • Тонкости MERGE-запроса в Neo4j
      • Рефакторинг графа c Liquibase и APOC: блеск и нищета гибкой модели данных Neo4j
      • Пакетные транзакции в Neo4j: APOC vs native Cypher
      • Зачем вам Data Importer для Neo4j: краткий обзор апрельских обновлений
      • Анализ европейской газотранспортной системы с Neo4j
      • Закладки и причинно-следственная согласованность чтения данных в кластере Neo4j
      • NLP в Neo4j с Cypher: простой пример
      • Как улучшить рекомендательную систему с Neo4j: кейс Meredith
      • Инженерия Data Science: 3 лучшие практики по драйверам Neo4j
      • Для логистики и не только: алгоритм Дейкстры в Neo4j-библиотеке Graph Data Science
      • Анализ графа NFT-транзакций с Neo4j и Cypher
      • Насколько вы популярны и общительны: анализ социальных связей с Graph Data Science в Neo4j и Cypher
      • Еще больше и быстрее: извлечение данных из Neo4j с Apache Arrow
      • Как создать Cypher-запрос для Neo4j из простого текста с Aspen
      • Что такое библиотека Neo4j GraphQL и как ее использовать
      • Визуализация графов в Neo4j и исследование кибербезопасности с GraphKer
      • Фильтрация подграфов в Neo4j с библиотекой Graph Data Science
      • Интеграция Neo4j с Apache Spark: обзор коннектора 4.1
      • Графовая аналитика путешествий цифровых кочевников с Neo4j и Cypher
      • Графовые СУБД vs реляционные: основы Neo4j и Cypher
    • Рубрика: NiFi
      • 3 процессора для маршрутизации FlowFile в Apache NiFi
      • Машрутизация FlowFile в Apache NiFi на основе атрибутов
      • Уязвимость CVE-2024-37389 в Apache NiFi: чем она опасна и как от нее избавиться
      • Как движок выполнения влияет на транзакционность операций с FlowFile в Apache NiFi
      • Процессоры-слушатели в Apache NiFi
      • Apache NiFi 2.0.0-M4: июльские новинки мажорного релиза
      • Мониторинг NiFi-приложения внешними средствами через задачи отчетности
      • Парадигма программирования потоков данных и ее отражение в Apache NiFi
      • Новые службы контроллера и процессоры в Apache NiFi 2.0.0-M2
      • Как написать свой Controller Service в Apache NiFi
      • Как настроить свой Python-процессор Apache NiFi
      • Как написать свой процессор Apache NiFi на Python: обзор 2-х API
      • Особенности разработки процессоров Apache NiFi на Python
      • Еще 3 уязвимости Apache NiFi в 2023 году
      • Долгожданный релиз Apache NiFi 2.0: что нового?
      • Python для Apache NiFi с NiPyAPI
      • Классический Apache NiFi vs Stateless-движок: что и когда выбирать
      • Apache NiFi Stateless: что это и как он работает
      • Что нас ждет в Apache NiFi 2.0: главные новинки
      • Происхождение данных в Apache NiFi
      • Модульное тестирование в Apache NiFi
      • Зачем переходить на Apache NiFi 1.23.2: критичная ошибка и ее устранение
      • Apache NiFi 1.23.1: 10 исправленных ошибок и обновление зависимостей
      • Как устроен кластер Apache NiFi
      • Как работает протокол Site-to-Site в Apache NiFi
      • Сложности применения CI/CD-подхода к потоковым конвейерам Apache NiFi
      • 3 уязвимости Apache NiFi в 2023 году
      • Apache NiFi 1.22.0: что нового?
      • Шифрование потока данных в Apache NiFi
      • 5 советов по проектированию процессоров в Apache NiFi
      • Пагинация SQL-запросов с Apache NiFi
      • 7 HTTP-процессоров Apache NiFi: в чем между ними разница
      • 3 ошибки дата-инженера при использовании Apache NiFi
      • Маршрутные шаблоны проектирования процессоров Apache NiFi
      • 3 дата-шаблона проектирования процессоров Apache NiFi
      • Настройка службы SSL контекста Apache NiFi в процессоре InvokeHTTP
      • Анализ уязвимостей обработки XML в Apache NiFi за последние 3 года
      • 4 главных настройки процессора Apache NiFi в GUI: параметры конфигурации
      • 3 способа преобразовать XML-документы в Apache NiFi
      • Как тестировать конвейеры Apache NiFi: приемы и инструменты
      • Обработка JSON-данных в Apache NiFi с JOLT-преобразованиями
      • Apache NiFi 1.20 от 9 февраля 2023 года: обзор новинок
      • Обработка ошибок в Apache NiFi
      • Что такое RecordPath в Apache NiFi и как дата-инженеру работать с ним
      • CDC -конвейер на Apache NiFi: ETL для изменений в данных
      • 3 репозитория Apache NiFi
      • 3 процессора обработки записей в Apache NiFi
      • Элементы проектирования ETL-конвейеров в Apache NiFi
      • Apache NiFi 1.19: что нового?
      • Зачем вам NiFiKop: запуск Apache NiFi в Kubernetes
      • Балансировка нагрузки в Apache NiFi
      • Обратное давление в Apache NiFi
      • Apache NiFi 1.18.0: новинки октябрьского релиза 2022
      • Аутентификация в Apache NiFi с IBM Security Verify
      • Разделение репозиториев и настройка доступности: советы администратору Apache NiFi
      • Apache NiFi 1.17: обзор нового релиза
      • Как ускорить потоковую обработку: лучшие практики для администратора кластера Apache NiFi
      • Потоковая отправка событий в Splunk с Apache NiFi
      • Настройка кластера Apache NiFi со встроенным Zookeeper
      • Проблема с ShellUserGroupProvider в Apache NiFi 1.16.3
      • Обработка ошибок в Apache NiFi: исключения и что с ними делать
      • Как отловить ошибки в конвейере данных на Apache NiFi: лучшие практики
      • Apache NiFi 1.16.3: обзор июньского релиза 2022
      • Реестр Apache NiFi в Kubernetes: как легко развернуть и безопасно использовать
      • 5 достоинств и 3 недостатка скриптовых компонентов Apache NiFi
      • Как написать свой ExecuteScript-процессор Apache NiFi на TypeScript
      • Прожорливый Apache NiFi: обработка потоков и проблемы потребления ресурсов
      • Диски и потоки в Apache NiFi: ищем компромисс
      • Из AWS S3 в Hadoop HDFS: мини-конвейер из процессоров Apache NiFi
      • ETL с Apache NiFi: практический пример
      • Apache NiFi Flow Design System: назначение и возможности
      • Apache NiFi 1.16.0: краткий обзор нового релиза
      • Аутентификация пользователей Apache NiFi с OIDC от Okta
      • Главные улучшения Cloudera Flow Management 2.1.3 на базе Apache NiFi 1.15
      • Apache NiFi 1.15.3: что нового?
      • Под капотом Apache NiFi: внутренний язык выражений
      • Последний релиз 2021: новинки Apache NiFi 1.15.2
      • Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium
      • Apache NiFi 1.15.0: что нового в ноябрьском релизе 2021?
      • Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes
      • Из CSV-файла в GridDB: ETL-конвейер на Apache NiFi для анализа данных временных рядов
      • CDC-конвейер для MySQL на Apache NiFi: практический пример
      • Детектирование устройств с WURFL: потоковый конвейер в Apache NiFi
      • ТОП-10 практик разработки и развертывания Data Flow в Apache NiFi от Cloudera
      • Apache NiFi для всех: Cloudera Flow Management в публичном облаке
      • Как перейти к Apache NiFi от Storm: пара практических кейсов
      • Как создать свой процессор с отношениями и Java-аннотациями: Apache NiFi для инженера данных
      • Я знаю ваш пароль: утечки конфиденциальных данных в Apache NiFi
      • Apache NiFi 1.14.0: что нового? Главные обновления июля 2021
      • 3 тонкости процессоров в NiFi, о которых вы не знали + 5 лучших практик конфигурирования
      • 5 проблем Apache NiFi на Kubernetes и способы их решения
      • 3 вопроса про Apache NiFi от дата-инженеров: отвечает Cloudera
      • Как работает SQL в Apache NiFi: потоковая обработка Big Data с помощью структурированных запросов
      • Как управлять собственным Data Flow на Apache Spark с NiFi через Livy: разбираемся с процессорами и контроллерами
    • Рубрика: NoSql
      • Не только Clickhouse: StarRocks для аналитики больших данных в реальном времени
      • 3 главных проблемы проектирования современной архитектуры данных
      • Проектирование хранилища данных с методологией Data Vault в архитектуре Lakehouse
      • Гиперграфы и их реализация в HyperGraphDB
      • Архитектура данных в TSDB-решениях для анализа временных рядов
      • Мультимодельные базы данных: мифы и реальность на примере 3-х СУБД
      • Что такое GQL и при чем здесь Cypher: новый стандарт языка запросов к графам
      • Архитектура данных для реализации паттерна Event Sourcing
      • В помощь дата-инженеру: как организовать конвейер инкрементной загрузки данных
      • Зачем вам Chango: новая платформа данных для архитектуры LakeHouse
      • 7 критериев выбора потоковой базы данных
      • Работа с диском в резидентных СУБД на примере Memgraph и Redis
      • Унификация пакетной и потоковой обработки в Delta-архитектуре с LakeHouse
      • Elasticsearch + Delta Lake: архитектура данных биотех-платформы Polly
      • Зачем вам TigerGraph: обзор графовой MPP-СУБД
      • Зачем вам CDF или как упростить CDC-конвейер для Delta Lake
      • Побег от Cassandra в AWS S3 c Apache Spark: кейс сервиса Strava
      • Что такое функции командной строки в Impala и для чего они нужны
      • Что такое метаданные таблиц в Apache Impala
      • Базовые операции в Hbase: основы Big Data для начинающих
      • Что такое группировка и сортировка и какую роль они играют для Impala
      • Что такое модификация вывода существующих записей в Impala
      • Базовые SQL-операции в Apache Hive: основы NoSQL Big Data для начинающих
      • Основные операции СУБД MongoDB: основы NoSQL Big Data для начинающих
      • Что такое представления и почему они так важны для Impala
    • Рубрика: OLAP
    • Рубрика: Spark
      • Управление развертыванием контейнерных приложений в Kubernetes с Argo Rollouts
      • Обработка RPC-вызовов в Apache Spark
      • Пользовательские функции Apache Spark: Pandas UDF, applyInPandas и mapInPandas
      • Насколько applyInPandas в Spark быстрее apply в pandas: простой эксперимент
      • Ротация лог-файлов приложений Apache Spark
      • Интеграция приложений Apache Spark с облачными хранилищами
      • Утечка токена делегирования Hadoop в приложении Spark и как ее избежать
      • Photon: новый векторизованный движок запросов Spark SQL от Databricks
      • Динамическое сокращение разделов в Spark SQL
      • Под капотом Spark Structured Streaming: интерфейсы потоковых запросов и их методы
      • Распараллеливание заданий в PySpark
      • Как ускорить Apache Spark Structured Streaming: 3 главных параметра потоковой обработки
      • Архитектура и принципы работы Spark Connect
      • Чего ждать от Apache Spark 4.0: обзор свежего предрелиза
      • Планы выполнения запросов при работе с API pandas в Apache Spark
      • Изоляция приложений Apache Spark в одной среде Databricks с Lakeguard
      • Источники данных Apache Spark
      • Сравнение датафреймов в Apache Spark на примере PySpark-кода
      • RocksDB как хранилище состояний для Apache Spark Structured Streaming
      • Хранение состояний в Apache Spark Structured Streaming и новый State Reader API от Databricks
      • Журналирование событий в Apache Spark и сжатие лог-файлов
      • Stateful-операторы в Apache Spark Structured Streaming
      • Как Apache Spark планирует и запускает задания в кластере
      • Как настроить оборудование для ускорения работы Apache Spark
      • Профилирование PySpark-кода: пример с приложением Apache Spark для Python-разработчика
      • Все успешно: файл _SUCCESS в рабочих процессах Apache Spark
      • Отметки времени событий для безопасности архитектуры данных Lakehouse
      • Управление зависимостями Python в кластере со Spark Connect
      • Потоковая публикация данных в REST API с Apache Spark Streaming
      • Эскизы данных в Apache Spark с библиотекой DataSketches
      • Контрольные точки в Apache Spark Streaming
      • Гибкая кластеризация: новая технология управления данными в Delta Lake от Databricks
      • API Pandas в Apache Spark: возможности и опасности
      • Чем Scala лучше Java для разработки Spark-приложения: ТОП-5 преимуществ
      • Apache Spark 3.5.0: что нового?
      • Что такое SPIP: 4 предложения по улучшению Apache Spark
      • Отладка PySpark-приложений: журнал регистрации событий
      • Как проект Lightspeed от Databricks делает Apache Spark еще быстрее: асинхронное управление смещениями
      • Регулярные выражения в Apache Spark
      • Алиасы столбцов и параметризованные SQL-запросы в Apache Spark 3.4
      • 5 уязвимостей Apache Spark за последние 3 года
      • Apache Spark 3.4.1: обзор отладочного релиза, выпущенного в июне 2023
      • Spark Connect в релизе 3.4: новые возможности для разработчика
      • Аккумуляторы в Apache Spark: что это и как их использовать?
      • Как посмотреть GUI приложения Apache Spark в Google Colab с ngrok
      • Как механизм AQE выполняет динамическое объединение разделов в Apache Spark
      • Средства обеспечения безопасности в приложениях Apache Spark
      • Разделение датафрейма с partitionBy() в Apache Spark: практический пример
      • Apache Spark 3.4.0: обзор апрельского релиза
      • Проблемы shuffle-операций в Spark SQL и способы их решения
      • Сервер истории и слушатели событий Apache Spark
      • 2 режима развертывания приложений Apache Spark
      • Возможности и ограничения Dataset API в Apache Spark
      • Оптимизация планирования заданий Spark с backfill-операциями
      • Бесплатный помощник по настройке приложений Apache Spark от Joom
      • Ускоряем Apache Spark с помощью RAPIDS на GPU
      • Безопасный обмен большими данными с открытым протоколом Delta Sharing
      • Ускоряем SQL-запросы в Apache Spark с проектом Gluten
      • Как распараллелить чтение данных из JDBC-источников в Apache Spark
      • Задания, задачи и этапы в Apache Spark
      • 3 способа подключить сервер Jupyter к защищенному кластеру Spark на Hadoop YARN с Kerberos
      • Самообслуживаемый сервис Apache Spark Structured Streaming для Delta Lake
      • Модульное тестирование Spark-приложений с Gradle
      • Аккумуляторы и качество данных в Apache Spark
      • Оптимизация Apache Spark на платформе Databricks
      • Как перевести кластер Apache Spark от YARN в Kubernetes: пошаговый план
      • Чтение и запись файлов в Google Cloud Storage с Apache Spark
      • Как безопасно читать данные из AWS S3 с Apache Spark и boto3
      • Как применить триггеры Apache Spark Structured Streaming для пакетных заданий
      • Spark Connect: тонкий клиент от Databricks
      • Ошибки обновления таблиц в Delta Lake и их решения с Apache Spark Structured Streaming
      • Идемпотентность приложений Apache Spark Structured Streaming в Delta Lake
      • Как ускорить потоковые приложения: 5 способов оптимизации Apache Spark Streaming
      • Криптография на PySpark: PyCryptodome для Apache Spark
      • Как ускорить чтение из JDBC-источников для Apache Spark: 3 метода
      • Тонкости потоковой обработки данных в Apache Spark: проблемы Structured Streaming
      • 4 способа упаковать PySpark-приложение для отправки в кластер Apache Spark
      • ETL с Apache Spark в озере данных на MinIO
      • Динамическое партиционирование в Apache Spark
      • Data Mesh + Lakehouse на BigQuery: новая архитектура BigLake от Google
      • LIMIT vs TABLESAMPLE: битва операторов Spark SQL
      • Под капотом Lakesoul: как устроено табличное хранилище на Apache Spark
      • Доступ к данным через ODBC и JDBC-драйверы в Spark-приложениях
      • Вместо Iceberg, Hudi и Delta Lake: хранение потоковых и пакетных таблиц с LakeSoul
      • Take() вместо collect() и еще 2 совета по Apache Spark для дата-инженера
      • Как сделать ETL-конвейеры Spark-заданий в AWS EMR на 50% дешевле: кейс Duolingo
      • Под капотом Apache Spark: 3 секрета для дата-инженера и разработчика
      • Улучшения Apache Spark Structured Streaming в проекте Lightspeed от Databricks
      • Spark vs Dask для Data Science-проектов
      • 3 способа прервать DAG lineage в Apache Spark
      • Apache Spark 3.3.0: ТОП-10 новинок июльского релиза 2022
      • Происхождение данных в Apache Spark со Spline и не только
      • Мониторинг заданий Apache Spark с помощью слушателей
      • Как определить оптимальную конфигурацию Spark-приложения
      • Роль Tungsten в Apache Spark
      • Оконные функции PySpark в Google Colab: пара примеров
      • 3 режима вывода в Apache Spark Structured Streaming
      • 3 метода управления разделами в Apache Spark
      • Тонкости SparkSession в Apache Spark Structured Streaming
      • Широковещательное соединение в Apache Spark SQL: ликбез и примеры
      • Ускорение PySpark-приложений с PyArrow: лайфхаки Apache Spark для разработчиков
      • Спотовые инстансы в AWS EMR для Spark-конвейеров: достоинства, недостатки и лучшие практики
      • Параллелизм второго порядка в конвейерах данных с Apache Spark
      • Аналитика больших данных с Apache Spark: UDF на Pyspark для вызова внешних REST API
      • Я за тобой слежу: настраиваем мониторинг Spark-приложений в кластере Kubernetes
      • Анализ данных временных рядов с Apache Spark: пара примеров c Flint и Pandas
      • Подсчет записей в CSV-файлах средствами Apache Spark
      • Парсинг JSON-файлов в Apache Spark
      • Доступ к пользовательским JAR из Spark-заданий на AWS EMR
      • Spark NLP 3.4.0: новый релиз ML-библиотеки для Apache Spark 3.2.x на Scala 2.12
      • Apache Spark и AWS S3: лучшие практики и опыт Pinterest
      • Как работает AggregateByKey() в Apache Spark: краткий ликбез и пара примеров
      • Размер имеет значение: Spark и Phoenix для больших запросов в Apache HBase
      • Как сократить стоимость и время обработки данных в Spark-приложений: кейс AppsFlyer
      • Знай свое место: локальность данных в Apache Spark
      • Насыпать соль на рану: решаем проблему перекоса данных в Apache Spark с помощью криптографии
      • Фильтр Блума в Apache Spark для Parquet-файлов
      • Найти и обезвредить Spill в Spark-приложениях: причины и решения
      • Все сложно: Morpheus, Cypher и Apache Spark GraphX
      • На заметку разработчику Spark-приложений: 3 ошибки PySpark и тонкости Outer Join
      • Apache Spark 3.2.0 и Scala 3.0: что нового?
      • Проблема вызовов REST API в Apache Spark и способы ее решения
      • 4 причины сбоя в системах на Apache Hadoop, Spark и Livy + способы их лечения от дата-инженеров Pinterest
      • Графовая аналитика больших данных с DataStax Enterprise Graph на Cassandra и Spark SQL
      • Интерактивная аналитика больших данных с Apache Spark SQL и Livy: кейс Pinterest
      • Как повысить прозрачность Apache Spark: 3 способа мониторинга качества данных
      • Сеансовые окна в Apache Spark Structured Streaming: кейсы, примеры и ограничения
      • От локальных заданий Apache Spark SQL к Google BigQuery: опыт PayPal
      • Графовая аналитика больших данных с Apache Spark: GraphX и GraphFrames
      • Правила оптимизации в Spark SQL и их улучшения в Radiant
      • Как сохранить датафрейм вне кучи: секреты Apache Spark для разработчиков
      • Динамическое сжатие файлов в Apache Spark: опыт Databricks и не только
      • Аналитика больших данных: цифровая трансформация Renault с Apache Spark и сервисами Google
      • Управление кластерами Apache Hadoop и Spark с YARN: 3 варианта планирования ресурсов
      • Еще 4 полезных совета по Apache Spark для разработчиков и дата-аналитиков
      • 5 лайфхаков по Apache Spark для разработчиков и дата-аналитиков
      • Непредсказуемость Apache Spark SQL и как от нее избавиться: про UDF и Catalyst
      • 5 вопросов про масштабирование Spark-приложений
      • JVM Garbage Collection и не только: 7 причин OOM-ошибки в Apache Spark
      • Что посмотреть в Apache Spark UI: 5 полезных кейсов для разработчика Big Data
      • Что не так с UDF-функциями в Apache Spark SQL и как это исправить
      • Особенности оконных функций и кэширования датафреймов в Apache Spark SQL
      • Еще 3 причуды API DataFrame в Apache Spark, о которых вы не знали
      • Преобразования vs действия: под капотом операций Apache Spark
      • Как быстрее обработать массив в Apache Spark 3.1: сравнение 9 разных методов
      • Как избавиться от перекосов в Apache Spark: coalesce vs repartition
      • Что такое Apache Sedona или GeoSpark: Spark-фреймворк для обработки пространственных геоданных
      • Аналитика больших данных со Apache Spark SQL из внешних СУБД: про JDBC-драйверы
      • На заметку разработчику: 3 причуды Apache Spark и как с ними бороться
      • Вспомнить все: 6 сегментов памяти Apache Spark и параметры их конфигурирования
      • Как помочь Apache Spark SQL обрабатывать большие датасеты быстрее: 5 простых способов
      • Как устранить дубли в датасете: 5 методов для разработчика Apache Spark
      • Как упростить работу с DWH и Data Lake: DBT + Apache Spark в AWS
      • От контекста до драйвера: что под капотом Spark-приложения
      • Зачем нужны коммитеры S3A: решаем проблемы совместимости Amazon S3 с Hadoop HDFS
      • Как Spark-приложению выполнять миллионы операций в секунду с данными в AWS S3
      • Как сэкономить на AWS со Spark и Kubernetes: спотовые узлы и готовые платформы
      • Оптимизация Apache Spark на Kubernetes: 4 способа ускорить контейнеризованные приложения
      • 7 функций общей доступности Kubernetes в Apache Spark 3.1.1: мартовский релиз 2021
      • 3 достоинства и пара недостатков Apache Spark на Kubernetes
      • 5 советов по совместному использованию Apache Spark и PostgreSQL
      • Февральская новинка-2021: Apache Spark премиум-класса в Delta Lake Databricks на Google Cloud
      • Что такое SnappyData (TIBCO ComputeDB) и при чем здесь Apache Spark
      • Apache Spark для инженера данных: 3 полезных инструмента построения ETL-конвейеров
      • Что не так с конвейером Apache Kafka и Spark Structured Streaming для потоковой аналитики больших данных в AWS: практический пример
      • Конфигурирование исполнителей Spark-заданий в AWS: ядра ЦП и проблемы с памятью
      • Как сэкономить на AWS-кластере: экономика Big Data и конфигурирование облачных Spark-приложений
      • Что такое бакетирование таблиц в Apache Spark SQL и как это улучшает аналитику больших данных
      • Почему ваши Spark-приложения такие медленные: устраняем задержки аналитики Big Data
      • Быстрее и безопаснее: потоковая аналитика больших данных для трекинга самолетов
      • Взболтать, но не смешивать: оптимизация вычислений в Apache Spark SQL
      • 3 легких способа ускорить отдельные задачи Apache Spark
      • Что такое Big Data Reconciliation: согласование больших данных c Apache Spark
      • А можно дешевле: снижаем стоимость аналитики Big Data в приложениях Apache Spark
      • Ускоряем конвейеры Apache Spark: 3 простых способа
      • Stateful-проблемы JOIN-операций в Apache Spark Structured Streaming и их решения
      • Безопасность + надежность: чем хорош транзакционный протокол фиксации Spark-заданий от Databricks
      • Сложности перехода: от локальных Hadoop-кластеров к облачным объектным хранилищам для приложений Apache Spark
      • Большая разница: чем структурированная потоковая передача в Apache Spark отличается от Spark Streaming
      • Ускоряем и масштабируем Apache Spark Structured Streaming: 2 проблемы строго однократной доставки и их решения
      • Только сегодня и только сейчас: как устроена строго однократная доставка сообщений в Apache Spark Structured Streaming
      • Как работает Join в Apache Spark SQL: краткий ликбез для начинающих
      • Насколько ты знаешь Apache Spark: открытый тест на знание популярного Big Data фреймворка
      • Как оптимизировать запрос в Apache Spark SQL: Predicate Pushdown vs Projection Pushdown
      • 5 лучших практик работы с кэшем в Apache Spark SQL
      • Как перейти от Python к PySpark: ТОП-10 рекомендаций по настройке Spark-заданий
      • Как создать свой коннектор Apache Spark: пример интеграции с Tableau
      • Помнить все: как устранить утечки памяти в приложениях Apache Spark – 7 советов от Disney
      • Как очистить большие данные для Apache Spark SQL: краткий обзор Cleanframes
      • Предобработка текстов на русском в PySpark
      • Как построить ETL-pipeline на Apache Spark или что под капотом StreamSets Transformer
      • От HDFS в облака: разбираем Google Cloud Storage Connector for Hadoop
      • Зачем вам Apache Ozone: новая звезда на небосклоне Hadoop
      • Hadoop умер, да здравствует Hadoop!
      • Natural Language Processing (NLP) в PySpark: токенизация, стоп-слова, N-граммы
      • Stateful vs Stateless в потоковой обработке Big Data на примере Apache Spark Structured Streaming
      • Ускорение в 40 раз и другие фишки SparkR в Apache Spark 3.0
      • Apache Spark 3.0: что нового?
      • Облачное Delta Lake на Apache Spark от Databricks vs классическое озеро данных на Hadoop: 5 главных отличий
      • Что такое PySpark SQL и как он работает: несколько примеров
      • Как связаны DataOps, цифровизация и аналитика больших данных: разбираем на примере отечественного Big Data продукта — Arenadata Analytic Workspace
      • Как подключить PySpark и Kaggle в Google Colab
      • Чем Apache Zeppelin лучше Jupyter Notebook для интерактивной аналитики Big Data: 4 ключевых преимущества
      • Apache Livy vs Oozie: сравнительный обзор инструментов удаленного запуска Spark-задач
      • Введение в PySpark
      • Запуск Apache Spark на Kubernetes: скрипты, операторы и особенности клиентского режима
      • Что не так с Apache Spark на Kubernetes: 5 ключевых недостатков
      • Когда и зачем нужен Apache Spark на Kubernetes: варианты использования и преимущества
      • 3 достоинства и 5 особенностей интеграции Apache Kudu и Spark с примерами
      • Big Data в профиль: что такое профилирование больших данных
      • От администрирования до разработки Big Data систем: 7 главных проблем Apache Spark
      • 4 этапа SQL-оптимизации в Big Data: насколько эффективен Catalyst в Apache Spark
      • Как работает оптимизация SQL-запросов в Apache Spark: деревья запросов в Catalyst optimizer
      • Что такое оптимизация SQL-запросов в Apache Spark: разбираемся с Catalyst optimizer
      • Что лучше: RDD, DataFrame или DataSet и почему – выбор структуры данных Apache Spark
      • RDD, DataFrame и DataSet с точки зрения программиста Apache Spark: в чем разница
      • RDD vs DataFrame vs DataSet: чем отличаются эти структуры данных Apache Spark
      • 3 набора данных в Spark SQL для аналитики Big Data: что такое dataframe, dataset и RDD
      • Блеск и нищета главной технологии Big Data: достоинства и недостатки MapReduce
      • В новой версии Apache Spark
    • Рубрика: Trino
      • StarRocks vs Trino: что и когда выбирать
      • Как создать собственный плагин Trino: практический пример
      • Как расширить возможности Trino с помощью плагинов
      • Проблемы бесконечного масштабирования кластера и их решение с Trino Gateway
      • Масштабирование Trino
      • Отказ от Hive-коннектора и другие обновления в Trino 470
      • Место Trino в архитектуре данных
      • Отказоустойчивость Trino
      • Как работает spill-механизм в Trino и что с ним не так
      • Нехватка памяти в Trino и как устранить OOM-ошибку
      • Безопасность в кластере Trino: настройка конфигураций на примерах
      • Как Trino работает с удаленными объектными хранилищами
      • Trino vs dbt: что и когда использовать
      • Под капотом Trino: как MPP-движок выполняет SQL-запросы
      • Клиенты и протоколы Trino для параллельной аналитики больших данных во внешних источниках
      • Как Trino подключается к источникам данных: разбираемся с коннекторами и каталогами
      • MPP-движок для Big Data: архитектура и принципы работы Trino
    • Рубрика: Use Cases
      • Материализованные представления, CQRS и CDC в микросервисной архитектуре
      • Проект года-2021: фабрика данных на Arenadata Hadoop в АО «Народный банк Казахстана»
      • Импортозамещение в Big Data: Arenadata на Скале
      • Блеск и нищета Erasure Coding в Apache Hadoop 3: опыт Одноклассников c HDFS
      • Arenadata LogSearch: российская enterprise-адаптация Elasticsearch
      • От Cassandra к Google Cloud Spanner: опыт Uber
      • Будущее ИИ: взаимодействие человека и машины на примере решения задачи построения справочника организаций
      • Машинное обучение для обогащения графа торгового ассортимента: кейс H&M
      • Как графовая аналитика спасает ваши деньги: пара реальных кейсов
      • Как графовая аналитика спасла мир: Data Science vs COVID-19
      • Под капотом кластера Apache Hadoop: как работает YARN, где он может сломаться и что чинить
      • Основы Hadoop HDFS для начинающих администраторов: как вывести узел из кластера без потери данных
      • Возвращение к истокам: когда версия сообщества предпочтительнее коммерческого продукта – кейс миграции Apache Hadoop
      • Как повысить качество управления корпоративными данными: цифровая трансформация «Газпром нефти» с Arenadata
      • Новые победы вместе с Arenadata: 3 призера конкурса «Проект Года» от GlobalCIO-2020
      • 3 проблемы с топиками Kafka для администратора кластера и способы их решения
      • Большие данные для малого бизнеса: 3 примера, которые подойдут каждому
      • От ДНК-чипов до цифровых двойников: 5 самых перспективных технологий 2020 от Gartner
      • ТОП-15 проблем цифровой трансформации, с которыми сталкивается каждый CDTO
      • Блеск и нищета отечественной цифровизации: разбор аналитического отчета KMDA 2020
      • Почему бизнес-анализ особенно нужен в проектах Big Data: взгляд BABOK
      • Налоги, гранты и еще 7 мер господдержки для отечественного ИТ-сектора в 2020 году
      • Я знаю, что вы делали прошлым летом и сегодня утром: как государство и бизнес собирают Big Data о каждом из нас
      • Практический пример монетизации Big Data с помощью Elasticsearch и Kibana
      • Что сдерживает цифровизацию вашего бизнеса: 5 главных проблем и способы их решения по версии Gartner
      • 5 причин, почему аналитика больших данных иногда выгоднее модного Data Science: взгляд со стороны бизнеса
      • Что такое биржа данных и зачем нужны DMP-платформы: монетизация Big Data по DaaS-модели
      • От онлайн-ставок до выборов президента: 3 практических примера использования DaaS-подхода в реальном бизнесе
      • BI-аналитика больших данных и другие Big Data системы: 5 примеров применения Apache Kudu
      • Эластичные облака: краткий обзор SaaS/PaaS-решений для Elasticsearch
      • Как сделать Elasticsearch безопасным: защищаем Big Data от утечек
      • Такой эластичный, что вся Big Data утекает: 9 крупных инцидентов cybersecurity с Elasticsearch за последние 3 года
      • 5 ключевых достоинств и 3 главных недостатка ELK-стека: разбираемся с Elasticsearch, Logstash и Kibana на реальных Big Data кейсах
      • 3 товарища в поиске и аналитике Big Data: Elasticsearch, Logstash и Kibana
      • 4 крупных примера внедрения Tarantool, 3 достоинства и 2 главных недостатка IMDB
      • Arenadata Grid vs Tarantool для Big Data: сходства и различия отечественных In-Memory СУБД
      • Нейросети для программ лояльности и оптимизации поставок: 3 Big Data кейса в FMCG
      • Зачем руководителю обучение Big Data: 4 причины пойти на курсы аналитики больших данных
      • Как коронавирус стимулирует экономику Big Data: факты и ожидания
      • ETL по Data Vault: решаем проблемы загрузки данных в КХД с помощью Big Data
      • Как спроектировать КХД: 4 метода моделирования данных для архитектора Big Data
      • BABOK, DMBOK и еще 3 профессиональных стандарта для Big Data специалиста
      • Как не превратить Scrum в драку: анализ требований и project management по Agile
      • Как расширенная аналитика Big Data поможет ИТ избавиться от 8 потерь Lean
      • Как найти узкое место рабочего процесса: строим VSM и разбираемся с ценностями
      • Сколько стоит цифровизация: что такое ФСА и зачем это нужно в Big Data
      • Как увидеть лес за деревьями: что такое Decision Tree и зачем это нужно в Big Data
      • Когда вам НЕ нужен директор по цифровизации: 3 практических примера
      • Кто такой директор по цифровизации и чем он отличается от других руководителей
      • Корпоративное обучение Big Data vs индивидуальные курсы: 4 ключевых отличия
      • Когда цифровизация не в радость: 5 громких скандалов вокруг Big Data и Machine Learning
      • Определяем, что важнее: методы расстановки приоритетов в Big Data и цифровизации
      • Защитить всех и каждого: 5 методов cybersecyrity для биометрии в Big Data системах
      • Как потерять лицо: утечки биометрических данных – новая угроза Big Data систем
      • Как снизить риски утечки данных в Big Data: формулируем требования к Cybersecurity
      • Почему случаются утечки данных: системный анализ на службе Cybersecurity в Big Data
      • Что ждет Big Data в 2020: итоги ушедшего десятилетия и будущие перспективы
      • 7 самых критичных уязвимостей Kubernetes за последние 2 года
      • Цифровая корпорация 21-го века: что такое Data-Driven Company
      • Почему вам не нужен DevOps и как его внедрить, если очень хочется
      • Быстрее, гибче, самостоятельней: 3 принципа Agile в Big Data системах
      • Насколько безопасен ваш Hadoop: главные уязвимости экосистемы Big Data
      • Большие данные – большие потери: крупнейшие утечки Big Data за 3 года
      • Умный HR: как быстро внедрить Big Data и Machine Learning в управление человеческими ресурсами
      • Big Data и блокчейн: комбо или противостояние?
      • Как применяется Machine Learning в банках: 9 успешных кейсов по всему миру
      • Рубрика: Распознавание лиц
      • Рубрика: Распознавание Речи
    • Рубрика: искусственный Интеллект
    • Рубрика: Цифровая трансформация
      • Что такое «цифровая трансформация»?
  • Рубрика: Тесты
    • 10 вопросов на знание основных функций в Hive: открытый комплексный тест для начинающих изучать распределённую структуру Apache Hive
    • 10 вопросов на знание основ работы с функциями командной строки Impala: открытый интерактивный тест для начинающих изучать распределённую структуру Apache Impala
    • 10 вопросов на знание основ операций DDL в Hive: открытый интерактивный тест для начинающих изучать распределённую структуру Apache Hive
    • 10 вопросов на знание основ операций DML в Hive: открытый интерактивный тест для начинающих изучать распределённую структуру Apache Hive
    • 10 вопросов на знание основ работы с Hbase: открытый интерактивный тест для начинающих изучать распределённую структуру Apache Hbase
    • 10 вопросов на знание основ работы с драйвером JDBC в Hive: открытый интерактивный тест для начинающих изучать распределённую структуру Apache Hive
    • 10 вопросов на знание основ работы с представлениями в Impala: открытый интерактивный тест для начинающих
    • 10 вопросов на знание основ архитектуры СУБД Apache Hive: открытый интерактивный тест для начинающих

Преподаватели

• Нестеров Сергей
• Финогенов Денис
• Ермилов Иван
• Самсонов Сергей
• Комиссаренко Николай
• Королев Михаил
• Вичугова Анна
• Ящук Илья
• Климов Артем
• Горбатова Виктория
• Темирханов Зелимхан
• Конорев Олег
• Ермилов Дмитрий
• Верещага Елена
• Карташов Андрей

wiki

• Bloom filter
• Dask
• duckDB
• GraphQL
• SOAP
• Lake House
• n8n
• Data Governance
• REST API
• Delta Lake
• Retrieval-Augmented Generation
• LLAMA
• Embedding
• Zapier
• Make
• ClickHouse Keeper
• airtable
• Istio
• Claude AI
• Apache Hudi
• Apache Iceberg
• Snowflakes
• Trino
• Ozone
• Kafka Consumer
• Kafka Producer
• Apache SuperSet
• Druid
• LLM
• Gemini
• MergeTree
• Apache AirFlow
• ClickHouse Certified Developer
• Apache Flink
• Apache Spark
• Cassandra
• Data Lake
• Kafka topic
• Golden Copy
• Workflow
• Dataflow
• WORM
• Продюсер
• Mirror Maker
• Yandex Managed Data Proc
• Yandex Managed Clickhouse
• Yandex Managed Airflow
• Yandex Managed Kafka
• Yandex Managed GreenPlum
• YARN
• Apache Hbase
• Structured Streaming
• Spark Streaming
• Kafka Streams
• ksqlDB
• MongoDB
• Apache Hive
• PySpark
• Requests
• Environment variable
• Elasticsearch
• Kudu
• OSMNX
• Glove
• NLTK
• Профессии в Data Science
• ClickHouse
• Greenplum
• Tarantool
• Dataframe
• Ввод и вывод в Apache Spark
• TensorFlow serving
• Scikit-learn
• Spark SQL
• Segmentation image
• Object Detection
• Data Science
• CAP
• NoSQL
• Impala
• HBase
• MapReduce
• Samza
• Storm
• Sequence
• AVRO
• RCFile
• ORC
• Parquet
• Kubernetes
• DevOps
• Agile
• HDInsight
• HDFS
• MapR
• Hortonworks
• Cloudera
• Hadoop
• SEMMA
• RFID
• CRISP-DM
• Мультиколлинеарность
• Блокчейн
• Большие данные (Big Data)
• Цифровизация
• Machine Learning
• NiFi
• Big Data
• Internet of Things
• Большие данные
• Интернет вещей
• Arenadata
• Hive
• KSQL
• RBAC
• ABAC
• Data provenance
• Apache Kafka
• Data Mining
• LTV
• Churn Rate
• Case Based Reasoning (CBR)
• Zookeeper
• Прогнозирование
• Искусственная классификация
• Data lineage
• Цифровая трансформация
• KNOX
• Точность распознавания
• Классификация
• Машинное обучение
• Естественная классификация
• Ошибка распознавания

Курсы

• AGENT: ИИ агенты для оптимизации бизнес-процессов
• FLINK: Потоковая обработка данных с помощью Apache Flink
• NIFI3: Эксплуатация Apache NIFI
• PRAR: Практическая архитектура данных
• Курс ARMG: Архитектура Данных
• TRINO: Trino для инженеров данных
• CORS: Apache Spark для разработчиков
• KAFKA: Администрирование кластера Kafka
• Построение ETL процессов на Apache Airflow для инженеров данных
• Курс ClickHouse для аналитиков данных: Построение DWH и Data Lake
• SPARK: Анализ данных с Apache Spark
• BDAM: Аналитика больших данных для руководителей
• MK-K8S: Обработка данных с использованием Apache Spark и Flink на Kubernetes
• Курс ARML: Архитектура ML-систем
• MLOPS: Разработка и внедрение ML-решений
• GRAD: Администрирование Arenadata DB / Greenplum
• PYML: ML Практикум: от теории к промышленному использованию
• Курс Нейросети на Python
• DEVKI: Apache Kafka для разработчиков
• PRUS: Практическое применение Big Data аналитики для решения бизнес-задач
• CHCD: Подготовка к сертификации ClickHouse Certified Developer + Экзамен
• GPDE: GreenPlum для инженеров данных и аналитиков данных
• YACH: ClickHouse для инженеров данных
• K8KA: Администрирование Apache Kafka в Kubernetes
• YARF: AIRFLOW с использованием Yandex Managed Service for Apache Airflow™
• BOKA: Основы Apache Kafka
• DBT: Data Build Tool для инженеров данных
• HBASE: Администрирование кластера HBase
• ADS-KAFKA: Администрирование кластера Arenadata Streaming Kafka
• SPOT: Потоковая обработка в Apache Spark
• MLSP: Машинное обучение в Apache Spark
• GRAS: Графовые алгоритмы в Apache Spark
• SPAD: Архитектура данных с Apache Spark
• INTR: Основы Hadoop
• HADM: Администрирование кластера Hadoop
• DSEC: Безопасность озера данных Hadoop
• HDDE: Hadoop для инженеров данных
• GRAF: Графовые алгоритмы. Бизнес-приложения
• DPREP: Подготовка данных для Data Mining на Python
• PNLP: NLP с Python
• VISI: Computer vision на языке Python
• VIP: Визуализация данных на языке Python
• KFDE: Apache Kafka для инженеров данных (Core Apache Kafka)
• ADH-AIR: Курс Data pipeline на Apache AirFlow и Arenadata Hadoop
• IMPA: Arenadata/Cloudera Impala Data Analytics
• HIVE: Hadoop SQL Hive администратор
• NOSQL: Интеграция Hadoop и NoSQL
• ZEPP: Использование Apache Zeppelin

Categories

• Apache AirFlow
• Apache Hadoop
• Apache Hive
• Apache Kafka
• Apache KNOX
• Apache NiFi
• Apache Spark
• Apache Zookeeper
• Arenadata
• Data Mining
• Machine Learning
• Security Hadoop
• Terminology
• Интернет вешей

Tags

• Agile
• AirFlow
• Apache
• Apache KNOX
• Apache NiFi
• Apache Project
• Apache Software Foundation
• Apache Spark
• Arenadata
• Banks
• Big Data
• Cassandra
• ClickHouse
• cluster
• computer vision
• CRISP-DM
• DAG
• Data
• Data Lake
• Data Mining
• Dataframe
• DevOps
• Digital Transformation
• DWH
• e-commerce
• Elasticsearch
• ELT
• ESP
• ETL
• Event Stream Processing
• Greenplum
• Hadoop
• Hadoop SQL
• HBase
• HDFS
• Hive
• HortonWorks
• Image Segmentation
• Impala
• Internet of Things
• IoT
• Kafka
• KSQL
• Kubernetes
• lineage
• Machine Learning
• Marketing
• message broker
• NoSQL
• object detection
• Pandas
• pipelines
• Python
• Retail
• RFID
• scikit learn
• Security
• SEMMA
• Spark
• Spark SQL
• SQL
• Telecom
• Tensor Flow
• TensorFlow
• workflow
• Zookeeper
• администрирование
• анализ данных
• архитектура
• банки
• бизнес
• бизнес-процессы
• Блокчейн
• Большие данные
• Естественная классификация
• жизненный цикл
• Интернет вещей
• инфраструктура
• Классификация
• контейнеризация
• матстатистика
• Машинное обучение
• менеджмент
• Мультиколлинеарность
• обработка данных
• потоковая обработка
• распознавание образов
• управление
• цифровая трансформация
• цифровая экономика
• Цифровизация

Services Category

• Apache Hadoop
• Apache Kafka
• Apache Spark
• Arenadata
• Big Data
• ClickHouse
• Cloudera
• Data Flow
• Machine Learning
• NoSQL СУБД
• ИИ