Зачем корпорации Confluent, которая продвигает Apache Kafka, понадобился Flink-стартап, чего ожидать от очередного слияния поглощения крупным игроком более мелкого предприятия, и какую пользу это принесет экосистеме потоковой передачи событий.
Что Immerok и зачем это Confluent
Год только начался, а в мире Big Data уже появились интересные новости. 6 января в корпоративном блоге корпорации Confluent, которая занимается развитием и продвижением самой популярной платформы потоковой передачи событий Apache Kafka, опубликован восторженный пост о приобретении стартапа Immerok. Эта небольшая (по сравнению с Confluent) компания предлагает полностью управляемый сервис Apache Flink, предоставляя разработчикам мощный инструмент создания, запуска и поддержки приложений потоковой обработки в облаке. Продукт Immerok поддерживает все возможности API-интерфейсов Flink, от быстрых конвейеров данных и ориентированной на пользователя аналитики до ML/AI и обработки транзакций в реальном времени, позволяя запускать потоковые приложения в облаке с плавным масштабированием по запросу и без простоев. Immerok Cloud позволяет сосредоточиться на бизнес-логике Flink-приложений, не тратя ресурсы на создание и эксплуатацию собственной инфраструктуры данных. Основным интерфейсом продукта Immerok является rok, CLI в стиле kubernetes для императивного и декларативного изменения ресурсов в облаке.
Будучи ориентированной на потоковую обработку больших данных, корпорация Confluent оценила большой потенциал стартапа Immerok, а потому решила приобрести его, чтобы повысить эффективность собственной платформы на основе Apache Kafka. Коммерческое решение, Confluent Cloud предоставляет платформу потоковой передачи данных в виде гибкого, масштабируемого и безопасного сервиса, дополняя экосистему Apache Kafka возможностями Kafka Streams, ksqlDB и базовыми транзакциями. Однако, Kafka не является вычислительным движком, поэтому ниша потоковой передачи была покрыта продуктами Confluent не полностью.
Чтобы исправить это упущение, корпорация Confluent решила к своей линейке технологий Apache Flink, который поддерживает множество языков программирования, в т.ч. SQL, Java и Python, а также имеет уникальную модель обработки данных, которая унифицирует пакетную и потоковую парадигмы. Об этом мы писали здесь. Еще одним значимым достоинством Flink является набор механизмов управления состоянием и отказоустойчивостью потоковых приложений с помощью контрольных точек и точек сохранения. Наконец, этот open-source фреймворк становится все более популярным и востребованным в профессиональном сообществе. Подобно тому, как Kafka является стандартом де-факто для чтения, записи и обмена потоками данных, Flink стремится стать универсальным инструментом создания распределенных приложений, которые обрабатывают эти потоки и реагируют на них.
Поэтому архитекторы Confluent выбрали именно Flink для реализации новых возможностей и расширения своей стратегии потоковой передачи событий. В планах обогащения Confluent Cloud свежеприобретенным стартапом Immerok уже в этом году ожидается запуск первой версии обновленной платформы, начиная с поддержки SQL. Продукт продолжит развитие по модели полностью управляемого сервиса, который представляет собой законченное интегрированное предложение, доступное везде. Kafka и Flink будут работать вместе на любом уровне, начиная от запросов и хранения данных, избавляя пользователей от сложностей управления, защиты, мониторинга и эксплуатации этих уровней как независимых систем. От себя отметим, что технически реализовать это не очень сложно благодаря использованию key-value NoSQL-хранилищу данных RocksDB в качестве внутренней базы как в Apache Kafka, так и во Flink, о чем мы писали здесь и здесь. Когда это будет сделано, мы оперативно расскажем вам про эти и другие новинки мира Big Data. А о том, что появилось нового в релизе Flink 1.16, вы у знаете в этом материале.
Освойте администрирование и эксплуатацию Apache Kafka и Flink для потоковой аналитики больших данных на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:
- Потоковая обработка данных с помощью Apache Flink
- Apache Kafka для инженеров данных
- Администрирование Arenadata Streaming Kafka
Источники
