Apache Kafka — распределенный программный брокер сообщений поддерживающий транзакционность при работе с потребителями и поставщиками событий:
- публикует и подписывается на поток записей подобно очереди сообщений и корпоративной системе сообщений
- хранит поток записей (событий) обеспечивая отказоустойчивость и надежность
- обрабатывает поток записей (событий) по мере поступления
Apache Kafka обычно используется как Event Processing System (система обработки событий) для двух классов приложений:
- построение потоков каналов данных в режиме реального времени (real-time streaming data pipelines) с надежностью получения данных между системами и приложениями;
- построение потоковых приложений работающих в режиме реального времени (real-time streaming applications) которые трансформируют или реагируют на данные потока.
или более красочно от Confluent
Apache Kafka, a Distributed Streaming Platform
- Проект Apache Kafka https://kafka.apache.org
- Почитать про Kafka и попробовать https://www.confluent.io/product/confluent-platform/
- Учебные курсы по Kafka на русском языке или курсы Kafka на английском