Сегодня рассмотрим облачные сервисы и платформы ELK-стека, которые позволяют использовать все функциональные преимущества Elasticsearch с Kibana без развертывания собcтвенной ИТ-инфраструктуры (on-demand), интегрируя их с другими облачными приложениями. Читайте в нашей статье, что такое Elastic Cloud Enterprise и чем это отличается от Amazon Elasticsearch Service, Open Distro и других cloud-решений.
Такие разные эластики: чем Elastic Cloud Enterprise отличается от Amazon Elasticsearch Service и при чем здесь Amazon EC2 и Open Distro
Как и большинство современных Big Data решений, сегодня ELK Stack активно используется в облачной модели под названием ECE (Elastic Cloud Enterprise). Этот продукт позволяет удаленно работать с Elasticsearch (ES) и Kibana в любом объеме и на любой инфраструктуре, обеспечивая масштабирование, безопасность, обновление и резервное копирование всех компонентов с централизованной консоли. Таким образом, развертывать Elasticsearch и Kibana можно как на локальных физических серверах физическое оборудование, так и в виртуальных средах, частных и общественных облаках, таких как Google, Microsoft Azure, Amazon Web Services (AWS), Яндекс.Облако, Mail.ru Cloud Solutions и пр. [1].
Отметим, что при схожести названий, сервис Amazon Elasticsearch не связан с компанией Elastic, которая не является партнером или участником Amazon Elasticsearch Service, а также не занимается поддержкой этого продукта. Например, ECE включает компонент X-Pack, который обеспечивает информационную безопасность, графовую аналитику и машинное обучение, о чем мы рассказывали здесь. Также ECE поддерживает локализацию Kibana под восточные языки (китайский, японский), кросс-кластерный и асинхронный поиск, нативный SQL и множество других возможностей [2].
В свою очередь, Amazon Elasticsearch Service позиционируется как управляемый сервис, который упрощает развертывание и эксплуатацию кластеров ES в облаке AWS, позволяя on-demand использовать эту Big Data систему в любом масштабе, включая API с открытым исходным кодом, Kibana, интеграцию с Logstash и другими сервисами AWS, оповещения и SQL-подобные запросы [3]. Не стоит путать этот сервис с платформой Amazon Elastic Compute Cloud (Amazon EC2), которая через веб-интерфейс предоставляет безопасные масштабируемые вычислительные ресурсы в облаке. Amazon EC2 предоставляет доступ к вычислительным ресурсам с целью их настройки и использования в различных бизнес-приложениях, в т.ч. включая компоненты Apache Hadoop, Kafka, Spark и прочие Big Data фреймворки. Elasticsearch с Kibana также могут быть развернуты на облачной платформе Amazon EC2 [4].
Практическое применение Big Data аналитики для решения бизнес-задач
Код курса
PRUS
Ближайшая дата курса
12 марта, 2025
Продолжительность
32 ак.часов
Стоимость обучения
96 000 руб.
Наконец, стоит отметить, что Amazon Elasticsearch Service работает на Open Distro for Elasticsearch – open-source проекте, представленном в марте 2019 года [5]. Историю появления этого продукта мы описывали здесь. Он включает полезные функциональные возможности для Elasticsearch и Kibana [6]:
- обеспечение информационной безопасности – аутентификацию через Active Directory, Kerberos, SAML и OpenID, реализацию единой точки входа (SSO), шифрование трафика, RBAC-модель избирательного разграничения доступа, детальное логирование для аудита и средства соблюдения требований (compliance);
- мониторинг за состоянием кластера и данных, генерация предупреждений с автоматической отправкой уведомления при срабатывании определённых проверок в случае внештатных ситуаций, сбоев и событий нарушения безопасности.
- поддержка более 40 функций SQL, в т.ч. экспорт в CSV и JSON, операции слияния (JOIN). SQL-запросы транслируются в JSON-запросы к ES, а интеграция со сторонними приложениями доступна через JDBC- драйвер;
- диагностика и анализ производительности кластера – отслеживание внутренних метрик ES и системных параметров (RAM, CPU, жесткие диски) через REST API и CLI-интерфейс PerfTop.
Пример практического использования облачного сервиса Elasticsearch в AWS читайте в нашей новой статье.
Еще 4 облачных решения для ELK Stack: Google, Azure, Яндекс и Mail.ru
SaaS-продукт Elasticsearch доступен через подписку в Google Cloud Marketplace и развертывание в облаке Гугл. Биллинг и встроенная интеграция с облачной консолью Google обеспечивают удобство работы с ECE [7].
Также все компоненты ELK Stack доступны для использования в облаке Microsoft Azure, интеграция с сервисами которого дополняет функциональные возможности Elasticsearch. В частности, служба Azure Monitor обеспечивает мониторинг выполнения приложений, позволяя заранее определить проблемы и ресурсы, от которых они зависят. Например, это востребовано в BMW, Mars, Esri, Fun Rock и множестве других компаний по всему миру [8].
Наконец, отечественные Cloud-провайдеры также позволяют работать с ELK Stack в облачном формате, предоставляя свои цифровые платформы для удаленного развертывания и использования. Примечательно, что именно эти варианты не только поддерживают европейский регламент с международным действием GDPR, но и полностью соответствуют требованиям федерального закона № 152-ФЗ «О персональных данных», а также Постановлению № 1119, 17 и 21 приказам ФСТЭК, обеспечивая 3-ий уровню защищенности (УЗ-3) [9,10].
Аналитика больших данных для руководителей
Код курса
BDAM
Ближайшая дата курса
13 января, 2025
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.
Больше подробностей про облачные платформы для Elasticsearch и других Big Data решений, а также обеспечение информационной безопасности кластеров на примере Apache Hadoop, вы узнаете на практических курсах по администрированию и эксплуатации больших данных в нашем лицензированном учебном центре повышения квалификации и обучения руководителей и ИТ-специалистов (разработчиков, архитекторов, инженеров и аналитиков) в Москве:
- https://ru.bmstu.wiki/Elastic_Stack
- https://www.elastic.co/aws-elasticsearch-service
- https://aws.amazon.com/ru/elasticsearch-service/
- https://aws.amazon.com/ru/ec2/
- https://aws.amazon.com/ru/elasticsearch-service/faqs/
- https://www.opennet.ru/opennews/art.shtml?num=50322
- https://www.elastic.co/partners/google-cloud
- https://azure.microsoft.com/ru-ru/overview/linux-on-azure/elastic/
- https://mcs.mail.ru/solutions/152-fz/
- https://cloud.yandex.ru/security