Эластичные облака: краткий обзор SaaS/PaaS-решений для Elasticsearch

Сегодня рассмотрим облачные сервисы и платформы ELK-стека, которые позволяют использовать все функциональные преимущества Elasticsearch с Kibana без развертывания собcтвенной ИТ-инфраструктуры (on-demand), интегрируя их с другими облачными приложениями. Читайте в нашей статье, что такое Elastic Cloud Enterprise и чем это отличается от Amazon Elasticsearch Service, Open Distro и других cloud-решений.

Такие разные эластики: чем Elastic Cloud Enterprise отличается от Amazon Elasticsearch Service и при чем здесь Amazon EC2 и Open Distro

Как и большинство современных Big Data решений, сегодня ELK Stack активно используется в облачной модели под названием ECE (Elastic Cloud Enterprise). Этот продукт позволяет удаленно работать с Elasticsearch (ES) и Kibana в любом объеме и на любой инфраструктуре, обеспечивая масштабирование, безопасность, обновление и резервное копирование всех компонентов с централизованной консоли. Таким образом, развертывать Elasticsearch и Kibana можно как на локальных физических серверах физическое оборудование, так и в виртуальных средах, частных и общественных облаках, таких как Google, Microsoft Azure, Amazon Web Services (AWS), Яндекс.Облако, Mail.ru Cloud Solutions и пр.  [1].

Отметим, что при схожести названий, сервис Amazon Elasticsearch не связан с компанией Elastic, которая не является партнером или участником Amazon Elasticsearch Service, а также не занимается поддержкой этого продукта. Например, ECE включает компонент X-Pack, который обеспечивает информационную безопасность, графовую аналитику и машинное обучение, о чем мы рассказывали здесь. Также ECE поддерживает локализацию Kibana под восточные языки (китайский, японский), кросс-кластерный и асинхронный поиск, нативный SQL и множество других возможностей [2].

В свою очередь, Amazon Elasticsearch Service позиционируется как управляемый сервис, который упрощает развертывание и эксплуатацию кластеров ES в облаке AWS, позволяя on-demand использовать эту Big Data систему в любом масштабе, включая API с открытым исходным кодом, Kibana, интеграцию с Logstash и другими сервисами AWS, оповещения и SQL-подобные запросы [3]. Не стоит путать этот сервис с платформой Amazon Elastic Compute Cloud (Amazon EC2), которая через веб-интерфейс предоставляет безопасные масштабируемые вычислительные ресурсы в облаке. Amazon EC2 предоставляет доступ к вычислительным ресурсам с целью их настройки и использования в различных бизнес-приложениях, в т.ч. включая компоненты Apache Hadoop, Kafka, Spark и прочие Big Data фреймворки. Elasticsearch с Kibana также могут быть развернуты на облачной платформе Amazon EC2 [4].

Наконец, стоит отметить, что Amazon Elasticsearch Service работает на Open Distro for Elasticsearch – open-source проекте, представленном в марте 2019 года [5]. Историю появления этого продукта мы описывали здесь. Он включает полезные функциональные возможности для Elasticsearch и Kibana [6]:

• обеспечение информационной безопасности – аутентификацию через Active Directory, Kerberos, SAML и OpenID, реализацию единой точки входа (SSO), шифрование трафика, RBAC-модель избирательного разграничения доступа, детальное логирование для аудита и средства соблюдения требований (compliance);
• мониторинг за состоянием кластера и данных, генерация предупреждений с автоматической отправкой уведомления при срабатывании определённых проверок в случае внештатных ситуаций, сбоев и событий нарушения безопасности.
• поддержка более 40 функций SQL, в т.ч. экспорт в CSV и JSON, операции слияния (JOIN). SQL-запросы транслируются в JSON-запросы к ES, а интеграция со сторонними приложениями доступна через JDBC- драйвер;
• диагностика и анализ производительности кластера – отслеживание внутренних метрик ES и системных параметров (RAM, CPU, жесткие диски) через REST API и CLI-интерфейс PerfTop.

Пример практического использования облачного сервиса Elasticsearch в AWS читайте в нашей новой статье.  

Еще 4 облачных решения для ELK Stack: Google, Azure, Яндекс и Mail.ru

SaaS-продукт Elasticsearch доступен через подписку в Google Cloud Marketplace и развертывание в облаке Гугл. Биллинг и встроенная интеграция с облачной консолью Google обеспечивают удобство работы с ECE [7].

Также все компоненты ELK Stack доступны для использования в облаке Microsoft Azure, интеграция с сервисами которого дополняет функциональные возможности Elasticsearch. В частности, служба Azure Monitor обеспечивает мониторинг выполнения приложений, позволяя заранее определить проблемы и ресурсы, от которых они зависят. Например, это востребовано в BMW, Mars, Esri, Fun Rock и множестве других компаний по всему миру [8].

Наконец, отечественные Cloud-провайдеры также позволяют работать с ELK Stack в облачном формате, предоставляя свои цифровые платформы для удаленного развертывания и использования. Примечательно, что именно эти варианты не только поддерживают европейский регламент с международным действием GDPR, но и полностью соответствуют требованиям федерального закона № 152-ФЗ «О персональных данных», а также Постановлению № 1119, 17 и 21 приказам ФСТЭК, обеспечивая 3-ий уровню защищенности (УЗ-3) [9,10].

Больше подробностей про облачные платформы для Elasticsearch и других Big Data решений, а также обеспечение информационной безопасности кластеров на примере Apache Hadoop, вы узнаете на практических курсах по администрированию и эксплуатации больших данных в нашем лицензированном учебном центре повышения квалификации и обучения руководителей и ИТ-специалистов (разработчиков, архитекторов, инженеров и аналитиков) в Москве:

• Аналитика больших данных для руководителей
• Безопасность озера данных Hadoop

1. https://ru.bmstu.wiki/Elastic_Stack
2. https://www.elastic.co/aws-elasticsearch-service
3. https://aws.amazon.com/ru/elasticsearch-service/
4. https://aws.amazon.com/ru/ec2/
5. https://aws.amazon.com/ru/elasticsearch-service/faqs/
6. https://www.opennet.ru/opennews/art.shtml?num=50322
7. https://www.elastic.co/partners/google-cloud
8. https://azure.microsoft.com/ru-ru/overview/linux-on-azure/elastic/
9. https://mcs.mail.ru/solutions/152-fz/
10. https://cloud.yandex.ru/security