A B C D E F G H I K L M N O P R S T W Y Z Б В Е И К М О П Т Ц

Arenadata

ArenaData Hadoop, ArenaData DB, ArenaData Streaming, АренаДата продукты, Big Data

Группа Arenadata — ведущий российский разработчик ПО и лидер по количеству коммерческих внедрений на рынке систем управления и обработки данных. Группа представлена во всех ключевых нишах рынка и занимает лидирующие позиции в большинстве продуктовых категорий. Эксперты Arenadata вносят существенный вклад в развитие глобальных Open Source проектов. Arenadata среди мирового сообщества — лидер по количеству доработок, внесенных в Greenplum, и входит в топ-5 глобальных контрибьютеров в ClickHouse.

Технологическая платформа группы Arenadata позволяет возможность извлечь максимум пользы от накопленной информации: от оптимизации затрат до применения ИИ для удержания и завоевания новых клиентов благодаря промышленным решениям стека Big Data, основанных на свободном программном обеспечении с открытым исходным кодом без использования проприетарных компонентов:

  • Arenadata Hadoop (ADH) – полноценный дистрибутив распределенной платформы хранения больших данных на базе Apache Hadoop, адаптированный для корпоративного использования и зарегистрированный в государственном реестре программ для ЭВМ;
  • Arenadata DB (ADB) – распределенная масштабируемая отказоустойчивая СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом Greenplum, адаптированная для российского использования и зарегистрированная в государственном реестре программ для ЭВМ;
  • Arenadata Streaming (ADS) – эффективное масштабируемое отказоустойчивое решение для потоковой обработки данных в режиме реального времени, зарегистрированное в государственном реестре программ для ЭВМ, адаптированное для корпоративного использования и построенное на базе проектов с открытым исходным кодом – Apache Kafka и Apache Nifi.
  • Arenadata Cluster Manager (ADCM) — универсальный оркестратор гибридного ИТ-ландшафта.
  • Arenadata QuickMarts (ADQM) — кластерная колоночная система управления базами данных (СУБД) для быстрого анализа больших объёмов данных при одновременном снижении нагрузки на системы их хранения.

Далее мы рассмотрим подробнее ключевые компоненты экосистемы Arenadata: Arenadata Hadoop, Arenadata DB и Arenadata Streaming, community-версии которых используются на практических занятиях наших учебных курсов в Школе Больших Данных.

ArenaData Hadoop, ArenaData DB, ArenaData Streaming, АренаДата продукты,

Что такое Arenadata Hadoop

Arenadata Hadoop (ADH) — это полноценный дистрибутив распределенной платформы хранения и обработки больших данных на базе Apache Hadoop, включая средства управления сервисами, анализа информации, инструменты обеспечения безопасности, брокеры сообщений и потоковую обработку.

Arenadata Hadoop, курсы Arenadata, обучение Arenadata, авторизованные курсы и сертификация Arenadata в Школе Больших Данных УЦ Коммерсант
Компоненты Arenadata Hadoop

В 2016 году дистрибутив ADH прошел сертификацию на соответствие требованиям спецификации ODPi Run Time Compliant (ODPi) и получил подтверждение о полном соответствии стандартам ODPi – крупнейшего мирового сообщества разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.

Администрирование кластера Hadoop

Код курса
HADM
Ближайшая дата курса
28 октября, 2024
Продолжительность
40 ак.часов
Стоимость обучения
120 000 руб.

Что такое Arenadata DB

Arenadata DB (ADB) – это масштабируемая кластерная СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом Greenplum. Концепция MPP (massively parallel processing, массивно-параллельные вычисления) позволяет надежно хранить и быстро анализировать большие объемы структурированных и слабоструктурированных данных (до сотен терабайт).

В ADB используется полиморфное хранение данных, когда одну таблицу можно разделить на вертикальные разделы (partitions), часть из которых будет храниться в виде строк, а часть – как колоночные объекты. При этом для пользователя такая таблица остается одним объектом.

Информационная безопасность хранения и передачи данных в ADB обеспечивается поддержкой защищенного протокола SSL и шифрованием с помощью ключей PGP (на уровне таблиц или колонок в таблицах), а также ролевой модели доступа к данным (Role Based Access Control, RBAC). Гибкость и производительность при обмене данными с внешними системами реализуется за счет протокола параллельного обмена PXF (Platform eXtension Framework), который обеспечивает взаимодействие с внешней системой одновременно всех сегментов кластера. Отказоустойчивость распределенной СУБД достигается за счет настраиваемой системы резервирования [1].

ArenaData DB

Greenplum для инженеров данных и аналитиков данных

Код курса
GPDE
Ближайшая дата курса
18 ноября, 2024
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.

Что такое Arenadata Streaming

Arenadata Streaming (ADS) – это отказоустойчивая масштабируемая система потоковой обработки распределенных данных в режиме реального времени, разработанная на базе проектов с открытым исходным кодом – Apache Kafka и Apache Nifi. ADS интегрируется со множеством сторонних систем (Elasticsearch, SAP HANA, Vertica, Couchbase, Cassandra, CouchDB, IBM MQ и пр.) с помощью широкого набора коннекторов и API-интерфейсов.

Инструментарий транзакционных журналов, гибкие механизмы контроля доступа к данным и обеспечения консистентности при потоковой передаче в режиме реального времени гарантируют безопасность хранения и обработки корпоративной информации. ADS может использоваться в качестве корпоративной шины обмена данными для всех бизнес-приложений путем решения следующих задач:

  • публикация и подписка на потоковую передачу данных в очереди сообщений или корпоративной системе обмена сообщениями;
  • отказоустойчивое хранение потоков записей;
  • оперативная обработка потоков записей по мере их возникновения.

ADS является комплексным Big Data решением потоковой обработки, включая все необходимые компоненты для сбора, анализа и обработки данных в режиме реального времени, а также для хранения и передачи в семантике в точности однократной доставки (exactly once).  Продукт отличается высокой степенью надежности, отказоустойчивости, безопасности и простотой эксплуатации за счет наличия удобных интерфейсов администрирования и разработки [1].

Администрирование Arenadata Streaming Kafka

Код курса
ADS-KAFKA
Ближайшая дата курса
25 ноября, 2024
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.

7 главных преимуществ продуктов Arenadata

  1. Полная локализация: для российских пользователей предлагается поддержка в России и на русском языке, с полным набором возможностей по автоматическому развертыванию в облаке и on-premises, оригинальную документацию на русском языке, а также удаленную или on-site поддержку.
  2. Возможность offline-установки: пакет утилит для развертывания без доступа к сети Интернет;
  3. Автоматизация процессов развертывания как на «голом железе», так и на виртуальных машинах (в «облаке»). В частности, для Arenadata Hadoop средства мониторинга и управления конфигурацией кластера позволяют оптимизировать производительность каждого компонента системы. Apache Ambari обеспечивает интерфейсы для интеграции с существующими системами управления (Microsoft System Center и Teradata ViewPoint) [1].
  4. Отсутствие зависимости от производителя («вендор-лог») — дистрибутивы собраны на основе открытых проектов Apache Software Foundation без использования проприетарных компонентов.
  5. Адаптация для корпоративного использования — продукты ориентированы на эксплуатацию в условиях высоких нагрузок, включают широкие возможности по обеспечению информационной безопасности и защиты данных, а также содержат средства интеграции с другими популярными Big Data решениями, корпоративными информационными системами, база и хранилищами данных.
  6. Российское программное обеспечение: в 2017 году Минкомсвязь РФ включило Arenadata Hadoop в Единый реестр российских программ для электронных вычислительных машин и баз данных. В 2018  и 2019 аналогичным образом были зарегистрированы ADB и ADS.
  7. Гибкая ценовая политика — каждый продукт компании Arenadata доступен в двух версиях: бесплатной (community) и платной (enterprise), которые отличаются друг от друга составом компонентов и функциональными возможностями. Бесплатный пакет включает ядро проекта и небольшую часть собственных разработок компании Arenadata. Enterprise-версия представляет собой максимально полное решение, созданное вендором.

Продукты и услуги Группы используют крупнейшие компании России в ключевых отраслях экономики — финансах, ритейле, телекоммуникациях, промышленности, а также государственном секторе. В числе клиентов: ВТБ, «Росбанк», X5 Group, «Магнит», «Юнилевер Русь», ММК, «Газпром нефть» и многие другие. Примеры того, где используются некоторые продукты Аренадата, читайте в отдельной статье.

Источники

  1. Сайт компании производителя Arenadata

Related Entries

Поиск по сайту