Как облачные Big Data IoT-платформы работают с интернетом вещей

Рассматривая архитектуру и принципы работы IoT-систем, мы уже упоминали, что наиболее интеллектуальная часть работы по анализу данных выполняется в облаке с помощью специальных средств Big Data, объединенных в общую платформу. Сегодня поговорим о функциях IoT-платформ и технологиях, на которых основаны эти облачные решения. Также мы подготовили для вас краткий обзор наиболее популярных платформ для Internet of Things.

Что такое IoT-платформа и зачем она нужна

IoT-платформа – это программное обеспечение системы интернета вещей для подключения конечных устройств (датчиков, сенсоров, контроллеров и т.д.) к облаку и удаленного доступа к ним. Целью IoT-платформы является обеспечение бесшовной интеграции различных аппаратных средств с помощью специальных интерфейсов, протоколов связи, сетевых топологий, а также средств хранения, обработки и интеллектуального анализа данных [1].

Выделяют следующие 8 обязательных компонентов полноценной IoT-платформы [2]:

связь и нормализация (Connectivity & normalization) – сведение различных протоколов и форматов данных в один программный интерфейс, гарантирующий точную передачу информации и взаимодействие со всеми конечными устройствами.
управление устройствами(Device management) – обеспечение корректной и бесперебойной работы конечных устройств, их конфигурирование и обновление программных приложений на них и пограничных шлюзах.
база данных(Database) – обеспечение масштабируемого и надежного хранения информации.
обработка и управление действиями(Processing & action management) – мониторинг текущего и прогнозирование будущего состояния технологического оборудования на основании данных с конечных устройств, которые на нем установлены, а также выработка команд для изменения состояний оборудования и передача этих сигналов на исполнительное устройство.
аналитика(Analytics) – интеграция и кластеризация данных, а также прогнозирование значений искомых параметров, в т.ч. с использованием методов машинного обучения (Machine Learning);
визуализация(Visualization) – наглядное представление собранной, обработанной и проанализированной информации в виде графиков, диаграмм, таблиц и других понятных представлений;
дополнительные инструменты(Additional tools) – средства, которые позволяют разработчикам ПО и DevOps-инженерам расширить функциональные возможности платформы Internet of Things с помощью графического интерфейса и программирования;
внешние интерфейсы(External interfaces) – API, SDK и шлюзы для интеграции с другими сервисами, системами и платформами.

Компоненты программной платформы Internet of Things — Обязательные компоненты IoT-платформы [2]

Основные технологии Big Data для облачных платформ интернета вещей

Эталонная архитектура платформ интернета вещей описана международным стандартом «ISO/IEC 30141:2018. Internet of Things – Reference Architecture». Этот стандарт, пока не переведенный полностью на русский язык, необходим для обеспечения единого фреймворка DevOps-инженеров, разработчиков IoT-платформ и приложений интернета вещей с целью создания надежных, безопасных и устойчивых к сбоям решений. Разработка IoT-продуктов в рамках эталонной архитектуры позволяет бизнесу усилить эффект от внедрения новых технологий, снизив риски от их использования [3].

Большинство современных IoT-платформ обеспечивают интеллектуальный анализ информации в реальном времени с использованием следующих инструментов Big Data [1]:

агрегирование и фильтрация потоков данных (Storm, Samza);
поддержка пакетных операций с накопленным набором Big Data (средствами Hadoop, Spark);
предиктивная аналитика с использованием методов Machine Learning потоковых и пакетных данных (Spark, MLLIB).

Также IoT-платформы используют следующие технологии Big Data [4]:

прикладные протоколы семейства TCP/IP — CoAP, HTTP/HTTPS;
протоколы обмена сообщениями в концепции «издатель-подписчик» (MQTT, AMQP, XMPP, DDS), реализованные в программных брокерах RabbitMQ, Apache Qpid, Apache ActiveMQ, а также Apache Kafka, который считается наиболее масштабируемым инструментом управления очередью;
средства быстрой загрузки потоковых данных со шлюза и конечных устройств (Apache NiFi, Apache MiNiFi, Apache Flume).

IoT-платформа, архитектура, Big Data, технологии больших данных в интернете вещей — Типовая архитектура IoT-платформы [3]

Краткий обзор наиболее популярных IoT-платформ

В целом отечественный уровень внедрения Internet of Things в отечественную промышленность и другие отрасли экономики (здравоохранение, ЖКХ, финансы и телеком) пока ниже, чем в странах-лидерах цифровизации (США, Китай, Япония, Германия). Однако, потенциал России на рынке интернета вещей оценивается достаточно высоко в некоторых сферах деятельности, особенно значимых для нашего государства: нефтегазовый сектор, металлургия, горнодобывающая и химическая индустрии [5].

Несмотря на это, по программной части Internet of Things мы занимаем ведущие позиции: согласно аналитическому исследованию бюро «Техноуклад» о поставщиках платформ интернета вещей в 2018 году, более половины (51%) представленных в России и ЕАЭС IoT-платформ разработаны компаниями из России, Белоруссии и Казахстана. Второе место (23%) заняли американские предприятия, странам ЕС досталась бронза (16%). Доля Китая оценена в 3%, а оставшиеся 7% рынка делят между собой другие государства [6].

страны-лидеры Интернета вещей — Страны-поставщики IoT-платформ в России и ЕАЭС [6]

Среди наиболее известных платформ Internet of Things от российских разработчиков стоит упомянуть универсальные решения для промышленного интернета вещей (SmartUnity, HPE, inONE, AggreGate, Т1-Navi), а также системы для бизнес-применения и бытового использования от Мегафон, МТС, Билайн, Mail.Ru, ПСС. Софтвер, КРОК, Техносерв и других отечественных ИТ-компаний.

Тем не менее, в мировом масштабе наиболее популярными облачными платформами для создания систем Internet of Things считаются Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform, Artik от Samsung Electronics, Cisco Cloud Connect, Salesforce Cloud, Watson и BlueMix от IBM, OpenStack. В 2018 году к ним присоединилась Kubernetes [7] – открытая система оркестрации контейнеров для автоматизации развёртывания, масштабирования и управления облачными приложениями. Kubernetes нельзя назвать специализированным решением для Internet of Things – популярность этой технологии, связана с ее распространением в области Big Data систем благодаря удобству управления микросервисными приложениями [8].

Самые популярные облачные IoT-платформы — Самые популярные облачные платформы среди разработчиков Internet of Things по данным Eclipse Foundation [7]

Наиболее важными критериями отличия платформ Internet of Things друг от друга являются следующие [1]:

масштабируемость – максимальное число конечных устройств, которые могут подключаться к платформе, сложность такого расширения и возможности эффективной балансировки нагрузки на сервера;
простота использования – гибкость интеграционных API и простота управления программным кодом;
база данных – в каком виде/объеме хранятся большие и малые данные, получаемые с конечных устройств, наличие гибридных облачных хранилищ информации и т.д.;
варианты развертывания – публичное или частное облако;
безопасность – шифрование, контроля доступа пользователей и другие средства защиты информации. Подробнее про безопасность Internet of Things читайте в нашей следующей статье.

Как выбрать оптимальную, гибко администрируемую и безопасную IoT—платформу для своей системы интернета вещей, настроить и развернуть ее в публичном или частном облачном кластере, узнайте на наших практических курсах в специализированном учебном центре для руководителей, аналитиков, архитекторов, инженеров и исследователей Big Data в Москве:

NIFI: Кластер Apache NiFi	HADM: Администрирование кластера Hadoop
KAFKA: Администрирование кластера Kafka	DSEC: Безопасность озера данных Hadoop