Как работает интернет вещей с Big Data: архитектура и принципы IoT

Мы уже немного рассказывали об архитектуре IoT-систем в статье про промышленный интернет вещей. Сегодня поговорим подробнее про аппаратные и программные компоненты Internet of Things и IIoT, а также разберем, как малые данные со множества датчиков преобразуются в Big Data.

Архитектура IoT-системы

Типовая архитектура IIoT-систем состоит из следующих 3-х уровней [1]:

конечные устройства (вещи, Things) – датчики, сенсоры, контроллеры и прочее периферийное оборудование для измерения необходимых показателей и передачи этих данных в сеть по проводным или беспроводным протоколам (Serial, RS-485, MODBUS, CAN bus, OPC UA, BLE, WiFi, Bluetooth, 6LoRaWAN, Sigfox и пр.). Поскольку каждая «порция» этой информации невелика по объему, такие данные называют малыми (Little Data).
сетевые шлюзы и хабы (Network)– роутеры, которые объединяют и подключают конечные устройства к облаку.
Облако (Cloud) – удаленный сервер в датацентре, обрабатывающий, анализирующий и надежно хранящий информацию. Именно здесь малые данные превращаются в Big Data, когда консолидируется множество информационных потоков с различных устройств. Так интернет вещей становится «интеллектуальным», поскольку подключаются средства анализа данных, в т.ч. с использованием методов машинного обучения (Machine Learning). Это позволяет эффективно и удаленно управлять техникой, на которой установлены конечные устройства. Например, если датчики уровня вибрации оборудования показывают превышение допустимых значений, можно заранее спланировать профилактический ремонт и избежать поломки дорогостоящих инструментов.

IoT, Internet of Things, архитектура — 3 уровня архитектуры IoT-систем [1]

Как интернет вещей собирает малые данные

Датчики и сенсоры измеряют необходимые параметры (температуру, давление, уровень, вибрацию и т.д.), регистрируя изменение окружающей среды, а не ее статическое состояние. Стоимость реализации и использования такого оборудования быстро падает, что позволяет собирать все больше данных при сокращении затрат. Раньше, подключая датчики к системам контроля и управления, можно было работать только с токами потребления в пределах 4–20 мА, протоколом HART или промышленными шинами, а также специализированным ПО. Сегодня возможно использовать самые разные типы проводных и беспроводных сетей для сбора данных, и поэтому даже в пределах одного производства используется сразу несколько типов сетевых подключений [2].

Выбор протоколов передачи данных зависит от следующих факторов:

скорость передачи информации — объем данных, передаваемых за единицу времени;
энергопотребление– сколько времени электроника конечных устройств может работать без подзарядки;
дальность– максимальное расстояние, на которое нужно передать данные;
частота передачи информации (измеряемая в Гц), доступная для использования.

Выделяют 2 категории датчиков:

активные – излучают сигналы сами и принимают их отражения, требуют больше энергии;
пассивные – лишь принимают сигналы, что снижает их энергопотребление.

Большинство датчиков основано на волновом принципе — приеме звуковых, ультразвуковых, световых и тепловых волн. Но существуют устройства, измеряющие физические характеристики (индуктивность, емкость, давление и пр.). Комбинируя различные типы датчиков, можно значительно повысить качество и «уровень интеллектуальности» IoT-системы [2].

Как работает интернет вещей с Big Data

Как правило, в промышленном IoT отсутствует прямой доступ к конечным устройствам, поэтому для соединения уровней технологического оборудования и интеллектуальных систем обработки и хранения информации используются шлюзы [3].

Конечные устройства являются источниками данных с низкой вычислительной мощностью, которые непрерывно передают на шлюз множество информации различного формата. Датчик конечного устройства формирует аналоговый сигнал, который преобразуется в цифровое (дискретное) значение с помощью АЦП – аналого-цифрового преобразователя. Это значение маркируется меткой времени и классифицируется (тегируется) локальным процессором конечного устройства. Теги могут быть простыми, например, обнаружено движение, или сложными, из нескольких параметров (движение + скорость, движение + скорость + автомобиль и пр.). Чем сложнее тег, тем более мощным должен быть периферийный процессор и энергопотребление конечного устройства. Однако, более информативные теги позволяют сократить количество передаваемых данных в облако и полосу пропускания информации, а это, в свою очередь, увеличивает скорость реакции на событие [4].

Шлюз, в свою очередь, отправляет данные в облачный кластер, где развернута программная IoT-платформа на базе средств Big Data для обработки и интеллектуального анализа информации.

На облачном сервере данные от различных периферийных устройств интегрируются (суммируются по тегам), систематизируются и анализируются с применением Machine Learning и других методов искусственного интеллекта. Результаты интеллектуального анализа данных визуализируются в виде графиков, диаграмм и пр., отображаясь в витринах (дэшбордах) пользовательского интерфейса IoT-платформы [4].

облака, Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура — Передача информации с конечного устройства в облако

Однако, интернет вещей предполагает не только передачу информации с технологических объектов, но и удаленное управление ими. Поэтому реализуется обратная связь от облачной IoT-платформы к периферийному устройству управления необходимым объектом, например, задвижкой на трубе и пр. Для этого в облаке реализуется виртуальное представление периферийного устройства, куда записывается необходимая информация по изменению его состояния, а затем передается на исполнительное устройство конечного оборудования. При этом периферийный процессор выполняет распознавание тегов и ЦАП, т.е. обратное цифро-аналоговое преобразование – из дискретного значения в аналоговую форму.

Вся IoT-система является распределенной и масштабируемой, однако, связанной недостаточно надежными каналами передачи данных. Поэтому используются механизмы гарантированной доставки информации. В частности, если не удается передать данные от конечного устройства в облако или наоборот, осуществляются повторные попытки передачи [4]. Для обмена сигналами между компонентами распределенной системы используются специальные решения – брокеры сообщений, которые гарантируют доставку нужных данных одному или нескольким получателям через управляемую очередь [5].

Наиболее популярными брокерами сообщения считаются RabbitMQ, Apache Qpid, Apache ActiveMQ. Также для этих целей используется распределенный реплицированный журнал фиксации изменений Apache Kafka, который отлично масштабируется, обеспечивая наращивание пропускной способности при росте числа и нагрузки со стороны источников данных, а также количества приложений по их обработке (подписчиков) [6]. Для быстрой загрузки данных с конечных устройств часто используется платформа обработки событий (сообщений) Apache NiFi или ее упрощенная модификация Apache MiNiFi. Подробнее про средства обработки данных в облаке, в рамках IoT-платформы читайте в нашей следующей статье.

облака, Big Data, Большие данные, интернет вещей, IoT, Internet of Things — Интернет вещей — это целая экосистема программных и аппаратных компонентов

Создайте свою эффективную систему Internet of Things, освоив навыки администрирования и настройки безопасности кластеров на наших практических курсах в специализированном учебном центре для руководителей, аналитиков, архитекторов, инженеров и исследователей Big Data в Москве:

NIFI: Кластер Apache NiFi	INTR: Основы Hadoop
KAFKA: Администрирование кластера Kafka	HADM: Администрирование кластера Hadoop
HBASE: Администрирование кластера HBase	DSEC: Безопасность озера данных Hadoop