Будущее ИИ: взаимодействие человека и машины на примере решения задачи построения справочника организаций

Рассмотрим пока еще фантастический пример из ближайшего будущего, где вся информация структурирована в виде графа знаний, доступ к сегментам которого определяется принадлежностью человека или машины к конкретной партии или корпорации. Как построить справочник организаций с помощью ИИ и графовой аналитики больших данных.

Постановка задачи: построение справочника организаций

Систематизация и упорядочивание разнообразной информации — важнейшая задача современного мира, которая актуальна и в будущем. Например, рассмотрим задачу построения справочника номеров телефонов организаций.

Первый вопрос, с которым мы сталкиваемся — на какие категории разделять номера телефонов? Ответ зависит от контекста решаемой задачи и субъективного мнения человека, делающего разметку. Ведь один и тот же номер можно отнести к нескольким различным категориям с различной степенью детализации. К примеру, категории «финансовая организация», «банк», «инвестиции» могут относиться к одной конкретной компании. Также как категории «авто», «ремонт», «шиномонтаж», «автомойка».

Здесь мы приходим к первой точке соприкосновения человека и искусственного интеллекта (ИИ). Речь идет о разметке объектов человеком с целью подачи полученной разметки на вход машине, поскольку, человек пока еще лучше размечает объекты, чем ИИ. На человеческой разметке объектов основан бизнес множества организаций, включая 2ГИС и Handl. Большое количество компаний по разметке данных работает в Китае. Единственное ограничение по ручной разметке данных — это скорость. Чтобы обойти это ограничение, в дело вступает ИИ, а мы переходим ко второму этапу решения рассматриваемой задачи.

Предположим, имеется 270 000 номеров телефонов, а разметка сделана только по 10 000. Как же разметить оставшиеся номера, по которым нет текстовых описаний? Сделать это помогут графовые алгоритмы, т.к. связи между номерами двух организаций можно представить через людей, взаимодействующих с обоими организациями за определенный промежуток времени. Таким образом,  получим граф, показанный на следующем рисунке.

Граф связей между номерами организаций

Попытка бездумного применения графовых алгоритмов с целью разделить все организации на группы не будет успешной из-за большого (десятки миллионов) количества связей между объектами. Здесь появляется вторая точка соприкосновения человека с ИИ. Только эксперт в предметной области с хорошей математической подготовкой сможет построить меру связи между организациями и провести фильтрацию ребер так, чтобы полученный граф мог быть обработан машиной с приемлемыми финансовыми и временными затратами.

Построив меры связи, фильтрацию ребер и определив алгоритмы выделения сообществ, можно перейти к третьему этапу решения нашей задачи. Теперь имеется несколько сотен кластеров, каждый из которых содержит как размеченные, так и не размеченные номера организаций. Конечным пользователем решения является человек. Поэтому только человек сможет создать максимально качественное описание полученных кластеров на базе облака слов из наименований размеченных номеров организаций. Неразмеченные номера получат метку кластера, проставленную человеком. А в интерпретация и проставление меток для кластеров снова обеспечивается с помощью ИИ. 

Заключение

С учетом тренда на развитие и внедрение ИИ, можно сделать несколько выводов относительно профессий будущего:

• будут востребованы эксперты одной или нескольких узких областей знаний, чтобы помогать ИИ обрабатывать специфические данные с приемлемыми финансовыми и временными затратами. Такие узкоспециализированные эксперты будут являться «белыми воротничками» разметки данных.
• также будут востребованы «чернорабочие» для первичной разметки объектов;
• возрастет спрос на специалистов, способных правильно интерпретировать и перевести результат человеко-машинной обработки на язык, понятный человеку. Таких людей можно назвать «коммуникаторами/продавцами» данных.

В следующей статье мы продолжим разговор о практическом применении графовых алгоритмов в бизнес-приложениях и разберем пару кейсов, как графовая аналитика помогает специалистам по информационной безопасности.

Узнайте больше полезных примеров и особенностей практического применения инструментов графовой аналитики больших данных на нашем новом курсе «Графовые алгоритмы. Бизнес-приложения» в лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве.