Курсы Data Science

Типичный процесс анализа данных начинается с понимания доменной области, когда аналитик выясняет, какие именно метрики и показатели нужны бизнесу для принятия управленческих решений. Затем нужно собрать непосредственные данные или их прокси, если работа с первоисточниками становится слишком долгой или дорогой. Например, невозможно опросить каждого из сотни тысяч клиентов, насколько он доволен услугами компании. Но можно сделать такие выводы по количеству повторных заказов. После сбора данных из различных источников их необходимо очистить, заполнив пропуски, сгладив экстремальные значения (выбросы) и, при необходимости выполнив процедуры нормализации и стандартизации. Затем выполняется первичный анализ данных и определяется, какие именно переменные нужно отслеживать. Это называется инженерия фичей, от англ. feature - признак, важный с точки зрения прогнозного моделирования. Далее наступает этап предиктивного моделирования с помощью соответствующих алгоритмов, например, линейная или логистическая регрессия, байесовские деревья, а также нейронные сети и другие модели машинного обучения. Наконец, результаты исследований надо визуализировать с помощью наиболее подходящей диаграммы. Например, для классификации большой выборки по нескольким группам подойдет круговая диаграмма, а для того, чтобы показать изменение значений во времени - гистограммы или линейный график. После представления результатов анализа данных бизнес-заказчику и получения обратной связи весь цикл повторяется снова.