Продолжая говорить про обучение Airflow, сегодня мы рассмотрим ключевые преимущества и основные проблемы этой библиотеки для автоматизации часто повторяющихся batch-задач обработки больших данных (Big Data). Также мы собрали для вас пару полезных советов, как обойти некоторые ограничения Airflow на примере кейсов из Mail.ru, IVI и АльфаСтрахования. Чем хорош Apache AirFlow:...
В этой статье мы поговорим про Apache AirFlow - эффективный инструмент для пакетных ETL-задач при работе с большими данными (Big Data): что это такое, как работает и чем полезен для инженера данных (Data Engineer). Также рассмотрим несколько практических примеров реального использования этой библиотеки для разработки, планирования и мониторинга batch-процессов. Что...
В честь Международного женского дня, 8 марта, мы собрали для вас 15 интересных кейсов о том, как большие данные (Big Data) и машинное обучение (Machine Learning, ML) используются в индустрии моды и красоты. Читайте в нашей сегодняшней статье как Zara, H&M, Burberry и другие fashion-гиганты внедряют умные примерочные, виртуальных стилистов,...
Продолжая тему прикладного использования искусственного интеллекта в различных бизнес-кейсах, сегодня мы расскажем о том, как устроены чат-боты, при чем здесь большие данные (Big Data) и машинное обучение (Machine Learning), системы распознавания речи и понимания естественного языка. Какие бывают чат-боты Все многообразие чат-ботов можно разделить на 2 большие категории [1]: работающие...
Обычно курсы по Spark подробно рассказывают, чем хорош этот Big Data фреймворк для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных. Но, чтобы обучение Apache Spark было максимально полезным, стоит знать и о недостатках этого многофункционального инструмента обработки больших данных. Сегодня мы рассмотрим некоторые проблемы, которые возникают при практическом...
Вчера мы рассказывали о рынке чат-ботов, голосовых помощников и виртуальных ассистентов на базе больших данных (Big Data) и машинного обучения (Machine Learning) . Напомним, на 2020 год они признаны аналитическим бюро Gartner одной из самых перспективных и наиболее эффективных технологий искусственного интеллекта. Сегодня поговорим о том, где именно они используются...
В этой статье мы представим для вас краткий обзор рынка чат-ботов и голосовых помощников. А также расскажем, где используются эти решения на базе технологий больших данных (Big Data) и машинного обучения (Machine Learning) и чего ждать от них в будущем. Чат-боты в России и за рубежом: обзор рынка Прежде всего,...
Однажды мы уже рассматривали, зачем Apache Kafka, Hadoop, HBase и другие Big Data системы используют Zookeeper, почему он необходим в распределенных проектах и чем можно заменить его заменить. Сегодня поговорим о том, как работает этот популярный централизованный сервис для поддержки информации о конфигурации, именования, обеспечения синхронизации распределенных приложений и предоставления...
В продолжение темы, от чего большие данные, машинное обучение и другие методы искусственного интеллекта смогут защитить человечество, сегодня мы поговорим, почему эти технологии не заменят человека везде и полностью. В этой статье мы собрали доводы против абсолютной автоматизации принятия управленческих решений с помощью Big Data и Machine Learning. Когда Big...
К 23 февраля мы собрали для вас 5 кейсов, где выступать в роли защитника будет искусственный интеллект. Смертельные болезни, внешние угрозы, преступники, экологические проблемы и чрезмерные траты ресурсов – читайте в нашей сегодняшней статье, как цифровизация на базе больших данных (Big Data) и машинного обучения (Machine Learning, ML) защитит нас...
Чтобы повысить мотивацию студентов к обучению, преподаватели активно применяют различные подходы к организации образовательного процесса, в т.ч. используемые в HR. Сегодня мы покажем, как, по аналогии с управлением человеческими ресурсами, аналитика больших данных (Big Data) и методы машинного обучения (Machine Learning) помогают увеличить вовлеченность учеников и улучшить качество образования. От...
Вчера мы рассматривали, как аналитика больших данных (Big Data) и машинного обучения (Machine Learning) помогают снизить текучесть кадров и предупредить увольнение ключевых сотрудников. Сегодня поговорим о том, как эти технологии позволяют выявить главные компетенции успешного сотрудника, обнаружить неявную зависимость прибыли компании от вовлеченности персонала, а также получить другие полезные HR-инсайты....
Продолжая разговор про цифровизацию HR-процессов, сегодня мы рассмотрим, как технологии больших данных (Big Data) и машинного обучения (Machine Learning) помогают сократить текучку кадров и удержать ключевых работников. Читайте в нашей новой статье 5 успешных примеров применения аналитики Big Data в HR для принятия эффективных управленческих решений. Big Data и Machine...
Мы уже рассказывали про цифровизацию HR-процессов на примере IBM и еще других компаний, в которых активно применяются технологии больших данных (Big Data) и машинного обучения (Machine Learning) для оптимизации управления людьми. В этой статье мы собрали еще 5 интересных кейсов по использованию аналитики Big Data в рекрутинге. Big Data и...
В этой статье мы разберем одно из ключевых понятий цифровизации: что такое предиктивная аналитика и чем она отличается от дескриптивной. Также рассмотрим на практических примерах, какие виды аналитики больших данных (Big Data) еще бывают и где они используются. Читайте в нашем сегодняшнем материале, как машинное обучение (Machine Learning) и другая...
Продолжая разбирать, что такое цифровая трансформация, сегодня мы рассмотрим те случаи, когда вам не нужен директор по цифровизации (Chief Digital Transformation Officer, CDTO). А также дадим несколько простых советов, что делать, если иметь такого топ-менеджера вам предписывают рекомендации Минкомсвязи. Читайте в нашей статье, как превратить цифровизацию из модного слова в...
Сегодня мы рассмотрим одно из ключевых понятий цифровой трансформации: зачем нужен директор по цифровизации (Chief Digital Transformation Officer) и чем он отличается от CIO, CEO, CDO и других управленцев высшего уровня. Читайте в нашей статье, как появилась эта должность и сколько такой руководитель стоит на рынке труда. Как появился спрос...
Рассматривать обучение Кафка интереснее на практических примерах. Сегодня мы расскажем, как Apache Kafka применяется в одной из крупнейших промышленных компаний России - ПАО «Северсталь». Эта статья написана на основе выступления Доната Фетисова, главного архитектора «Северсталь Диджитал». Доклад был представлен 7 декабря 2019 года на очередном ИТ-митапе компании Авито по Big...
Сегодня рассмотрим, чем корпоративное обучение большим данным (Big Data) отличается от индивидуального. Читайте в нашей статье, почему образовательные курсы по Apache Kafka, Hadoop, Spark и другим технологиям Big Data сплотят ваших сотрудников лучше любого тимбилдинга и как повысить эффективность такого обучающего тренинга. Почему корпоративное обучение Big Data эффективнее индивидуальных курсов:...
Цифровизация не всегда приносит только положительные результаты: увеличение прибыли, сокращение расходов и прочие бонусы оптимизации бизнеса. Большие данные – это большая ответственность, с которой справится не каждый. В этой статье мы собрали 5 самых ярких событий ИТ-мира за последнюю пару лет, связанных с большими данными (Big Data) и машинным обучением...