Продолжая говорить про обучение Airflow, сегодня мы рассмотрим ключевые преимущества и основные проблемы этой библиотеки для автоматизации часто повторяющихся batch-задач обработки больших данных (Big Data). Также мы собрали для вас пару полезных советов, как обойти некоторые ограничения Airflow на примере кейсов из Mail.ru, IVI и АльфаСтрахования. Чем хорош Apache AirFlow:...
В этой статье мы поговорим про Apache AirFlow - эффективный инструмент для пакетных ETL-задач при работе с большими данными (Big Data): что это такое, как работает и чем полезен для инженера данных (Data Engineer). Также рассмотрим несколько практических примеров реального использования этой библиотеки для разработки, планирования и мониторинга batch-процессов. Что...
В честь Международного женского дня, 8 марта, мы собрали для вас 15 интересных кейсов о том, как большие данные (Big Data) и машинное обучение (Machine Learning, ML) используются в индустрии моды и красоты. Читайте в нашей сегодняшней статье как Zara, H&M, Burberry и другие fashion-гиганты внедряют умные примерочные, виртуальных стилистов,...
Продолжая тему прикладного использования искусственного интеллекта в различных бизнес-кейсах, сегодня мы расскажем о том, как устроены чат-боты, при чем здесь большие данные (Big Data) и машинное обучение (Machine Learning), системы распознавания речи и понимания естественного языка. Какие бывают чат-боты Все многообразие чат-ботов можно разделить на 2 большие категории [1]: работающие...
Обычно курсы по Spark подробно рассказывают, чем хорош этот Big Data фреймворк для распределённой пакетной и потоковой обработки неструктурированных и слабоструктурированных данных. Но, чтобы обучение Apache Spark было максимально полезным, стоит знать и о недостатках этого многофункционального инструмента обработки больших данных. Сегодня мы рассмотрим некоторые проблемы, которые возникают при практическом...
Вчера мы рассказывали о рынке чат-ботов, голосовых помощников и виртуальных ассистентов на базе больших данных (Big Data) и машинного обучения (Machine Learning) . Напомним, на 2020 год они признаны аналитическим бюро Gartner одной из самых перспективных и наиболее эффективных технологий искусственного интеллекта. Сегодня поговорим о том, где именно они используются...
В этой статье мы представим для вас краткий обзор рынка чат-ботов и голосовых помощников. А также расскажем, где используются эти решения на базе технологий больших данных (Big Data) и машинного обучения (Machine Learning) и чего ждать от них в будущем. Чат-боты в России и за рубежом: обзор рынка Прежде всего,...
Однажды мы уже рассматривали, зачем Apache Kafka, Hadoop, HBase и другие Big Data системы используют Zookeeper, почему он необходим в распределенных проектах и чем можно заменить его заменить. Сегодня поговорим о том, как работает этот популярный централизованный сервис для поддержки информации о конфигурации, именования, обеспечения синхронизации распределенных приложений и предоставления...
В продолжение темы, от чего большие данные, машинное обучение и другие методы искусственного интеллекта смогут защитить человечество, сегодня мы поговорим, почему эти технологии не заменят человека везде и полностью. В этой статье мы собрали доводы против абсолютной автоматизации принятия управленческих решений с помощью Big Data и Machine Learning. Когда Big...
К 23 февраля мы собрали для вас 5 кейсов, где выступать в роли защитника будет искусственный интеллект. Смертельные болезни, внешние угрозы, преступники, экологические проблемы и чрезмерные траты ресурсов – читайте в нашей сегодняшней статье, как цифровизация на базе больших данных (Big Data) и машинного обучения (Machine Learning, ML) защитит нас...