Как Big Data и Machine Learning в нефтегазовой отрасли экономит миллиарды Согласно заявлению Валерия Селезнева, первого зампреда Комитета по энергетике Госдумы РФ, сделанному в сентябре 2018 г. на VIII ежегодной конференции «Нефтегазопереработка-2018», нефтегазовая отрасль в России является главным источником валютных и налоговых поступлений страны. На ее долю приходится порядка 12%...
В этой статье рассмотрим 5 уровней управленческой зрелости бизнес-процессов компании и особенности построения озера данных (Data Lake) на каждом из них. Читайте дальше, что такое CMMI и при чем здесь большие данные (Big Data). CMMI: зрелость процессов для технологий Big Data Примерно с 2013 года тема технологий Big Data преподносится...
Какие 4 проблемы сдерживают повсеместное внедрение Big Data и как их решать По заявлению заместителя председателя правительства РФ Максима Акимова, сделанному 29 ноября 2018 года на форуме "Россия зовёт!", в настоящее время органы власти используют более 400 различных государственных информационных систем (ГИС), которые частично дублируют друг и друга и не...
Для наших клиентов и партнеров в Республике Казахстан мы предлагаем 3х дневный выездной курс по обучению руководителей и топ менеджеров основам работы с большими данными, машинному обучению, Hadoop и Интернету Вещей. В программе курса подробно рассматриваются сценарии применения технологий работы с Большими Данными (Big Data) в различных отраслях бизнеса (Банки...
В прошлом месяце Apache Spark выпустили свою последнюю новую версию Apache Spark 2.4.0. Это пятая версия в серии 2.x. В новой версии Apache Spark появляется метод Барьерной синхронизации для лучшей интеграции с системами глубокого обучения. Apache Spark 2.4.0 содержит более 30 встроенных функций и функций более высокого порядка для работы...
В этой статье я бы хотел рассказать об основных концепциях Airflow и как с ним работать. Что такое Airflow? Airflow – это open-source оркестратор для управления процессами загрузки и обработки данных. Если у вас есть большое количество задач, запускаемых на cron, особенно, если между ними есть зависимости, то Airflow может...
Что такое открытый курс машинного обучения, и зачем он может понадобиться вам? Под данным термином обычно подразумевается предоставление свободного доступа к набору структурированных материалов. Человек, изучивший их, получает новые или углубляет существующие знания. Он получает возможность приобрести дополнительные навыки. Это поспособствует личностному, профессиональному, а также карьерному росту. Машинное обучение –...
В последних версиях Apache HIVE пытается внедрить CBO (cost based optimizer) и оптимизация операций JOIN одна из главных его составляющих. Поэтому понимание сценариев оптимизации применения операций JOINs (объединений) является одним из ключевых факторов настройки производительности HiveQL. Рассмотрим каждый вид объединений на практических примерах и определим их различия: Shuffle Join (Common...
В современных реалиях Big Data обучение и получение соответствующей специализации может стать трамплином для головокружительного карьерного роста. Абсолютно все цифровые процессы генерируют массу данных. Эта информация используется в самых разнообразных целях. Она нужна для анализа, сведения статистики, прогнозирования и решения множества других задач. Поэтому важно делать информационные массивы максимально управляемыми....
Если вы работаете с компьютерами и большими массивами информации, курсы по машинному обучению или повышению квалификации вам точно не помешают. Почему? Потому, что это направление стремительно становится популярным и востребованным. Искусственный интеллект из экспериментальной технологии как-то незаметно превратился в повседневный инструмент. Точнее, вот-вот таковым станет. Машинное обучение представляет собой комплекс...