В последних версиях Apache HIVE пытается внедрить CBO (cost based optimizer) и оптимизация операций JOIN одна из главных его составляющих. Поэтому понимание сценариев оптимизации применения операций JOINs (объединений) является одним из ключевых факторов настройки производительности HiveQL. Рассмотрим каждый вид объединений на практических примерах и определим их различия: Shuffle Join (Common...
В современных реалиях Big Data обучение и получение соответствующей специализации может стать трамплином для головокружительного карьерного роста. Абсолютно все цифровые процессы генерируют массу данных. Эта информация используется в самых разнообразных целях. Она нужна для анализа, сведения статистики, прогнозирования и решения множества других задач. Поэтому важно делать информационные массивы максимально управляемыми....
Если вы работаете с компьютерами и большими массивами информации, курсы по машинному обучению или повышению квалификации вам точно не помешают. Почему? Потому, что это направление стремительно становится популярным и востребованным. Искусственный интеллект из экспериментальной технологии как-то незаметно превратился в повседневный инструмент. Точнее, вот-вот таковым станет. Машинное обучение представляет собой комплекс...
Big Data – современное развитие науки о данных, появившейся примерно в середине шестидесятых годов прошлого века. Сейчас существует масса профессий, специалисты которых должны разбираться в Больших Данных. Кто-то должен быть экспертом в этой отрасли. Кому-то достаточно просто знать, что это такое. В любом случае, если вы работаете в информационной сфере...
Digital transformation или Цифровая трансформация – совокупность процессов по тотальному переходу от традиционных методов осуществления деятельности к максимально возможному внедрению современных Digital-технологий. Это новейший бизнес-тренд, направленный на компьютеризацию, использование общего и специального ПО, эксплуатация возможностей Интернета для повышения конкурентоспособности и роста прибыльности. Может показаться, что компьютеризация и использование различных программных...
Big Data или Большие Данные – совокупность технологий и инструментов, призванных решить проблему операций с большими информационными массивами. Причем значительно сокращаются проблемы не только с неструктурированными, но и структурированными данными. Проблема обработки крупных и часто хаотичных информационных пакетов зародилась в IT-сфере. С ростом компьютеризации общества и всех сфер его деятельности,...