4 простых, но эффективных совета администратору Big Data и не только

Администратор – обязательная роль в Big Data проекте, даже если он построен по принципу микросервисной архитектуры, когда за создание и развертывание каждого модуля отвечает отдельный DevOps-инженер. Задачи постоянной оценки производительности и поддержки ИТ-инфраструктуры актуальны как для новоявленных стартапов, работающих по современным Agile-принципам, так и для крупного бизнеса (enterprise). В этой статье мы собрали для вас 4 простых, но до сих пор отлично работающих совета для повышения эффективности процессов администрирования ИТ-хозяйства вообще и Big Data в частности.

Следите за новостями

Пригодится все: выпуск программных обновлений, огласка инцидентов о нарушениях информационной безопасности, выявление уязвимостей, выход новых законов, появление технологий, истории успешного старта и грандиозных провалов. Ищите полезную информацию сами, общайтесь с коллегами в форумах и мессенджерах, читайте и смотрите тематические ресурсы, чтобы своевременно защитить свой Hadoop-кластер: предупредить хакерскую атаку, предотвратить утечку данных, а также избежать блокировок Роскомнадзора и многомиллионных штрафов за нарушения GDRP и требований российского законодательства (ФЗ № 242-ФЗ от 21 июля 2014 г., ФЗ № 374-ФЗ и № 375-ФЗ от 6 июля 2016 г.).

Используйте готовые решения

Не изобретайте свой велосипед, а смело берите лучшие практики и хорошо зарекомендовавшие себя инструменты. Например, гораздо эффективнее взять уже успешно применяемый во множестве проектов дистрибутив Hadoop от Cloudera, HortonWorks, ArenaData, MapR, другого крупного вендора или кластер облачного провайдера, чем вручную собирать всю экосистему Big Data с нуля, нарабатывая опыт на собственных ошибках, которые могут быть критичны для бизнеса. Такая же рекомендация актуальна для выбора методов работы: заимствуйте лучшие идеи Agile, приемы DevOps и прочие подходы к организации деятельности, адаптируя их к своей специфике и фокусируя внимание на их прикладной пользе. Методологии и технологии – это всего лишь инструменты, чтобы добиться более ценного количественного и качественного результата за меньшие деньги и время.

Консультируйте и оптимизируйте

Используя системы мониторинга, наблюдайте за производительностью серверов, выявляя закономерности и аномалии в процессах хранения и обработки больших данных, а также запуска и использования приложений. Обсуждайте с разработчиками и пользователями проблемы Big Data систем и кластеров, учитывая позиции бизнеса и технологии. Не стесняйтесь задавать программистам и DevOps-инженерам вопросы по информационной безопасности, масштабируемости, надежности и интегрируемости развертываемых решений.  Будьте в курсе DataOps-процессов и инструментов. Сотрудничайте с FinOps в поисках оптимальных вариантов использования локальной или облачной инфраструктуры для больших данных. Например, если предложенный вами переход на новое программное решение, cloud-сервис или тарифный план поможет бизнесу сэкономить существенные средства, это, наверняка, выгодно отразится на ваших премиальных.

Продолжайте узнавать новое

Наконец, самый тривиальный и, пожалуй, самый важный совет, который актуален для любой сферы деятельности, в особенности для ИТ: постоянно повышайте свой профессиональный уровень. Ищите информацию в сети (тематические форумы, блоги, ролики, каналы), читайте специализированные книги и журналы, в т.ч. на иностранных языках, посещайте IT-конференции, участвуйте в семинарах и тренингах. В частности, наш учебный центр «Школа больших данных» предлагает целый ряд практических курсов обучения для администраторов Big Data в Москве: