специалист big data чем занимается
Аналитик данных Big Data – профессия будущего
Кто такой Big Data аналитик
Разработка различных подходов к управлению бизнесом осуществляется на основе анализа Big Data, например, по базам данных о банковских транзакциях, телефонных номерах в колл-центрах, по уровню посещаемости клиентами интернет-магазинов и сделанных ими покупок.
Аналитик Big Data должен заниматься:
выборкой и сортировкой информации для проведения аналитики;
поиском закономерностей в наборах данных;
виртуализацией данных для лучшего выявления тенденций и представления результатов анализа;
формулировкой прогнозов и предположений по оптимизации бизнес-процессов за счет изменений разных показателей (метрик);
разработкой и тестированием различных моделей машинного обучения;
настройкой стимулирующих решений для клиентских сервисов.
Также в обязанности Big Data Analyst входят анализ бизнес-процессов и взаимодействие ИТ-специалистами при описании потоков и хранилищ корпоративной информации. Таким образом аналитик данных решает задачи Business Intelligence (BI) и участвует в оптимизации и цифровизации бизнес-процессов.
Что должен знать и уметь специалист по Big Data
К профессиональным компетенциям специалистов в области Big Data относятся:
знание методик статистического анализа и способов их применения;
способность использовать в работе алгоритмы построения математических моделей;
умение извлечь и преобразовать данные из структурированных и неструктурированных источников;
умение программирования на языке Python и работы с командной строкой Bash;
наличие знаний о фреймворках и способность их прикладного применения;
умение работать с Data Lakes (озёрами данных);
использование приемов цифровой безопасности;
управление данными (Data Governance);
применение типовых сценариев цифровой трансформации;
умение использовать технологии больших данных в разнообразных областях (use cases).
Помимо этого, аналитику Big Data необходимы навыки командной работы, помогающие ему взаимодействовать с коллегами смежных направлений.
Пройти обучение на аналитика Big Data в Москве всех желающих приглашает ЦРК БИ (ЦЕНТР РАЗВИТИЯ КОМПЕТЕНЦИЙ В БИЗНЕС-ИНФОРМАТИКЕ) НИУ ВШЭ. В рамках курсов по программам MBA IT вы получите все необходимые знания и компетенции. Записаться на курсы можно здесь.
Аналитика Big Data — реалии и перспективы в России и мире
О больших данных сегодня не слышал только человек, который не имеет никаких внешних связей с внешним миром. На Хабре тема аналитики Big Data и смежные тематики популярны. Но неспециалистам, которые хотели бы посвятить себя изучению Big Data, не всегда ясно, какие перспективы имеет эта сфера, где может применяться аналитика Big Data и на что может рассчитывать хороший аналитик. Давайте попробуем разобраться.
С каждым годом увеличивается объем генерируемой человеком информации. К 2020 году объем хранимых данных увеличится до 40-44 зеттабайт (1 ЗБ
1 миллиард ГБ). К 2025 году — до примерно 400 зеттабайт. Соответственно, управление структурированными и неструктурированными данными при помощи современных технологий — сфера, которая становится все более важной. Интересуются большими данными как отдельные компании, так и целые государства.
К слову, именно в процессе обсуждения информационного бума и способов обработки генерируемых человеком данных и возник термин Big Data. Считается, что впервые его предложил в 2008 году редактор журнала Nature — Клиффорд Линч.
Зачем нужна аналитика больших данных?
Она позволяет выявлять крайне ценную информацию из структурированных или неструктурированных наборов данных. Благодаря этому бизнес, например, может определять тенденции, прогнозировать производственные показатели и оптимизировать собственные расходы. Понятно, что ради снижения расходов компании готовы внедрять самые новые решения.
Технологии и методы анализа, которые используются для анализа Big Data:
Аналитика Big Data в мире
Сейчас аналитика больших данных используется в более чем 50 % компаний по всему миру. При том, что в 2015 году этот показатель составлял всего лишь 17 %. Big Data активнее всего используется компаниями, которые работают в сфере телекоммуникаций и финансовых услуг. Затем идут компании, которые специализируются на технологиях в здравоохранении. Минимальное использование аналитики Big Data в образовательных компаниях: в большинстве случаев представители этой сферы заявляли о намерении использовать технологии в ближайшем будущем.
В США аналитика Big Data используется наиболее активно: более 55 % компаний из самых разных сфер работают с этой технологией. В Европе и Азии востребованность аналитики больших данных ненамного ниже — около 53 %.
А что в России?
Во многом такое бурное развитие рынка обуславливается ростом этой сферы в России. В 2018 году выручка от продажи соответствующих решений в РФ составила 40% от совокупного объема инвестиций в технологии обработки Big Data всего региона.
В РФ больше всего на обработку Big Data тратят компании со стороны банковского и государственного секторов, телекоммуникационной индустрии и промышленности.
Что делает Big Data Analyst и сколько получает в России?
Специалист по анализу больших данных отвечает за изучение огромных массивов информации, как частично структурированных, так и неструктурированных. У банковских организаций это транзакции, у операторов — звонки и трафик, в ритейле — посещения клиентов и покупки. Как и говорилось выше, анализ Big Data позволяет обнаружить связи между различными факторами «сырой информационной истории», например, производственного процесса или химической реакции. На основе данных анализа разрабатываются новые подходы и решения в самых разных сферах — от производства до медицины.
Навыки, необходимые аналитику Big Data:
Ну а сколько получает Big Data аналитик?
Специалисты по Big Data сейчас в дефиците, спрос превышает предложение. Все потому, что бизнес приходит к пониманию: для развития нужны новые технологии, а для развития технологий требуются специалисты.
В России специалисты по машинному обучению получают от 130 до 300 тысяч рублей в месяц, аналитики больших данных — от 73 до 200 тысяч рублей в месяц. Все зависит от опыта и квалификации. Конечно, есть вакансии с меньшей зарплатой, есть — с большей. Максимальный спрос на аналитиков больших данных в Москве и Санкт-Петербурге. На Москву, что не удивительно, приходится около 50 % активных вакансий (по данным hh.ru). Гораздо меньший спрос — в Минске и Киеве. Стоит отметить, что некоторые вакансии предлагают гибкий график и удаленную работу. Но в целом, компаниям требуются специалисты, которые работают в офисе.
Со временем можно ожидать повышения спроса на аналитиков Big Data и представителей смежных специальностей. Как и говорилось выше, кадровый голод в сфере технологий никто не отменял. Но, конечно, для того, чтобы стать Big Data аналитиком необходимо учиться и работать, улучшая как те навыки, что указаны выше, так и дополнительные. Одна из возможностей начать путь Big Data аналитика — записаться на курс от Geekbrains и опробовать свои силы в сфере работы с большими данными.
Кто такой аналитик данных?
Именно аналитика данных видит скрытые закономерности и отвечает на самые важные вопросы бизнеса: «Можно ли дать человеку кредит?», «Кнопка какого цвета лучше работает?», «Где открыть новую палатку с шаурмой?» И не только. Рассказываем главное о сферах применения, зарплатах, навыках и карьерных перспективах такого специалиста вместе с руководителем отдела аналитики SkillFactory Артемом Боровым.
Чем занимается аналитик данных?
Аналитик данных (или Data Analyst) — это специалист по анализу больших данных: он собирает их, обрабатывает и делает выводы. На основании его отчетов в компаниях принимают важные решения.
Например, в онлайн-торговле можно проанализировать, как клиенты используют промокоды и какой контент больше всего интересен посетителям сайта, и на основе этого решать, какие площадки для продвижения использовать. В крупных сетевых магазинах, опираясь на выводы аналитиков, оптимизируют логистику и работу с потоком покупателей.
Что такое большие данные
Эта гигантские объемы информации, которые можно собрать и проанализировать только автоматизированным способом.
Предположим, каждый вечер после работы вы играете с собакой. Однажды вы заметили, что пес неприлично громко лает, бегая за мячом. При этом за резиновой игрушкой он гонится с такой же радостью, но молча. Несколько дней вы тестируете гипотезу: проверяете, действительно ли такую реакцию вызывает только мяч? Возможно, ведете дневник наблюдения, отмечая уровень шума по всем игрушкам. Убедившись в своей правоте, вы решаете играть с собакой в мяч только днем или в выходные. Отношения с соседями спасены.
Читайте также: Big Data: что это и где применяется
Эти данные — «маленькие», их легко собрать и посчитать вручную, даже в уме. Большие данные — это терабайты разрозненной информации, которую надо собрать по кусочкам, обработать и перевести на «человеческий язык». Например, компания по производству игрушек для животных может анализировать привычки сотен тысяч собак, чтобы выпустить для них новый идеальный продукт.
Каким компаниям нужны аналитики данных?
Большие данные — ключевой ресурс для бизнеса: их используют в IT, ритейле, финансах, здравоохранении, игровой индустрии, киберспорте, телекоме, маркетинге. Самые крутые и современные компании называют себя Data-Driven. Они принимают стратегические решения на основе данных.
Вот три ситуации, в которых бизнесу может пригодиться специалист по анализу больших данных:
Незавершенные покупки. В интернет-магазине пользователи добавляют в корзину товары, но потом уходят с сайта, не оформив заказ. Специалист по анализу данных сначала выясняет, на каком этапе пользователь теряет интерес. Например, уходит с сайта, когда видит сложную форму для регистрации. Затем предлагает и проверяет гипотезы, которые помогут удержать клиента и довести до нужного магазину результата (оформление заказа).
«Плохие» долги. В банке хотят свести к минимуму количество клиентов, которые не возвращают кредиты. Аналитик изучает, какие характеристики клиента указывают на то, будет ли он вовремя вносить платежи. На этом основании клиенту будет одобрен или не одобрен кредит.
Проверка эффективности дизайн-решения. Создатели приложения для знакомств хотят понять, как пользователи реагируют на цвет кнопки. Аналитику данных предстоит протестировать два прототипа: часть пользователей видит вариант с синей кнопкой, другая часть — с красной. В итоге он помогает дизайнеру интерфейса решить, какого цвета кнопка лучше сработает.
Еще благодаря качественному анализу данных можно:
Всё это помогает компании узнать о себе больше, увеличить прибыль и сократить издержки.
Какие знания и навыки нужны аналитику данных?
Вот стартовый пакет для начинающего специалиста:
В зависимости от направления могут добавляться специфические инструменты. Например, веб-аналитику нужны знания Яндекс.Метрики и Google Analytics.
Какие специализации бывают у аналитика данных?
В профессии аналитик данных есть классическое для IT деление на джуниор-, мидл- и синьор-аналитиков. Но, имея базовые знания по работе с данными, можно применять их в других направлениях. Вот несколько специализаций.
Продуктовый аналитик нужен, если необходимо развивать продукт на основе метрик и анализа данных. Продуктовый аналитик глубоко погружается в тематику, проводит тесты и исследования, чтобы понять, какие функции пользуются популярностью, а какие — нет, какие проблемы возникают у пользователей при использовании продукта.
Маркетинговый аналитик помогает привлечь клиентов через рекламу, оптимизировать затраты, опираясь на анализ данных по пользовательскому поведению и кликам.
BI-аналитик проектирует системы для анализа и хранения данных, тестирует гипотезы и автоматизирует отчетность. Он помогает бизнесу моделировать различные ситуации, делать правильные выводы и распределять ресурсы между отделами.
Востребованность профессии
В июне 2021 года на сайте hh.ru было более 13 тысяч вакансий для аналитика данных.
Данные накапливаются с огромной скоростью. В 2018 году аналитическая компания IDC прогнозировала: за пять лет, в период с 2015 по 2020 год, объем цифровых данных в мире вырастет в два раза и составит 40 зеттабайт (один зеттабайт равен миллиону миллионов гигабайт) — но фактически накопление информации идет еще быстрее: в 2020 году объем информации уже достиг 59 зеттабайт. По оценкам Ассоциации больших данных, рынок Big Data в России ежегодно растет на 12%.
Для работы с таким количеством данных компаниям нужны специалисты. В 2019 году вакансий в области анализа данных стало больше в 9,6 раза, чем в 2015 году.
Сколько зарабатывает аналитик данных?
Мы проанализировали открытые вакансии на HH.ru и Хабр Карьера. Разброс зарплат оказался довольно большим. Что ожидаемо — он зависит от опыта и города, в котором работает аналитик. Стажеру в Перми предлагают 25 тыс. рублей, а аналитик данных в московском офисе международной компании зарабатывает 200 тыс. рублей.
Средние зарплаты получились такими:
Стажеры и junior-специалисты получают от 60 тыс. рублей. В 8% вакансий указана сумма ниже, но в основном они предлагают частичную занятость.
Руководители отделов и синьор-аналитики получают от 170 тыс. рублей. В некоторых вакансиях предлагают больше 250 тыс. рублей в месяц, но для них нужен опыт больше пяти лет в аналитике и большой пул компетенций.
В регионах ситуация иная. Максимальная зарплата, на которую можно рассчитывать, — 100 тыс. рублей. Но многие работают удаленно в своем городе, получая «столичную» зарплату. На сайте hh.ru удаленные вакансии для аналитиков данных составляют 15% от общего количества.
В каких случаях становятся аналитиками данных?
67% специалистов приходят в эту профессию из других сфер: маркетинга, науки и даже госслужбы. Аналитиками данных становятся, когда:
С чего начать?
Если вы понимаете, что специалист по анализу данных — это профессия вашей мечты, стоит подробнее изучить путь, который придется проделать.
Для начала обучения вам достаточно изучить Excel: знать, что такое сводные таблицы и как работают функции. Полезно также подтянуть знания по статистике, SQL и Python. Это можно сделать с помощью бесплатных курсов или тренажеров.
Профессия «Аналитик данных»
Освойте перспективную профессию с нуля: научитесь собирать и организовывать данные, делать выводы на основе их анализа и помогать бизнесу работать эффективнее.
Промокод “BLOG” +5% скидки
Полезные ссылки
Образование при этом не имеет значения — начать разбираться в профессии можно с любым бэкграундом. Хороший пример — истории выпускников SkillFactory.
Аналитик Big Data — чем занимается, и что нужно знать, чтобы им стать?
Авторизуйтесь
Аналитик Big Data — чем занимается, и что нужно знать, чтобы им стать?
Аналитик Big Data нужен, чтобы собирать, хранить и извлекать из огромного количества данных полезную информацию, которую различные компании могут использовать в своих целях.
Факультет Аналитики Big Data онлайн-университета GeekBrains помог нам разобраться, что нужно знать, чтобы стать аналитиком больших данных.
Работа с базами данных — язык запросов SQL
Самый первый и главный навык аналитика больших данных — это умение этими данными оперировать. SQL — язык, который позволяет создавать и менять базы данных, а также выбирать из них нужную информацию, сортировать и фильтровать её. Для аналитика это то же самое, что для математика умение складывать и вычитать числа.
Освоение баз данных можно разбить на такие темы:
Сбор данных и программирование
После того, как вы научились работать с базами данных, нужно понять, как эти данные собирать. Бродить по сайтам, вручную искать и копировать информацию — не вариант. Мы говорим о данных, которые исчисляются терабайтами (не просто же так эти данные называются большими) и обновляются в сети с огромной скоростью. Руками это всё перебрать будет тяжело, не так ли? Для этого нужно уметь работать с API, или даже самому писать парсеры для веб-скрейпинга.
Ещё нужно учесть, что большие данные — это видео, картинки, текст, геоданные и много прочего, собранного в одну неструктурированную солянку. То есть такой датасет очень разнообразен, из-за чего применить универсальное, уже существующее решение для его обработки может быть сложно. Поэтому часто приходится создавать своё, учитывая при этом все особенности конкретной ситуации.
Самые распространённые языки программирования для обработки и визуализации данных — это Python (с библиотеками NumPy, pandas, matplotlib и др.) и R. Но знание дополнительных языков, таких как Java, MATLAB и других, всегда будет в плюс. Так вы будете знать преимущества и недостатки каждого из них и в разных ситуациях сможете подобрать наиболее подходящий.
Для изучения Python и Java мы уже создали дорожные карты, которые помогут изучить эти языки программирования с нуля.
Организация хранения и работы с данными
Большие данные хранить на одном компьютере невозможно. Количество информации так велико, что приходится создавать целые распределённые системы.
Экосистема Hadoop — одна из них, и считается основой для аналитика Big Data. Это набор разных утилит и библиотек для хранения и обработки данных, которые распределены по сотням узлов. Большая часть из этих инструментов написана на Java или Scala, но поддерживаются API на Python.
Экосистема состоит из четырёх модулей:
Математика и анализ данных
Если обработка данных требует от специалиста Big Data хорошей технической подготовки, то для анализа потребуются знания из теории вероятностей (случайные события, дискретные и непрерывные случайные величины, законы распределения и т.д.), а также математической статистики (описательная статистика, проверка гипотез, корреляция величин).
Всё это нужно, чтобы из датасета выделить какие-то полезные данные. А для этого, в свою очередь, понадобится хорошее понимание алгоритмов анализа данных:
Большие данные и машинное обучение идут тандемом — линейная алгебра используется для создания статистической модели и прогнозирования. На основе этого строятся рекомендательные системы. Например такие, как у Netflix или Spotify. Всё вышесказанное подводит нас к следующему пункту.
Аналитику Big Data нужно понимать потребности бизнеса
Быть на «ты» с технологиями безусловно важно, но бизнесу всё равно, как вы будете собирать и обрабатывать данные. Ему нужны инсайты, с помощью которых компании выйдут на новые рынки и определят предпочтения клиентов.
Первый шаг в этом направлении — научиться сознательно спрашивать себя: «Какая информация может помочь клиенту и как он может её применить»? А вот чтобы ответить на эти вопросы, понадобится вникнуть в основы бизнес-аналитики:
Стать аналитиком Big Data — сложная задача, особенно, если у вас нет предыдущего опыта разработки или работы со статистикой. Но сложно — не значит невозможно. Упорство, труд и терпение обязательно приведут вас к этой профессии. Старайтесь посещать конференции, общаться и обмениваться опытом.
Также существует курс с обширной программой от Факультета Аналитики Big Data онлайн-университета GeekBrains, где люди без опыта становятся настоящими аналитиками. У вас тоже получится!
Что такое Big data engineering, и как развиваться в этой сфере
Как отдельная профессия Big Data Engineering появилась довольно недавно. И даже крупные компании очень часто путают, чем занимается этот специалист, каковы его компетенции и зачем он вообще в организации.
Поэтому в сегодняшней статье, специально к старту нового потока курса по Data Engineering, мы разберёмся, кто такой Big Data Engineer, чем он занимается и чем отличается от Data Analyst и Data Scientist. Этот гайд подойдёт людям, которые хотят работать с большими данными и присматриваются к профессии в целом. А также тем, кто просто хочет понять, чем занимаются инженеры данных.
Кто такой Big data engineer
Задачи, которые выполняет инженер больших данных, входят в цикл разработки машинного обучения. Его работа тесно связана с аналитикой данных и data science.
Главная задача Data engineer — построить систему хранения данных, очистить и отформатировать их, а также настроить процесс обновления и приёма данных для дальнейшей работы с ними. Помимо этого, инженер данных занимается непосредственным созданием моделей обработки информации и машинного обучения.
Инженер данных востребован в самых разных сферах: e-commerce, финансах, туризме, строительстве — в любом бизнесе, где есть поток разнообразных данных и потребность их анализировать.
К примеру, при разработке «умного» дома. Создание подобной системы требует считывания и обработки данных с IoT-сенсоров в режиме реального времени. Необходимо, чтобы данные обрабатывались с максимальной быстротой и минимальной задержкой. И даже при падении системы данные должны продолжать накапливаться, а затем и обрабатываться. Разработка системы, которая удовлетворяет этим требованиям, и есть задача инженера данных.
С технической стороны, наиболее частыми задачами инженера данных можно считать:
Разработка процессов конвейерной обработки данных. Это одна из основных задач BDE в любом проекте. Именно создание структуры процессов обработки и их реализация в контексте конкретной задачи. Эти процессы позволяют с максимальной эффективностью осуществлять ETL (extract, transform, load) — изъятие данных, их трансформирование и загрузку в другую систему для последующей обработки. В статичных и потоковых данных эти процессы значительно различаются. Для этого чаще всего используются фреймворки Kafka, Apache Spark, Storm, Flink, а также облачные сервисы Google Cloud и Azure.
Хранение данных. Разработка механизма хранения и доступа к данным — еще одна частая задача дата-инженеров. Нужно подобрать наиболее соответствующий тип баз данных — реляционные или нереляционные, а затем настроить сами процессы.
Обработка данных. Процессы структурирования, изменения типа, очищения данных и поиска аномалий во всех этих алгоритмах. Предварительная обработка может быть частью либо системы машинного обучения, либо системы конвейерной обработки данных.
Разработка инфраструктуры данных. Дата-инженер принимает участие в развёртывании и настройке существующих решений, определении необходимых ресурсных мощностей для программ и систем, построении систем сбора метрик и логов.
В иерархии работы над данными инженер отвечает за три нижние ступеньки: сбор, обработку и трансформацию данных.
Что должен знать Data Engineer
Структуры и алгоритмы данных;
Особенности хранения информации в SQL и NoSQL базах данных. Наиболее распространённые: MySQL, PostgreSQL, MongoDB, Oracle, HP Vertica, Amazon Redshift;
ETL-системы (BM WebSphere DataStage; Informatica PowerCenter; Oracle Data Integrator; SAP Data Services; SAS Data Integration Server);
Облачные сервисы для больших данных Amazon Web Services, Google Cloud Platform, Microsoft Azure;
Кластеры больших данных на базе Apache и SQL-движки для анализа данных;
Желательно знать языки программирования (Python, Scala, Java).
Стек умений и навыков инженера больших данных частично пересекается с дата-сайентистом, но в проектах они, скорее, дополняют друг друга.
Data Engineer сильнее в программировании, чем дата-сайентист. А тот, в свою очередь, сильнее в статистике. Сайентист способен разработать модель-прототип обработки данных, а инженер — качественно воплотить её в реальность и превратить код в продукт, который затем будет решать конкретные задачи.
Инженеру не нужны знания в Business Intelligence, а вот опыт разработки программного обеспечения и администрирования кластеров придётся как раз кстати.
Но, несмотря на то что Data Engineer и Data Scientist должны работать в команде, у них бывают конфликты. Ведь сайентист — это по сути потребитель данных, которые предоставляет инженер. И грамотно налаженная коммуникация между ними — залог успешности проекта в целом.
Плюсы и минусы профессии инженера больших данных
Плюсы:
Отрасль в целом и специальность в частности ещё очень молоды. Особенно в России и странах СНГ. Востребованность специалистов по BDE стабильно растёт, появляется всё больше проектов, для которых нужен именно инженер больших данных. На hh.ru, по состоянию на начало апреля, имеется 768 вакансий.
Пока что конкуренция на позиции Big Data Engineer в разы ниже, чем у Data Scientist. Для специалистов с опытом в разработке сейчас наиболее благоприятное время, чтобы перейти в специальность. Для изучения профессии с нуля или почти с нуля — тоже вполне хорошо (при должном старании). Тенденция роста рынка в целом будет продолжаться ближайшие несколько лет, и всё это время будет дефицит хороших спецов.
Задачи довольно разнообразные — рутина здесь есть, но её довольно немного. В большинстве случаев придётся проявлять изобретательность и применять творческий подход. Любителям экспериментировать тут настоящее раздолье.
Минусы
Большое многообразие инструментов и фреймворков. Действительно очень большое — и при подготовке к выполнению задачи приходится серьёзно анализировать преимущества и недостатки в каждом конкретном случае. А для этого нужно довольно глубоко знать возможности каждого из них. Да-да, именно каждого, а не одного или нескольких.
Уже сейчас есть целых шесть платформ, которые распространены в большинстве проектов.
Spark — популярный инструмент с богатой экосистемой и либами, для распределенных вычислений, который может использоваться для пакетных и потоковых приложений.
Flink — альтернатива Spark с унифицированным подходом к потоковым/пакетным вычислениям, получила широкую известность в сообществе разработчиков данных.
Kafka — сейчас уже полноценная потоковая платформа, способная выполнять аналитику в реальном времени и обрабатывать данные с высокой пропускной способностью. ElasticSearch — распределенный поисковый движок, построенный на основе Apache Lucene.
PostgreSQL — популярная бд с открытым исходным кодом.
Redshift — аналитическое решение для баз/хранилищ данных от AWS.
Без бэкграунда в разработке ворваться в BD Engineering сложно. Подобные кейсы есть, но основу профессии составляют спецы с опытом разработки от 1–2 лет. Да и уверенное владение Python или Scala уже на старте — это мастхэв.
Работа такого инженера во многом невидима. Его решения лежат в основе работы других специалистов, но при этом не направлены прямо на потребителя. Их потребитель — это Data Scientist и Data Analyst, из-за чего бывает, что инженера недооценивают. А уж изменить реальное и объективное влияние на конечный продукт и вовсе практически невозможно. Но это вполне компенсируется высокой зарплатой.
Как стать Data Engineer и куда расти
Профессия дата-инженера довольно требовательна к бэкграунду. Костяк профессии составляют разработчики на Python и Scala, которые решили уйти в Big Data. В русскоговорящих странах, к примеру, процент использования этих языков в работе с большими данными примерно 50/50. Если знаете Java — тоже хорошо.
Хорошее знание SQL тоже важно. Поэтому в Data Engineer часто попадают специалисты, которые уже ранее работали с данными: Data Analyst, Business Analyst, Data Scientist. Дата-сайентисту с опытом от 1–2 лет будет проще всего войти в специальность.
Фреймворками можно овладевать в процессе работы, но хотя бы несколько важно знать на хорошем уровне уже в самом начале.
Дальнейшее развитие для специалистов Big Data Engineers тоже довольно разнообразное. Можно уйти в смежные Data Science или Data Analytics, в архитектуру данных, Devops-специальности. Можно также уйти в чистую разработку на Python или Scala, но так делает довольно малый процент спецов.
Перспективы у профессии просто колоссальные. Согласно данным Dice Tech Job Report 2020, Data Engineering показывает невероятные темпы роста — в 2019 году рынок профессии увеличился на 50 %. Для сравнения: стандартным ростом считается 3–5 %.
В 2020 году темпы замедлились, но всё равно они многократно опережают другие отрасли. Спрос на специальность вырос ещё на 24,8 %. И подобные темпы сохранятся еще на протяжении минимум пяти лет.
Так что сейчас как раз просто шикарный момент, чтобы войти в профессию Data Engineering с нашим курсом Data Engineering и стать востребованным специалистом в любом серьёзном Data Science проекте. Пока рынок растёт настолько быстро, то возможность найти хорошую работу, есть даже у новичков.
Узнайте, как прокачаться и в других областях работы с данными или освоить их с нуля: