Кто такой инженер данных (дата инженер), что делает, где учиться и как им стать

В России и постсоветских странах профессия data инженер стала востребованной не так давно. Но как только она появилась, предложений с данной вакансией стало много. И так как профессия Data Engineer довольно трудоемкая и требует длительного обучения, заработная плата в сфере соответствующая — высокая.

Об этом, а также о других аспектах, которые касаются работы инженером данных, рассказано в этой статье. Прежде чем начать, уточним, что дата инженер, инженер данных, data инженер, data engineer — названия одной профессии. Теперь никакой путаницы не возникнет!

Что такое Data Engineering

Дата-инжиниринг — это специализация, которая основана на работе с данными. Под работой подразумевается хранение, доставка и обработка данных. Автоматизация процессов, связанных с данными, и их надежная инфраструктура — основные обязанности любого data инженера.

Несмотря на то, что работа с различными данными применяется во многих сферах, наибольшее применение она получила в разработке искусственного интеллекта (ИИ), машинном обучении, нейросетях и Big Data (большой пласт данных).

Кто такой Data инженер и чем занимается

Теперь можно переходить к тому, кто такой дата инженер. В любом проекте есть данные, и неважно что это: перечень клиентов в базе или алгоритмы машинного обучения. Всё это требуется хранить, обрабатывать и перемещать. Этим и занимается данный специалист, разрабатывая различные решения, используя прикладные программы, решения и среды обработки.

Так как сейчас количество данных значительно увеличилось по сравнению с предыдущим десятилетием, это напрямую сказалось на профессии. Помимо создания существенных SQL запросов и перемещения информации с помощью различных инструментов (Informatica ETL, Pentaho ETL, Talend), в список того, что должен уметь инженер данных, входит написание программного кода на Python, Java и знание облачных платформ.

Важно! SQL расшифровывается как язык структурированных запросов. Несмотря на свой большой “возраст”, он до сих пор является ключевым языком по работе с данными и используется во множестве современных хранилищ.

Компания, у которой в штате есть инженер по работе с данными, в целом функционирует быстрее и эффективнее, вне зависимости от сферы деятельности. Но важно учитывать, что инженеры часто работают в паре с сайентистами.

Различия между дата сайентистом

Зачастую профессию Data Engineer путают со смежной работой data scientist-ом. Но это не одно и то же.

Дело в том, что из-за различных требований в каждой компании и различий в представлении о профессиях, многие нанимают на должность сайентистом с требованиями как у инженера. Из-за подобного грань между сферами работы стирается, тем более что и инженер, и сайентист, в основном действуют в команде.

Если избежать технических аспектов, то главное различие заключается в том, что engineer работает с данными, собирая их, перемещая и обрабатывая, а scientist работает с уже собранными и перемещенными данными, анализируя их, изменяя и разрабатывая новые. То есть инженер работает над инфраструктурой данных, а сайентист именно с самими данными. Почти всегда данные, попавшие к сайентисту, уже обработаны инженером.

Цель обоих специалистов в том, чтобы упростить работу над данными и делать их максимально качественными. А вот второстепенные цели разные. Инженер создает схему (пайплайн) обработки и обслуживания данных, которую разрабатывает сайентист. А сайентист в свою очередь проверяет данные на различные гипотезы, улучшает и модифицирует их.

Инженеры данных более востребованы, чем сайентисты, а также в среднем зарабатывают больше денег. Это связано с тем, что область работы данного специалиста шире и может найти применение почти в любой сфере.

Достоинства и недостатки профессии

Эта редкая профессия подойдет далеко не всем. Люди бывают разные, поэтому и работа мечты у каждого своя. Один из наиболее эффективных способов понять, кто такой дата инженер и подходит ли данная сфера конкретному человеку, это ознакомиться с основными плюсами и минусами.

Список преимуществ:

• одна из самых высоких заработных плат;
• возможность работать как в офисе, так и удаленно;
• хороший специалист может работать в любой стране даже без знания местного языка;
• в отличие от других IT-профессий, нововведения в работе с данными появляются не так часто, а значит обучаться новому нужно реже;
• ближайшие годы в России и постсоветских странах будет дефицит хороших специалистов в данной профессии, а значит, начав работать дата инженером через год или два, можно быть у истоков;
• востребованы даже специалисты с начальными знаниями, не говоря уже о профессионалах;
• так как для изучения профессии нужно быть специалистом в нескольких средах, программах и языках программирования, очень легко сменить специальность и сразу устроиться на другую;
• если человек владеет хотя бы языком программирования Python, который считается одним из самых простых, то вход в профессию будет намного легче;
• в большинстве компаний сотрудникам в этой должности выдают абонементы в тренажерные залы и всячески помогают поддерживать здоровый образ жизни.

Основные недостатки:

• очень высокий порог входа;
• из-за обширной терминологии зачастую бывает даже трудно объяснить, чем конкретно занимается специалист, а значит новичкам будет сложно;
• исключительно сидячая работа;
• для обучения обязательно знать английский язык;
• разница между новичком и опытным специалистом огромная, так как прежде чем стать профессионалом, нужно потратить на обучение минимум год и затем оттачивать навыки;
• без знаний программирования быть профессионалом в этом деле невозможно;
• обязательно хорошее знание алгебры и информатики, иначе начинать придется с нулевой точки.

Не стоит обращать внимания на количество плюсов и минусов. Лучше вчитаться в каждый пункт и для себя выяснить, насколько подходит работа с данными.

Сколько зарабатывает Дата инженер

То, сколько получают дата инженеры, является одним из главных преимуществ профессии. В 2020 году такие специалисты в среднем зарабатывают от 80 до 350 тысяч рублей в России. Как видно, даже минимальная заработная плата довольно высокая, не говоря уже о средней и максимальной зарплате.

Такой широкий разброс объясняется опытом специалиста, различными обязанностями и местом работы. Очевидно, что работая в Google с огромными массивами данных, инженер будет получать намного больше, нежели в небольшой компании.

Заработная плата за границей выше. Если взять в пример США, то data engineer зарабатывает примерно 45 долларов в час. Сравнивая с зарплатой в России, в Америке можно зарабатывать в полтора-два раза больше. Конечно же, это относится к специалистам с опытом и знанием всех нужных инструментов и языков.

Работа и карьера

Чтобы получать высокую заработную плату, нужно устроиться в хорошую компанию (лучше международную), имея большой опыт.

Так как это специальность в сфере IT, то такие обычно поглощают с головой. Это значит, что если человек серьезно относится к профессии, скорее всего, он останется в ней на всю жизнь.

Востребованность инженера данных

Как уже упоминалось ранее, эта специализация очень востребована как в России, так и во всем мире. Прямо сейчас можно найти множество вакансий на сайтах по поиску работы. Причем нужны не только опытные сотрудники, но и новички. Кратко говоря, достаточно знать алгоритмы и структуры данных, а также SQL с Python, и устроиться на минимальную зарплату в 80-120 тысяч рублей вполне реально. К тому же обучаться новым навыкам параллельно работая значительно эффективнее, чем только учиться.

Требования и обязанности

Чтобы процесс поиска работы data инженеру был проще, стоит ознакомиться с наиболее встречающимися требованиями и обязанностями, которые выдвигают работодатели.

Список основных требований и обязанностей:

• великолепное знание SQL;
• владение стеком Haroop;
• владение языком программирования Python;
• понимание паттернов проектирования моделей различных баз данных;
• знание эффективных алгоритмов и структур данных;
• умение работы с R, Java, Scala:
• работа в Apache Kafka, HDFS, Apache Spark, Apache Cassandra;
• умение работы с облачными платформами Amazon Web Services, Google Cloud, Microsoft Azure;
• умение работы с масштабными кластерами данных;
• создание, структурирование и применение организации потоков данных (pipelines);
• навык написания скриптов с нуля и умение подключать API-системы.

Последние несколько требований встречаются лишь в вакансиях больших компаний, например, Mail.ru.

Дополнительно рекомендуем посмотреть график самых востребованных навыков:

Где искать работу

Главное, с чего начать data инженеру при поиске работы — найти подходящие вакансии. Это самый легкий этап, так как всё, что требуется, это перейти на один из крупных сайтов с вакансиями, зарегистрироваться в нем, создать или загрузить резюме и начать поиск работы. Самые популярные сайты это HeadHunter и Trud.

Советы по устройству на работу:

• откликаться на вакансию только в том случае, если вы подходите каждому требованию, даже тому, который кажется неважным;
• указывать в резюме и портфолио любые проекты, даже небольшие и бывшие частью обучения;
• если собеседование проходит с HR-менеджером, важно донести до него, что вы подходите по всем требованиям без частого использования терминов;
• так как здесь нет разделения на джунов, сеньоров и прочих, искать вакансию на сайтах нужно просто по названию профессии;
• обязательно пишите краткое и яркое сопроводительное письмо, в котором указано, почему вы хотите работать именно в этой компании и какую пользу можете принести.

Как стать дата инженером: пошагово

Можно стать data engineer-ом тремя способами: отучившись в ВУЗе, самостоятельно или на специализированных курсах. Важно понимать, что это длительный и нелегкий процесс, который требует высокой концентрации и отдачи, и скорее всего, придется совмещать несколько способов обучения.

Инструкция как стать инженером данных:

1. Сначала следует научиться таким вещам, как структуры данных и основные алгоритмы по работе с ними. Хорошее понимание и умение владеть двумя этими навыками, позволит понять принципы работы данных. Например, то, как в них хранится информация, как ее перемещать и как анализировать.
2. После понимания вышеперечисленных теоретических знаний, следует перейти к изучению языков программирования. В частности, SQL. Это обязательный этап, так как язык структурированных запросов встречается везде в данной профессии. Он нужен не только инженерам, но и сайентистам.
3. Далее наступает очередь изучения языка Python. Это еще один важный аспект для понимания профессии. К тому же, Пайтон изучается довольно легко по сравнению с другими языками программирования.
4. Затем надо освоить такие языки программирования, как R, Java, Scala.
5. Теперь следует разобраться с популярными средами для работы с большими данными. Это Apache Kafka, Hadoop, HDFS, Apache Spark (Scala), Apache Cassandra.
6. После уверенного владения языками программирования и решениями для Big Data, надо начать практическую работу. Лучше всего это делать в Apache Kafka и Spark. В это же время нужно научиться работать с облачными средами (Amazon Web Services, Google Cloud, Microsoft Azure).
7. Когда весь багаж знаний закреплен, важно научиться их применять. В частности, создавать пайплайны — системы для организации потоков данных. На данном этапе нужно понимать, как доставлять информацию, как ускорить этот процесс, и как внедрять различные модификации, которые увеличивают эффективность работы.
8. Обучение закончено, и лучший способ его закрепить — найти работу. В это же время стоит параллельно изучать новую информацию, чтобы повышать свой уровень квалификации.

Так как это IT-профессия, к новичкам здесь относятся очень дружелюбно. Если что-то непонятно или есть трудности в изучении материала, всегда можно обратиться к более опытным специалистам.

Где учиться на инженера данных

Обучение на data инженера — трудоемкий и длительный процесс. Эффективность обучения зависит не только от человека, но и от выбранного способа. Получить нужные знания можно в ВУЗе, на курсах и самому.

ВУЗы

К сожалению, в России нет ВУЗов со специализацией инженера данных. Можно изучить лишь часть знаний, которые нужны в профессии. Это языки программирования SQL, Java, Scala и Python. Им обучают на следующих специальностях: программирование, прикладная информатика; программная инженерия, вычислительная техника и программное обеспечение, информационная безопасность, математическое обеспечение и администрирование информационных систем.

Но есть несколько факультетов, в которых работе с данными уделяют особое внимание:

• Магистерская программа “Большие Данные” на факультете ВМиК МГУ;
• Факультет компьютерных наук в Высшей Школе Экономики;
• Магистерская программа по большим данным в СПБГУ;
• Факультет микроприборов и технической кибернетики МИЭТ;
• Факультет инноваций и высоких технологий в МФТИ.

После обучения в ВУЗе, доучиться на курсах или самостоятельно будет значительно проще.

Онлайн образование

Онлайн-школы и академии — самый простой и эффективный способ обучения. В них преподавателями выступают опытные специалисты, которые всегда готовы помочь советом.

Среди множества курсов можно выделить следующие:

1. Курс «Инженер данных» от Яндекс Практикума.

Продвинутая программа «Яндекса», обучение в которой происходит в собственной среде практикума. Курс создан для разработчиков, начинающих инженеров данных и специалистов по data science. Начать обучение можно, только зная SQL и Python.
На курсе студентов учат строить пайплайны, проектировать безопасные хранилища, масштабировать данные и настраивать мониторинг. Все знания и навыки закрепляются на практике с помощью актуальных инструментов: оркестрантов, контейнеров и BI-систем.

Длительность обучения — 6,5 месяца. Есть возможность оплаты частями и возврат денег за оставшуюся часть программы.

Ссылка на курс и подробная программа обучения: https://practicum.yandex.ru/data-engineer

2. Программа обучения от Нетологии

Длится целый год, с возможностью первого платежа через полгода после начала курса. В конце программы выдается диплом о профессиональной переподготовке.

Ссылка на обучение и информация о курсе: https://netology.ru/programs/data-engineer

3. Курс Data Engineer на SkillFactory

Продолжительность — 10 недель. Полное обучение с нуля до дипломного проекта. Есть возможность общения с другими учениками и преподавателями.

Ссылка на обучение и информация о курсе: https://skillfactory.ru/data-engineer

Каждый из вышеперечисленных курсов отличается от другого программой обучения. Рекомендуется ознакомиться с каждым вариантом и выбрать наиболее подходящий.

Самообразование

Есть возможность научиться профессии самому. Это самый сложный вариант, так как профессия инженера данных сложная и подразделяется на несколько специализаций. Из-за этого в сети не так много полноценных программ обучения и придется учиться отрывками, сначала изучая структуру данных, а затем языки программирования отдельно и т.д.

Ресурсы для самообучения:

• Учебное пособие по Data Engineering на сайте TProger;
• Бесплатный курс по алгоритмам и методам работы с ними на Stepik;
• Бесплатный курс по структурам данных на Stepik;
• Бесплатный курс с ознакомлением с SQL на английском языке;
• Введение в Data Engineering на Stepik, цена — 10 долларов;
• Плейлист на YouTube по работе с данными, на английском;
• Бесплатная программа по алгоритмам на Coursera;
• Продвинутое изучение баз данных, плейлист на YouTube;
• Вводный курс по Python на английском;
• Бесплатный вводный курс SQL на CodeAcademy;
• Короткий курс обучения компьютерной инженерии;
• Бесплатный курс по основам баз данных;
• Бесплатные материалы по обучению R на CodeAcademy;
• Бесплатный курс знакомства с Hadoop;
• Интерактивный учебник по основам алгоритмизации;
• Книга “Введение в статистическую теорию распознавания образов” от Фукунаги.
• Книга Introduction to Algorithms, автор E. Leiserson;
• Книга Machine learning авторства Tom M. Mitchell;

Как видно, в отличие от многих других IT-профессий, даже самообразование на инженера данных основано на курсах. Большинство из них на английском языке.

Полезные ссылки

Несколько полезных ресурсов:

• советы экспертов по изучению Big Data;
• подраздел на Habr, посвященный профессии;
• группа о машинном обучении в ВК;
• сайт, на котором можно научиться программированию и общаться с такими же людьми;
• портал по тестированию данных и систем.

Профессия инженера данных, пусть и сложная, но явно стоит того, чтобы ей обучиться. Если вы понимаете, что в силах это сделать, и такая работа порождает интерес, то вам нужно изучать это дело!

Расскажите в комментариях, что думаете о данной профессии. Вызвала ли она интерес? Кажется ли сложной для изучения? И конечно же, удачи в начинаниях!

Видео по теме