AWS Data Engineer (Senior)

Mactores — это нативная для агентов компания по модернизации AWS. Большая часть работы по модернизации не завершается, она застревает на пилотных проектах, задерживается на год или обходится втрое дороже бюджета. Мы существуем для того, чтобы доводить ее до конца: запускать производственные системы, выводить из эксплуатации устаревшие, измерять результаты. Наша доставка основана на Aedeon, платформе агентов, созданной сестринской компанией основателей Mactores, которая поглощает повторяющиеся 60–70% работы по привлечению клиентов, исследованию, картированию зависимостей, проверке, генерации тестов, на которые традиционный консалтинг выставляет счета по человеко-часам. Инженеры, развернутые в первую линию, отвечают за остальное: архитектуру, принятие решений и переход, в сроки, которые мы фиксируем в контракте.

Это старшая роль в нашем направлении модернизации платформ данных: консолидация и миграция инфраструктуры данных клиентов в AWS за недели, а не кварталы, при значительно более низкой стоимости привлечения, чем традиционный консалтинг в области данных. Клиенты обращаются к нам после того, как программа данных остановила конвейеры, которым никто не доверяет, хранилища, на которых никто не запускает новые рабочие нагрузки, модернизацию, которая привела к появлению диаграмм вместо производственных систем. Aedeon обрабатывает автоматическое обнаружение источников, сопоставление схем, извлечение зависимостей и параллельную проверку. Вы отвечаете за то, что не могут агенты: целевую архитектуру, решения по модели данных, проектирование конвейеров в реальных условиях и вызовы, которые обеспечивают безопасный переход. Вы будете создавать с помощью PySpark и SQL на EMR и Glue, моделировать для Redshift, Snowflake, Athena и Presto, оркестрировать с помощью Airflow, и ваша работа будет доходить до производства, а не до слайд-презентации.

Что вы будете делать? Создавать и поддерживать конвейеры данных на Amazon EMR или Amazon Glue, которые работают в производственной среде. Проектировать модели данных и запросы конечных пользователей на Amazon Redshift или Snowflake, Amazon Athena и Presto. Создавать и поддерживать оркестрацию конвейеров с помощью Airflow. Работать с клиентами и внутренними командами для понимания потребностей в данных и проектирования решений, которые им соответствуют. Устранять неполадки и оптимизировать конвейеры и модели данных до тех пор, пока они не выдержат реальную нагрузку. Писать и поддерживать скрипты PySpark и SQL для извлечения, преобразования и загрузки данных. Документировать и сообщать о технических решениях техническим и нетехническим аудиториям — клиенты утверждают то, что мы запускаем. Отслеживать новые технологии данных AWS и оценивать их влияние на системы, которые мы обслуживаем.

Кого мы ищем? Степень бакалавра в области компьютерных наук, инженерии или смежной области. Более 3 лет опыта работы с PySpark и SQL. Более 2 лет опыта создания и поддержки конвейеров данных с использованием Amazon EMR или Amazon Glue. Более 2 лет опыта в области моделирования данных и запросов конечных пользователей с использованием Amazon Redshift или Snowflake, Amazon Athena и Presto. Более 1 года опыта создания и поддержки оркестрации конвейеров с использованием Airflow. Сильные навыки решения проблем и устранения неполадок. Отличные коммуникативные навыки и навыки сотрудничества. Способность работать самостоятельно и в команде.

Предпочтительно, если у вас есть: Сертификат AWS Data Analytics Specialty Опыт работы с методологией гибкой разработки (Agile)

Как мы работаем Мы работаем по модели с прямым развертыванием. Старшие инженеры встраиваются в команду клиента, отвечают за результаты от исследования до производства и лично несут ответственность за выполнение обязательств по доставке в фиксированные сроки, при этом Mactores берет на себя расходы по превышению бюджета из-за задержек, находящихся под нашим контролем. Aedeon обеспечивает масштабируемость; вы — суждения. Это означает, что меньшая часть вашей недели уходит на инвентарные таблицы и ручную проверку, а большая — на архитектуру, моделирование данных и стратегию перехода. Работа полностью удаленная. Культура непринужденная и избегает жестких корпоративных привычек. Мы измеряем себя тем, что запускается.

Жизнь в Mactores

Мы заботимся о создании культуры, которая действительно меняет жизнь каждого макторианца. Наши 10 основных принципов руководства, которые чтят принятие решений, лидерство, сотрудничество и любознательность, определяют, как мы работаем.

1. Будь на шаг впереди
2. Обеспечивай лучшее
3. Будь смелым
4. Уделяй внимание деталям
5. Наслаждайся вызовом
6. Будь любопытным и действуй
7. Бери на себя лидерство
8. Бери ответственность
9. Обеспечивай ценность
10. Будь командным игроком

Путь к присоединению к команде Mactores В Mactores наш процесс найма структурирован вокруг трех отдельных этапов:

Предварительная оценка: Серия оценок ваших технических знаний и пригодности для должности.

Интервью с менеджером: Нанимающий менеджер проведет с вами несколько собеседований, каждое продолжительностью от 30 минут до часа, охватывающих технические навыки, практический опыт, лидерский потенциал и коммуникацию.

Обсуждение с HR: Во время этой 30-минутной сессии у вас будет возможность обсудить предложение и дальнейшие шаги с членом команды HR.

Mactores предоставляет равные возможности во всех аспектах трудоустройства. Мы не дискриминируем по признаку расы, религии, пола, национального происхождения, возраста, инвалидности, семейного положения, военного статуса, генетической информации или любой другой категории, защищенной федеральными, государственными и местными законами. Это относится ко всем аспектам трудовых отношений, найму, компенсации, продвижению по службе, переводам, дисциплинарным взысканиям, увольнениям, обучению, а также к социальным и развлекательным программам.

Примечание: Пожалуйста, ответьте на как можно больше вопросов в этой заявке, чтобы ускорить процесс найма.