Ведущий инженер по данным AWS
Модифицировать существующие функции Lambda, SQL-запросы и задания по обработке для добавления новых функций
Рост через разнообразие, равенство и инклюзивность. Как этичная компания, мы поступаем правильно — в том числе обеспечивая равные возможности и создавая безопасную, уважительную рабочую среду для каждого из нас. Мы верим, что разнообразие стимулирует как личный, так и деловой рост. Мы стремимся построить инклюзивное сообщество, где все наши сотрудники процветают, независимо от их происхождения, идентичности или других личных характеристик.
Задачи:
- Модифицировать существующие функции Lambda, SQL-запросы и задания по обработке для добавления новых функций
- Рефакторинг кода для приема/обработки внешних данных
- Добавление проверок качества в существующие конвейеры
- Проектирование моделей данных с использованием формата Iceberg для слоев "silver" и "gold"
- Оптимизация запросов для повышения производительности
- Применение правил проверки данных
- Создание автоматизированных проверок качества
- Четкое документирование процесса подготовки данных, включая трансформации, комментарии к коду и ключевые решения
- Хранение всего кода в GitLab с осмысленными сообщениями коммитов и правильным версионированием кода и наборов данных
Что мы ищем:
- 4–6 лет опыта работы в качестве инженера по данным
- Подтвержденный опыт проектирования и создания масштабируемых, надежных и поддерживаемых конвейеров данных.
- Знакомство с практиками CI/CD, автоматизированного тестирования и Infrastructure as Code.
- Сильные навыки разработки конвейеров данных на основе Python (или эквивалентных), с опытом применения Test-Driven Development и практик кодирования с помощью ИИ.
- Глубокие знания в области моделирования данных и проектирования схем, включая аналитические модели и масштабируемые, поддерживаемые структуры данных.
- Знакомство с DBT (Core или Cloud), включая модульные SQL-трансформации, моделирование данных, тестирование, документацию и управление зависимостями.
- Знакомство с инструментами оркестровки конвейеров, такими как Airflow.
- Понимание концепций data observability, мониторинга, восстановления после сбоев и надежности конвейеров.
- Глубокие знания SQL, включая сложные запросы, оптимизацию производительности и аналитическое моделирование данных.
- Знания по оптимизации таблиц Iceberg, запросов Athena и рабочих нагрузок Spark для повышения производительности и экономической эффективности.
- Практический опыт работы с сервисами AWS, включая Athena, Lambda, Aurora, EventBridge, Glue и SageMaker.
- Четкая, краткая коммуникация с инженерами, продакт-менеджерами и заинтересованными сторонами, работающими с данными.
- Прагматичный подход: баланс между инженерной строгостью и эффективностью выполнения задач.
- Чувство ответственности
- Свободное владение английским языком
Не хватает одного или двух из этих квалификационных требований? Мы все равно хотим услышать от вас! Если вы принесете позитивный настрой, мы предоставим среду, в которой вы будете чувствовать себя ценным и уверенным в обучении и росте.
Мы предлагаем:
- Стабильная занятость. На рынке с 2008 года, более 1800 специалистов в настоящее время работают в 7 глобальных филиалах.
- Модель «Офис как опция». Вы можете работать удаленно или в офисе.
- Workation. Наслаждайтесь работой в вдохновляющих местах в соответствии с нашей политикой workation.
- Работодатель, сертифицированный Great Place to Work®.
- Гибкость в отношении рабочего времени и предпочтительной формы контракта.
- Комплексная онлайн-программа онбординга с «Бадди» с первого дня.
- Сотрудничество с ведущими инженерами и экспертами.
- Неограниченный доступ к платформе обучения Udemy с первого дня.
- Сертификационные программы обучения. Сотрудники Lingarian ежегодно получают более 500 сертификатов по технологиям.
- Поддержка в повышении квалификации. Программы развития способностей, центры компетенций, сессии обмена знаниями, вебинары сообщества, более 110 возможностей обучения ежегодно.
- Растите вместе с нами, по мере роста компании. 76% наших менеджеров — это внутренние продвижения.
- Разнообразное, инклюзивное и ценностно-ориентированное сообщество.
- Автономия в выборе способа работы. Мы доверяем вашим идеям.
- Создавайте наше сообщество вместе. Приводите друзей, чтобы получать бонусы.
- Мероприятия для поддержки вашего благополучия и здоровья.
- Множество возможностей для пожертвований на благотворительность и поддержки окружающей среды.
- Современное офисное оборудование. Приобретается для вас или доступно для аренды, в зависимости от вашего местоположения.
