Задачи:
Разработка и поддержка конвейеров данных:
- Модификация существующих функций Lambda, SQL-запросов и jobs для добавления новых функций.
- Рефакторинг кода для приема/обработки внешних данных.
- Добавление проверок качества к существующим конвейерам.
Проектирование и оптимизация моделей данных:
- Проектирование моделей данных с использованием формата Iceberg для уровней "silver" и "gold".
- Оптимизация запросов для повышения производительности.
Обеспечение качества и управления данными:
- Применение правил валидации данных.
- Создание автоматизированных проверок качества.
Документация и обмен знаниями:
- Четкое документирование процесса подготовки данных, включая преобразования, комментарии к коду и ключевые решения.
- Хранение всего кода в GitLab с осмысленными сообщениями коммитов и надлежащим версионированием кода и наборов данных.
Что мы ищем:
Проектирование и реализация Data Engineering
- 4–6 лет опыта работы инженером данных (Data Engineer).
- Подтвержденный опыт проектирования и построения масштабируемых, надежных и поддерживаемых конвейеров данных.
- Знакомство с практиками CI/CD, автоматизированного тестирования и Infrastructure as Code.
- Сильные навыки разработки конвейеров данных на Python (или эквивалент) с опытом применения Test-Driven Development и практик AI-assisted coding.
- Глубокие знания в области моделирования данных и проектирования схем, включая аналитические модели и масштабируемые, поддерживаемые структуры данных.
- Знакомство с DBT (Core или Cloud), включая модульные SQL-трансформации, моделирование данных, тестирование, документирование и управление зависимостями.
Оркестрация, качество и надежность
- Знакомство с инструментами оркестрации конвейеров, такими как Airflow.
- Понимание observability данных, мониторинга, восстановления после сбоев и надежности конвейеров.
Облачные технологии и оптимизация производительности
- Глубокие знания SQL, включая сложные запросы, оптимизацию производительности и аналитическое моделирование данных.
- Знание оптимизации таблиц Iceberg, запросов Athena и рабочих нагрузок Spark для повышения производительности и экономической эффективности.
- Практический опыт работы с сервисами AWS, включая Athena, Lambda, Aurora, EventBridge, Glue и SageMaker.
Soft skills
- Четкая, краткая коммуникация с инженерами, продуктовыми командами и заинтересованными сторонами, работающими с данными.
- Прагматичный подход: баланс между инженерной строгостью и достижением результатов.
- Чувство ответственности.
- Свободное владение английским языком.
Мы предлагаем:
- Стабильная занятость. На рынке с 2008 года, более 1800 специалистов в настоящее время работают в 7 глобальных офисах.
- Модель "Офис как опция". Вы можете работать удаленно или в офисе.
- Workation. Наслаждайтесь работой из вдохновляющих мест в соответствии с нашей политикой workation.
- Работодатель, сертифицированный Great Place to Work®.
- Гибкость в отношении рабочего времени и предпочтительной формы контракта.
- Комплексная онлайн-программа адаптации с "Бадди" с первого дня.
- Сотрудничество с ведущими инженерами и экспертами.
- Неограниченный доступ к платформе обучения Udemy с первого дня.
- Сертификационные программы обучения. Специалисты Lingarian ежегодно получают более 500 технологических сертификатов.
- Поддержка в повышении квалификации. Программы развития компетенций, центры компетенций, сессии по обмену знаниями, вебинары сообщества, более 110 возможностей для обучения ежегодно.
- Растите вместе с нами. 76% наших менеджеров — это внутренние продвижения.
- Разнообразное, инклюзивное сообщество, основанное на ценностях.
- Автономия в выборе способа работы. Мы доверяем вашим идеям.
- Создаем наше сообщество вместе. Приглашайте своих друзей, чтобы получать бонусы.
- Мероприятия для поддержки вашего благополучия и здоровья.
- Множество возможностей для пожертвований на благотворительность и поддержки окружающей среды.
- Современное офисное оборудование. Приобретается для вас или доступно для аренды, в зависимости от вашего местоположения.
