Инженер данных
Мы ищем Инженера данных в команду Core Data Platform, чтобы совместно создавать и развивать централизованную платформу данных, используемую командами по всей компании. На этой должности вы будете отвечать за создание масштабируемых механизмов интеграции данных из различных исходных систем, разработку общих компонентов и стандартов платформы, а также обеспечение высокого качества, надежности и согласованности данных.
Обязанности
- Ежедневное внедрение, обслуживание и поддержка хранилища MS SQL Server, процессов и заданий SSIS.
- Проектирование, создание и поддержка масштабируемых конвейеров обработки данных с использованием SQL, Python и Apache Spark / PySpark.
- Работа с необработанными данными и разработка методов их интеграции в платформу данных.
- Разработка конвейеров CI/CD для решений по инжинирингу данных.
- Создание и поддержка решений Infrastructure as Code.
- Интеграция платформы данных с другими системами и приложениями.
- Участие в принятии архитектурных решений и определении стандартов разработки.
- Проведение обзоров кода, документирование решений и обмен знаниями с членами команды.
Требования
- Минимум 3 года опыта работы инженером данных или на аналогичной должности в области разработки программного обеспечения.
- Минимум 1 год опыта работы с технологиями MS SQL Server, SSIS и SQL Server Agent, включая внедрение новых функций.
- Анализ существующего устаревшего кода для улучшения и переноса на более новые технологии.
- Гибкость для включения в проект, ориентированный на Databricks, в определенный момент сотрудничества.
- Владение Python и способность писать чистый, тестируемый производственный код.
- Практический опыт работы с Apache Spark.
- Продвинутые навыки SQL (оптимизация запросов на больших наборах данных).
- Глубокое понимание принципов проектирования хранилищ данных и моделирования данных.
- Практическое знание процессов ETL/ELT.
- Знакомство с качеством данных, мониторингом и надежностью конвейеров.
- Опыт работы с реляционными базами данных, включая понимание их работы, моделирования данных и оптимизации.
- Понимание стандартов REST и gRPC для системной интеграции.
- Опыт работы с инструментами оркестрации рабочих процессов (например, Airflow, Dagster или аналогичными).
- Знание принципов построения и обслуживания конвейеров CI/CD.
- Сильные навыки аналитического решения проблем и внимание к деталям.
- Эффективные коммуникативные навыки и способность к сотрудничеству в команде.
- Открытость к обучению и изучению новых технологий и методологий.
Приветствуется
- Опыт работы с dbt.
- Опыт работы с Kafka, Pub/Sub или другими системами потоковой передачи событий.
- Опыт создания конвейеров близких к реальному времени / реального времени.
- Опыт работы с инструментами Infrastructure-as-Code.
- Понимание CDC (Change Data Capture) и интеграции данных из транзакционных систем.
- Опыт работы с Databricks или другими платформами lakehouse.
Что мы предлагаем
- Реальное влияние на развитие компании и продукта.
- Работа в опытной команде, которая охотно делится знаниями.
- Четкое видение развития благодаря регулярной обратной связи и ясным карьерным путям.
- Регулярные командные мероприятия.
Льготы
- Бюджет на обучение курсам и конференциям, которые вас интересуют.
- Дополнительный выходной в день рождения.
- Дополнительный выходной для родителей.
- Оборудование, адаптированное к вашим потребностям.
- Частная медицинская страховка и групповое страхование.
- Доступ к платформе электронного обучения для изучения английского языка и к платформе льгот.
- Доступ к платформе благополучия и возможность воспользоваться семинарами и частными консультациями.
- Удаленная работа, из офиса в Варшаве или из коворкинга в вашем городе.
