US Software Solutions — компания по разработке программного обеспечения, ориентированная на предоставление цифровых технологий для секторов коммунальных услуг, телекоммуникаций, энергоэффективности, возобновляемых источников энергии и газо/электроэнергетики. Благодаря команде, состоящей исключительно из экспертов в своей области, мы готовы курировать любой проект, независимо от его сложности и масштаба.

Senior Data Engineer, ответственный за создание и управление хранилищем данных компании и инфраструктурой отчетности. Эта роль обеспечивает надежный сбор, преобразование и хранение данных из различных систем и API в PostgreSQL, а также их подготовку для точной и эффективной отчетности Power BI. Короче говоря: команда отвечает за весь конвейер данных от исходных систем до финального уровня отчетности, обеспечивая качество данных, производительность, надежность и удобство сопровождения.

График работы: Понедельник - Пятница с 14:00 до 22:00

• Управление конвейерами загрузки данных из исходных систем в хранилище: извлечение, стажировка, преобразование, публикация.

• Проектирование модели хранилища — уровни, гранулярность, стратегия инкрементальной загрузки, историзация, обработка изменений.

• Написание и оптимизация значительного объема SQL; логика преобразования и производительность уровня отчетности находятся там.

• Создание и поддержка Airflow DAGs с корректным планированием, зависимостями, повторными попытками, идемпотентностью и возможностью обратного заполнения.

• Интеграция новых источников, внутренних и сторонних.

• Гарантия качества данных — сверка с источниками, валидация и оповещение в случае некорректной загрузки, а не только в случае сбоя.

• Сотрудничество с командой BI по семантическому уровню и производительности отчетов; проектирование вышестоящих моделей, упрощающих отчетность.

• Улучшение удобства сопровождения конвейеров, тестирования и наблюдаемости.

• Установление стандартов в области инженерии данных и наставничество других.

• Опыт работы в сфере инженерии данных или бэкенд-разработки с сильным фокусом на данные — более 6 лет.

• Опыт работы с Python и производственными версиями Airflow — проектирование DAG, семантика планирования, идемпотентные задачи, обратное заполнение, отладка сбоев в реальном времени.

• Экспертное владение SQL в PostgreSQL: сложные аналитические запросы, планы выполнения и понимание причин замедления.

• Прочные знания в области моделирования хранилищ данных — концепция размерного моделирования, медленно меняющиеся измерения, гранулярность и инкрементальные шаблоны.

• Опыт создания инкрементальной загрузки из REST API: пагинация, ограничения частоты запросов, повторные попытки, опоздавшие данные.

• Практический подход к обеспечению качества данных — сверка, валидация, конвейеры, которые «громко» сообщают об ошибках, а не молча.

• Рабочее знание Power BI и стека Microsoft BI; достаточное для моделирования под него и для отладки медленного или некорректного отчета.

• Контейнеры и CI/CD; способность управлять своими конвейерами в производственной среде.

• Опыт выпуска производственного кода с использованием инструментов AI-кодирования и критический взгляд, который приходит с этим.

• Свободное владение русским языком — инженерное сотрудничество происходит на русском языке.

• Профессиональный английский для документации.

• Четкое техническое письмо; вы можете документировать модель так, чтобы аналитик мог использовать ее, не обращаясь к вам.

Желательно:

• dbt или сопоставимая структура преобразования данных.

• Инструменты для обеспечения качества данных — Great Expectations, Soda или аналогичные.

• Spark, или колоночные и MPP хранилища.

• Финансовая и операционная отчетность.

• Конкурентоспособный пакет заработной платы;

• Участие в международной, динамичной рабочей среде;

• Профессиональное развитие (семинары, курсы);

• Оплачиваемые выходные (PTO), такие как больничные и отпускные дни;