Senior Data Engineer

Проектирование и создание масштабируемых облачных платформ данных от нуля до продакшена Проектирование и внедрение конвейеров приема данных в режиме, близком к реальному времени, с использованием событийно-ориентированных паттернов Определение и обеспечение соблюдения стандартов платформы данных, включая принципы Data Lake/Lakehouse, архитектуру медальона и контракты данных Рефакторинг, оптимизация и модернизация скриптов Spark и PySpark для повышения производительности и удобства сопровождения Внедрение лучших практик качества кода, тестирования и CI/CD для конвейеров данных Продвижение использования инструментов ИИ и агентских рабочих процессов в команде инженеров данных Обеспечение качества данных, наблюдаемости и надежности конвейеров и платформ Проектирование и предоставление инструментов самообслуживания и микросервисов, абстрагирующих сложность платформы Прямое взаимодействие с научными и инженерными командами Заказчика Мониторинг производительности платформы, надежности и затрат на облачную инфраструктуру.

5+ лет опыта в области инженерии данных 3+ года производственного опыта работы с Databricks и Delta Lake Глубокие знания архитектуры медальона и проектирования событийно-ориентированных асинхронных конвейеров Продвинутое владение Python, PySpark и SQL Глубокий практический опыт работы с Databricks, включая Unity Catalog, Databricks Jobs/Workflows и оптимизацию заданий Глубокие знания AWS, включая S3, IAM, KMS и сервисы, такие как AWS Batch, ECR, EventBridge, Lambda или API Gateway Опыт работы с инфраструктурой как кодом и CI/CD с использованием Terraform и Databricks Asset Bundles Практический опыт работы с Git workflows, обзором pull request и автоматизированным тестированием Опыт настройки безопасных CI-конвейеров с использованием OIDC или service principals Практический опыт работы с MLflow, включая отслеживание экспериментов, регистрацию моделей и практики воспроизводимости Глубокое понимание качества данных, их происхождения, контрактов схемы и версионирования Опыт работы с фреймворками качества данных, такими как Great Expectations, Soda, pyDeequ или Databricks Labs DQX Опыт работы с мониторингом, наблюдаемостью и оптимизацией затрат на облачные ресурсы. Уровень английского языка Upper-Intermediate или выше.

БУДЕТ ПЛЮСОМ Опыт упаковки рабочих нагрузок в Docker-контейнеры и выполнения пакетных заданий на AWS Знакомство с инструментами оптимизации экспериментов, такими как scikit-optimize, BoTorch, Ax и scipy Опыт создания наборов признаков и разделения на обучающую/тестовую выборки, избегающих утечки данных Опыт работы в регулируемых или высокозащищенных средах, включая требования к местоположению данных Опыт отключения или ограничения функций ИИ в защищенных средах.

ЛИЧНОСТНЫЙ ПРОФИЛЬ Сильное аналитическое мышление Ответственность и подотчетность Способность четко излагать сложные технические концепции Проактивный подход к решению проблем Внимание к масштабируемости и удобству сопровождения Коллективный и командно-ориентированный настрой.

Присоединяйтесь к амбициозной deep-tech инициативе, формирующей будущее чистой энергетики. Мы ищем старшего инженера данных для проектирования и масштабирования облачных платформ данных для новаторской компании в области термоядерной энергетики, работающей над первым в мире коммерческим лазерным термоядерным реактором. На этой должности вы будете работать над новыми проектами по инженерии данных, создавать конвейеры, близкие к реальному времени, и модернизировать крупномасштабную инфраструктуру данных с использованием технологий Databricks и AWS. В Sigma Software мы создаем возможности для работы над инновационными глобальными проектами, где технологии напрямую влияют на будущее науки и устойчивого развития. Эта роль предлагает возможность внести свой вклад в прорывные исследования, одновременно продвигая инженерное совершенство, автоматизацию и внедрение ИИ в экосистему платформы данных.

ЗАКАЗЧИК Наш Заказчик — немецко-американская deep-tech компания, строящая первый в мире коммерческий лазерный термоядерный реактор. Компания разрабатывает технологию прямой лазерной термоядерной реакции и коммерциализирует прорыв 2021 года в Лоуренсской национальной лаборатории, где ученым впервые удалось достичь термоядерного зажигания.