Senior Data Engineer

Местоположение: Варшава / pl / Удаленно

Разрабатывать и создавать масштабируемые облачные платформы данных от начального этапа до продакшена Разрабатывать и внедрять конвейеры приема данных в режиме, близком к реальному времени, с использованием событийно-ориентированных паттернов Определять и обеспечивать соблюдение стандартов платформы данных, включая принципы Data Lake и Lakehouse, архитектуру Medallion и контракты данных Рефакторить, оптимизировать и модернизировать скрипты Spark и PySpark для повышения производительности и поддерживаемости Внедрять лучшие практики по качеству кода, тестированию и CI/CD в конвейеры данных Способствовать внедрению инструментов ИИ и агентских рабочих процессов в команде Data Engineering Обеспечивать качество данных, наблюдаемость, масштабируемость и надежность всех платформ и конвейеров Разрабатывать и поставлять инструменты самообслуживания и микросервисы, упрощающие использование платформы Сотрудничать с кросс-функциональными заинтересованными сторонами, включая команды Product, Machine Learning и Data Science Вносить вклад в принятие архитектурных решений и инициативы в области технических исследований и разработок

5+ лет профессионального опыта в Data Engineering Сильные навыки разработки на Python и SQL Практический опыт работы с Apache Spark и PySpark, включая оптимизацию запросов и настройку производительности Опыт работы с Databricks или Snowflake Практический опыт работы с как минимум одним из основных облачных провайдеров, таких как Azure, AWS или GCP Опыт работы с технологиями потоковой обработки, включая Kafka или Spark Structured Streaming Глубокое понимание паттернов ETL/ELT, моделирования данных и концепций хранилищ данных Опыт работы с инструментами оркестрации, такими как Apache Airflow или Azure Data Factory Знание инструментов Infrastructure as Code, включая Terraform Понимание производственных систем, включая наблюдаемость, масштабируемость, надежность и производительность Способность самостоятельно руководить техническими инициативами от концепции до реализации Сильные коммуникативные навыки и навыки сотрудничества Английский язык на уровне Upper-Intermediate или выше

БУДЕТ ПЛЮСОМ Знакомство с проектированием конвейеров RAG и паттернами интеграции LLM Знание фреймворков и инструментов управления данными, таких как Unity Catalog или Apache Atlas Опыт работы с dbt для трансформации и моделирования данных Знакомство с MLflow, Feature Stores или интеграциями ML-платформ

ЛИЧНЫЙ ПРОФИЛЬ Проактивный и самостоятельный склад ума Сильное аналитическое и архитектурное мышление Способность работать самостоятельно и брать на себя ответственность за технические решения Страсть к инновациям и современным инженерным практикам Подход, ориентированный на обмен знаниями и командную работу Сильные навыки решения проблем

Мы ищем Senior Data Engineer, который присоединится к нашей команде Data Engineering и возьмет на себя ответственность за инициативы высокой важности, связанные с новыми разработками в области данных. Вы будете работать над созданием современных облачных платформ данных, миграцией локальных устаревших систем в облако и закладыванием архитектурного фундамента для инфраструктуры данных, готовой к ИИ. В этой роли вы будете тесно сотрудничать с командами Machine Learning, Data Science и Product, выступая в качестве ключевого технического специалиста и лидера мнений. Вы также будете способствовать усилиям в области исследований и разработок, связанных с агентскими архитектурами ИИ, событийно-ориентированными системами и конвейерами данных, готовыми к LLM, превращая архитектурные концепции в производственные решения.