We use cookies to run the site and count visits. "Got it" also allows session recording.
Lamoda Tech
1 month ago
Grade
Senior
Experience
3-6 years
Work format
Remote, Hybrid
Employment
Full-time
An email or a Telegram message to the recruiter
Lamoda Tech Senior Big Data Engineer (Data Platform)
-Develop and improve the market's best next-generation e-commerce data platform -Design and develop ETL pipelines on Airflow for Spark (Batch, Streaming), Iceberg, Trino -Optimize existing Spark pipelines and jobs - monitor cluster load and job resource efficiency, and optimize if necessary -Interact with analysts and ML specialists to create/deploy tools and datasets that meet their use cases - maintain regular communication with data ops for data platform development -Analyze and implement data engineering tools (Lineage, DQ) -Design data warehouses based on k8s, configure performance, monitoring, plan cluster capacity and other infrastructure - consider what and how to load and in which partitions -Solve problems related to cloud infrastructure implementation - develop new storage architecture -Conduct code reviews and participate in architectural decisions for the data platform within the team
Work Experience: 3–6 years -Kubernetes - understanding of the resource model, configuration viewing, troubleshooting -Experience with Hadoop (HDFS, Hive Metastore) -Experience with Spark (Spark SQL, streaming, understanding of PySpark nuances) -Apache Iceberg – proficiency in procedures, snapshots, maintenance -Deep understanding of Airflow (2, 3) – idempotency, assets, backfills -Proficient knowledge of Git, CI/CD -Python, Scala/Java – OOP, library design, integration/unit tests -Good understanding of DBMS, SQL
-Experience with Docker (proficient in setting up a local project environment) -Experience with Kafka – understanding architecture and weaknesses -Experience with cloud technologies: primarily Yandex Cloud -Experience with ClickHouse -AI-native approach to development: active use of Claude Code / Codex and similar tools, experience building harness systems — agents with tools, automation via LLM, RAG
Full-time employment Schedule: 5/2 Work format: remote or hybrid
Lamoda Tech Senior Big Data Engineer (Data Platform) Опыт работы: 3–6 лет Полная занятость График: 5/2 Формат работы: удалённо или гибрид
☑️ Чем предстоит заниматься -Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения -Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino -Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать -Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы -Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ) -Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях -Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища -Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде
☑️ Наши пожелания к кандидатам -Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting -Опыт работы с Hadoop (HDFS, Hive Metastore) -Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark) -Апache Icberg – владение процедурами, snapshots, maintenance -Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills -Уверенное знание Git, CI/CD -Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты -Хорошее понимание СУБД, SQL -Будет плюсом: -Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта) -Опыт работы с Kafka – понимание архитектуры и слабых мест -Опыт с облачными технологиями: преимущественно Yandex Cloud -Опыт с ClickHouse -AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG
Контакты:
We compare skills, grade, work format and salary
Most often 312,000 to 485,000
