Lead Data Platform Engineer

Moscow, Russia4 days ago

from 400,000 RUB

per month

Details

Grade

Lead

Work format

Onsite, Hybrid

A cover letter for this job

An email or a Telegram message to the recruiter

About the role

The company is engaged in molecular genetic research in oncology, microbiology, immunology, infectious diseases, and the development of drugs and test systems. Work at the intersection of medicine, genetics, and IT.

Work in a fast-growing, stable organization that is not afraid of crises Team of professionals at the intersection of advanced IT and science

Responsibilities

Design a scalable, reliable, and performant architecture for a unified data platform Develop and maintain the platform's technical roadmap, synchronized with business goals and researchers' needs Analyze and ensure the scalability, reliability, and performance of key components Design and implement systems for orchestrating multi-stage data processing pipelines Develop key platform components: control panel, orchestrators, agents, API, SDK Create and develop self-service tools for data engineers and analysts Ensure multi-tenancy, access control, and audit logging Ensure data integrity, reliability, and security at all stages Optimize the use of computational and storage resources (capacity planning, performance benchmarking) Develop observability: monitoring, APM, alerting Formulate and implement technical standards for the platform team Systematize development processes, unify the stack and tooling Maintain technical documentation for platform services and architectural solutions

Requirements

Experience in designing horizontally scalable, fault-tolerant data-intensive systems on bare-metal/VM and/or in Kubernetes Understanding of architectural trade-offs and the ability to choose solutions for specific workloads Proficient in Python Experience in developing backend services and APIs using FastAPI Experience with pipeline orchestrators: Airflow, Dagster, and others Understanding of HTC/HPC systems Experience with distributed storage systems: Ceph (CephFS), S3-compatible storage Understanding of object and file storage for data-intensive workloads Experience in building CI/CD pipelines in GitLab Ability to make and argue for system architectural decisions Experience in forming technical standards: architectural principles, code review, engineering documentation, operational practices

Nice to have

Experience in Go development Deep understanding of Kubernetes: workloads, operators, network policies, security Experience with schedulers like Slurm Experience with Singularity/Apptainer containers Experience in the biotech/bioinformatics domain and understanding of workload specifics

Benefits

Work format: office in Moscow (hybrid possible after probation period) Salary Range: from 400,000 ₽ (discussed individually) Location and Citizenship: Moscow, Russian Federation Employment: Labor Code of the Russian Federation Employment according to the Labor Code of the Russian Federation Competitive salary, discussed individually based on skills Only modern equipment for workstations Opportunities for professional growth, training Schedule 5/2, office in Moscow, hybrid possible after probation period

Компания: CareeRoom Формат работы: офис в Москве (после испытательного срока возможен гибрид) Вилка ЗП: от 400 000 ₽ (обсуждается индивидуально) Локация и гражданство: Москва, РФ Оформление: ТК РФ Компания занимается молекулярно-генетическими исследованиями в онкологии, микробиологии, иммунологии, инфекционных заболеваниях, разработкой лекарств и тест-систем. Работа на стыке медицины, генетики и IT.

🗝 Задачи: Проектировать масштабируемую, надёжную и производительную архитектуру единой платформы данных Разрабатывать и сопровождать техническую дорожную карту платформы, синхронизированную с бизнес-целями и потребностями исследователей Анализировать и обеспечивать scalability, reliability и performance ключевых компонентов Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных Разрабатывать ключевые компоненты платформы: панель управления, оркестраторы, агенты, API, SDK Создавать и развивать self-service инструменты для дата-инженеров и аналитиков Обеспечивать мультитенантность, разграничение доступа и аудит-логирование Обеспечивать целостность, надёжность и безопасность данных на всех этапах Оптимизировать использование вычислительных и storage-ресурсов (capacity planning, performance benchmarking) Развивать observability: мониторинг, APM, алертинг Формировать и внедрять технические стандарты платформенной команды Систематизировать процессы разработки, унифицировать стек и инструментарий Вести техническую документацию по платформенным сервисам и архитектурным решениям

🔨 Требования (обязательные): Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes Понимание архитектурных компромиссов и умение выбирать решения под конкретные нагрузки Уверенное владение Python Опыт разработки бэкенд-сервисов и API с использованием FastAPI Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и другие Понимание HTC/HPC-систем Опыт работы с распределёнными системами хранения: Ceph (CephFS), S3-совместимыми хранилищами Понимание объектного и файлового хранения для нагрузок с интенсивной обработкой данных Опыт построения CI/CD-пайплайнов в GitLab Способность принимать и аргументировать системные архитектурные решения Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации

💫 Будет плюсом: Опыт разработки на Go Глубокое понимание Kubernetes: рабочие нагрузки, операторы, сетевые политики, безопасность Опыт работы с планировщиками типа Slurm Опыт работы с Singularity/Apptainer контейнерами Опыт в домене биотехнологий/биоинформатики и понимание специфики рабочих нагрузок

💎 Условия: Оформление по ТК РФ Достойный уровень з/п, обсуждается индивидуально в зависимости от навыков Работа в быстрорастущей, стабильной организации, которой не страшен кризис Команда профессионалов на стыке передовых ИТ и науки Только современное оборудование для рабочих мест Возможность профессионального роста, обучение График 5/2, офис в Москве, после испытательного срока возможен гибрид Отклик с резюме: с пометкой DATA.