Гибрид
IT & Data Development
Позиция
Ищем Senior Data Engineer с сильным Python- и SQL-бэкграундом, который умеет проектировать надежные data pipelines, работать с большими объемами данных и самостоятельно принимать технические решения.
Задачи
- Разрабатывать и поддерживать data pipelines и DAG-процессы в Airflow
- Готовить данные для аналитических и бизнес-задач
- Работать с ClickHouse и MySQL, оптимизировать запросы и анализировать планы их выполнения
- Интегрироваться с сервисами партнеров и внешними источниками данных через API и FTP
- Проектировать и разрабатывать микросервисы для обработки данных
- Работать с высоконагруженными системами, обрабатывающими терабайты данных
- Участвовать в развитии архитектуры и самостоятельно предлагать технические решения для повышения производительности и масштабируемости
Требования
- 5+ лет коммерческого опыта разработки на Python
- Знание SQL и опыт оптимизации запросов
- Опыт работы с ClickHouse и/или MySQL
- Опыт проектирования Python-фреймворков и библиотек, профилирования и оптимизации производительности
- Опыт разработки и работы с OLAP-системами
- Практический опыт с Airflow, Pandas, Kafka и/или RabbitMQ
- Опыт получения и обработки данных из API и FTP
- Опыт работы с Docker и Kubernetes
- Самостоятельность в поиске и выборе технических решений
- Умение понимать бизнес-контекст задач и эффективно взаимодействовать с командой
Бенефиты
- Highload-продукты, обрабатывающие десятки тысяч запросов в секунду и работающие на аудиторию 100M+ пользователей по всему миру
- Медицинская страховка в странах присутствия компании
- Годовой бюджет $2 000 после испытательного срока на медицинское страхование, изучение языков и занятия спортом
- Частичная компенсация профессионального обучения, курсов и участия в профильных конференциях
- Доступ к корпоративной электронной библиотеке
- Еженедельные онлайн-консультации с психологом за счет компании
- Возможность релокации в страны присутствия офисов компании с релокационной поддержкой после ИС
