Компания: Arenadata ☑️Обязанности: -Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров; -Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов; -Проектирование архитектуры модулей и коннекторов; -Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных; -Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты; -Составление архитектурных документов и технических записок по принятым решениям; -Защита и обоснование архитектурных и технических решений; -Участие в code review; -Ревью пользовательской и технической документации по продуктам;

☑️Опыт работы: -От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными; -Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров; -Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive; -Понимание принципов распределённого хранения и вычислений; -Опыт работы с различными СУБД от 3 лет;

☑️Профессиональные знания, умения и навыки: -Знание внутреннего устройства Apache Airflow: архитектура, scheduler, executor-ы (Celery, Kubernetes), plugin-система, API провайдеров; -Понимание архитектуры dbt Core: жизненный цикл выполнения, система адаптеров, протокол взаимодействия с источниками, Jinja-компиляция, манифест и артефакты; -Уверенное владение Python 3; -Опыт разработки коннекторов/драйверов к СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC; -Знание принципов устройства и функционирования операционных систем семейства Linux; -Опыт работы с Git; -Понимание принципов непрерывной интеграции и непрерывной доставки (CI/CD); -Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes; -Декомпозиция задач разработки и умение оценивать трудозатраты;

☑️Будет плюсом -Опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры); -Опыт разработки собственных dbt-адаптеров под нестандартные источники. **Контакты: **career@arenadata.io