Big Data Infrastructure Engineer

Как инженер по инфраструктуре больших данных в команде Big Data Platform, вы будете отвечать за инфраструктуру больших данных в нашем международном контуре и станете ее техническим лидером. Вы будете развертывать, обновлять и эксплуатировать основные сервисы платформы: HDFS, объектное хранилище, совместимое с S3 (Apache Ozone), Iceberg и другие. Вы начнете с помощи в проведении пилотного проекта по инфраструктуре, который изменит способ использования платформы: небольшое количество очень больших наборов данных превратится в тысячи небольших таблиц. Вы введете квоты на вычисления и хранилище для бизнес-подразделений, переведем нас с каталога Iceberg по умолчанию на более функциональный (Lakekeeper или Gravitino) и перестроим мониторинг и оповещение, чтобы оповещения снова обрели смысл. Вы будете тесно сотрудничать с инженером, который управляет тем же стеком в параллельном контуре. Вы будете делиться подходами и решениями с ним и подменять друг друга. Наша инфраструктура работает на последних версиях всего, и мы активно заменяем устаревшие инструменты. Эта роль подходит опытному инженеру, который хочет реального владения и большого влияния на архитектуру.

Требования

• Опыт проектирования, развертывания и эксплуатации платформ больших данных более 5 лет.
• Практический опыт работы с HDFS / Hadoop: развертывание, обновление версий, устранение неполадок.
• Практический опыт развертывания и эксплуатации объектных хранилищ, совместимых с S3. Apache Ozone — идеальный вариант, но решения MinIO или аналогичные также подходят.
• Опыт работы с Apache Iceberg.
• Опыт настройки мониторинга и оповещения для инфраструктуры данных.
• Английский язык B2.
• Возможность работать в часовом поясе GMT+3 (разница до 3 часов).

Желательно

• Опыт работы с Trino, Kafka или Flink.
• Опыт работы с REST-каталогами Iceberg (Lakekeeper, Gravitino, Polaris или аналогичные).
• Опыт настройки квот на ресурсы и распределения затрат в многопользовательской платформе данных.
• Практическое использование инструментов ИИ, таких как Copilot или агенты, для ускорения вашей работы.

Преимущества

• Гибкий график и возможность работать удаленно.
• Амбициозная и поддерживающая команда, которая любит свое дело, ценит друг друга и растет вместе.
• Структурированное введение в должность, индивидуальный план развития и регулярные внутренние лекции и демонстрации от команды.
• Внутренние программы адаптации и обучения, развития soft skills и лидерских качеств.
• Частичная компенсация участия во внешних тренингах и конференциях.
• Корпоративная школа английского языка: групповые и индивидуальные занятия, разговорные клубы с коллегами со всего мира.
• Корпоративные скидки на отели и туристические услуги.
• MyTime Day Off — дополнительный нерабочий день без потери компенсации.