Senior Data Engineer

Заголовок: Senior Data Engineer Местоположение: Тель-Авив, Израиль Отдел: Данные и аналитика

О Nebius:

Nebius возглавляет новую эру в облачной инфраструктуре для глобальной экономики ИИ. Мы создаем полнофункциональную облачную платформу ИИ, которая поддерживает разработчиков и предприятия от данных и обучения моделей до развертывания в производственной среде, без затрат и сложности создания крупной внутренней инфраструктуры ИИ/МО.

Создано инженерами для инженеров. От крупномасштабной оркестровки GPU до оптимизации инференса, мы решаем сложные задачи в области вычислений, хранения данных, сетевых технологий и прикладного ИИ.

Внесена в список Nasdaq (NBIS) и со штаб-квартирой в Амстердаме, мы имеем глобальное присутствие с R&D-центрами по всей Европе, Великобритании, Северной Америке и Израилю. В нашей команде из более чем 1500 человек сотни инженеров с глубокими знаниями в области аппаратного, программного обеспечения и исследований и разработок в области ИИ.

Роль

Nebius ищет Senior Data Engineer, который помимо создания и владения конвейерами данных будет также руководить проектированием и техническим лидерством в команде инженеров данных.

Это практическая роль инженера данных, ориентированная на проектирование, внедрение и поддержание надежных потоков данных для аналитики и машинного обучения. Инфраструктура, облачные технологии и Kubernetes используются только как инструменты для надежного и экономически эффективного запуска конвейеров — это не роль SRE или инженера платформы.

Вы можете работать в наших офисах в Тель-Авиве, Израиль.

Ваши обязанности будут включать:

Основные обязанности (основной фокус)

• Проектирование, создание и владение производственными конвейерами данных с использованием Python и SQL.
• Разработка без состояния, идемпотентных конвейеров, устойчивых к повторным попыткам, сбоям и прерываниям инфраструктуры.
• Реализация преобразований данных, валидации и проверок качества данных.
• Оптимизация конвейеров для производительности, надежности и экономической эффективности.
• Тесное сотрудничество с командами Analytics, Data Science и ML для предоставления доверенных наборов данных.

Поддерживающая инфраструктура (вторичный фокус)

• Оркестрация конвейеров с использованием фреймворка оркестрации рабочих процессов (например, Airflow или эквивалента).
• Упаковка и запуск рабочих нагрузок данных с использованием Docker и их развертывание на Kubernetes.
• Использование авто масштабирования и Spot / Preemptible compute для эффективного выполнения конвейеров.
• Создание автоматизации CI/CD для конвейеров данных.
• Использование Infrastructure as Code только для предоставления и управления инфраструктурой, необходимой для запуска конвейеров.

Мы ожидаем, что у вас есть:

• 8+ лет опыта работы в качестве Data Engineer, в основном ориентированного на создание конвейеров данных.
• 6+ лет практического опыта работы с Python и SQL.
• 3+ года опыта работы с Kubernetes.
• Глубокое понимание проектирования систем без состояния и идемпотентной обработки данных.
• Опыт создания и эксплуатации конвейеров данных в облачных средах.
• Опыт работы с фреймворками оркестрации рабочих процессов.
• Прочные основы Linux и навыки отладки в производственной среде.
• Рабочее знание английского языка (устного и письменного)

Дополнительным плюсом будет, если у вас есть:

• Опыт участия или обширная работа с открытым исходным кодом.
• Опыт создания конвейеров данных с использованием Apache Spark или аналогичных фреймворков распределенной обработки.
• Опыт создания конвейеров данных, поддерживающих рабочие процессы машинного обучения.
• Знакомство с оптимизированной по затратам обработкой данных (например, Spot / Preemptible compute).
• Опыт работы с реляционными и нереляционными хранилищами данных.
• Опыт работы с крупномасштабными или высоконадежными системами данных.
• Опыт сотрудничества с сильными командами Data Science и ML.

Преимущества и бонусы:

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и владение
• Совместная и инновационная культура
• Возможность работать над влиятельными проектами ИИ
• Международная среда и талантливые команды

Каково это — работать в Nebius:

Быстрый темп - Смелое мышление - Постоянный рост - Значимое влияние - Доверие и реальное владение - Возможность формировать будущее ИИ

Заявление о равных возможностях:

Nebius является работодателем, предоставляющим равные возможности. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и предоставлять равные возможности трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, происхождения, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или самовыражения, или любой другой характеристики, защищенной применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которую они подают заявление, и должны будут предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам требуются какие-либо приспособления в процессе подачи заявки, пожалуйста, сообщите нам.