DVT — ведущая компания в области технологического консалтинга и разработки программного обеспечения, поставляющая инновационные решения по всей Африке и на международном уровне. Мы сотрудничаем с клиентами для решения сложных бизнес-задач с помощью разработки программного обеспечения, облачных платформ, данных, искусственного интеллекта и цифровой трансформации. Наши команды сочетают глубокие технические знания с сильным консалтинговым мышлением для создания измеримой бизнес-ценности.
Наше направление Data Practice ищет опытного Data Engineering Lead для проектирования, создания и управления архитектурой данных и технологий, лежащей в основе наших инициатив в области Data Science, Machine Learning, Generative AI и agentic AI. Вы предоставите инженерные возможности, необходимые для перехода аналитических решений и решений в области ИИ от этапа экспериментов к безопасным, масштабируемым, готовым к производству сервисам.
Эта практическая роль технического лидера сочетает владение архитектурой, поставку инженерных решений и координацию инженерных ресурсов с основным упором на создание архитектуры на базе Azure, используемой командой, включая управляемые конвейеры данных между нашей средой данных AWS и платформами Data Science и AI на базе Azure.
Ключевые обязанности:
- Определять и поддерживать целевую архитектуру инжиниринга данных для рабочих нагрузок Data Science и AI, включая подготовку данных, развертывание моделей, приложения GenAI и рабочие процессы agentic.
- Разрабатывать архитектуру и шаблоны интеграции для переноса данных из AWS в среду Azure Data Science, сотрудничая с командами IT, Data Platform, Cloud и Security.
- Владеть поставкой инженерных решений по работе с данными, создавая повторно используемые конвейеры, преобразования и кураторские наборы данных, а также стандартизированные фреймворки для приема, преобразования, оркестрации и публикации.
- Определять подход к повторно используемым функциям и продуктам данных, включая возможности feature-store, отслеживание происхождения данных, версионирование и мониторинг.
- Сотрудничать с Data Scientists и инженерами для создания производственных MLOps и LLMOps возможностей, включая развертывание моделей, версионирование, мониторинг и переобучение.
- Обеспечивать фундамент инжиниринга данных для решений Generative AI и agentic AI, включая прием, сегментацию, индексацию и управление корпоративной информацией.
- Обеспечивать соответствие решений в области данных и ИИ стандартам управления, конфиденциальности, ответственного ИИ, безопасности и качества данных.
- Обеспечивать техническое руководство Data Engineers, поддерживающими портфель Data Science, и преобразовывать дорожную карту в приоритетный план инжиниринга и архитектуры.
- Создавать практики мониторинга, операционной поддержки, управления инцидентами и оптимизации затрат, а также выступать в качестве основного технического связующего звена с командами архитектуры, инфраструктуры, кибербезопасности и управления.
Основные необходимые опыт и квалификация
- Доказанный опыт работы на руководящей должности (более 7 лет) в области инжиниринга данных, архитектуры и облачных платформ.
- Степень в области компьютерных наук, информационных систем, инжиниринга данных, разработки программного обеспечения, математики или смежной области.
- Сертификация Microsoft Azure и/или AWS в области архитектуры или инжиниринга является преимуществом.
- Значительный практический опыт работы с сервисами Microsoft Azure для данных и ИИ (например, Azure Data Factory, Azure Functions, Azure Storage, Azure Machine Learning) и опыт интеграции данных между средами AWS и Azure.
- Опыт создания и эксплуатации производственных конвейеров данных (пакетных, инкрементальных, потоковых или на основе API) с практиками оркестрации данных, автоматизированного тестирования, мониторинга и развертывания.
- Опыт поддержки команд Data Science, machine learning или AI, включая внедрение MLOps или возможностей развертывания моделей.
- Сильные навыки Python и SQL, с опытом работы в области моделирования данных и фреймворков преобразования.
- Опыт работы с системой контроля версий на базе Git, конвейерами CI/CD и Infrastructure as Code.
- Опыт работы с командами по управлению данными, информационной безопасности и корпоративной архитектуре, а также опыт руководства технической реализацией или координации инженеров.
Дополнительный опыт
- Опыт работы с Microsoft Fabric, Synapse Analytics или Databricks.
- Опыт работы с сервисами AWS, такими как S3, Glue, Athena, Redshift, Lambda или SageMaker.
- Опыт создания или поддержки feature stores, model registries и платформ отслеживания экспериментов.
- Опыт работы с технологиями контейнеризации, оркестрации, а также реляционными, документными, векторными или аналитическими базами данных.
- Знакомство с практиками FinOps и оптимизации облачных расходов.
Важно знать
Это практическая руководящая роль в области Data Engineering и Cloud Architecture, интегрированная в функцию Data Science и AI, а не чисто операционная роль в области инфраструктуры или платформы. Основное внимание уделяется созданию архитектуры данных, конвейеров и инженерных основ, которые обеспечивают поставку решений в области Data Science, ML и AI.
