Data Principal Engineer

Takealot.com, ведущий онлайн-ритейлер Южной Африки, ищет высококвалифицированного Principal Data Engineer, который присоединится к нашей команде в Кейптауне. Мы — молодая, динамичная, быстрорастущая компания, ищем умных, креативных, трудолюбивых людей с безупречной репутацией! Думаете, вас раньше не бросали вызов? Подумайте еще раз! Масштаб: 4 миллиона довольных покупателей совершают покупки онлайн на takealot.com. Покажите им, на что вы способны. Обучение: Мы работаем с лучшими из лучших, и даже больше. Пишите код бок о бок с лидерами отрасли и повышайте квалификацию в рекордно короткие сроки. Рост: Расширьте свою карьеру в быстрорастущей Takealot Group: takealot.com, Mr D и TFS. Мы любим продвигать сотрудников изнутри: вот ваш шанс. Назначение роли: Наша платформа данных и аналитики является основой операционной деятельности Takealot Group, от логистики и цепочек поставок до аналитики распределительных центров и продуктов монетизации данных. Она быстро росла, и бизнесу все больше требуются оперативные данные в реальном времени, для которых наша исторически пакетно-ориентированная платформа не была предназначена. В качестве Principal Data Engineer вы являетесь высшим техническим авторитетом в области данных, не занимающим руководящих должностей. Задача: упростить экосистему, построить слой данных в реальном времени, который теперь нужен бизнесу, установить технические стандарты, на которых работает программа управления данными Группы, и разработать автоматизацию, которая позволит управлять управлением и операциями платформы по мере роста Группы. Вы оставите после себя архитектуру, которую команда сможет понять, развивать и которой будет гордиться. Это трансформирующая роль с поддержкой руководства, прямым влиянием на бизнес и реальной автономией в принятии ответственных технических решений. Это формализованный, высокоуровневый индивидуальный этап в нашей технической карьерной лестнице, долгосрочное место для сильных инженеров, которые хотят продолжать технически расти, не переходя на управление людьми.

Архитектура экосистемы и упрощение платформы: Создать окончательный, актуальный мастер-план архитектуры данных Группы, источников, потоков, моделей, сопоставлений KPI и использовать его для продвижения структурированной программы упрощения; сокращения избыточной инженерии и технического долга, стандартизации технологических решений между командами и ускорения создания новых продуктов данных. Обеспечение операционной деятельности в реальном времени: Логистика, цепочки поставок и операции распределительных центров требуют более быстрого доступа к оперативным данным, чем наш текущий пакетно-ориентированный склад. Разработать и построить событийно-ориентированный слой данных в реальном времени, который отделяет эти системы от исторического хранилища отчетов, обеспечивая более быструю и точную оперативную аналитику по всей Группе. Стандарты управления данными и документация: Установить и владеть техническими стандартами, которые лежат в основе программы управления данными Группы. Определение стандартов качества данных, требований к документированию происхождения данных и практик управления данными, и их интеграция в рабочие процессы спринтов как обычная инженерная практика. Работа с центральными экспертами (Data Engineering, Analytics Engineering, BI, DataOps) для преобразования существующей инженерной практики в формальные стандарты Группы. Создание и поддержка централизованного репозитория архитектуры как единого источника истины Группы для того, как данные перемещаются по экосистеме. Учитывая масштаб, сотни систем в 15-20+ бизнес-подразделениях. Это поэтапное создание: первые 90 дней должны привести к созданию структуры репозитория и первых нескольких наиболее приоритетных доменов, с полным охватом, растущим в течение следующих кварталов. Поддержание актуальности стандартов и документации по мере эволюции платформы. Обеспечение ИИ, интеграция и платформа автоматизации: Определить технические меры безопасности, которые позволяют командам безопасно внедрять инновации: контракты данных, средства контроля безопасности и конфиденциальности, модели управления моделями и четкие стандарты для интеграции автоматизации в операции по обработке данных. Владеть выравниванием платформы для потребления ИИ, чтобы BigQuery, Dataform и Looker предоставляли данные, которые инструменты ИИ и помощники могут использовать надежно и безопасно: документированные схемы, семантические слои, контракты данных, согласованные шаблоны доступа. Руководить планированием интеграции инструментов ИИ на платформе, безопасными, хорошо управляемыми шаблонами подключения для ИИ-агентов, в соответствии с Политикой данных ИИ Группы. Разработать и построить автоматизацию, которая позволяет управлять управлением и операциями платформы по мере роста Группы, автоматизированное измерение зрелости на основе метаданных платформы (охват тегов классификации, полнота происхождения данных, охват тестов Dataform, полнота документации Looker), инструменты автоматической регистрации и ИИ-ассистированные помощники, которые сокращают ручную работу по обеспечению взаимодействия по всей Группе. Техническая адаптация, обучение и передача знаний: Заменить фрагментированное, ориентированное на курсы обучение на структурированный учебный план и руководства по эталонной архитектуре, адаптированные для разных уровней навыков (инженерия, аналитика, BI). Разработать специализированные модули технического обучения, охватывающие архитектуру и стандарты, и внести вклад в обучение по многоуровневому управлению Группы. Успех здесь означает, что команда может работать, не полагаясь на знания одного человека. Техническое лидерство и наставничество: Как ведущий индивидуальный автор в области данных, вы участвуете в разрешении разногласий по дизайну, устраняете самые сложные межфункциональные проблемы и устанавливаете инженерные стандарты для дивизиона. Если техническая рекомендация конфликтует с приоритетами доставки команды, окончательное решение принимает ответственный менеджер, ваша задача — представить наиболее сильный технический аргумент для этого решения. Вы обучаете и наставляете старших инженеров и инженеров уровня Staff, консультируете директора по инженерии по стратегии платформы и управления, а также вносите вклад в матрицу карьерного развития в области технологий для отдела.

Предпочтительно наличие степени бакалавра в области компьютерных наук, инженерии, информационных систем или смежной области; эквивалентный продемонстрированный опыт в таком масштабе и на таком уровне будет рассматриваться вместо формальных квалификаций. Минимальный требуемый опыт: Более 8 лет опыта в области обработки данных, в том числе не менее 3 лет на уровне Principal или Architect в сложной, крупномасштабной среде. Опыт проектирования и внедрения крупномасштабных платформ данных: lakehouse/warehouse, потоковая передача событий в реальном времени, фреймворки для приема данных. Опыт руководства упрощением платформы или сокращением технического долга, а не только созданием с нуля. Опыт внесения технических стандартов в формальную программу управления данными (знакомство с DMBOK — плюс). Практический опыт работы с инфраструктурой для ИИ или машинного обучения: витрины признаков, конвейеры развертывания моделей, контракты данных, мониторинг отклонений. Опыт интеграции инструментов ИИ/LLM (помощники, агенты, RAG) с платформой данных, шаблоны доступа, семантические слои и контракты данных, которые позволяют инструментам ИИ безопасно использовать данные. Опыт создания автоматизации или внутренних инструментов, панелей мониторинга, скриптов, помощников, которые сокращают ручную операционную работу. Технические навыки: Глубокое знание GCP, особенно BigQuery и Dataform. Значительный опыт работы с фреймворками потоковой обработки (Kafka, Pub/Sub или эквивалент). Твердое владение объектно-ориентированным и событийно-ориентированным моделированием данных; практический опыт работы с Looker/LookML. Опыт работы с Infrastructure as Code (Terraform или эквивалент) и CI/CD для конвейеров данных. Сильный Python и SQL; знакомство с фреймворками трансформации в стиле dbt и инструментами оркестровки. Понимание обязательств POPIA, применимых к обработке данных и управлению ими. Архитектура и управление: Способность создавать понятную документацию по архитектуре: диаграммы потоков данных, ADR, технические планы, руководства по адаптации. Опыт проектирования для аудита, отслеживания происхождения данных и соответствия требованиям. Уверенность в оценке компромиссов между разработкой и покупкой и стандартизации технологий между командами. Лидерство и коммуникация: Уверенность в выполнении роли окончательного технического авторитета в области данных — установлении стандартов, принятии решений, вовлечении команд. Опыт консультирования старших заинтересованных сторон и преобразования технических компромиссов в бизнес-термины. Искренняя заинтересованность в росте окружающих через наставничество и обмен знаниями. Прагматизм: понимание того, что лучшая архитектура — это та, которую команда может реально поддерживать. Технологический стек (надолго): ReactJS, Python, Scala, Kotlin, Swift, Google Cloud, Kafka, Redis, Kubernetes и все, что связано с машинным обучением. Если вы это создадите, они придут.

Сила в ваших руках: Мы предлагаем рыночный пакет общего вознаграждения, который обеспечивает полную гибкость в соответствии с вашими потребностями. Дерзайте, будьте хозяином своей судьбы. Никаких дверей: Мы не любим душные офисы или разобщенные рабочие среды. Видите кого-то, кто вам нравится? Дайте пять, сотрудничайте и создавайте что-то великое. Удаленная работа: Любите непринужденные беседы у кулера и работу из дома? Takealot.com предлагает гибридную модель работы для лучшего из обоих миров. Программа наставничества: Мы не шутим, когда говорим, что побеждают люди с лучшими людьми. Теперь у вас есть шанс стать одним из лучших, учась у лучших. Naspers Tech Community и онлайн-обучение: Делитесь идеями и развивайтесь вместе с мировыми лидерами отрасли, которые находятся всего в одном сообщении Slack. Любите учиться? Повысьте свою квалификацию, получив бесплатный доступ к курсам на MyAcademy, Udacity, Coursera и другим. Хорошее времяпрепровождение: познакомьтесь с другими выдающимися умами takealot.com во время регулярных социальных мероприятий и выездных мероприятий (подумайте о походах, мини-гольфе, просто о хорошем времяпрепровождении). Скидка для сотрудников: миллионы товаров в 28 отделах. Что еще можно желать? Отпуск в день рождения: День торта полностью. Наслаждайтесь выходным — вы этого заслуживаете. Правильные инструменты, правильная работа: вы будете работать с последними технологиями, самыми последними технологиями. Помощь, когда она вам больше всего нужна: конфиденциальное консультирование, юридическая поддержка и финансовое руководство, бесплатно, в любое время и в любом месте. Бесплатная парковка: больше никаких 5-километровых пробежек до рабочего места (если вы сами этого не захотите).