Название: Инженер платформы данных
Местоположение: Кейптаун
О impact.com
impact.com — ведущая мировая платформа маркетинга партнерских отношений в сфере электронной коммерции, которая меняет способы роста бизнеса, позволяя обнаруживать, управлять и масштабировать партнерские отношения на протяжении всего клиентского пути. От аффилиатов и инфлюенсеров до контент-издателей, амбассадоров бренда и клиентских адвокатов — impact.com дает брендам возможность стимулировать измеримый рост за счет подлинных отношений. Его отмеченные наградами продукты — Performance (партнерский маркетинг), Creator (инфлюенсер-маркетинг) и Advocate (реферальные программы для клиентов) — объединяют все типы партнеров на одной интегрированной платформе. Поскольку потребители все чаще полагаются на рекомендации людей и сообществ, которым они доверяют, impact.com помогает брендам появляться там, где это наиболее важно. Сегодня более 5 000 мировых брендов, включая Walmart, Uber, Shopify, Lenovo, L’Oréal и Fanatics, полагаются на impact.com для поддержки более 225 000 партнерских отношений, которые приносят измеримые результаты для бизнеса.
Ваша роль в Impact:
Команда инженеров платформы данных Impact ищет инженера платформы данных, готового самостоятельно управлять производственными конвейерами и компонентами платформы в масштабах ТБ, обеспечивая надежную, безопасную и экономически эффективную доставку данных по мере роста бизнеса.
Вы будете проектировать и создавать масштабируемые пакетные и потоковые конвейеры, отвечать за надежность, производительность и SLO в своей области, а также полностью участвовать в дежурствах в качестве специалиста 2-й линии поддержки. Вы будете работать в группе аналитики данных (DAG), тесно сотрудничая с инженерами по аналитике, аналитиками данных, специалистами по данным и менеджерами по продуктам данных, хотя вы не будете отвечать за модели dbt, определения метрик или отчетность. Мы работаем с подходом «платформа как продукт»: платформа является внутренним продуктом с четкими интерфейсами, готовыми решениями и отличным пользовательским опытом для разработчиков, а успех измеряется производительностью команд, которые от нее зависят. Наш идеальный кандидат сочетает в себе солидный опыт инжиниринга распределенных систем с операционной зрелостью, четкой коммуникацией и привычкой наставлять тех, кто находится на ранних этапах своей карьеры. Эта должность подчиняется руководителю группы инженеров платформы данных и базируется в Кейптауне, с гибридным графиком работы (два дня в неделю в офисе).
Платформа:
Платформа имеет прочный фундамент: конвейеры на Scala и Spark, обрабатывающие данные масштаба ТБ, десятки управляемых коннекторов данных, Airflow на Astronomer для оркестрации, зрелый слой трансформации dbt и BigQuery в качестве основного аналитического хранилища данных. У вас также будет возможность формировать следующую главу платформы: модернизировать части вычислительного стека и создавать фреймворки управления, контракты данных, SLO, наблюдаемость, управление затратами и мониторинг качества данных в вашей области.
Что вы будете делать:
- Полная ответственность за область: Полная ответственность за компоненты платформы и область конвейеров, включая проектирование, реализацию, надежность, производительность и затраты. Проектирование и создание масштабируемых конвейеров ETL/ELT и потоковой передачи с использованием Spark/Dataproc, Kafka и Pub/Sub. Интеграция разнообразных источников в BigQuery и другие хранилища. Создание модульных, отказоустойчивых компонентов с гибкой эволюцией схемы.
- Настройка инфраструктуры и производительности: Конфигурирование и поддержка основной инфраструктуры платформы в виде кода, включая Dataproc, Kafka, Airflow/Astronomer, BigQuery и Cloud Storage. Оптимизация производительности и затрат посредством оптимизации запросов, секционирования и конфигурации ресурсов. Настройка потоковой передачи для пропускной способности и надежности.
- Надежность и реагирование на инциденты: Ответственность и отслеживание SLO по свежести, успешности и задержке. Внедрение мониторинга, оповещений и проверок качества данных. Участие в дежурствах в качестве специалиста 2-й линии поддержки, самостоятельное устранение неполадок и решение инцидентов.
- Безопасность, управление и самообслуживание: Внедрение безопасности и управления по дизайну, включая контроль доступа, секреты, шифрование, аудит журналов, отслеживание происхождения данных и политику хранения. Создание возможностей самообслуживания и готовых решений для инженеров по аналитике, аналитиков и специалистов по данным.
- Инженерное мастерство и документация: Написание чистого, хорошо протестированного кода с использованием CI/CD и текущих руководств и документации по архитектуре. Использование ИИ-помощников для написания кода при соблюдении тех же стандартов качества и ревью.
- Наставничество и коммуникация: Наставничество младших инженеров платформы данных посредством парного программирования и ревью кода. Четкое изложение компромиссов платформы и вклад в стандарты платформы и контракты данных.
Что у вас есть:
Предпочтительные требования:
- от 3 до 5 лет опыта работы в области платформы данных, инжиниринга данных или бэкенда/распределенных систем, включая управление производственными системами в масштабах ТБ или системами с жесткими соглашениями об уровне обслуживания (SLA), множеством последующих потребителей или требованиями соответствия.
- Отличное знание Python, плюс производственный опыт работы с языком JVM, с возможностью писать производственный код с надлежащей обработкой ошибок, журналированием и тестированием. Scala — наш основной язык для конвейеров: если вы еще не владеете им, вам потребуется огромное желание стать в нем сильным.
- Глубокое практическое знание либо пакетной обработки распределенных данных (Spark: DataFrames, Spark SQL, секционирование, перемешивание, отказоустойчивость), либо потоковой передачи (Kafka или Pub/Sub: продюсеры, потребители, темы, разделы, шаблоны потоковой обработки), с практическим знакомством с другим.
- Продвинутый SQL, включая сложные запросы, оконные функции, CTE и оптимизацию запросов.
- Опыт работы с оркестрацией рабочих процессов, такой как Airflow: планирование, зависимости, логика повторных попыток и координация рабочих процессов.
- Практическое владение основной облачной платформой, в идеале GCP (BigQuery, Dataproc, Cloud Storage, Pub/Sub).
- Солидные инженерные и операционные практики: Git, CI/CD, автоматизированное тестирование, ревью кода, мониторинг, оповещения и реагирование на инциденты, включая дежурства.
- Практика безопасности и управления в системах данных: контроль доступа, управление секретами, шифрование и проектирование по принципу наименьших привилегий.
- Четкая письменная и устная коммуникация для распределенной команды, плюс некоторый опыт или склонность к наставничеству менее опытных инженеров.
Желательные (преимущественные) требования:
- Инфраструктура как код (Terraform или аналог) и автоматизированное развертывание.
- Опыт миграции устаревших платформ больших данных на облачные альтернативы.
- Знакомство с dbt, Looker или концепциями семантического слоя, а также с оркестрацией dbt через Astronomer Cosmos.
- Функциональные шаблоны Scala (cats-effect и экосистема Typelevel) или опыт настройки JVM, такой как сборка мусора, управление памятью и пулы потоков.
- Инструменты наблюдаемости, такие как Grafana, Datadog или Cloud Monitoring.
- Опыт работы с Dataflow (Apache Beam), SingleStore или BigTable.
- Степень бакалавра в области компьютерных наук, инженерии, математики или смежной области является плюсом.
- Опыт работы в индустрии маркетинговых технологий в сфере цифровой рекламы является плюсом.
Льготы и бонусы:
В impact.com мы верим, что когда вы счастливы и удовлетворены, вы достигаете лучших результатов. Именно поэтому мы создали пакет льгот, который поддерживает ваше благополучие, рост и баланс между работой и личной жизнью.
- Гибкий график работы: Наша политика ответственного использования отпуска (Responsible PTO) означает, что вы можете взять столько времени отпуска, сколько вам нужно для отдыха и восстановления сил. Мы стремимся к позитивному балансу между работой и личной жизнью и обеспечиваем гибкую среду, которая позволяет вам быть счастливыми и удовлетворенными как в карьере, так и в личной жизни.
- Здоровье и благополучие: Ваше благополучие — наш приоритет. Наша льгота по психическому здоровью и благополучию включает до 12 полностью оплачиваемых сеансов терапии/коучинга в год, с дополнительным покрытием для иждивенцев. Мы также предлагаем ежемесячную компенсацию расходов на спортзал для поддержания вашего физического здоровья.
- Доля в нашем росте: Мы предлагаем ограниченные акции (RSU) в рамках нашей общей компенсации, давая вам долю в росте компании с 3-летним графиком вестинга, при условии одобрения советом директоров.
- Инвестиции в ваш рост: Мы стремимся к вашему постоянному обучению. Воспользуйтесь нашей бесплатной подпиской на Coursera и нашими курсами PXA.
- Поддержка родителей: Мы предлагаем щедрую политику отпуска по уходу за ребенком: 26 недель полностью оплачиваемого отпуска для основного опекуна и 13 недель полностью оплачиваемого отпуска для вторичного опекуна.
- Финансовая поддержка технологий: Мы предоставляем стипендию на технологии, чтобы помочь вам обустроить домашний офис, и ежемесячное пособие для покрытия расходов на интернет.
impact.com гордится тем, что является работодателем с равными возможностями. Все сотрудники и кандидаты получают справедливое отношение и равные возможности трудоустройства независимо от их расы, этнического происхождения, цвета кожи или касты, религии или убеждений, возраста, пола (включая гендерную идентичность, смену пола, сексуальную ориентацию, беременность/материнство), национального происхождения, веса, нейроотличий, инвалидности, семейного положения, статуса опекуна, статуса ветерана, генетической информации, политических убеждений или других запрещенных факторов, не связанных с заслугами.
