Senior Data Engineer

Название: Старший инженер данных Местоположение: Кампинас, Бразилия

О нас AB InBev — ведущая мировая пивоваренная компания и одна из 5 крупнейших в мире компаний по производству потребительских товаров. Имея более 500 брендов пива, мы занимаем первое или второе место на многих ведущих рынках пива мира, включая Северную Америку, Латинскую Америку, Европу, Азию и Африку. О AB InBev Growth Group Созданная в 2022 году, Growth Group объединяет наши команды по работе с бизнес-клиентами (B2B), прямым продажам клиентам (DTC), продажам и дистрибуции, а также маркетингом. Объединяя глобальные технологические и коммерческие функции, Growth Group позволяет нам в полной мере использовать данные и способствовать цифровой трансформации и органическому росту AB InBev по всему миру. Что вы будете делать: Отвечать за технический дизайн и реализацию модели данных для бизнес-домена BEES. Начинать с бизнес-намерения и существующих источников данных, и создавать авторитетные определения для сущностей, активов, атрибутов, отношений, идентификаторов и уровня детализации. Анализировать исходные системы и таблицы Unity Catalog (уровень детализации, ключи, кардинальность, пересечение, нулевые значения и способ получения столбцов) и решать, какие источники могут обеспечить надежное представление бизнеса. Создавать и развивать каноническую логическую модель домена и канонические наборы данных, включая идентификаторы, отношения и кардинальность. Сопоставлять атрибуты с физическими столбцами, документируя трансформации, возможность наличия нулевых значений и происхождение данных, чтобы потребители могли доверять результату. Проектировать результаты управления основными данными для домена, включая разрешение сущностей: подход к сопоставлению, блокирующие ключи, обработку дубликатов, межсистемную идентификацию и определение выживших записей при расхождении источников. Определять расширенные ожидания по качеству данных для модели (уникальность на заявленном уровне детализации, ссылочная целостность, полнота, достоверность, согласованность между источниками, сверка и актуальность), а также вносить вклад в Руководство и Инструменты по качеству данных, чтобы эти ожидания стали исполняемыми проверками и мониторингом. Формировать модель для ее потребителей. Основными потребителями являются специалисты по данным и аналитики данных. Эта же модель питает последующие продукты данных, такие как обработанные таблицы, метрики и таблицы признаков, со стабильным уровнем детализации и документированной семантикой. Вносить вклад в кодовую базу онтологии: пакеты Python, SQL и Spark в Databricks, контракты определений YAML, классификация сущностей, сопоставления с учетом происхождения данных и тесты. Проверять pull requests по моделям, сопоставлениям и изменениям наборов данных, соответствующих онтологии. Управлять жизненным циклом сущностей и атрибутов: создание, изменение, разделение, переименование, устаревание и вывод из эксплуатации, предоставляя рекомендации по совместимости и четкие инструкции для потребителей. Эскалировать конфликты между доменами или споры о владении, когда требуется более широкое согласование. Наставлять инженеров в команде посредством обзора дизайна, совместной работы по анализу источников и практической поддержки. Что вам потребуется: Старший опыт работы в качестве инженера данных, аналитика данных или на любой эквивалентной должности, связанной с данными, который разработал концептуальные и логические модели данных из операционных исходных систем в сложной бизнес-среде. Опыт преобразования неоднозначного бизнес-контекста и несовершенных данных в модель с явными сущностями, уровнем детализации, ключами, отношениями и кардинальностью, которую фактически используют последующие команды. Практический опыт управления основными данными, включая разрешение сущностей: детерминистическое и вероятностное сопоставление, блокировка, обнаружение дубликатов, правила золотой записи или выживших записей, а также идентификация между системами. Расширенная техника обеспечения качества данных. Вы разработали и применяли проверки уникальности, ссылочной целостности, достоверности, полноты, согласованности, сверки и своевременности, и видели, как они выявляли реальные дефекты до того, как их обнаружили потребители. SQL, Python или система контроля качества в рабочей среде. Традиционная инженерия данных: рабочие SQL (соединения, агрегации, оконные функции), шаблоны пакетной ELT и достаточное знание PySpark или Spark SQL для анализа источника и прототипирования унифицированного набора данных в Databricks. Способность вносить вклад в кодовую базу Python: изменять существующий пакет, добавлять тест и проводить pull request через процесс проверки. Наш стек: Python 3.11+, Databricks (Unity Catalog и Delta), SQL и контракты YAML в Git. Опыт работы с системами каталогов или метаданных, сопоставления бизнес-атрибутов с физическими таблицами и столбцами, отслеживания происхождения данных и контрактов данных между поставщиками и потребителями. Опыт проверки моделей и кода других инженеров, а также наставничества посредством обратной связи по дизайну и документации. Сотрудничество в GitHub или Azure DevOps, включая проверку изменений от внешних команд. Четкая письменная и устная коммуникация с бизнес-стейкхолдерами, специалистами по данным и аналитиками данных. Определения должны быть понятны без встреч. Степень бакалавра в области компьютерных наук, инженерии, информационных систем или другой количественной области, или эквивалентный практический опыт. Приятно иметь: Соответствующий опыт управления данными и их регулирования: бизнес-словари, критически важные элементы данных, управление, стандарты именования и сертификация наборов данных. Команда обучит лексике онтологии. Предыдущий опыт работы с Azure Databricks или Unity Catalog. Опыт подготовки данных для специалистов по данным или аналитиков: уровень детализации признаков, уровень детализации метрик, медленно меняющиеся атрибуты или правильность данных на определенный момент времени. Опыт классификации сущностей, сопоставления схем или обнаружения дубликатов в большом наборе таблиц. Предыдущий опыт работы в компании, занимающейся маркетплейсами, B2B или B2C. Подробнее о вас: Вы отвечаете за модель для своего домена после ее выпуска: вы отвечаете на вопросы потребителей и меняете определение, когда данные или бизнес показывают, что оно неверно. Вы доверяете модели после того, как посмотрели на данные, и можете показать уровень детализации, ключ и источник определения. Вы заботитесь о том, чтобы специалист по данным или аналитик данных мог использовать сущность, не занимаясь обратной инженерией исходной системы. Вы относитесь к идентификаторам, правилам сопоставления и уровню детализации как к продуктовым решениям, потому что неправильный ключ нарушает качество, метрики и последующие продукты одновременно. Вы пишете определения, сопоставления и ожидания по качеству, которые другой инженер может реализовать. Вы повышаете планку посредством проверок, документации и практического наставничества. Вы балансируете срочность поставки с совместимостью, когда сущность, которую потребители уже используют, должна быть изменена. Что мы предлагаем • Бонус по результатам работы* • Бонус за посещаемость* • Частный пенсионный план • Пособие на питание • Неформальная обстановка в офисе и дресс-код • Выходные дни* • Планы медицинского, стоматологического и страхования жизни • Скидки на медикаменты • Партнерство с WellHub • Помощь по уходу за детьми • Скидки на продукцию Ambev* • Партнерство Clube Ben • Стипендиальная программа* • Поддержка школьных принадлежностей • Платформы для изучения языков и обучение • Транспортные расходы Применяются правила Равные возможности и позитивные действия: AB InBev Growth Group гордится тем, что является работодателем, предоставляющим равные возможности и применяющим позитивные действия. Мы не дискриминируем по признаку расы, цвета кожи, национального происхождения, пола, гендерной идентичности, сексуальной ориентации, статуса ветерана, инвалидности, возраста или других применимых законодательно защищаемых характеристик. Следующие поля необязательны, но ожидаются для вашей регистрации Помните: ваши данные никогда не будут использованы в качестве критериев отбора в процессах отбора. С их помощью AB InBev Growth Group может анализировать разнообразие и сокращать предвзятость в процессах отбора. Мы хотим способствовать изменению этой реальности, будучи инклюзивной компанией.