Название: Principal Data Engineer
Местоположение: BELUK - Белфаст, Великобритания / Белфаст, Великобритания
Black Duck Software, Inc. помогает организациям создавать безопасное программное обеспечение высокого качества, минимизируя риски и одновременно максимизируя скорость и производительность. Black Duck, признанный пионер в области безопасности приложений, предоставляет SAST, SCA и DAST решения, которые позволяют командам быстро находить и исправлять уязвимости и дефекты в проприетарном коде, компонентах с открытым исходным кодом и поведении приложений. Благодаря сочетанию ведущих в отрасли инструментов, услуг и опыта, только Black Duck помогает организациям максимизировать безопасность и качество в DevSecOps и на протяжении всего жизненного цикла разработки программного обеспечения.
Что вы будете делать
- Руководить проектированием и созданием межпродуктовых сервисов данных для нескольких продуктовых линеек из одной управляемой плоскости данных.
- Определить модель "плоскости данных клиента": канонические идентификаторы клиента, общие измерения и согласованные факты, используемые в продуктах.
- Создавать и эксплуатировать паттерны приема данных для пакетной, потоковой и событийной обработки данных с повторяемой интеграцией новых источников.
- Владеть операционным руководством по надежности данных: контракты на данные, проверки качества, отслеживание происхождения, мониторинг и реагирование на инциденты.
- Внедрять и запускать методы доступа, делающие данные пригодными для использования: кураторские наборы данных, безопасные интерфейсы запросов и, при необходимости, готовые к использованию API данных.
- Продуктивизировать клиентские продукты данных (наборы данных, метрики, экспорты и фиды) с версионированием, документацией и четким владением.
- Проектировать модели данных, подходящие как для операционных систем (RDS), так и для хранилищ аналитики (колоночные/OLAP), включая оптимизацию производительности и стоимости.
- Обеспечить, чтобы продукты данных также поддерживали рабочие процессы ML: надежные наборы обучающих данных, готовые к использованию выходные данные и согласованные определения для принятия решений.
- Включить автоматизацию ИИ, поставляя надежные, низколатентные, управляемые продукты данных, которые можно безопасно использовать в автоматизированных рабочих процессах.
- Тесно сотрудничать с заинтересованными сторонами из отделов продуктов, инжиниринга и безопасности для согласования продуктов данных с приоритетами дорожной карты и результатами для клиентов.
- Повышать технический уровень посредством обзоров архитектуры, стандартов и наставничества, оставаясь при этом активно вовлеченным в ключевые системы.
Требования
- Значительный опыт построения и эксплуатации производственных платформ данных в масштабе, включая дежурства и операционную ответственность.
- Отличные навыки работы с SQL и Python, используемые для создания конвейеров, сервисов и автоматизации.
- Практический опыт работы с облачными системами в AWS и Google Cloud (уровень IaaS: вычисления, хранилища, сети, IAM).
- Практический опыт работы как с операционными базами данных (типа RDS), так и с хранилищами аналитики (колоночные/OLAP), включая оптимизацию производительности.
- Сильные способности к моделированию данных, включая эволюцию схем, унифицированные измерения и определения метрик "единого источника истины".
- Подтвержденный опыт поставки продуктов данных, на которые полагаются другие команды или клиенты, с четкими контрактами и ожиданиями по надежности.
- Способность принимать обоснованные инженерные компромиссы между задержкой, точностью, стоимостью и безопасностью, не создавая хрупкой сложности.
- Опыт работы с паттернами lakehouse и открытыми форматами таблиц (или аналогичными), включая управление и обслуживание таблиц.
- Опыт работы с системами оркестрации и потоковой обработки, используемыми в производстве (пакетная + реальное время), и безопасное управление восстановлением данных.
- Знакомство с потребностями ML в данных (разделение на обучающие/сервировочные, готовые к использованию наборы признаков, наборы данных для оценки) и рабочими процессами, связанными с ИИ.
Предпочтительные навыки
- Опыт создания платформ данных для самообслуживания (каталог, обнаруживаемость, управление доступом), используемых несколькими командами.
- Опыт работы в регулируемых или чувствительных к безопасности средах, включая хранение данных, аудит и управление доступом к данным.
Модель работы, местоположение и командировки
- Местоположение: Белфаст, Великобритания
- Отчетность: Вице-президент по инжинирингу данных
- Модель работы: Гибридная (детали будут определены)
- Часы совместной работы: Гибкие; пересечение с часовыми поясами Великобритании и США
- Командировки: Минимальные
Black Duck является работодателем, предоставляющим равные возможности. Мы рассматриваем всех кандидатов на трудоустройство независимо от расы, цвета кожи, национального происхождения, религии, пола, гендерной идентичности или выражения, возраста, инвалидности, сексуальной ориентации, статуса ветерана или военнослужащего, или любой другой характеристики, защищенной применимым законодательством. Black Duck соблюдает все применимые законы, запрещающие дискриминацию при трудоустройстве, в каждой юрисдикции, где она ведет свою деятельность, и предоставляет разумные приспособления для лиц с ограниченными возможностями в соответствии с применимым законодательством.
