Staff Data Engineer – Agentic Applications

О нас

Graphcore — один из ведущих мировых новаторов в области вычислительных систем для искусственного интеллекта. Компания разрабатывает аппаратное, программное обеспечение и системную инфраструктуру, которые откроют новое поколение прорывов в области ИИ и обеспечат широкое внедрение ИИ-решений во всех отраслях.

Являясь частью SoftBank Group, Graphcore входит в элитную семью компаний, ответственных за одни из самых преобразующих технологий в мире. Вместе они разделяют смелое видение: обеспечить искусственный сверхинтеллект и сделать его преимущества доступными для всех.

Команды Graphcore имеют разнообразное происхождение и обладают широким спектром навыков и точек зрения. Graphcore, представляя собой сплав специалистов по исследованиям в области ИИ, разработчиков кремниевых чипов, инженеров-программистов и системных архитекторов, объединяет глубокую экспертизу для решения сложных задач и достижения значительного прогресса в области вычислительных систем для ИИ.

Обзор вакансии

В подчинении у руководителя отдела данных и трансформации, Staff Data Engineer – Agentic Applications является старшим индивидуальным контрибьютором, ответственным за проектирование, создание и эксплуатацию веб-приложений на основе Python, рабочих процессов агентов и вспомогательных сервисов данных для бизнес-команд Graphcore. Эта роль сочетает в себе прочные основы инжиниринга данных с практической разработкой приложений, используя ИИ-агентов, надежные данные и интеграцию с бизнес-системами для улучшения принятия решений и автоматизации операционных рабочих процессов.

В зависимости от сценария использования, вы будете либо полностью разрабатывать приложения, используя инструменты для кодирования с поддержкой ИИ для создания и поддержки фронтенда, либо будете владеть бэкендом и позволите коллегам из бизнес-отделов создавать и поддерживать свои собственные фронтенды. В обоих подходах вы поможете установить четкую ответственность, безопасные интерфейсы и соответствующие инженерные средства контроля, чтобы приложения оставались надежными, поддерживаемыми и ремонтопригодными.

Работая в тесном сотрудничестве с инженерами, аналитиками и бизнес-стейкхолдерами, вы будете проводить решения от первоначальных требований до продакшена, вносить вклад в развитие базовой платформы данных и обеспечивать техническое лидерство посредством обзоров дизайна, обзоров кода и наставничества.

Команда

Команда Data & Analytics способствует принятию лучших решений в Graphcore, создавая надежные основы данных, масштабируемые платформы и высококачественные продукты данных. Команда работает в широком спектре бизнес- и технических областей, сотрудничая с коллегами по всей компании для улучшения доступа к надежной информации, усиления операционной аналитики и поддержки эффективных, основанных на данных способов работы.

В рамках этой команды Staff Data Engineer – Agentic Applications превращает эти основы в практические бизнес-приложения и автоматизированные рабочие процессы. Эта роль также позволяет коллегам вне инженерного отдела участвовать в разработке приложений при поддержке повторно используемых сервисов, четких инструкций и соответствующего управления.

Обязанности и задачи

• Создание приложений для бизнеса. Проектирование, разработка и эксплуатация готовых к продакшену веб-приложений на Python, которые помогают бизнес-командам получать доступ к доверенным данным, выполнять задачи и улучшать операционные рабочие процессы.
• Разработка возможностей агентов. Создание приложений и рабочих процессов, которые подключают ИИ-агентов к утвержденным инструментам, API, наборам данных и бизнес-системам, с четкими границами того, к чему агенты могут получить доступ и что они могут делать.
• Преобразование потребностей бизнеса в рабочие решения. Сотрудничество с аналитиками, инженерами и бизнес-стейкхолдерами для понимания потребностей пользователей, выявления соответствующих возможностей для автоматизации и проведения приложений от прототипа до поддерживаемых продакшен-сервисов.
• Предоставление сквозных приложений, где это уместно. Использование инструментов для кодирования с поддержкой ИИ для создания и поддержки фронтенда наряду с бэкенд-сервисами Python, принимая на себя ответственность за качество, тестирование, безопасность и поддерживаемость сгенерированного кода.
• Обеспечение фронтендов, управляемых бизнесом. Там, где бизнес-команды разрабатывают и поддерживают свои собственные интерфейсы, владение бэкендом и предоставление документированных API, повторно используемых шаблонов, примеров и практического обучения, чтобы коллеги могли эффективно работать с инструментами кодирования с поддержкой ИИ.
• Установление четкой ответственности и договоренностей о поддержке. Согласование ответственности за изменения приложений, тестирование, выпуск и текущую поддержку, включая соответствующие процедуры обзора и развертывания для управляемых бизнесом фронтендов.
• Создание безопасных, повторно используемых бэкенд-сервисов. Проектирование API и сервисов приложений, которые обеспечивают аутентификацию, авторизацию, проверку входных данных и бизнес-правил, сохраняя секреты и конфиденциальные операции в контролируемых бэкенд-системах.
• Создание надежных рабочих процессов агентов. Реализация соответствующей оценки, мониторинга, аудиторских следов и защитных мер, включая ограниченные разрешения на использование инструментов, одобрение человеком для ответственных действий и безопасную обработку сбоев или ненадежных выходных данных модели.
• Поддержание надежной основы данных. Проектирование, создание и улучшение пакетных и потоковых конвейеров на основе Python, надежных наборов данных и повторно используемых моделей данных, которые поддерживают приложения, аналитику, отчетность и операционные рабочие нагрузки.
• Владение ключевыми компонентами платформы. Взятие на себя ответственности за соответствующие бэкенд-сервисы и сервисы платформы данных, используя сервисы AWS, включая S3, Lambda, Aurora PostgreSQL, Athena, Glue и Redshift, для предоставления безопасных, отказоустойчивых и экономически эффективных решений.
• Обеспечение безопасной, повторяемой поставки. Создание и поддержка оркестрации, рабочих процессов CI/CD, автоматизированного тестирования, процессов развертывания, мониторинга и операционной поддержки для приложений и рабочих процессов данных.
• Улучшение отказоустойчивости и производительности. Применение надежной обработки ошибок, идемпотентной обработки, механизмов повторного выполнения и восстановления, а также возможностей обратного заполнения или повторного воспроизведения для повышения надежности, масштабируемости и операционной производительности.
• Применение стандартов инжиниринга и управления. Внесение вклада в стандарты качества данных, документации, наблюдаемости, безопасности и управления доступом, включая принцип наименьших привилегий, разрешения базы данных и безопасное управление секретами.
• Предоставление технического лидерства. Обзор дизайнов и кода, наставничество инженеров и руководство создателями бизнес-приложений, помогая повысить качество инжиниринга как для вручную написанного, так и для сгенерированного ИИ программного обеспечения.
• Улучшение общих возможностей. Выявление возможностей для упрощения поставки, повторного использования шаблонов приложений и улучшения возможностей платформы, внося вклад в технические дорожные карты и инженерные практики всей команды Data & Analytics.

Профиль кандидата

Обязательные требования

• Большой опыт проектирования, создания и эксплуатации продакшен-класса конвейеров и платформ данных с использованием Python.
• Опыт создания и поддержки веб-приложений на Python, бэкенд-сервисов и API, интегрирующих данные и бизнес-системы.
• Практический опыт разработки приложений или рабочих процессов, использующих большие языковые модели или ИИ-агентов, включая их подключение к инструментам, API и управляемым источникам данных.
• Эффективный опыт использования инструментов для кодирования с поддержкой ИИ, с возможностью понимать, просматривать, тестировать, отлаживать и поддерживать сгенерированный код, а не полагаться на сгенерированный вывод без проверки.
• Возможность либо создавать удобные в использовании веб-фронтенды с помощью инструментов с поддержкой ИИ, либо позволить бизнес-коллегам разрабатывать и поддерживать фронтенды на основе четко определенных бэкенд-сервисов. Требуется достаточное понимание веб-разработки для обзора интеграций и устранения неполадок в поведении приложений; глубокая экспертиза фронтенда не является обязательной.
• Большой практический опыт в современных практиках оркестрации, автоматизированного тестирования, CI/CD, развертывания и мониторинга в продакшен-средах.
• Опыт создания облачных решений с использованием сервисов AWS, включая технологии хранения, обработки и запросов данных.
• Глубокое понимание моделирования данных, проектирования схем, качества данных и оптимизации производительности в реляционных и аналитических системах.
• Опыт работы как с пакетными, так и с потоковыми конвейерами данных, включая операционную поддержку, устранение неполадок и проектирование систем, которые грациозно восстанавливаются после сбоев.
• Глубокое понимание безопасности, контроля доступа и управления облачными платформами данных и приложениями, включая аутентификацию, авторизацию, IAM, разрешения базы данных и безопасное управление секретами.
• Практическое понимание аспектов надежности и безопасности приложений агентов, включая границы разрешений, оценку, аудируемость и соответствующий надзор со стороны человека.
• Опыт технического лидерства в качестве старшего индивидуального контрибьютора через обзоры дизайна, обзоры кода, стандарты инжиниринга и наставничество.
• Способность эффективно сотрудничать с техническими и нетехническими стейкхолдерами, преобразовывать бизнес-требования в практические, масштабируемые решения и четко объяснять технические концепции.
• Способность обучать бизнес-коллег разработке приложений с поддержкой ИИ и устанавливать четкие границы между интерфейсами, управляемыми бизнесом, и сервисами, управляемыми инженерами.

Желательно

• Опыт работы с фреймворками веб-приложений на Python, такими как Streamlit, Flask или FastAPI.
• Рабочее знание JavaScript или TypeScript и современного фреймворка фронтенда.
• Опыт оркестрации агентов, извлечения данных по бизнес-данным или автоматизированной оценки приложений с поддержкой ИИ.
• Опыт работы с Prefect или аналогичной платформой оркестрации рабочих процессов.
• Опыт работы с технологиями потоковой передачи данных или сбора данных.
• Опыт работы с PostgreSQL, Redshift, ClickHouse или аналогичными базами данных и хранилищами данных.
• Опыт работы с Infrastructure as Code и повторно используемыми шаблонами развертывания приложений.
• Знакомство с dbt и практиками аналитического инжиниринга.
• Опыт улучшения наблюдаемости, операционного мониторинга, производительности приложений и оптимизации облачных затрат.
• Опыт внесения вклада в технические дорожные карты и улучшения платформы в рамках совместной инженерной команды.
• Опыт работы в быстро меняющейся технологической или инженерной среде.

Преимущества

В дополнение к конкурентной заработной плате Graphcore предлагает гибкий график работы, щедрую политику ежегодного отпуска, частное медицинское страхование и план медицинских расходов, стоматологический план, пенсионное обеспечение (с софинансированием до 5%), страхование жизни и страхование от потери трудоспособности. У нас щедрая политика отпусков по уходу за ребенком и программа поддержки сотрудников (включающая поддержку здоровья, психического благополучия и в случае утраты близких). В нашем офисе в Бристоле предлагается разнообразное здоровое питание и закуски, а также у нас есть собственная кофейня-бариста! Мы приветствуем людей с разным происходимым и опытом; мы стремимся создать инклюзивную рабочую среду, которая сделает Graphcore отличным домом для всех. Мы предлагаем равные возможности и понимаем, что у всех нас есть видимые и невидимые различия. Мы можем предложить гибкий подход к собеседованию и предлагаем вам связаться с нами, если вам потребуются какие-либо разумные корректировки.

Кандидаты на эту должность должны иметь право на работу в Великобритании. К сожалению, в настоящее время мы не можем предоставить визовую поддержку или помощь в оформлении визовых заявлений.