Member of Technical Staff (Software Engineer, Data Platform)

Название: Сотрудник технического отдела (инженер-программист, платформа данных) Компания: Perplexity Местоположение: Сан-Франциско / Пало-Альто / Нью-Йорк

Вознаграждение: 220 000–405 000 долларов США в год

О РОЛИ

Команда платформы данных отвечает за полный жизненный цикл данных в Perplexity: от сбора до обработки, хранения и предоставления, обеспечивая работу функций продукта, аналитики, экспериментов, рабочих нагрузок ИИ и озера данных компании.

Команда определяет архитектуру пакетных и потоковых систем, стек оркестрации и наблюдаемости, а также платформу данных для самостоятельного использования, разумно сочетая такие платформы, как Databricks и Snowflake, с технологиями с открытым исходным кодом, включая Spark, Kafka, Flink, Airflow, Dagster, dbt, Iceberg, Delta Lake и ClickHouse.

В этой роли старшего/ведущего специалиста вы будете формировать архитектуру, устанавливать стандарты и определять долгосрочное техническое направление экосистемы данных Perplexity.

КЛЮЧЕВЫЕ ОБЯЗАННОСТИ

• Проектирование и эксплуатация крупномасштабных пакетных и потоковых конвейеров данных, которые напрямую обеспечивают работу функций продукта Perplexity, рабочих процессов обучения и оценки ИИ, аналитики и экспериментов.

• Создание событийно-ориентированных и потоковых систем (Kafka, Kinesis, PubSub или аналогичных) для обработки, преобразования и доставки данных в режиме реального времени, а также пакетных фреймворков для резервного копирования, агрегации и автономных вычислений.

• Руководство архитектурой оркестрации данных с использованием таких инструментов, как Airflow или Dagster, отвечающих за планирование, управление зависимостями, повторные попытки, SLA и сквозную наблюдаемость критически важных потоков данных.

• Установка и обеспечение гарантий корректности, актуальности, отслеживаемости происхождения данных и восстанавливаемости, проектирование систем, способных справляться с быстрым ростом масштабов, частичными сбоями и изменяющимися схемами без нарушения рабочих нагрузок ИИ или пользовательского опыта.

• Создание платформ данных для самостоятельного использования, позволяющих инженерам, специалистам по данным и аналитикам безопасно находить данные, определять контракты, а также создавать и эксплуатировать свои собственные конвейеры с минимальными затруднениями.

• Улучшение опыта разработчиков за счет лучших абстракций, рекомендованных подходов и стандартов для моделирования данных, тестирования, проверки и развертывания, рассматривая платформу данных как продукт, используемый многими командами.

• Принятие архитектурных решений в области хранения, вычислений, оркестрации и API данных, тесное сотрудничество с командой инженеров продукта и специалистами по данным для согласования экосистемы данных с дорожной картой Perplexity.

• Наставничество инженеров, проверка проектов и повышение технического уровня инфраструктуры данных посредством вдумчивой обратной связи, документации и практического сотрудничества.

КВАЛИФИКАЦИЯ

• 5+ лет (Senior) или 8+ лет (Staff) опыта работы в области инженерии программного обеспечения.

• Значительный опыт создания производственных систем инфраструктуры данных.

• Практический опыт обработки пакетных и/или потоковых данных в больших масштабах.

• Глубокое знакомство с системами оркестрации данных (Airflow, Dagster или аналогичными).

• Владение Python и как минимум одним дополнительным серверным языком (Go, TypeScript и т. д.).

• Сильное системное мышление в отношении компромиссов надежности, задержки, стоимости и сложности.

• Опыт поддержки рабочих нагрузок ML/AI, конвейеров обучения или систем оценки.

• Знакомство с инструментами обеспечения качества данных, отслеживания происхождения данных, наблюдаемости и управления данными.

• Предыдущий опыт владения внутренними платформами, используемыми многими командами.

Если вас заинтересовала эта роль, мы призываем вас подать заявку, даже если ваш опыт не полностью соответствует всем перечисленным выше требованиям.