Staff Software Engineer - Ingestion Platform

Вознаграждение (Базовый оклад для этой позиции составляет:): 217 000 – 303 900 долларов США в год

Reddit — это сообщество сообществ. Он основан на общих интересах, увлечениях и доверии, и здесь проходят самые открытые и аутентичные беседы в интернете. Каждый день пользователи Reddit публикуют, оценивают и комментируют темы, которые их волнуют больше всего. Имея более 100 000 активных сообществ и примерно 130 миллионов уникальных ежедневных посетителей, Reddit является одним из крупнейших источников информации в интернете. Дополнительную информацию можно найти по адресу.

Кто мы: Организация «Инфраструктура» обеспечивает надежность, производительность и эффективность Reddit с помощью единого, продуманного технологического стека. Команда Ingestion Platform в рамках «Инфраструктуры» создает интерфейс с низким уровнем кода для перемещения данных из поддерживаемых источников в поддерживаемые приемники, что облегчает командам по всему Reddit создание надежных, масштабируемых конвейеров данных без необходимости создавать и эксплуатировать специализированную инфраструктуру. Наша платформа поддерживает потоковое и пакетное перемещение данных из Kafka в такие назначения, как BigQuery и объектные хранилища, и расширяется в сторону S3/GCS, Apache Iceberg, преобразований, дедупликации и дополнительных приемников. Мы тесно сотрудничаем с командами Data Pipelines, Data Movement, Ads Data Platform, ML Indexing, Flink Platform, Storage и другими партнерскими командами для повышения скорости разработки, надежности, наблюдаемости и операционной эффективности.

Мы ищем Staff Software Engineer, который поможет сформировать и масштабировать эту платформу. Это роль с высоким уровнем воздействия, где ваша техническая оценка, эмпатия к клиентам и операционное мышление повлияют на будущее направление перемещения данных в Reddit.

Что вы будете делать: В качестве Staff Engineer вы будете руководить разработкой и развитием платформы Ingestion Reddit.

• Проектирование, написание и предоставление надежного программного обеспечения для распределенного перемещения данных в потоковых и пакетных рабочих нагрузках с акцентом на доступность, масштабируемость, задержку, корректность и экономическую эффективность.
• Управление архитектурой и развитием плоскости управления и плоскости данных платформы, включая API конвейеров, контроллеры, коннекторы, менеджеры целевых объектов, схемы и интеграции приемников.
• Расширение платформы за пределы Kafka-to-BigQuery путем предоставления готовых к производству путей к S3/GCS и Apache Iceberg, а также преобразований, дедупликации, очередей недоставленных сообщений и других повторно используемых возможностей.
• Создание высококачественных коннекторов и абстракций для таких систем, как Kafka, BigQuery, S3, GCS, Iceberg, Flink и других хранилищ данных, сохраняя при этом модульность и простоту расширения платформы.
• Улучшение пользовательского опыта самообслуживания для пользователей платформы за счет четких API, безопасных настроек по умолчанию, автоматизированного предоставления ресурсов, документации, рабочих процессов адаптации, а также действенных инструментов наблюдения и оповещения.
• Руководство миграцией со специализированных и устаревших систем приема данных на Ingestion Platform, сотрудничая с такими командами, как Ads Data Platform и ML Indexing, для обеспечения безопасной, инкрементной и ненавязчивой миграции.
• Внедрение надежных практик обеспечения надежности, безопасности и эксплуатации конвейеров, работающих в кластерах Kubernetes, включая эволюцию схем, идентификацию рабочих нагрузок, разрешения, безопасность развертывания, мониторинг и реагирование на инциденты.
• Определение пробелов в архитектуре платформы и пользовательском опыте, а также руководство редизайнами, которые повышают скорость разработки и способствуют дальнейшему росту Reddit.
• Совместная работа с инженерами и заинтересованными сторонами из отделов Infrastructure, Data Platform, Product, Ads, ML, Storage и партнерских команд для согласования дорожных карт и предоставления долговечных решений.
• Менторство и руководство инженерами backend и data infrastructure по всей компании, повышение уровня технического проектирования, операционной эффективности и ориентации на клиента.

Кто вы можете быть:

• Более 10 лет практического опыта создания распределенных систем масштаба интернета, инфраструктуры данных или платформ, используемых другими разработчиками.
• BS, MS, PhD в области компьютерных наук, смежной области или эквивалентный практический опыт.
• Опыт разработки программного обеспечения на одном или нескольких языках общего назначения, таких как Go, Python, Java или Scala.
• Глубокий опыт проектирования и эксплуатации высокопроизводительных, отказоустойчивых конвейеров данных или сервисов платформы, включая потоковую и пакетную обработку.
• Опыт работы с паттернами и системами перемещения данных, такими как Kafka, BigQuery, S3, GCS, Apache Iceberg, Flink или сопоставимыми технологиями.
• Опыт проектирования API и абстракций платформы, включая эволюцию схем, форматы сериализации, такие как Protocol Buffers, и межсервисную связь, такую как gRPC.
• Знакомство с Kubernetes и облачными концепциями платформы, включая контроллеры, пользовательские ресурсы, идентификацию рабочих нагрузок, автоматизацию инфраструктуры и развертывания в нескольких кластерах.
• Глубокое понимание наблюдаемости и операционной эффективности: метрики, логирование, оповещение, SLO, реагирование на инциденты, качество данных и практики безопасной миграции.
• Ориентированный на продукт инженер, который отстаивает интересы пользователей платформы и может превращать нечеткие потребности клиентов и партнеров в простые, надежные и масштабируемые решения.
• Подтвержденное техническое лидерство и опыт руководства командами в сложных, межфункциональных инициативах со значительным влиянием.
• Исключительные навыки письменного и устного общения, с возможностью эффективного сотрудничества с инженерными командами и заинтересованными сторонами.
• Опыт создания платформ для разработчиков с низким уровнем кода или самообслуживания, или любопытство к обучению, является большим плюсом.

Преимущества

• Комплексные медицинские льготы и программы компенсации дохода
• 401k с корпоративным соответствием
• Глобальные льготы, соответствующие вашему образу жизни: от рабочего места до профессионального развития и поддержки по уходу за детьми
• Поддержка семейного планирования
• Гендерно-аффирмативная помощь
• Льготы по психическому здоровью и коучингу
• Гибкий отпуск и оплачиваемое время на волонтерство
• Щедро оплачиваемый отпуск по уходу за ребенком

Прозрачность оплаты: Данное объявление о вакансии может охватывать более одного карьерного уровня.

В дополнение к базовой заработной плате, эта должность дает право на получение опционов в виде ограниченных акций, а в зависимости от предложенной должности, она также может давать право на получение комиссии. Кроме того, Reddit предлагает широкий спектр льгот для сотрудников из США, включая медицинское, стоматологическое и офтальмологическое страхование, программу 401(k) с корпоративным соответствием, щедрое время на отпуск и отпуск по уходу за ребенком. Узнайте больше на .

Чтобы обеспечить большую прозрачность для кандидатов, мы предоставляем информацию о диапазоне базовой заработной платы для всех вакансий в США, независимо от штата. Мы устанавливаем стандартные диапазоны базовой оплаты для всех должностей на основе функции, уровня и страны, сравнивая их с аналогичными растущими компаниями. Окончательное предложение определяется несколькими факторами, включая навыки, глубину опыта работы и соответствующие лицензии/квалификации, и может отличаться от приведенных ниже сумм.

Базовый оклад для этой позиции составляет: $217 000 — $303 900 USD

В некоторых ролях и локациях собеседования будут записываться, транскрибироваться и суммироваться с помощью искусственного интеллекта (ИИ). У вас будет возможность отказаться от записи, транскрипции и суммирования до любых запланированных собеседований.

Во время собеседования мы будем собирать следующие категории персональной информации: идентификаторы, профессиональная информация и информация, связанная с трудоустройством, сенсорная информация (аудио/видео запись) и любые другие категории персональной информации, которой вы решите поделиться с нами. Мы будем использовать эту информацию для оценки вашей заявки на трудоустройство или в качестве независимого подрядчика, в зависимости от применимости. Мы не будем продавать вашу персональную информацию и раскрывать ее третьим лицам в их маркетинговых целях. Мы удалим любую запись вашего собеседования вскоре после принятия решения о найме. Для получения дополнительной информации о том, как мы будем обрабатывать вашу персональную информацию, включая наше ее хранение, обратитесь к нашей Политике конфиденциальности кандидатов для потенциальных сотрудников и подрядчиков.

Reddit гордится тем, что является работодателем, предоставляющим равные возможности, и стремится создать рабочую силу, представляющую разнообразные сообщества, которым мы служим. Reddit стремится предоставлять разумные условия для квалифицированных лиц с ограниченными возможностями и ветеранов-инвалидов в наших процедурах подачи заявок на вакансии. Если, в связи с инвалидностью, вам требуется помощь в процессе собеседования, пожалуйста, сообщите об этом вашему рекрутеру.