Software Engineer – Query Engines

Название: Инженер-программист – Системы запросов Местоположение: Нью-Йорк, Нью-Йорк / гибридный формат

Компания, меняющая мир

Palantir разрабатывает ведущее мировое программное обеспечение для принятия решений и операций на основе данных. Предоставляя нужные данные людям, которые в них нуждаются, наши платформы позволяют нашим партнерам разрабатывать жизненно важные лекарства, прогнозировать сбои в цепочках поставок, находить пропавших детей и многое другое.

Роль

Мы — команда инженеров-программистов, применяющая технологии обработки данных с открытым исходным кодом для решения одних из самых сложных и важных мировых проблем. Мы создаем инфраструктуру обработки данных, которая лежит в основе Palantir Foundry, поддерживая приложения, которые помогают больницам обслуживать больше пациентов, помогают клиническим группам координировать своевременную диагностику и обеспечивают бесперебойное движение основных поставок в условиях глобальных нарушений.

Вы будете глубоко погружены в системы, которые делают это возможным: как представляются вычисления, как оптимизируются планы запросов, как выполняются операторы, и как данные эффективно считываются и записываются. Мы опираемся на Apache Spark, Apache DataFusion и Apache Iceberg, расширяя их возможности, и внедряем достижения в области движков с открытым исходным кодом и форматов таблиц в требовательные среды, в которых работают наши клиенты. Наша работа обслуживает множество продуктов и рабочих нагрузок в Foundry, включая конвейеры без кода, интерактивный анализ и обработку, которая поддерживает актуальность Ontology.

Вы будете отвечать за улучшения от проектирования до эксплуатации, будь то разработка правила планирования, расширение встроенного движка выполнения или улучшение способов сканирования и обновления больших таблиц. Корректность, совместимость и предсказуемая производительность — основа всего, что мы создаем. Изменения в общем движке могут принести пользу приложениям на всей платформе и людям, которые от них зависят.

Присоединяйтесь к нам, если вы хотите развивать возможности современных систем обработки данных и применять эту работу для решения важных проблем.

Технологии, которые мы используем Java, Scala, Rust и Python Apache Spark, Apache DataFusion, Apache Comet и Velox для обработки данных и выполнения запросов Apache Iceberg для управления таблицами и совместимости каталогов Apache Arrow и Apache Parquet для обработки данных в памяти и колоночного хранения Стандартные отраслевые инструменты сборки, включая Gradle, Cargo и GitHub

Основные обязанности Разработка и внедрение функций планирования и оптимизации запросов, которые преобразуют сложные вычисления в эффективные планы выполнения Расширение движков выполнения новыми функциями и улучшение операторов запросов, параллелизма, управления памятью и перемещения данных Разработка интеграций каталога Iceberg и движков Foundry, включая метаданные таблиц, транзакции, а также эффективное чтение и запись Создание общих семантик преобразования и интерфейсов выполнения для рабочих нагрузок в продуктах и сервисах платформы Foundry Улучшение инкрементальной обработки, чтобы конвейеры могли повторно использовать предыдущие результаты и эффективно обрабатывать новые данные, сохраняя при этом корректность Оценка и интеграция достижений в области систем обработки данных с открытым исходным кодом, проверка их поведения и производительности на реальных рабочих нагрузках Исследование проблем корректности и производительности при планировании, выполнении и хранении, а также создание тестов и бенчмарков, предотвращающих регрессии Взаимодействие с командами продуктов и клиентами для преобразования операционных потребностей в возможности движка, которые интегрируются с инфраструктурой безопасности, управления данными и сборки Foundry

Что мы ценим Принятие ответственности и высокие стандарты корректности. Наши системы поддерживают решения и операции, на которые полагаются клиенты. Любознательность к тому, как работают системы обработки данных, от оптимизаторов запросов и операторов выполнения до форматов таблиц и распределенной обработки. Сильные навыки отладки и мотивация к решению проблем, охватывающих языки, сервисы и уровни стека. Практический подход к производительности, основанный на профилировании, репрезентативных рабочих нагрузках и измеримых улучшениях. Интерес к применению глубокой системной инженерии для решения реальных проблем с пониманием потребностей людей, которые используют наше программное обеспечение и зависят от него. Опыт создания или расширения систем, таких как Spark, DataFusion, Iceberg или сопоставимых технологий, а также интерес к изучению всего стека. Способность к сотрудничеству между командами и эффективной работе с проектами с открытым исходным кодом, на которых мы основываемся. Опыт внесения вклада в проекты с открытым исходным кодом ценится, но не является обязательным.

Что мы требуем 4+ года профессионального опыта в разработке инженерного программного обеспечения, включая базы данных, распределенные системы обработки данных, системы хранения данных или сопоставимую инфраструктуру, с глубокими знаниями в таких областях, как планирование запросов, выполнение или оптимизация производительности. Работа только поверх этих технологий не квалифицируется. Опыт диагностики проблем корректности и производительности в сложных системах. Сильные навыки письменного и устного общения, а также способность эффективно работать в командах, учитывать обратную связь и поддерживать высокие стандарты качества.

Зарплата Ориентировочный диапазон заработной платы для этой должности составляет от 135 000 до 200 000 долларов США в год. Общая компенсация за эту должность также может включать ограниченные акции (Restricted Stock units), бонус за подписание и другие потенциальные будущие стимулы. Далее отмечаем, что общая компенсация за эту должность будет определяться на основе соответствующих квалификаций, опыта работы, навыков и других факторов каждого человека. Эта оценка не включает стоимость любого потенциального бонуса за подписание; стоимость любых предлагаемых льгот; и потенциальную будущую стоимость любых долгосрочных стимулов.

Наши льготы направлены на укрепление здоровья и благополучия во всех сферах жизни сотрудников Palantir. Мы стремимся постоянно улучшать наши предложения и прислушиваемся к нашему сообществу при их разработке и обновлении. Ниже приведен список наших доступных льгот и некоторых привилегий, которые могут быть у сотрудников Palantir Technologies.

Льготы • Сотрудники (и их имеющие на это право иждивенцы) могут оформить медицинскую страховку, стоматологическую страховку и страховку зрения, а также добровольное страхование жизни • Сотрудники автоматически покрываются базовым страхованием жизни, страхованием от несчастного случая со смертельным исходом и страхованием по инвалидности от Palantir • Транспортные льготы • Помощь при переезде • Оплачиваемый отпуск по мере необходимости, а не по накоплению • 2 недели оплачиваемого отпуска в конце каждого года (в зависимости от команды и потребностей бизнеса) • 10 оплачиваемых праздничных дней в течение календарного года • Поддерживающая программа отпусков, включая отпуск для прохождения военной службы и медицинских мероприятий • Оплачиваемый отпуск для новых родителей и субсидируемый уход за детьми для всех родителей • Льготы по лечению бесплодия и построению семьи, включая, но не ограничиваясь усыновлением, суррогатным материнством и сохранением репродуктивных клеток • Стипендия для покрытия расходов, связанных с рождением ребенка • Сотрудники могут оформить пенсионный план Palantir (401k)

Жизнь в Palantir Мы хотим, чтобы каждый сотрудник Palantir достигал наилучших результатов, поэтому мы ценим сильные стороны, навыки и интересы каждого человека, от первого собеседования до долгосрочного роста, вместо того, чтобы полагаться на традиционные карьерные лестницы. Учет потребностей нашего сообщества позволяет нам оптимизировать возможности для роста и помогает обеспечить множество путей к успеху в Palantir. Содействие здоровью и благополучию во всех сферах жизни сотрудников — лишь один из способов, которым мы инвестируем в наше сообщество. Узнайте больше на Life at Palantir и обратите внимание, что наши предложения могут различаться в зависимости от региона.

В соответствии с ценностями и культурой Palantir мы считаем, что сотрудники «лучше вместе», и работа в офисе дает возможность для более творческих результатов. Поэтому мы поощряем сотрудников работать в наших офисах для развития связей и инноваций. Многие команды предлагают гибридные варианты (работа из дома один-два дня в неделю), позволяя нашим сотрудникам найти правильный баланс для своей личной продуктивности. В зависимости от потребностей бизнеса, есть несколько должностей, которые допускают «удаленную» работу в исключительных случаях. Если вы претендуете на одну из этих должностей, вы должны работать из штата, в котором вы трудоустроены. Если вакансия указана как «На месте», вы обязаны работать в офисе.

Если вы хотите расширить возможности самых важных институтов мира, вам к нам. Palantir ценит превосходство независимо от происхождения. Мы гордимся тем, что являемся равным работодателем для всех, включая, помимо прочего, ветеранов и людей с ограниченными возможностями. Palantir стремится сделать процесс подачи заявок и найма доступным для всех и предоставит разумное приспособление для людей с ограниченными возможностями. Если вам требуется помощь в процессе подачи заявок или найма, пожалуйста, свяжитесь с нами и сообщите, как мы можем помочь.