Software Engineer, Data Infrastructure

О КОМПАНИИ

Модели — это то, что они едят. Но большая часть вычислительных ресурсов для обучения тратится впустую на обучение данных, которые уже изучены, нерелевантны или даже вредны, что приводит к ухудшению моделей, обучение и развертывание которых обходится дороже.

В DatologyAI мы создали передовой набор инструментов для курирования данных, чтобы автоматически отбирать и оптимизировать петабайты данных для создания наилучших возможных обучающих данных для ваших моделей. Обучение на отобранных данных может значительно сократить время и стоимость обучения (в 7-40 раз быстрее в зависимости от сценария использования), значительно повысить производительность модели, как если бы вы обучались на >10 раз большем объеме необработанных данных без увеличения стоимости обучения, и позволить меньшим моделям с менее чем половиной параметров превосходить более крупные модели, несмотря на использование гораздо меньших вычислительных ресурсов при выводе, существенно снижая стоимость развертывания. Для получения более подробной информации ознакомьтесь с нашим недавним исследованием по масштабированию синтетических данных (BeyondWeb) и предварительному обучению с использованием данных, специфичных для конкретной предметной области (The Finetuner’s Fallacy).

Мы привлекли в общей сложности 57,5 млн долларов США в двух раундах: Seed и Series A. Среди наших инвесторов — Felicis Ventures, Radical Ventures, Amplify Partners, Microsoft, Amazon и визионеры в области ИИ, такие как Джефф Хинтон, Ян ЛеКун, Джефф Дин и многие другие, которые глубоко понимают важность и сложность идентификации и оптимизации наилучших возможных обучающих данных для моделей. Наша команда была пионером в этой передовой исследовательской области и обладает глубокими знаниями как в области исследований данных, так и в области инженерии данных, необходимыми для решения этой чрезвычайно сложной задачи и упрощения курирования данных для всех, кто хочет обучать свои собственные модели на своих собственных данных.

Эта должность находится в Сан-Матео, Калифорния. Мы работаем в офисе 4 дня в неделю.

О РОЛИ

Мы ищем опытного инженера платформы данных, который присоединится к нашей основной инженерной команде. Как один из наших старших сотрудников, вы будете тесно сотрудничать с нашими основателями в направлении нашего продукта и принимать критически важные для бизнеса технические решения. Вы будете руководить разработкой нашего основного продукта и платформы данных. Это ключевые компоненты нашего стека, которые позволяют нам обрабатывать данные клиентов и применять передовые исследования для идентификации наиболее информативных точек данных в больших наборах данных. Вы окажете широкое влияние на технологии, продукт и культуру нашей компании. Мы предоставляем визовую поддержку для кандидатов, отобранных на эту должность.

НАД ЧЕМ ВЫ БУДЕТЕ РАБОТАТЬ

• Проектировать, создавать и поддерживать высокомасштабируемые решения для обработки данных, обеспечивая масштабируемость, надежность и безопасность.

• Разрабатывать архитектуру, создавать и развертывать серверные системы и сервисы, которые обеспечивают работу нашей платформы курирования данных.

• Сотрудничать с исследователями и инженерами для предоставления новых функций и исследовательских возможностей нашим клиентам.

• Обеспечивать надежность, безопасность и доверие к нашим системам со стороны клиентов.

О ВАС

• Более 4 лет опыта в области инженерии данных, включая полное владение производственными системами — масштабируемая обработка (Spark, Flink), хранение (HDFS, S3), озера/хранилища данных (Snowflake, Hive), SQL и оркестровка рабочих процессов (Airflow, Dagster).

• Свободное владение Python, Scala или Java.

• Опыт работы техническим руководителем команды инженерии данных, платформы или инфраструктуры.

• Опыт создания ML/DL систем или инфраструктуры данных, которая обеспечивает обучение крупномасштабных моделей.

• Высокие стандарты проектирования, корректности и тестирования. Вы создаете масштабируемые, надежные и безопасные системы.

• Низкое эго, высокая ответственность. Вы помогаете своим товарищам по команде, берете на себя все необходимое и доводите проблемы до конца.

Не соответствуете всем требованиям? Мы все равно призываем вас подать заявку. Если вы воодушевлены нашей миссией и стремитесь учиться, мы хотим услышать от вас!

ВОЗНАГРАЖДЕНИЕ

В DatologyAI мы стремимся вознаграждать талант конкурентоспособной заработной платой и значительным пакетом акций. Заработная плата на этой должности составляет от 180 000 до 300 000 долларов США.

• Начальная оплата зависит от профессиональных навыков, опыта, квалификации и результатов собеседования.

ЛЬГОТЫ

• 100% покрытие медицинских услуг (медицинское страхование, стоматология и офтальмология).

• План 401(k) с щедрым корпоративным совпадением 4%.

• Неограниченная политика PTO (оплачиваемый отпуск).

• Оплачиваемый отпуск по уходу за ребенком в течение 12 недель, плюс 6 месяцев гибкого графика работы на дому.

• Ежегодная стипендия на оздоровление в размере 2000 долларов США.

• Ежегодная стипендия на обучение и развитие в размере 1000 долларов США.

• Ежедневные обеды и закуски предоставляются в нашем офисе!

• Помощь при переезде для сотрудников, переезжающих в район Залива.