Title: Data Engineer (Snowflake)
Company: Addepto
Location: Remote job / Remote
Addepto — ведущая консалтинговая компания в области ИИ и инжиниринга данных, которая создает масштабируемые ИИ-решения, ориентированные на рентабельность инвестиций, для крупнейших мировых корпораций и передовых стартапов, включая Rolls Royce, Continental, Porsche, ABB и WGU. Сосредоточившись исключительно на искусственном интеллекте и больших данных, Addepto помогает организациям раскрыть весь потенциал своих данных с помощью систем, разработанных для достижения измеримого бизнес-влияния и долгосрочного роста.
Работа компании выходит за рамки клиентских проектов. Основываясь на реальных проблемах и аналитических данных, Addepto разработала собственный продукт — ContextClue — и активно вносит вклад в сообщество ИИ, предлагая решения с открытым исходным кодом. Эта приверженность преобразованию практического опыта в масштабируемые инновации принесла Addepto признание Forbes как одной из 10 лучших консалтинговых компаний в области ИИ во всем мире.
В составе KMS Technology, глобальной технологической группы из США, Addepto сочетает глубокую специализацию в области ИИ с возможностями реализации проектов корпоративного масштаба, что позволяет партнерству переводить клиентов от экспериментов в области ИИ к реальному влиянию на производство, безопасно и в масштабе.
В качестве инженера данных вы присоединитесь к старшей инженерной команде, работающей над новой платформой данных. Вы будете участвовать в создании решения «под ключ», сочетая сильный бэкэнд-инжиниринг с приемом и обработкой данных.
Проект включает интеграцию данных из нескольких файловых и API-источников в современное облачное хранилище данных с особым вниманием к качеству данных, надежности, масштабируемости и готовности к эксплуатации. Мы также ищем талантливых инженеров для участия в других интересных проектах по работе с данными, включая:
- Разработка и поддержка крупной платформы для обработки автомобильных данных. Значительный объем данных обрабатывается как в потоковом, так и в пакетном режимах. Стек технологий включает Spark, Cloudera, Airflow, Iceberg, Python и AWS.
- Проектирование и разработка универсальной платформы данных для глобальных аэрокосмических компаний. Эта инициатива на базе Azure и Databricks объединяет разнообразные корпоративные и общедоступные источники данных. Платформа данных находится на ранних стадиях разработки, охватывая проектирование архитектуры и процессов, а также предоставляя свободу выбора технологий.
- Централизованная платформа отчетности для растущей телекоммуникационной компании из США. Этот проект включает внедрение BigQuery и Looker в качестве центральной платформы для отчетности по данным. Он сосредоточен на централизации данных, интеграции различных CRM и создании решений для отчетности руководства для поддержки принятия решений и роста бизнеса.
🚀 Ваши основные обязанности:
- Проектирование и разработка масштабируемых конвейеров приема данных из файловых и API-источников с использованием Python.
- Создание и поддержка бэкэнд-компонентов, отвечающих за обработку, проверку и интеграцию данных.
- Проектирование и разработка REST API с использованием Python и Django.
- Внедрение надежных механизмов контроля качества данных, валидации и обработки ошибок.
- Проектирование и поддержка моделей данных и работа с современными облачными платформами и хранилищами данных.
- Разработка и поддержка автоматизированных тестов качества данных.
- Работа с облачными сервисами и инструментами оркестровки рабочих процессов, такими как Airflow.
- Вклад в CI/CD конвейеры и конфигурацию сред приложений.
- Обеспечение надежности, поддерживаемости, масштабируемости и готовности решений к эксплуатации.
- Написание и поддержка технической документации и операционных руководств.
- Сотрудничество с инженерами и заинтересованными сторонами для преобразования бизнес- и технических требований в эффективные решения.
- Использование инструментов разработки с поддержкой ИИ и рабочих процессов в рамках повседневной поставки программного обеспечения.
🎯 Что вам понадобится для успеха в этой роли:
- Не менее 4 лет коммерческого опыта в бэкэнд-разработке, инжиниринге данных или создании производственных систем, интенсивно работающих с данными.
- Сильные навыки программирования на Python, включая написание чистого кода и надежные практики программной инженерии.
- Подтвержденный практический опыт работы с Snowflake как современной облачной платформой данных.
- Практический коммерческий опыт работы с Django и создания REST API.
- Опыт проектирования и разработки конвейеров приема данных / ETL или ELT из файловых и API-источников.
- Рабочие знания как минимум одной основной облачной платформы (предпочтительно AWS).
- Опыт работы с инструментами оркестровки рабочих процессов, такими как Airflow или их эквивалентами.
- Глубокое понимание проектирования валидации данных, качества данных и обработки ошибок.
- Опыт работы с CI/CD и производственными средами.
- Способность работать самостоятельно и брать на себя ответственность за технические результаты.
- Опыт использования ИИ-помощников по кодированию или рабочих процессов разработки с поддержкой ИИ.
- Отличные коммуникативные навыки и способность четко документировать технические решения.
- Свободное владение английским языком (не ниже уровня C1).
🎁 Откройте для себя наши льготы и преимущества:
- Работа в поддерживающей команде увлеченных энтузиастов ИИ и Big Data.
- Участие в работе с ведущими мировыми корпорациями и передовыми стартапами в международных проектах.
- Гибкие условия работы, позволяющие работать удаленно или из современных офисов и коворкингов.
- Ускорьте свой профессиональный рост через пути развития карьеры, инициативы по обмену знаниями, языковые курсы и спонсируемое обучение и конференции. Воспользуйтесь партнерскими отношениями с Databricks и Anthropic, которые предоставляют доступ к ведущим учебным материалам и программам сертификации.
- Участвуйте в мероприятиях по тимбилдингу и используйте бюджет на интеграцию.
- Отмечайте годовщины работы, дни рождения и важные события.
- Доступ к медицинским и спортивным пакетам, уходу за глазами и услугам по поддержанию благополучия, включая психотерапию и коучинг.
- Получите полное рабочее оборудование для оптимальной производительности, включая ноутбук и другие необходимые устройства.
- При нашей поддержке вы можете повысить свой личный бренд, выступая на конференциях, публикуясь в нашем блоге или участвуя во встречах.
- Испытайте плавный онбординг с выделенным бадди и начните свой путь в нашей дружелюбной, поддерживающей и автономной культуре.
