Обзор
Black Canyon Consulting (BCC) ищет инженера по работе с данными (Data Engineer) для поддержки проектирования, разработки и обслуживания инфраструктуры данных, которая обеспечивает работу систем искусственного интеллекта, машинного обучения и аналитических нагрузок. Инженер по работе с данными будет обеспечивать надежность, доступность, масштабируемость и оперативную готовность данных на протяжении всего жизненного цикла — от сбора до развертывания.
Описание вакансии
Инженер по работе с данными будет проектировать, внедрять, поддерживать и оптимизировать конвейеры данных, API, рабочие процессы трансформации данных и вспомогательную инфраструктуру. Эта должность предполагает работу с базами данных, озерами данных (data lakes), хранилищами данных (data warehouses), хранилищами признаков (feature stores) и другими платформами данных для обеспечения эффективного сбора, трансформации, доступа и использования информации аналитическими системами и системами на базе ИИ.
Инженер по работе с данными также будет разрабатывать и поддерживать процессы ETL/ELT, рабочие процессы создания признаков (feature engineering) и сервисные уровни, которые предоставляют данные или конечные точки моделей для нижестоящих систем и приложений.
Обязанности
- Разрабатывать и поддерживать конвейеры сбора и трансформации данных с использованием Python и SQL.
- Внедрять шаблоны обработки данных "бронза", "серебро" и "золото" с использованием DuckDB и Apache Iceberg.
- Создавать многоразовые, управляемые метаданными возможности для сбора данных из баз данных, API, файлов, SaaS-платформ, CDC и событийных источников.
- Разрабатывать настраиваемые процессы онбординга источников и сопоставления данных от источника до канонического представления.
- Трансформировать гетерогенные исходные данные в стандартизированные и управляемые модели данных, сохраняя при этом происхождение и отслеживаемость исходных данных.
- Внедрять агентные и основанные на ИИ рабочие процессы для поддержки профилирования источников, анализа схем, сопоставления данных, генерации конвейеров, тестирования, устранения неполадок, сверки и качества данных.
- Разрабатывать автоматизированные возможности для валидации данных, сверки, тестирования, мониторинга и обработки ошибок.
- Поддерживать инкрементальную обработку, эволюцию схем, дозагрузку и миграцию исторических данных.
- Интегрировать структурированные данные со связанными документальными и геопространственными наборами данных, где это необходимо.
- Работать с архитектором данных и ведущим инженером по работе с данными для внедрения общих инженерных стандартов и многоразовых шаблонов платформы.
- Участвовать в ревью кода, автоматизированном тестировании, CI/CD, технической документации и операционной поддержке.
Требования
- 4+ года соответствующего опыта в области инженерии данных или разработки программного обеспечения.
- Глубокий практический опыт работы с Python, SQL, DuckDB и Apache Iceberg.
- Опыт разработки производственных ETL/ELT конвейеров для баз данных, API, файлов и полуструктурированных источников данных.
- Опыт внедрения многоуровневых архитектур данных "бронза"/"серебро"/"золото" или аналогичных.
- Опыт проектирования многоразовых, управляемых метаданными конвейеров сбора и трансформации.
- Опыт работы с сервисами данных AWS, в частности Amazon S3 и AWS Glue.
- Опыт работы с моделированием данных, сопоставлением от источника к цели, качеством данных, сверкой и эволюцией схем.
- Опыт разработки или внедрения агентных или основанных на ИИ рабочих процессов инженерии данных, включая использование ИИ-агентов или LLM для помощи в задачах инженерии данных.
- Опыт работы с разработкой на основе Git, автоматизированным тестированием и CI/CD.
Бонусные навыки
- Опыт работы с агентными фреймворками, такими как LangChain, LangGraph или аналогичными оркестрационными фреймворками.
- Опыт работы с Kafka, Amazon MSK или технологиями CDC.
- Опыт интеграции с Salesforce, ServiceNow, Microsoft Dataverse или аналогичными корпоративными платформами.
- Опыт работы с OpenSearch, векторными базами данных или конвейерами обработки документов.
- Опыт работы с GeoParquet, PostGIS или геопространственными наборами данных.
- Опыт работы в сфере федерального правительства США.
- Опыт работы с наборами данных, связанными с разрешениями, регулированием, управлением земельными ресурсами, экологией, энергетикой или природными ресурсами.
Преимущества и зарплата
Мы привлекаем лучших специалистов отрасли конкурентоспособным пакетом льгот, который включает медицинское, стоматологическое и офтальмологическое страхование, пенсионный план 401k с взносами работодателя, оплачиваемые праздники, отпуск и компенсацию обучения.
Если вам нравится быть частью высокопроизводительной, профессиональной организации, ориентированной на услуги и технологии, пожалуйста, подайте заявку сегодня!
