Инженер данных
Компания: AccelOne
Местоположение: Буэнос-Айрес, Аргентина / Удаленно
Тип занятости: Полная занятость
Центр передового опыта в области ИИ и данных — Абу-Даби, ОАЭ
Обзор роли
В качестве инженера данных вы будете отвечать за создание и поддержку масштабируемых, надежных и безопасных платформ данных, которые используются для аналитики и ИИ в организации.
Эта роль имеет решающее значение для принятия решений на основе данных в финансовой сфере. Вы будете тесно сотрудничать с специалистами по данным, инженерами ИИ и заинтересованными сторонами бизнеса, чтобы обеспечить надежность, производительность систем данных и их соответствие нормативным и операционным требованиям.
Уровни опыта
- Старший инженер данных: 8–10 лет опыта
- Инженер данных: 5–7 лет опыта
Ключевые обязанности
- Разработка и внедрение надежных ETL/ELT конвейеров для структурированных и неструктурированных данных
- Создание и управление масштабируемыми хранилищами данных (data lakes), хранилищами данных (data warehouses) и конвейерами данных в реальном времени
- Обеспечение качества данных, отслеживания происхождения данных, управления данными и соответствия требованиям нормативных актов на платформах данных
- Обеспечение надежной доступности данных для аналитики, отчетности и систем ИИ
- Оптимизация инфраструктуры данных для повышения производительности, масштабируемости и экономической эффективности
- Сотрудничество с командами Data Science и AI для внедрения конвейеров машинного обучения в производственную среду
- Мониторинг и устранение неполадок в рабочих процессах данных и производительности системы
- Внедрение лучших практик для обеспечения безопасности и надежности данных
Варианты использования в финансовой сфере (предпочтительно)
Кандидаты с опытом работы с финансовыми данными будут высоко оценены, особенно в следующих областях:
- Разработка и управление конвейерами транзакционных данных
- Системы данных для нормативной отчетности и соблюдения требований
- Хранилища данных для управления рисками и финансами
- Платформы Customer 360 и аналитики клиентов
Технические навыки
Платформы данных
- Snowflake
- BigQuery
- Amazon Redshift
- Databricks
Технологии обработки данных
- Apache Spark
- Apache Kafka
- Apache Flink
Базы данных
- SQL базы данных
- NoSQL базы данных
DevOps и практики разработки
- CI/CD конвейеры
- Системы контроля версий (например, Git)
Контейнеры и инфраструктура
Облачные платформы
- AWS
- Azure
- Google Cloud Platform (GCP)
Критерии оценки
Кандидаты будут оцениваться на основе:
- Сложности и масштаба разработанных и поддерживаемых систем данных
- Надежности и производительности конвейеров данных в производственных средах
- Опыта внедрения стандартов управления данными и соответствия требованиям
- Опыта работы с конвейерами данных для ИИ и машинного обучения
- Способности проектировать масштабируемые и устойчивые архитектуры данных
Ключевые показатели эффективности (KPI)
- Надежность конвейеров данных (время безотказной работы, коэффициент отказов)
- Задержка и актуальность данных
- Метрики качества и целостности данных
- Оптимизация затрат и эффективность инфраструктуры данных
- Стабильность и масштабируемость платформ данных
Предпочтительный профиль
- Опыт работы в экосистемах финансовых данных
- Понимание нормативных требований к данным и стандартов соответствия
- Опыт работы с MLOps и конвейерами данных для машинного обучения
- Опыт работы в распределенных или кросс-функциональных командах
- Сильное стремление к решению проблем и ответственность
