О PredictX
Внесите реальный вклад в одну из ведущих SaaS-компаний Лондона, ориентированных на рост: Будьте готовы стать пионером в области ИИ, аналитики данных и технологий. Присоединяйтесь к PredictX, где мы не просто воспринимаем ИИ как модный тренд, но и проживаем и воплощаем ИИ и ML во всех аспектах нашего продукта на протяжении последнего десятилетия.
Являясь поставщиком корпоративного SaaS, мы революционизируем процесс принятия критически важных решений для многих крупнейших мировых компаний, включая 3 FAANG, стремясь к расширению возможностей с помощью нашей интегративной технологии ИИ и предиктивной аналитики.
Мы гордимся своей приверженностью передовым технологическим достижениям. Вы присоединитесь к команде, которая активно исследует и внедряет новейшие инновации для поддержания нашего конкурентного преимущества.
Роль
В качестве Junior/Mid-Level ML Data Engineer вы будете помогать в создании и поддержке конвейеров данных и инфраструктуры, которые обеспечивают работу наших решений в области ИИ. Вы будете тесно сотрудничать с ведущими инженерами и специалистами по данным, получая опыт работы с LLM, инструментами для работы с большими данными и реальным развертыванием ML. Это роль роста для тех, кто стремится учиться, вносить свой вклад и развиваться в области ИИ.
Ключевые обязанности
- Помощь в разработке и поддержке масштабируемых и эффективных конвейеров данных с использованием таких технологий, как Spark, Python и соответствующих ETL-инструментов, для поддержки наших моделей машинного обучения, включая те, которые используют LLM, и аналитических потребностей.
- Поддержка в архитектуре и реализации надежных решений по хранению данных и моделей данных, обеспечивающих качество, целостность и производительность данных, отвечающих конкретным требованиям к данным передовых моделей ИИ.
- Помощь в разработке, тестировании и развертывании моделей машинного обучения, включая исследование и интеграцию больших языковых моделей (LLM) и других новых архитектур ИИ, тесное сотрудничество со специалистами по данным для вывода инновационных решений в производственную среду.
- Помощь в преобразовании инженерных подходов к хранению, преобразованию, транспортировке, синхронизации, архивированию и обеспечению безопасности больших и сложных наборов данных, включая неструктурированные и полуструктурированные данные, критически важные для обучения и развертывания передовых моделей ИИ.
- Участие в оценке и тестировании новых моделей и фреймворков машинного обучения, включая LLM, для оценки их потенциала и применимости к нашим продуктам.
- Помощь в выявлении и устранении узких мест в производительности, проблем с качеством данных и других болевых точек в нашей инфраструктуре данных и ML. Проактивное рекомендование и внедрение решений для оптимизации и улучшения, особенно в контексте развертывания крупномасштабных моделей ИИ.
- Определение и управление стандартами моделирования и проектирования данных, лучшими практиками и методологиями разработки в команде, учитывая уникальные проблемы и возможности, представленные LLM и другими передовыми ИИ.
- Создание и поддержка всеобъемлющей технической документации для конвейеров данных, моделей данных и рабочих процессов машинного обучения, включая детали, специфичные для интеграции и тестирования LLM.
- Эффективное сотрудничество с бизнес-аналитиками, специалистами по данным и другими инженерными командами для понимания требований к данным и предоставления эффективных решений в области данных и ИИ.
- Быть в курсе последних достижений в области инженерии данных, машинного обучения (включая LLM и генеративный ИИ) и технологий больших данных, а также активно участвовать в оценке и интеграции перспективных новых технологий.
Опыт/Навыки
- 1–3 года опыта работы в области инженерии данных или машинного обучения.
- Владение инструментами и технологиями инженерии данных, включая Spark (PySpark и/или Scala), Python, SQL и различные ETL/ELT-инструменты.
- Понимание методов моделирования данных (например, схема "звезда", размерное моделирование) и концепций хранилищ данных.
- Знание принципов управления данными, качества данных и лучших практик безопасности данных, с осведомленностью о специфических соображениях безопасности и этики, связанных с моделями ИИ.
- Опыт интеграции данных, очистки данных и процессов преобразования данных на больших наборах данных, включая подготовку данных для машинного обучения и LLM.
- Знакомство с инструментами профилирования данных и отслеживания происхождения данных.
- Способность эффективно выявлять, диагностировать и устранять проблемы с данными, узкие места в производительности и проблемы с качеством данных, в том числе возникающие при работе с большими моделями ИИ.
- Аналитические навыки и навыки решения проблем для анализа наборов данных и их преобразования в технические решения, пригодные для реализации, с навыками понимания нюансов производительности моделей ИИ.
- Отличные навыки письменного и устного общения для эффективной передачи технических концепций как технической, так и нетехнической аудитории, включая обсуждение возможностей и ограничений моделей ИИ.
- Сильные навыки работы в команде и сотрудничества с возможностью построения эффективных рабочих отношений между командами, особенно при интеграции новых технологий ИИ.
- Проактивный и ориентированный на решение подход с сильным стремлением изучать и внедрять новые технологии, особенно в быстро развивающихся областях ИИ и LLM.
- Тщательное внимание к деталям для обеспечения точности и целостности данных, что критически важно для надежности моделей ИИ.
- Подтвержденная способность писать четкую и лаконичную техническую документацию, включая документацию по разработке и развертыванию моделей ИИ.
Желательные навыки
- Глубокое понимание основ машинного обучения, алгоритмов и библиотек (например, scikit-learn, TensorFlow, PyTorch) с особым интересом или опытом в области обработки естественного языка (NLP) и больших языковых моделей (LLM).
- Опыт развертывания и мониторинга моделей машинного обучения, включая LLM, в производственной среде.
- Опыт создания и поддержки конвейеров данных с использованием инструментов оркестрации, таких как Apache Airflow.
- Знакомство с технологиями больших данных, помимо Spark, такими как Hadoop, Kafka, NoSQL базы данных (например, MongoDB, Cassandra) и платформы потоковой передачи данных, а также их применение в рабочих процессах ИИ.
- Опыт работы с облачными платформами, такими как AWS, Azure или GCP, и их сервисами для инженерии данных и машинного обучения, включая те, которые специфичны для LLM (например, SageMaker, Azure AI).
- Понимание CI/CD конвейеров для развертывания данных и машинного обучения, включая соображения по развертыванию и обновлению моделей ИИ.
- Опыт работы с инструментами статистического анализа и визуализации данных (например, R, Tableau, Power BI) и их использования для понимания производительности моделей ИИ и получения данных.
- Опыт работы с prompt engineering и fine-tuning больших языковых моделей.
Технические навыки
- Программирование: Владение Python и сильные навыки в как минимум одном другом релевантном языке, таком как Scala или Java, с опытом работы с библиотеками, относящимися к NLP и LLM.
- SQL: Владение SQL для сложного запроса и манипулирования данными в различных системах баз данных, включая те, которые используются совместно с обучением и выводом моделей ИИ.
- Моделирование данных: Знание принципов моделирования данных и опыт проектирования эффективных и масштабируемых моделей данных, способных поддерживать требования больших наборов данных ИИ.
- ETL/ELT Процессы: Понимание и практический опыт работы с различными ETL/ELT инструментами и фреймворками, включая оптимизированные для обработки требований к данным моделей ИИ.
- Технологии больших данных: Понимание и практический опыт работы со Spark и, желательно, другими компонентами экосистемы больших данных, относящимися к обработке данных ИИ.
- Облачные платформы: Опыт работы как минимум с одной основной облачной платформой и ее сервисами для данных и ML, включая те, которые специально разработаны для LLM и генеративного ИИ.
Soft Skills
- Коммуникация: Исключительные навыки письменного и устного общения с возможностью четко и лаконично излагать сложные технические концепции различной аудитории, включая обсуждение возможностей и последствий новых технологий ИИ.
- Сотрудничество: Подтвержденная способность руководить и эффективно работать в межфункциональных командах, налаживая прочные отношения с заинтересованными сторонами, особенно при исследовании и интеграции новых решений ИИ.
- Решение проблем: Высоко проактивный и аналитический подход к решению проблем с возможностью стратегического мышления и внедрения инновационных решений, особенно в быстро развивающемся ландшафте ИИ.
- Внимание к деталям: Сильная приверженность точности и качеству данных, что имеет первостепенное значение при разработке и развертывании моделей ИИ.
- Документация: Способность создавать и поддерживать всеобъемлющую и легко понятную техническую документацию, включая детали, специфичные для архитектуры, обучения и развертывания моделей ИИ.
- Адаптивность и обучаемость: Страсть к непрерывному обучению и способность быстро адаптироваться к новым технологиям и парадигмам, особенно в динамичных областях ИИ и инженерии данных.
Что мы предлагаем....
- Инновационные проекты: Работа над передовыми проектами, которые раздвигают границы ИИ, машинного обучения и инженерии данных, включая захватывающее применение больших языковых моделей.
- Динамичная технологическая среда: Станьте частью команды, которая активно исследует, тестирует и внедряет новейшие технологические достижения, включая новейшие разработки в области ИИ и LLM.
- Инновационный центр: Сотрудничайте с командой экспертов и используйте новейшие технологии для стимулирования инноваций в области ИИ и данных.
- Культура сотрудничества: Поддерживающая и ориентированная на команду среда, где ваш опыт и вклад, особенно в области новых технологий ИИ, высоко ценятся.
- Возможности для роста: Возможности для профессионального развития и роста в быстрорастущей компании, находящейся на переднем крае инноваций в области ИИ.
- Значимая работа: Играйте ключевую роль в формировании будущего нашего продукта и влиянии на критически важные бизнес-решения для ведущих мировых компаний посредством применения передовых технологий ИИ.
