Senior Applied Data Scientist | NDA

Должность: Старший специалист по прикладным данным | NDA Местоположение: Варшава, Польша / Гибридный формат

Компания GT была основана в 2019 году бывшим руководителем Apple, Nest и Google. Миссия GT — соединять лучшие таланты мира с карьерными возможностями в продуктовых командах высокорастущих компаний в Великобритании, США, Канаде, Германии и Нидерландах.

От имени нашего клиента GT ищет Старшего специалиста по прикладным данным (Senior Applied Data Scientist), заинтересованного в разработке и тестировании новых подходов на основе ML, эмбеддингов и LLM для решения сложных задач сопоставления данных в масштабе.

О КЛИЕНТЕ

Наш клиент — ведущая мировая консалтинговая компания, известная тем, что решает одни из самых сложных бизнес-задач в мире. Сосредотачиваясь на стратегии, трансформации и повышении эффективности, фирма сотрудничает с крупными организациями в различных отраслях для достижения долгосрочного эффекта.

О РОЛИ

Мы ищем Старшего специалиста по прикладным данным для улучшения процесса разрешения сущностей (entity resolution) в масштабе.

Вы будете разрабатывать и тестировать новые подходы на основе ML, эмбеддингов и LLM для сопоставления сложных бизнес-записей из нескольких источников данных.

Работа сосредоточена на качестве моделей, экспериментах и оценке; инженеры-партнеры помогут внедрить успешные подходы в производство.

Ключевой частью работы является исследование того, как новейшие методы фундаментальных моделей могут улучшить качество сопоставления, оставаясь при этом практичными и масштабируемыми для очень больших наборов данных.

ОБЯЗАННОСТИ:

Разрабатывать лучшие способы сопоставления записей компаний

• Создавать новые подходы на основе ML, эмбеддингов и LLM для сопоставления сущностей

• Улучшать обработку системой «грязных» данных, включая вариации названий, псевдонимы, домены, веб-сайты, фирмографические атрибуты, многоязычные записи и иерархии данных.

• Разрабатывать подходы к скорингу и ранжированию для отличия точных совпадений от дубликатов, похожих записей и несвязанных сущностей.

• Оценивать и внедрять методы искусственного интеллекта и машинного обучения для улучшения качества сопоставления, учитывая точность, масштабируемость и стоимость.

• Разрабатывать подходы, которые могут эффективно работать в масштабе, учитывая использование моделей и вычислительные затраты.

Улучшать оценку, эксперименты и качество сопоставления

• Определять и улучшать методы оценки качества сопоставления, включая точность (precision), полноту (recall), ложноположительные срабатывания (false positives), ложноотрицательные срабатывания (false negatives), доверие (confidence), охват (coverage) и усилия по ручной проверке.

• Помогать в создании доверенных эталонных наборов, которые позволяют нам сравнивать новые модели с текущим механизмом сопоставления перед запуском в производство.

• Исследовать проверку и валидацию с помощью LLM для оценки производительности сопоставления и эталонирования более масштабируемых подходов.

• Превращать неоднозначные задачи сопоставления в четкие гипотезы, эксперименты, метрики и рекомендации.

Сотрудничать с инженерами для внедрения успешных идей в производство

• Тесно сотрудничать с командами инженеров данных и инженеров-программистов для преобразования перспективных прототипов в готовые к производству логики сопоставления.

• Предоставлять инженерам-партнерам четкие спецификации моделей, результаты оценки, ожидаемое поведение, крайние случаи и требования к развертыванию.

• Помогать определять наиболее подходящие методы сопоставления на основе характеристик данных, уровней доверия и соображений стоимости.

• Постоянно оценивать производительность сопоставления, исследовать регрессии и рекомендовать улучшения для моделей и логики сопоставления.

• Четко сообщать о технических компромиссах, связанных с производительностью сопоставления, масштабируемостью, стоимостью, задержкой, объяснимостью и операционными аспектами.

ОСНОВНЫЕ ЗНАНИЯ, НАВЫКИ И ОПЫТ:

• 5–8 лет соответствующего опыта в области Data Science, Applied Data Science, Applied Machine Learning или аналогичной роли.

• Глубокие фундаментальные знания прикладного машинного обучения с практическим опытом создания и оценки моделей на реальных данных.

• Отличное владение Python и SQL.

• Практический опыт работы с эмбеддингами, семантическим сходством, LLM или связанными методами ИИ.

• Практический опыт обучения моделей с учителем и без учителя, включая задачи классификации и NLP.

• Рабочие знания нейронных сетей и архитектур трансформеров.

• Владение распространенными ML-фреймворками, такими как TensorFlow, PyTorch и PyCaret.

• Опыт переобучения классификатора таксономии или поддержки моделей классификации в производстве.

• Экспериментальная оценка: способность определять базовые уровни, метрики, тестовые наборы и анализ ошибок, которые показывают, улучшилось ли качество.

• Способность четко объяснять поведение моделей, компромиссы и крайние случаи инженерам и бизнес-партнерам.

ПРЕИМУЩЕСТВА:

• Опыт в области разрешения сущностей (entity resolution), связывания записей (record linkage), дедупликации (deduplication) или аналогичных задач сопоставления.

• Опыт в области ранжирования, оценки сходства, поиска (retrieval), кластеризации или генерации кандидатов (candidate generation).

• Опыт применения LLM или эмбеддингов для решения бизнес-задач, где важны стоимость и масштабируемость.

• Опыт работы с крупномасштабными платформами данных, такими как Spark, Snowflake, Databricks или BigQuery.

• Знакомство с данными о компаниях, доменах, веб-сайтах, фирмографическими данными или другими бизнес-сущностями.

ЭТАПЫ СОБЕСЕДОВАНИЯ:

1. Собеседование в GT с рекрутером

2. Техническое собеседование

3. Финальное собеседование