Freelance Data Engineer

Для тех, кто входит в мою сеть контактов, мы ищем внештатную помощь для краткосрочного проекта по преобразованию набора данных Excel в векторную базу данных, готовую для LLM, в рамках нашей захватывающей программы разработки продуктов.

Если вы заинтересованы или знаете кого-то, кто, по вашему мнению, мог бы подойти, пожалуйста, свяжитесь с нами!

Обзор

У нас есть разовый проект по преобразованию одной электронной таблицы Excel в векторизованный набор данных, доступный для запросов LLM. Мы предоставим исходный файл; вы доставите рабочее хранилище векторов плюс скрипт, который его создал.

Объем работ

• Очистка и подготовка данных из нашего файла Excel (дедупликация, нормализация, единообразное форматирование).
• Разделение записей на осмысленные единицы для встраивания.
• Генерация векторных встраиваний с использованием подходящей модели (посоветуйте нам, если у вас есть предпочтения).
• Загрузка встраиваний в векторную базу данных по вашей рекомендации (например, Chroma, Qdrant, pgvector или Pinecone).
• Сохранение исходных метаданных, чтобы результаты можно было фильтровать и отслеживать до исходных строк.
• Предоставление повторно используемого скрипта/ноутбука, чтобы мы могли запускать его самостоятельно, если данные изменятся.

Результаты

• Заполненное, доступное для запросов хранилище векторов
• Скрипт конвейера (Python) с комментариями
• Краткое README, охватывающее, как его запустить, выбранную модель/БД и любые затраты (например, использование API встраивания)
• Краткий обзор или звонок для передачи проекта

Необходимые навыки

• Python (pandas + библиотеки для встраивания/векторов)
• Опыт работы с моделями встраивания и хотя бы одной векторной базой данных
• Отличное понимание очистки данных

Если вы заинтересованы в этой возможности, пожалуйста, отправьте электронное письмо на контакт рекрутера, указав, почему вы идеально подходите для этого проекта, и примерную дневную ставку.