Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Cohere
Калгари, Канада4 месяца назад
30 CAD
в час
Опыт работы
от 1 лет
Формат работы
Удалённо
Тип занятости
Частичная занятость
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Cohere — ведущая компания в области корпоративного ИИ с фокусом на безопасность. Мы разрабатываем передовые фундаментальные ИИ-модели и комплексные продукты, призванные решать реальные бизнес-задачи.
Мы обучаем и внедряем передовые модели для предприятий, создающих ИИ-системы. Мы верим, что наша работа является неотъемлемой частью широкого распространения ИИ, и ищем людей, которые хотят принять в этом участие.
Мы одержимы тем, что создаем. Каждый из нас несет ответственность за увеличение возможностей наших моделей и ценности, которую они приносят нашим клиентам. Cohere — это команда исследователей, инженеров, дизайнеров и других специалистов, увлеченных своим делом.
Мы — глобальная технологическая компания со штаб-квартирой в Торонто и ключевыми офисами в Лондоне, Нью-Йорке, Сан-Франциско, Монреале, Париже, Берлине и Сеуле. Присоединяйтесь к нам!
Почему эта роль?
Наша миссия — создавать машины, которые понимают мир, и делать их безопасно доступными для всех. Качество данных является основой этого процесса. Машины (или, точнее, большие языковые модели) учатся схожим с людьми образом, посредством обратной связи. Размечая, ранжируя, проверяя и исправляя выходные данные моделей, вы будете улучшать производительность больших языковых моделей для будущих итераций, оказывая тем самым долговременное влияние на технологии Cohere. Мы нанимаем универсальных специалистов с широким опытом работы в различных потребительских или персональных доменах.
Это роль, требующая принятия решений, а не пассивного ввода данных. Вы будете анализировать, оценивать и предоставлять структурированную обратную связь по широкому и постоянно меняющемуся набору задач, оценивая, стресс-тестируя и улучшая наши модели на англоязычных данных, охватывающих различные модальности (текст, изображения и структурированные форматы, такие как JSON, CSV/TSV и Markdown). Это отличная возможность для специалистов с сильными аналитическими навыками внести свой вклад в высокоуровневые проекты аннотации.
В качестве специалиста по аннотированию данных вы будете:
Оценивать и ранжировать выходные данные моделей: Выполнять задачи сравнения и выбора предпочтительных ответов, оценивая, какие ответы наилучшим образом соответствуют рекомендациям проекта по точности, полезности, тону и безопасности, и предоставлять четкие обоснования ваших суждений.
Стресс-тестировать и выявлять уязвимости моделей: Проводить преднамеренные атаки на модели для выявления сбоев, небезопасного поведения и пробелов в возможностях, а также документировать воспроизводимые случаи, на которые могут отреагировать инженерные и исследовательские команды.
Создавать наборы данных: Создавать высококачественные запросы (prompts), ответы и примеры для формирования обучающих и оценочных наборов данных, следуя подробным спецификациям и редактируя машинные или человеческие выходные данные до требуемого стандарта.
Разрабатывать и применять рубрики и таксономии: Участвовать в разработке критериев оценки и рубрик, а затем последовательно применять их для создания структурированных, высококачественных аннотаций по различным типам задач.
Аннотировать и исправлять мультимодальные данные: Размечать, проверять и исправлять неточности в текстовых, графических и структурированных данных, поддерживая высокий стандарт целостности и точности данных.
Калибровать и поддерживать единообразие: Участвовать в калибровочных упражнениях и проверках согласованности между аннотаторами для установления единых стандартов, а также сообщать о неоднозначных или неохваченных пограничных случаях, а не делать предположения, поскольку одно неправильное суждение, распространенное в масштабе, ухудшает модель.
Адаптироваться к экспериментальной работе: Выполнять новые и развивающиеся типы задач по мере изменения потребностей проекта, применяя здравый смысл в областях, где рекомендации еще разрабатываются.
Отчитываться о производительности моделей: Выявлять и сообщать о тенденциях качества и производительности в поведении моделей и агентов, предоставляя межфункциональным партнерам четкую, обоснованную обратную связь о том, где модели преуспевают, терпят неудачу и деградируют.
Вы можете подойти, если у вас есть:
Более 1 года опыта в аннотировании данных для ИИ, оценке LLM, модерации контента, исследованиях или смежной аналитической роли, с опытом обеспечения качества и/или ранжирования предпочтений.
Опыт применения подробных рекомендаций к сложному и часто неоднозначному контенту, с сильным контекстуальным и социокультурным суждением, чувствительностью к нюансам, тону и регистру, а также способностью здраво рассуждать в случаях, когда нет единственно правильного ответа.
Комфорт с неопределенностью: готовность сообщать о неясных или неохваченных пограничных случаях, а не делать предположения, и продуктивно работать над новыми, экспериментальными задачами, определения которых еще развиваются.
Острый, любопытный взгляд на несоответствия, тонкие ошибки и сбои моделей, включая инстинкт преднамеренно тестировать модели и выявлять их уязвимости. Знание того, как ведут себя большие языковые модели, например, галлюцинации, угодливость и пробелы в следовании инструкциям, является плюсом.
Отличное владение письменным английским языком и сильное понимание прочитанного, с умением четко обосновывать ваши оценки, в том числе почему выходные данные верны или неверны, высокого или низкого качества, а также писать четкие запросы и примеры, объясняющие ваше рассуждение. Бонусные баллы, если вы свободно владеете другим языком!
Высокое внимание к деталям и приверженность точности, с умением поддерживать единообразие при выполнении больших объемов монотонных задач.
Комфорт в работе с платформами аннотирования и структурированными форматами, такими как JSON, CSV/TSV, Markdown, XML и YAML.
Высокая эффективность в удаленной среде, включая хорошее управление временем, комфорт при использовании новых инструментов и способность работать самостоятельно в глобальной, асинхронной команде.
Обратите внимание: это работа по контракту с частичной занятостью, доступная только на территории Канады. Мы ищем кандидатов, готовых работать 16 часов в неделю по ставке 30 канадских долларов в час. Для этой роли требуется собственный ноутбук (BYOD 💻). Эта позиция является удаленной.
В качестве независимого подрядчика вы сохраняете контроль над тем, как вы выполняете свою работу, и можете работать с несколькими клиентами одновременно, хотя мы просим вас сообщить, если кто-либо из них является прямым конкурентом Cohere, и сохранять конфиденциальность интеллектуальной собственности проекта Cohere. Независимые подрядчики не имеют права на медицинское страхование или другие льготы, предоставляемые штатным сотрудникам. Оплата услуг предоставляется подрядчикам путем выставления ими счетов за оказанные услуги в соответствии с условиями нашего соглашения с подрядчиком.
Важно понимать, что в качестве независимого подрядчика непрерывная работа не гарантируется. Отношения клиент-подрядчик в основном основаны на проектах, что означает, что сотрудничество может быть временным, периодическим или эпизодическим в зависимости от потребностей нашей организации и доступности проектов. Как независимый подрядчик, вы должны ожидать колебаний в рабочей нагрузке и, следовательно, в оплате услуг, когда Cohere не требует столько часов услуг в неделю.
Потенциальным кандидатам: эта роль предполагает работу с задачами, созданными как людьми, так и моделями, которые могут включать материалы не для взрослых (NSFW) в рамках задач аннотирования данных, включая откровенный, оскорбительный или иной неприемлемый материал.
WHO ARE WE?
Cohere is the leading security-first enterprise AI company. We build cutting-edge foundation AI models and end-to-end products that are designed to solve real-world business problems.
We’re training and deploying frontier models for enterprises who are building AI systems. We believe that our work is instrumental to the widespread adoption of AI and we are looking for folks that want to be part of that.
We obsess over what we build. Each one of us is responsible for contributing to increasing the capabilities of our models and the value they drive for our customers. Cohere is a team of researchers, engineers, designers, and more, who are all passionate about their craft.
We are a global technology company headquartered in Toronto with key offices in London, New York City, San Francisco, Montreal, Paris, Berlin and Seoul. Join us!
Why this role?
We are on a mission to build machines that understand the world and make them safely accessible to all. Data quality is foundational to this process. Machines (or Large Language Models, to be exact) learn in similar ways to humans, by way of feedback. By labelling, ranking, auditing, and correcting model output, you will improve Large Language Models' performance for iterations to come, thus having a lasting impact on Cohere's technology. We are hiring Generalist professionals with broad backgrounds that span multiple consumer-facing or personal domains.
This is a judgment-driven role, not passive data entry. You will review, assess, and provide structured feedback across a broad and evolving range of tasks, evaluating, stress-testing, and improving our models on English-language data spanning multiple modalities (text, image, and structured formats such as JSON, CSV/TSV, and Markdown). This is a great opportunity for professionals with strong analytical skills to contribute to high-impact annotation projects.
Please Note: This is a part-time independent contractor position available within Canada only. We seek candidates who can commit to 16 hours per week at a CAD $30/hour contract rate. This role is BYOD 💻 (Bring Your Own Device, laptop). This position is remote.
As an Data Annotation Specialist, you will:
Evaluate and rank model outputs: Complete preference and comparison tasks, assessing which responses best conform to project guidelines for accuracy, helpfulness, tone, and safety, and writing clear justifications for your judgments.
Stress-test and break models: Probe models adversarially to surface failure modes, unsafe behavior, and capability gaps, and document reproducible cases that engineering and research teams can act on.
Create datasets: Author high-quality prompts, responses, and exemplars to build training and evaluation datasets, following detailed specifications and editing machine-written or human-written outputs to standard.
Build and apply rubrics and taxonomies: Contribute to the design of grading criteria and rubrics, then apply them consistently to produce structured, high-quality annotations across task types.
Annotate and correct multimodal data: Label, audit, and rectify inaccuracies across text, image, and structured data, maintaining a high standard of data integrity and accuracy.
Calibrate and maintain consistency: Participate in calibration exercises and inter-annotator agreement checks to align on standards, and flag ambiguous or uncovered edge cases rather than guessing, since a single misjudgment replicated at scale degrades a model.
Adapt to experimental work: Take on new and evolving task types as project needs shift, applying sound judgment in areas where guidelines are still being developed.
Report on model performance: Surface and communicate quality and performance trends in model and agent behavior, giving cross-functional partners clear, well-evidenced feedback on where models succeed, fail, and degrade.
You may be a good fit if you have:
1+ years of experience in AI data annotation, LLM evaluation, content moderation, research, or a related analytical role, with exposure to quality assurance, and/or preference ranking.
Experience applying detailed guidelines to complex and often ambiguous content, with strong contextual and sociocultural judgment, sensitivity to nuance, tone, and register, and the ability to reason well in cases where there is no single correct answer.
Comfort with ambiguity: a willingness to flag unclear or uncovered edge cases rather than guess, and to work productively on novel, experimental tasks whose definitions are still evolving.
A sharp, curious eye for inconsistencies, subtle errors, and model failure modes, including the instinct to probe models adversarially and surface where they break. Familiarity with how large language models behave, such as hallucination, sycophancy, and instruction-following gaps, is a plus.
Excellent command of written English and strong reading comprehension, with the ability to clearly justify your evaluations, including why an output is correct or incorrect, high-quality or low-quality, and to write clear prompts and exemplars that explain your reasoning. Bonus points if you are fluent in another language!
Strong attention to detail and commitment to accuracy, with the ability to maintain consistency across high-volume and monotonous tasks.
Comfort working with annotation platforms and structured formats such as JSON, CSV/TSV, Markdown, XML, and YAML.
Strong execution in a remote environment, including good time management, comfort using new tools, and the ability to work independently in a global, asynchronous team.
Candidate Journey
Initial Screening: Our Talent Team will review your application.
First Assessment: If selected to move forward, you’ll receive a multiple-choice assessment by email.
Second Assessment: Candidates who achieve a passing score will be contacted by a member of our team to complete a more comprehensive assessment focused on their area of expertise.
Video Screen: If selected to move forward, you’ll have a short video call with a member of our Operations Team.
Final: Selected candidates will receive an Independent Contractor Agreement.
As an independent contractor, you maintain control over how you complete your work and may work with multiple clients simultaneously, although we ask you to declare if any of these are with a direct competitor of Cohere and maintain IP confidentiality of the Cohere project. Independent contractors are not eligible for health benefits or other benefits provided to employees. Compensation for services is provided to contractors by contractors invoicing for services provided pursuant to the terms of our agreement with the contractor.
It is important to understand that as an independent contractor, continuous work is not guaranteed. The client-contractor relationship is fundamentally project-based, meaning engagements may be temporary, periodic, or intermittent based on our organizational needs and project availability. As an independent contractor, you should anticipate fluctuations in workflow and, therefore, compensation for services when Cohere does not require as many hours of services in a week.
Prospective candidates, please be advised: this role involves working with human-generated and model-generated tasks that may involve exposure to not safe for work (NSFW) text content as part of data annotation tasks, including explicit, offensive, or other inappropriate material.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 50 до 80
