Используем cookie для работы сайта и статистики. «Хорошо» разрешит ещё и запись сессий.
Figma
Сан-Франциско, Соединенные Штаты10 дней назад
169 000 – 250 000 USD
в год
Грейд
Senior
Опыт работы
от 7 лет
Формат работы
Офис, Удалённо
Тип занятости
Полная занятость
Уровень английского
B2, выше среднего
Письмо на почту или сообщение рекрутеру в Telegram
Figma расширяет команду увлеченных творческих людей и разработчиков, стремящихся сделать дизайн доступным для всех. Платформа Figma помогает командам воплощать идеи в жизнь — будь то мозговой штурм, создание прототипа, преобразование дизайна в код или итерации с использованием ИИ. От идеи до продукта Figma помогает командам оптимизировать рабочие процессы, работать быстрее и сотрудничать в режиме реального времени из любой точки мира. Если вы хотите формировать будущее дизайна и совместной работы, присоединяйтесь к нам! Мы ищем Исследователя в области оценки ИИ (Researcher, AI Evaluations), который присоединится к команде AI Insights в составе команды исследований Figma. Это старшая индивидуальная позиция без подчиненных, с отчетностью перед руководителем AI Insights и прямой работой с AI Research в рамках AI Platform. Вы усилите командную работу по моделям, агентским системам и оценке с помощью практических исследований, четких критериев и надежных метрик качества, отражающих потребности пользователей, а ваши выводы будут направлять улучшения моделей и продуктов. Это полная ставка, которую можно выполнять из одного из наших хабов в США или удаленно на территории Соединенных Штатов. В Figma одна из наших ценностей — «Расти по мере развития» (Grow as you go). Мы верим в найм умных, любознательных людей, которые стремятся учиться и развивать свои навыки. Если вы заинтересованы в этой должности, но ваш предыдущий опыт не полностью соответствует изложенным в описании вакансии пунктам, мы настоятельно рекомендуем вам все равно подать заявку. Возможно, вы именно тот кандидат, которого мы ищем, или подходящий кандидат на другие вакансии. В Figma мы отмечаем и поддерживаем наши различия. Мы знаем, что наличие разнообразной команды, богатой различными мыслями, опытом и мнениями, позволяет нашим сотрудникам, нашему продукту и нашему сообществу процветать.
Руководить исследованиями по оценке для приоритетных направлений исследований ИИ. Определять критерии качества, разрабатывать исследования, анализировать результаты и рекомендовать действия. Разрабатывать критерии, репрезентативные наборы данных для оценки, эталоны и пороговые значения качества, отражающие потребности пользователей и экспертное дизайнерское суждение. Работать с инженерами AI Research и Modeling Platform для интеграции проверенных методов в повторяющиеся оценки и регрессионное тестирование. Объяснять качество, шаблоны отказов и неопределенность. Рекомендовать действия, которые направляют выбор модели, улучшения модели, приоритеты продукта и решения о выпуске. Проверять автоматические оценщики на соответствие оценкам человека, включая методы LLM-as-judge, которые используют большую языковую модель для оценки результатов. Выявлять предвзятость, пробелы и неопределенность. Связывать пользовательские исследования с работой AI Research по разработке моделей. Делиться повторно используемыми методами, просматривать работу и обучать коллег.
Более 7 лет опыта в области исследований, прикладных исследований или смежной области с подтвержденным опытом самостоятельного руководства сложными проектами по оценке и достижения измеримых результатов. Практический опыт оценки продуктов ИИ с демонстрацией способности преобразовывать результаты оценки в значимые улучшения моделей и продуктов. Опыт в разработке человеческих оценок, критериев оценки, наборов данных и эталонов, включая измерение согласованности между оценщиками и проверку автоматических оценщиков. Сильные навыки качественных и количественных исследований с возможностью анализировать данные, интерпретировать неопределенность и делать практические выводы о поведении и производительности моделей. Отличные навыки решения проблем и управления заинтересованными сторонами с возможностью справляться с неопределенностью, расставлять приоритеты рисков, балансировать скорость с строгостью и предоставлять рекомендации, влияющие на кросс-функциональные решения. Хотя это не является обязательным, будет плюсом, если вы также имеете: Опыт интеграции автоматизированных оценок и регрессионного тестирования в инженерные рабочие процессы, с знанием таких инструментов, как Braintrust, LangSmith, DeepEval или аналогичных платформ. Подтвержденная способность разрабатывать масштабируемые, повторно используемые фреймворки оценки и способствовать внедрению единых стандартов качества в командах. Опыт работы в области продуктового дизайна, управления продуктами, науки о данных или инженерии, с знанием Figma или аналогичных инструментов дизайна и разработки. Сильная статистическая экспертиза в области выборки, проверки значимости и метрик согласованности, с опытом проведения экспериментов или анализа метрик производительности для функций на базе ИИ. Продвинутое обучение в количественной или поведенческой дисциплине, полученное посредством формального образования или эквивалентного практического опыта.
Уровень должности и фактическая компенсация будут определяться на основе факторов, включая, помимо прочего, индивидуальные квалификации, объективно оцененные в процессе собеседования (включая навыки и предыдущий релевантный опыт, потенциальное влияние и объем роли), рыночный спрос и конкретное место работы. Figma предлагает акции сотрудникам, а также конкурентоспособный пакет дополнительных льгот, включая медицинское, стоматологическое и офтальмологическое страхование; пенсионные льготы с взносами компании; отпуск по уходу за ребенком и поддержку репродуктивного здоровья или планирования семьи; льготы по охране психического здоровья и благополучия; а также оплачиваемый отпуск. Figma предоставляет оплачиваемый отпуск по болезни, государственные праздники и другие виды отпуска в соответствии с применимыми федеральными, государственными и местными законами, включая требования Закона о минимальной заработной плате штата Вашингтон и связанных с ним правил. Сотрудники, работающие на условиях полной занятости, имеют право на оплачиваемый гибкий отпуск, предоставляемый работодателем, в дополнение к гибкому оплачиваемому отпуску по болезни. Гибкий отпуск подлежит одобрению менеджером. Дополнительные льготы могут включать дни отдыха компании, компенсацию расходов на мобильную связь и домашний интернет, а также различные счета для расходов на образ жизни. Figma также предлагает комиссионные вознаграждения за продажи для большинства должностей, связанных с продажами, и ежегодный бонусный план для соответствующих должностей, не связанных с продажами. Вся компенсация и льготы подпадают под действие применимых условий плана и могут быть изменены Figma в любое время в соответствии с применимым законодательством. Годовой базовый оклад: $169 000 — $250 000 USD
Figma is growing our team of passionate creatives and builders on a mission to make design accessible to all. Figma’s platform helps teams bring ideas to life—whether you're brainstorming, creating a prototype, translating designs into code, or iterating with AI. From idea to product, Figma empowers teams to streamline workflows, move faster, and work together in real time from anywhere in the world. If you're excited to shape the future of design and collaboration, join us! We’re hiring a Researcher, AI Evaluations to join AI Insights within Figma’s Research team. This is a senior individual contributor role with no direct reports, reporting to the AI Insights lead and working directly with AI Research within AI Platform. You’ll strengthen the team’s model, agent system, and evaluation work through hands-on studies, clear rubrics, and reliable measures of quality that reflect user needs, and your findings will guide model and product improvements. This is a full time role that can be held from one of our US hubs or remotely in the United States. What you’ll do at Figma: Own evaluation research for priority AI Research workstreams. Define quality criteria, design studies, analyze results, and recommend actions Build rubrics, representative evaluation datasets, benchmarks, and quality thresholds that reflect user needs and expert design judgment Work with AI Research and Modeling Platform engineers to integrate validated methods into repeatable evaluations and regression tests Explain quality, failure patterns, and uncertainty. Recommend actions that guide model selection, model improvements, product priorities, and release decisions Validate automated graders against human ratings, including LLM-as-judge methods that use a large language model to score outputs. Identify bias, gaps, and uncertainty Connect user research with AI Research’s model development work. Share reusable methods, review work, and mentor peers We’d love to hear from you if you have: 7+ years of experience in research, applied research, or a related field, with a proven track record of independently leading complex evaluation projects and delivering measurable impact Hands-on experience evaluating AI products, with demonstrated ability to translate evaluation findings into meaningful model and product improvements Expertise in designing human evaluations, scoring rubrics, datasets, and benchmarks, including measuring inter-rater agreement and validating automated graders Strong qualitative and quantitative research skills, with the ability to analyze data, interpret uncertainty, and draw actionable insights into model behavior and performance Excellent problem-solving and stakeholder management skills, with the ability to navigate ambiguity, prioritize risks, balance speed with rigor, and deliver recommendations that influence cross-functional decisions While it’s not required, it’s an added plus if you also have: Experience integrating automated evaluations and regression testing into engineering workflows, with familiarity in tools such as Braintrust, LangSmith, DeepEval, or equivalent platforms Proven ability to develop scalable, reusable evaluation frameworks and drive the adoption of consistent quality standards across teams Background in product design, product management, data science, or engineering, with familiarity in Figma or similar design and developer tools Strong statistical expertise in sampling, significance testing, and agreement metrics, with experience conducting experiments or analyzing performance metrics for AI-powered features Advanced training in a quantitative or behavioral discipline, gained through formal education or equivalent hands-on experience At Figma, one of our values is Grow as you go. We believe in hiring smart, curious people who are excited to learn and develop their skills. If you’re excited about this role but your past experience doesn’t align perfectly with the points outlined in the job description, we encourage you to apply anyways. You may be just the right candidate for this or other roles. Pay Transparency Disclosure Job level and actual compensation will be decided based on factors including, but not limited to, individual qualifications objectively assessed during the interview process (including skills and prior relevant experience, potential impact, and scope of role), market demands, and specific work location. Figma offers equity to employees, as well as a competitive package of additional benefits, including health, dental, and vision coverage; retirement benefits with company contributions; parental leave and reproductive or family planning support; mental health and wellness benefits; and paid time off. Figma provides paid sick leave, holidays, and other leave benefits in compliance with applicable federal, state, and local laws, including the requirements of the Washington Minimum Wage Act and related regulations. Exempt employees are eligible for employer-provided paid flexible PTO in addition to flexible paid sick leave. PTO is subject to manager approval. Additional benefits may include company recharge days, cell phone and home internet reimbursements, and a number of lifestyle spending accounts. Figma also offers sales incentive compensation for most sales roles and an annual bonus plan for eligible non-sales roles. All compensation and benefits are subject to applicable plan terms and may be modified by Figma at any time, consistent with applicable law. Annual Base Salary Range: $169,000 — $250,000 USD At Figma we celebrate and support our differences. We know employing a team rich in diverse thoughts, experiences, and opinions allows our employees, our product and our community to flourish. Figma is an equal opportunity workplace - we are dedicated to equal employment opportunities regardless of race, color, ancestry, religion, sex, national origin, sexual orientation, age, citizenship, marital status, disability, gender identity/expression, veteran status , or any other characteristic protected by law. We also consider qualified applicants regardless of criminal histories, consistent with legal requirements. We will work to ensure individuals with disabilities are provided reasonable accommodation to apply for a role, participate in the interview process, perform essential job functions, and receive other benefits and privileges of employment. If you require accommodation, please reach out to . These modifications enable an individual with a disability to have an equal opportunity not only to get a job, but successfully perform their job tasks to the same extent as people without disabilities. Examples of accommodations include but are not limited to: Holding interviews in an accessible location Enabling closed captioning on video conferencing Ensuring all written communication be compatible with screen readers Changing the mode or format of interviews To ensure the integrity of our hiring process and facilitate a more personal connection, we require all candidates keep their cameras on during video interviews. Additionally, if hired you will be required to attend in person onboarding. By applying for this job, the candidate acknowledges and agrees that any personal data contained in their application or supporting materials will be processed in accordance with Figma's Candidate Privacy Notice . Application limits: To help candidates focus on the opportunities most relevant to their skills and experience, Figma limits the number and frequency of applications. These limits apply to all roles: Candidates may submit up to 5 applications during any rolling 30-day period. Candidates may not reapply to the same role while an application is active or within 90 days of receiving a rejection. Once the applicable days has passed, candidates are welcome to apply again.
Сравним навыки, грейд, формат работы и зарплату
Чаще всего от 250 000 до 310 000