Специалисты Яндекса сравнили качество ответов YandexGPT 2 и GPT 3.5.
По данным компании, их нейросеть в 63% случаев отвечала на вопросы лучше конкурента.
Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов.
— Алексей Гусаков, технический директор Яндекс Поиска
Исследование проводилось методом сравнения Side by Side (SBS). То есть обоим нейросетям задавались одинаковые вопросы, а AI-тренеры выбирали лучшие ответы, не зная, какая именно модель их генерировала.
Запросы взяли из типичных обращений пользователей сервисов Яндекса к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.
комманду ««Яндекс» включи музыку» chatgpt думаю проиграет…