Сравнил две российские нейросети GigaChat 2 Max от Сбера и YandexGPT 5 Pro в Алисе. Какая лучше

Вчера Сбер представил новую версию своей генеративной модели GigaChat 2.0. Чат обещает стать умнее, быстрее и мощнее на русском языке.

Его лучшая версия имеет приставку MAX. Модель в два раза точнее следует инструкциям пользователя, на 25% лучше придерживается запрошенному стилю ответа.

Интересно стало сравнить ГигаЧат с новейшей на данный момент версией ассистента от Яндекса. Тот в конце февраля внедрил в чат с Алисой свою самую мощную языковую модель — YandexGPT 5 Pro. Она конкретнее отвечает на вопросы, лучше следует заданному формату, считает и выполняет задания на логику.

Задал 10 вопросов в каждом чате и сравнил качество их ответов по скорости, правильности и применимости в жизни.

Если интересует конкретный запрос, можете сразу перейти к нему:

Вопросы:

◦ Как сварить щи?
◦ Почему небо синее?
◦ Напиши код игры змейка
◦ Что можно подарить человеку, у которого всё есть?
◦ В чём отличие iPhone 16 Pro от iPhone 13 Pro
◦ Посоветуй не попсовую научную фантастику
◦ Как убрать жирные пятна с одежды?
◦ Как сделать картошку фри хрустящей, как в Макдональдсе?
◦ Как быстро заснуть, если не получается?
◦ Составь план тренировок и замотивируй меня
◦ Кто победил

Вот что получилось.

👉 Все картинки в посте можно увеличить по нажатию

1. Почему небо синее?

Время ответа:
Алиса на YandexGPT 5 Pro 12,60 с
Чат с GigaChat 2.0 Max 12,02 с

YandexGPT: Подробно указал механизм являения и даже упомянул точную длину волны голубого света, который рассеивается. Добавил интересный факт о фиолетовом цвете.

GigaChat: В общих чертах, но достаточно подробно объяснил механизм явления, упомянул его название.

Кто лучше: Обе модели правильно и подробно ответили, указали или нужные термины, или важные величины. Ничья, по баллу берут оба.

⚖️ YandexGPT против GigaChat: 1:1

◦ Назад к содержанию ◬

2. Как сварить щи?

Время ответа:
Алиса на YandexGPT 5 Pro 10,99 с
Чат с GigaChat 2.0 Max 29,12 с

YandexGPT: Дал рецепт кратко и ёмко. С указанием веса ингредиентов и времени приготовления на каждом шагу.

GigaChat: Рецепт как из кулинарной книги с полезными советами и альтернативами внутри этапов. Указано не только количество ингредиентов, но и даже размер кастрюли.

Кто лучше: Алиса ответила в три раза быстрее и достаточно полно, но инструкции GigaChat были более подробными, вплоть до указания количества воды и необходимости накрыть мясо ею полностью. В готовке такие тонкости важны, балл идёт GigaChat.

⚖️ YandexGPT против GigaChat: 1:2

◦ Назад к содержанию ◬

3. Напиши код игры «змейка»

Время ответа:
Алиса на YandexGPT 5 Pro 30,72 с
Чат с GigaChat 2.0 Max 31,51 с

YandexGPT: Выдал код с комментариями, который можно использовать в Python и упомянул, каким образом его использовать.

GigaChat: С задачей не справился. Все три попытки закончились ошибкой, после которой генерация ответа прекращалась.

Кто лучше: YandexGPT выполнил задачу, GigaChat нет. Балл чату с Алисой.

⚖️ YandexGPT против GigaChat: 2:2

◦ Назад к содержанию ◬

4. Что можно подарить человеку, у которого всё есть?

Время ответа:
Алиса на YandexGPT 5 Pro 13,76 с
Чат с GigaChat 2.0 Max 24,10 с

YandexGPT: Выдал реальные и практичные идеи, которые действительно можно воплотить.

GigaChat: Советы широкие как жизнь и недостаточно точные: чаще всего описывается только общий формат подарка, но не он сам.

Кто лучше: YandexGPT дал гораздо больше «живых» идей, которые можно действительно использовать и не почувствовать себя старпёром. Балл чату с Алисой.

⚖️ YandexGPT против GigaChat: 3:2

◦ Назад к содержанию ◬

5. В чём отличие iPhone 16 Pro от iPhone 13 Pro

Время ответа:
Алиса на YandexGPT 5 Pro 12,69 с
Чат с GigaChat 2.0 Max 12,94 с

YandexGPT: Точно и без ошибок перечислил все железные и софтовые отличия, как если бы это сделал консультант в магазине.

GigaChat: Решил, что iPhone 16 Pro ещё не вышел в продажу, поэтому начал выдавать теоретические характеристики флагмана. Тут стало очевидно, что модель не умеет искать информацию в сети и основывает ответы на базе знаний из тренировочных данных – вероятно, собранных до сентября 2024-го года, когда iPhone 16 Pro был представлен.

Кто лучше: GigaChat не сказал ничего по существу, а YandexGPT выдал уверенный и, главное, правильный список всех отличий. Не уверен, что даже ChatGPT справился бы лучше. Балл чату с Алисой.

⚖️ YandexGPT против GigaChat: 4:2

◦ Назад к содержанию ◬

6. Какой интересный фильм посмотреть из научной фантастики? Красивый и не из попсы

Время ответа:
Алиса на YandexGPT 5 Pro 11,93 с
Чат с GigaChat 2.0 Max 17,94 с

YandexGPT: Посоветовал только один фильм. При этом более слабая версия YandexGPT 3 в другом часте с Алисой выдала список из нескольких вариантов.

GigaChat: Дал несколько хороших идей для просмотра. Есть, из чего выбрать. Всего два популярных, остальные, действительно, не каждый смотрел.

Кто лучше: Чисто теоретически YandexGPT справился с задачей, но GigaChat предложил больше одного варианта. Балл уходит GigaChat.

⚖️ YandexGPT против GigaChat: 4:3

◦ Назад к содержанию ◬

7. Как убрать жирные пятна с одежды?

Время ответа:
Алиса на YandexGPT 5 Pro 11,93 с
Чат с GigaChat 2.0 Max 14,61 с

YandexGPT: Дал несколько способов очистки, но также предоставил варианты для разных тканей и упомянул другие важные моменты: например, что пятно тереть нельзя и в каких направлениях нужно проводить очистку.

GigaChat: Дал разные способы очистки, но не учитывал характер одежды.

Кто лучше: Кроме базовых советов YandexGPT предложил варианты для разных тканей, чего не было у GigaChat. Это важный момент, особенно с шёлком. Балл чату с Алисой.

⚖️ YandexGPT против GigaChat: 5:3

◦ Назад к содержанию ◬

8. Как сделать картошку фри хрустящей, как в Макдональдсе?

Время ответа:
Алиса на YandexGPT 5 Pro 12,43 с
Чат с GigaChat 2.0 Max 15,14 с

YandexGPT: Посоветовал популярный метод с предварительной варкой. Лично проверено – работает.

GigaChat: Предложить приготовить по методу двойной прожарки. Никогда о нём не слышал, но проверка в сети показала, что такой действительно существует. Также были полезные советы с сортом картофеля и промыванием от крахмала.

Кто лучше: Рецепты получились разными, оба рабочие. Обе модели правильно советовали подсушить картофель бумажным полотенцем. Обе заработали по баллу.

⚖️ YandexGPT против GigaChat: 6:4

◦ Назад к содержанию ◬

9. Как быстро заснуть, если не получается?

Время ответа:
Алиса на YandexGPT 5 Pro 13,42 с
Чат с GigaChat 2.0 Max 14,58 с

YandexGPT: Прописал советы от базовых до связанных с диетой и активностью. Дополнительно дал ёмкую и доходчивую сводку о том, что может быть причиной бессонницы и насколько важно идти к врачу и разбираться с проблемой.

GigaChat: Дал хорошие и не всем известные советы, в конце сделал пометку о том, почему нарушения сна – это серьезно.

Кто лучше: Оба справились отлично. YandexGPT добавил внушительный комментарий о последствиях проблемы, а GigaChat добавил физиологические методы борьбы с бессонницей. Балл каждому.

⚖️ YandexGPT против GigaChat: 7:5

◦ Назад к содержанию ◬

10. Как заставить себя заниматься спортом? Составь план тренировок дома на неделю

Время ответа:
Алиса на YandexGPT 5 Pro 14,12 с
Чат с GigaChat 2.0 Max 29,86 с

YandexGPT: План тренировок рабочий, но для новичков изнурительный: с занятиями каждый день пять дней в неделю можно словить перетрен как физический, так и ментальный. Ответ получился довольно сдержанным на мотивацию, но в конце были дельные вещи, которые перекрывают частый план тренировок: регулярность лучше интенсивности, себя нужно награждать, необходим дневник питания.

GigaChat: Выдавал ошибку до тех пор, пока не разделил запрос на две части: сначала мотивация, затем план тренировок.

Кто лучше: YandexGPT дал советы и составил план тренировки, хотя и достаточно изнурительный для тех, кто только начинает. Однако это лучше, чем обрывочные ответы GigaChat, к которому нужно искать подход. Балл чату с Алисой.

⚖️ YandexGPT против GigaChat: 8:5

Кто победил

YandexGPT в чате с Алисой генерировал ответ почти всегда быстрее: иногда на доли секунды, но гораздо чаще на 5, 10 и один раз даже на 20 секунд быстрее.

По скорости и объёму ответа видно, что YandexGPT 5 Pro оптимизирован под компактный ответ при сохранении глубокой информативности.

GigaChat 2.0 Max нельзя назвать плохой моделью. Багаж знаний у неё внушительный, иногда были советы, которые просто так из сети не возьмёшь. Однако чат иногда не справляется со сложностью своего ответа и обрубает его на середине.

Как продукт на каждый день, на данный момент интеграция YandexGPT 5 Pro в чате с Алисой ощущается более удобным, быстрым и полезным сервисом, чем GigaChat 2.0 Max.

Продукт Сбера получился достойный сам по себе, но пока он более медленный и не всегда учитывает тонкие детали и подводные камни запросов, о которых может не знать и сам пользователь.

◦ Назад к содержанию ◬

• До ←

  Соцсеть X Илона Маска резко подорожала в 4 раза всего за полгода. Теперь её оценивают в $44 млрд вместо $10 млрд

• После →

  Павел Дуров сообщил, что Telegram пользуется больше миллиарда человек, и высмеял WhatsApp, который тратит миллиарды на развитие