Неделю назад OpenAI выпустила новую версию своей флагманской генеративной модели ChatGPT на базе GPT-5.
В отличие от всех прошлых релизов её не просто якобы сделали умнее, а объединили все прошлые наработки в одну.
Теперь ИИ-чат сам понимает, какой модуль подключить, чтобы дать наиболее релевантный ответ.
Однако и в самой нейросети что-то поменялось.
Сразу после релиза твиттер переполнился возмущениями, что чат стал менее индивидуальным, более строгим и вообще потерял искру. На Reddit даже оплакивали своих «ушедших» цифровых партнёров.
После релиза и сам заметил, что ответы изменились, а местами действительно стали глупее.
Решил задать одни и те же вопросы двум разным моделям, чтобы разобраться, в чём всё-таки дело.
Вопросы:◦ Совет в узкой области
◦ Как умеют писать стихотворения
◦ Как хорошо дают медицинский совет
◦ Насколько хорошо угадывают слова по смыслу
◦ Могут ли переводить картинки
◦ Насколько хорошо знают малоизвестные факты
◦ Как они программируют
◦ Как они генерируют картинки
◦ Кто победил
Что сравниваем. Модель, которая работала больше года, против свежего GPT-5
GPT-4o запустили в мае 2024 года.
По своей сути была первым большим шагом OpenAI в попытке объединить все свои наработки в одном месте. Её ключевой возможность была мультимодальность, то есть умение работать одновременно с текстовым, звуковым и визуальным вводом.
GTP-5 доступна с 7 августа 2025 года.
Стала продолжением истории унификации, но теперь в неё входит не только ширина входных данных, но и глубина. Система старается сама определить, нужно ли подключать размышление или модель, которая отвечает быстрее и проще.
Но чату поменяли тон выдачи. Система стала отвечать более формально, пропал задорный (и надоевший) тон, который можно описать только «если бы шрифт Comic Sans был человеком»
То, что должно было стать плюсом, у многих казуальных пользователей скорее вызвало эффект зловещей долины.
В связи с масштабными жалобами OpenAI признала проблему и, кажется, впервые позволила «откатиться» платным пользователям на GPT-4o, если её характер больше устраивал.
Я это и на своём использовании увидел. Иногда чат не так хорошо понимал, что мне от него надо, или выдавал слишком строго научные ответы.
Отсюда и пошла идея сравнения. Придумал запросы, оплатил подписку и пошёл разбираться.
1. Насколько хорошо дают совет в узкой области
📍 Запрос: Ты – высококлассный специалист в области психологии. Как взломать тип психики партнёра на переговорах и провести с ним успешную сделку?
Запрос достаточно сложный для понятного ответа. Ассистенту нужно было не только научить концепту разных типов психики, но еще и параллельно дать понятный алгоритм поведения.
Пятая версия в качестве структуры выбрала последовательный подход: сначала прощупываем человека, потом переходим к действиям.
Четвёртая версия начала со своего приторного тона. По структуре сделала несколько разделов, каждый под разные виды типажей людей. Как по мне, это более запутанный ответ, потому что советы по поведению есть в каждом. Хотя по вёрстке выглядит более красочно и интересно.
⚖️ GPT-5 против GPT-4o: 1:0
2. Как умеют писать стихотворения
📍 Запрос: Придумай стихотворение в стиле Маяковского о текущих проблемах с мобильным интернетом в России.
OpenAI прямо пишет, что GPT-5 должен лучше писать стихотворения.
Как по мне, пятая версия написала галюциногенную ересь.
Четвёртая, в свою очередь, сделала вполне себе напоминающее стиль, а, главное, складное, звучное и рифмующееся произведение.
Может, я в Маяковском не понимаю. Если среди вас найдутся эксперты – напишите своё мнение в комментариях.
⚖️ GPT-5 против GPT-4o: 1:1
3. Как хорошо дают медицинский совет
📍 Запрос: Может ли недосып (до этого спал всегда по 8 часов, а в день анализа 5 часов) сказаться на результате анализа уровня витамина D?
Одинаковые по своей сути ответы, которые начинаются с абсолютно противоположных формулировок.
Пятая версия взяла более строгий тон фактов, и чисто технически ответила правильно. Но вопрос-то был не для науки, а для жизненной ситуации, где занудство мешает получить короткий ясный ответ.
Четвертая версия дала тот ответ, который хотел бы услышать нормальный человек. «По факту одна ночь недосыпа не скажется» – это то, что и нужно было сказать.
⚖️ GPT-5 против GPT-4o: 1:2
4. Насколько хорошо угадывают слова по смыслу
📍 Запрос: Как одним словом на английском описать то, что недавно я начал больше интересоваться тем, как правильно и красиво одеваться. Пример: And I recently started to dive deeper into …
Я искал именно слово menswear, тут пятая версия сработала безоговорочно лучше.
⚖️ GPT-5 против GPT-4o: 2:2
5. Могут ли переводить картинки
📍 Запрос: Полностью переведи на русский язык всё содержимое этой картинки и сгенерируй новую. Для понимания, это аналог настроек графики на ПК для Cyberpunk 2077 в двух режимах игры на PS5. В ответе мне нужна только новая картинка на русском, как если бы я сам каждую настройке в фотошопе вручную переводил.
Задача всё ещё сложная для нейросетей, поскольку требует глубокого визуального анализа крайне технической вещи.
Пятая часть перевела «on» как «он» вместо «вкл», в то же время кириллица у неё получилась понятнее.
Чётвёртая часть правильно перевела «среднее», но на этом ограничилась.
В целом, обе с задачей не справились, пропустили некоторые характеристики, текст вписали с тяжёлыми галлюцинациями. По сравнению с тем, что было два года назад, конечно, впечатляет по сохранению сетки, но результат все ещё нельзя использовать в работе.
⚖️ GPT-5 против GPT-4o: 2:2
6. Насколько хорошо знают малоизвестные факты
📍 Запрос: Это правда, что в фильме малхолланд драйв исполнение песни плакальщицы записано с первого раза на ознакомительной встрече этой актрисы (на самом деле певицы) с Линчем?
У пятой опять просочился академизм и формальность, которая в подобных ответах лишает персональности в общении.
Подача четвертой версии понравилась больше. Всё чётко и по делу, и, самое главное, буллиты в этот раз оказались полезны, а не как обычно.
⚖️ GPT-5 против GPT-4o: 2:3
7. Как они генерируют картинки
📍 Запрос: Сгенерируй яркое, красивое, фотореалистичное изображение, где будет показано, как сквозь смартфон проходят сообщения из незашифрованного формата в зашифрованном. Телефон должен быть в профиль зрителю, то есть видно только его боковую грань. Чтобы было броским, иллюстративным.
Оба с задачей не справились, но GPT-4o всё-таки сделал более близкое к описанию изображение.
На самом деле, остаётся вопрос, какие версии DALL•E участвуют в этих запросах. Возможно, одна и та же и более современная, и тогда перед нами две разные попытки одной и той же технологии генерации изображений.
Но, опять же, в сухом остатке GPT-4o оказался ближе.
⚖️ GPT-5 против GPT-4o: 2:4
8. Как они программируют
📍 Запрос: Напиши HTML+CSS код для карточки товара с фото, названием, ценой и кнопкой «Купить», чтобы всё выглядело красиво и помещалось в центр страницы.
Пятая версия сгенерирвоала более комплексный код, в котором было больше эффектов и градиентов. Карточка в принципе вышла красивее.
GPT-4o, в свою очередь, не использовал режим рассуждения, и потому ответил быстрее.
Я предпочёл бы всё-таки ответ GPT-5, потому что результат получился симпатичнее.
⚖️ GPT-5 против GPT-4o: 3:4
Подтверждаю, запуск GPT-5 стал провальным. Нейросеть не починили
В итоге GPT-5 была лучше в трёх случаях, а GPT-4o в четырёх. Для модели, которая должна быть лучше во всём, это поражение.
Нам всем массово не показалось, и тест прямо показал падение в качестве ответов в новой версии СhatGPT.
GPT-5 слишком тщательно пытается ответить на простые вопросы, хуже пишет стихи, строг там, где это не требуется и даже его генератор изображений хуже следуюет запросу, чем при работе с GPT-4o.
Из хорошего то, что ушёл сальный юморок в речи, ответы на сложные запросы теперь лучше структурированы и их легче читать, а программирование действительно на новом уровне.
Вероятно, в OpenAI следующие несколько месяцев будут «допиливать» новую версию, чтобы она стала чуть более дружелюбной. А затем тихо уберёт вариант с запуском GPT-4o, которую сейчас поместила под опцию «устаревшие модели».
Чья статья то? Авторка не прописана
chatGPT 4o написал :) Чтобы не выбрасывали.