ChatGPT от компании OpenAI стал настолько ярким событием, что его невозможно не замечать. Языковые модели развиваются стремительно, в гонку вступили и тяжеловесы мира IT. Если не сделать это сегодня, то завтра конкурентов будет уже не догнать. Так, Apple обучает сразу несколько языковых моделей, новые методы используют и визуальную информацию. Стоит ожидать больший упор на нейросети в новых версиях операционных систем компании и в новых ее устройствах.
Одна из языковых моделей Google называется Gemini, на ее основе работает чат-бот Bard. Аналогичные проекты есть у Microsoft, Amazon… Стоит ли удивляться тому, что отечественные IT-компании следуют популярному и, очевидно, перспективному тренду? Языковая модель от Сбера FRED-T5 по некоторым оценкам входит в пятерку самых производительных, опередив даже Gemini и GPT-3.5. Правда, отметим, что источник все же не самый авторитетный, да и упор отечественной разработки явно сделан на русский язык.
Не остался в стороне и Яндекс со своей нейросетью YandexGPT. И это вовсе не лабораторная разработка, компания активно интегрирует технологию в различные свои продукты: Поиск, Алису, Маркет и прочие.
Осталось выяснить, насколько отечественные продукты способны соревноваться с явным лидером отрасли, ChatGPT. Давайте же проведем прямое сравнение, выбрав непростые для понимания и обработки нейросетями вопросы.
Кратко
Как получить доступ к GigaChat от Сбера
Авторизация в Сбере потребуется для работы с GigaChat через веб
Сбер предлагает несколько вариантов доступа к своему GigaChat. Основные сценарии предполагают вход по номеру телефона или с помощью Сбер ID. Разобраться поможет довольно подробная инструкция с картинками. Впрочем, чат-бот доступен и в Telegram, и в VK.
Таким образом, для общения с чат-ботом необязательно быть клиентом Сбера – нейросеть доступна всем через браузер, клиент Telegram или мессенджер VK.
Как получить доступ к YandexGPT
Чат-бот Яндекса готов к общению!
На стартовой странице поисковика Яндекс слева внизу имеется кнопка, которая как раз и предлагает запустить чат с Алисой YaGPT. Однако это не совсем то, что нам требуется.
Предлагаемая модель, кажется, создана специально для Алисы и грешит лаконичными или попросту бессодержательными ответами. Ассистент вполне способен сказать “у меня нет ответа на этот вопрос”, чем удивит пользователя. К счастью, YandexGPT явно способен на большее и мы сможем это проверить!
Для доступа к полноценному YandexGPT потребуется авторизация с помощью Яндекс ID в облачном сервисе компании. Если аккаунт у вас уже имеется, то перейти к чату можно по прямой ссылке.
Как получить доступ к ChatGPT
До недавнего времени доступ к ChatGPT требовал регистрации. Сама по себе эта процедура для россиян была непростой с учетом необходимости использовать еще и иностранный номер телефона. Но теперь ChatGPT работает без регистрации. А доступ к нему осуществляется через обычный браузер.
Просто перейдите по ссылке и задайте самому популярному в мире чат-боту любые интересующие вас вопросы. Сервис имеет ограничения на суточное число запросов для незарегистрированных пользователей, к тому же работать с ним придется с иностранного IP-адреса.
Есть и другой способ общения с ChatGPT – многочисленные Telegram-боты. Среди них нетрудно найти и работающие без платных подписок, например, этот или этот. Но скорее всего эти бесплатные боты будут работать на уже устаревших версиях ChatGPT.
Сравнение работы GigaChat, YandexGPT и ChatGPT.
Шуба в холодильнике.
Зададим вопрос на понимание контекста:
GigaChat (Сбер)
YandexGPT
ChatGPT
Как ни странно, но российские нейросети всерьез рассуждают об условиях хранения мехового изделия в холодильнике, тогда как ChatGPT точно понял, о чем же вообще идет речь. Что же, дадим отечественным нейросетям второй шанс.
Понимание жаргона.
GigaChat (Сбер)
YandexGPT
ChatGPT
Яндекс явно понимает лучше Сбера, о чем идет речь.
Логический парадокс.
Кто же из них появился первым?
Попробуем озадачить ИИ вечным вопросом:
GigaChat (Сбер)
YandexGPT
ChatGPT
Gigachat оказался настолько лаконичным, что появился соблазн переспросить. И ответ откровенно удивил, оказавшись полной противоположностью предыдущему.
Детская загадка.
Сможет ли ИИ разгадать детскую хитрую загадку?
GigaChat (Сбер)
YandexGPT
ChatGPT
Только лишь одна нейросеть ответила предельно правильно и это, увы, не российская разработка.
Окончание палиндрома.
Последний вопрос будет на знание известного палиндрома. Пусть ИИ не просто его закончит, но еще и поймет, что же от него вообще требуется.
GigaChat (Сбер)
YandexGPT
ChatGPT
Все чат-боты ответили содержательно, причем каждый развил свою мысль.
Какая нейросеть лучше отвечает?
В этом небольшом тестировании умышленно не использовались вопросы на знание точных фактов истории, географии или других наук. Хотелось понять, насколько нейросети способны мыслить “по-человечески”. Возможность параллельно отвечать на одни и те же вопросы наглядно показала навыки нейросетей. Стоит также учитывать, что повторный вопрос может привести к формированию уже другого ответа. Как показала практика, он может быть противоположным данному перед этим.
ChatGPT ответил на сложные вопросы лучше всех. Конечный результат кажется однозначным. На все каверзные вопросы ChatGPT ответил правильно, чат-бот от OpenAI отлично разбирается в наших языковых особенностях, понимает контекст и дает максимально подробные с учетом формата ответы. При этом нейросеть не стесняется высказывать несколько допустимых точек зрения или вариантов ответа. Повторная же генерация приводит к схожему результату.
YandexGPT в целом показал себя неплохо. Нейросеть пытается ответить полно, правда, не всегда точно понимая, что именно от нее хотят. Даже в вопросе с детской загадкой ответ, хоть и неправильный, был дан на основании какой-то понятной логики. С логическим парадоксом и жаргонным словом чат-бот Яндекса тоже справился. Преимущество над отечественным конкурентом есть и базируется на лучших возможностях обучения языковой модели.
GigaСhat уступил своим соперникам. Увы, но GigaChat от Сбера показал себя в этих тестах хуже всех. Нейросеть генерирует противоположные по смыслу ответы, плохо понимает контекст и жаргон. Фактически, GigaChat провалил все испытания. В утешение Сберу можно упомянуть разве что самые простые и разнообразные варианты доступа к чат-боту компании. Что же, разработчикам Сбера явно есть что улучшать в работе своей языковой модели.
Смысл тестирования
Проведенное сравнение показало, что нейросети уже перешагнули черту, которая отделяла не всегда точный энциклопедический справочник от действительно интеллектуальной системы, способной общаться и понимать неоднозначные вопросы с элементами сленга, логическими загадками и понятным человеку контексту.
Взрывной рост возможностей нейросетей как радует, так и пугает. Сегодня уровень мышления GPT-4 уже сопоставим с уровнем старшеклассника.
Приятно видеть, что отечественные ИТ-компании участвуют в этом процессе. И Яндекс, и Сбер представили своих чат-ботов и активно интегрируют их в свои продукты. Отставание от лидера отрасли есть, оно местами заметное, но разве это не вызов и не ориентир для развития?
(37 голосов, общий рейтинг: 4.70 из 5)
Роман Мирошниченко
@erveЛюблю путешествия и гаджеты. И путешествовать с гаджетами :) Мир большой и интересный, никогда не устану его изучать
18 комментариев
Форум →Молодцы! А теперь протестуйте что лучше для просмотра стримингового видео – YouTube или RuTube? А то вдруг возможны варианты.
@volshebnikanaferon, “А то вдруг возможны варианты.” всего два месяца прошло а как сменился смысл этой фразы.
Мне кажется на простые вопросы +/- скоро все ИИ будут отвечать +/- одинаково. Надо тестировать не так. К примеру ставите задачу основную, ставите дополнительные условия, ИИ должен отвечать на дополнительные условия помня рамки основной задачи.
Конечно, можно подобрать глубокие тесты, но это уже материал для большой околонаучной статьи. Да и даже простые тесты показали разницу
😂👍 другого мы и не ожидали
Что не так с шубой в холодильнике? В чем шутка, растолкуйте? Холодильники-морозильники меховые МХ-500 «POZIS» и GRAUDE PK 70.0 – это шутки такие?
Мне кажется что наоборот, Яндекс профессионально подошел к вопросу, и ему было что сказать, а не до конца изучившая тему ЧатГопота выдала милениальские хаханьки
@fedorez, а что с меховой шубой в таком холодильнике, по-твоему, может случиться, умник? Облезет и завоняет, если на недельку дольше полежит? Плюс, Chat GPT, мало того, что выносит обе поделки в одну калитку, так явно ещё и умеет в статистику, в отличие от тебя.
@e-ch, мой юный эмоционирующий друг. Я в душе не ЭПУ, что с шубой станет в морозилке, я не спец по этим устройствам. Но ты легко можешь это выяснить погуглив по ключевым «холодильник для шуб», увидеть что у многих весьма именитых производителей есть устройства этого класса, и обогатить свой разум этими полезными знаниями. Потом даже можешь статью написать. А сейчас позориться не будешь. Ок?
@fedorez, ну так последняя модель 4ки тебе прямо скажет и про спец холодильники и про условия)
Стоп, а какой YaGPT использовали? Есть же платный – Алиса Про на YaGPT 3.0. Она отвечает на те же вопросы более развернуто.
Умная розетка Кирилла не включена в список тестируемых.
Сравнение не полное.
Тоесть вы тестирует Гпт3.5 который давний как сама вселенная?) не 4 и не 4 турбо и даже не 4омни?)) воистину шикарное тестирование. 4йо например отлично справляется с задачами из курса бакалавр будь то математика, физика, химия. Тот же опус рассуждает так как ваши отечественные ИИ и рядом не лежали. Тестеры блин.
Еще забыли про MTS AI, который выступает наравне с Яндексом и Сбером, а в части анализа данных даже превосходит их.
ChatGPT пока лидер. Но есть нюанс :) Он слишком много придает внимания контексту.
Попробуйте спросить GPT:
Сегодня у меня 100 рублей. Вчера я потратил 50 рублей. Сколько у меня сегодня рублей?
ChatGPT ответил: 50 рублей :))))
@Йода, спросил, вот ответ:
« Если сегодня у вас 100 рублей, то это не зависит от того, сколько вы потратили вчера. Поэтому у вас сегодня 100 рублей.»
@Home, После долгой беседы он мне тоже стал отвечать правильно, но сначала ответил 50р, факт.
@Йода, задал тот же вопрос chatgpt, который в статье по ссылке без регистрации. Ответ был: “У тебя сегодня 100 рублей, как и указано в начале загадки. Важно то, что текущая сумма указана уже с учётом всех прошлых трат.”
* Барда больше нет. Есть Gemini. Это более новая модель. По ссылке bard.google… попадаем на gemini.
* Без регистрации зайти в ЧатГПТ до сих пор нельзя. У меня открывается стандартная страница, где можно либо зарегистрироваться либо залогиниться. Проверял по вашей ссылке (с вкл. ВПН). Что я делаю не так?
ChatGPT это няшик, а всякие качки гигачаты сверхчеловеки, и старшие сёстры Яндекс Алис мне нафиг не нужны
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.Как разобраться, что “съедает” память на Mac
Как временно отключить Face ID на iPhone
Как в MacBook с процессором M1/M2 переназначить кнопку F4 со Spotlight на LaunchPad
Как перенести локальную резервную копию iPhone на внешний диск
iPhone не дает изменить параметры iCloud, что делать?
Почему при покупке Mac не предоставляется год подписки на Apple TV+
Как найти iPhone дома, если включен беззвучный режим
Как отключить светлую тему macOS Mojave для некоторых приложений