Microsoft объявила, что новая бесплатная модель ChatGPT, gpt-oss-20b, теперь доступна для пользователей Windows через платформу Windows AI Foundry. Скоро эта модель появится и на macOS.
Для работы модели на компьютере или ноутбуке потребуется видеокарта с минимум 16 ГБ видеопамяти. Это значит, что подойдут мощные видеокарты от Nvidia или Radeon с достаточным объемом памяти.
Модель gpt-oss-20b оптимизирована для выполнения кода и использования инструментов, что делает её идеальной для создания автономных помощников или внедрения ИИ в рабочие процессы, даже в условиях ограниченного интернета.
Microsoft уже подготовила модель для работы на локальных устройствах, а в будущем обещает поддержку ещё большего числа устройств. Возможно, скоро появится версия, оптимизированная для Copilot+PC.
Это первый случай, когда модель OpenAI можно запустить локально на Windows. При этом Amazon также оперативно добавила поддержку новых моделей OpenAI в свои облачные сервисы. [The Verge]
Войди и оставь комментарий
Или войди с помощью
А вы не перепутали ничего? Почему видюха-то на 16гб, а не просто оперативная память?!
Да, gpt-oss-20b вроде на обычных макбуках эйр запускают. Сегодня хочу попробовать
А статейку чуть ниже прочти, про эти модели. Да и подумай, почему майнят криптовалюту на топовых видеокарточках, а не в оперативной памяти и на малоядерноим процессоре.
На маке можно запустить через Ollama
BF16 занимает 42 гига почти. квантованная до Q4 12 гигов. Квантованная модель конечно почти бесполезная((( А БФ16 только на кластере из видюх запускать. Фиг ты ее на обычном ноуте заведешь.
Уже поставил через LMStudio на М1 pro c 32gb . в режиме low reasoning 34 токена в сек, в режиме high reasoning 16
Рекомендуем
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.