Xiaomi представила прототип компактного компьютера AI Cube для локального запуска больших языковых моделей (LLM).
Устройство работает на базе трёх чипов Xiaomi:
- XRING O3: основной процессор (10 CPU/16 GPU), работающий в паре с NPU мощностью 200 TOPS.
- XRING O100: 6-нм чип для ускорения ИИ. Он имеет пропускную способность 1,22 ТБ/с.
- XRING D100: 3-нм чип для автономного вождения. Он имеет 20-ядерный GPU, 16-ядерный NPU и поддерживает до 160 ГБ оперативной памяти.
Компьютер изготовлен из алюминия и способен постоянно работать при мощности 150 Вт.
AI Cube может запускать LLM размером от 3 до 120 млрд параметров. Он может переключаться между быстрым и медленным режимами работы системы в зависимости от выполняемой задачи.
Компания не сообщила дату выхода AI Cube и цену, потому что это только прототип, и неизвестно, будет ли налажен серийный выпуск. [Gizmochina]
9
8
4 комментария