Американский стартап Liquid AI представил большую языковую модель LFM2-8B-A1B, которая была создана специально для работы на смартфонах и ноутбуках.
Она имеет 8,3 млрд параметров, но во время обработки запроса активны только 1,5 млрд. Благодаря этому, обеспечивается высокая производительность и низкое энергопотребление.
Для запуска модели на iPhone 17 Pro понадобится приложение LocallyAIApp и сама модель, которую можно скачать на Hugging Face. Она весит 9,34 ГБ. После загрузки модели её необходимо импортировать в приложение и выбрать параметры контекстного окна:
▶︎ 4 тысячи токенов (~10 тыс. символов): 9,5–10 ГБ ОЗУ.
▶︎ 8 тысяч токенов (~20 тыс. символов): 10,5–11,8 ГБ ОЗУ.
▶︎ 16 тысяч токенов (~40 тыс. символов): 12–14 ГБ ОЗУ.
Учитывая, что iPhone 17 Pro и 17 Pro Max оснащены 12 ГБ оперативной памяти, максимальный размер контекстного окна, который можно выбрать, составляет 8 тысяч токенов.
LFM2-8B-A1B сильно нагружает смартфон, потому что во время её работы графика и оперативная память задействованы по максимуму. Однако, модель всё равно работает быстро.
По производительности модель сопоставима с конкурентами на 3–4 млрд параметров и в некоторых бенчмарках превосходит Llama-3.2-3B-Instruct и Qwen3-4B-Instruct-2507.
И что с ней делать? Я так понимаю что её ж надо чему-то научить?
Модель уже «научена» на датасете, его не нужно подгружать итд.