Яндекс выложил в открытый доступ новую бесплатную большую языковую модель Alice AI Foundation LLM.
Компания обучила модель полностью с нуля. Это базовая (претрейн) версия: она уже умеет работать с текстом, кодом и решать логические задачи, но ещё не настроена под конкретный чат-бот или сервис.
► Alice AI Foundation LLM содержит 80 млрд параметров, однако при каждом запросе использует только около 3 млрд. Это стало возможным благодаря архитектуре Mixture of Experts: внутри модели есть несколько специализированных блоков, но для ответа подключается только нужная часть.
За счёт этого модель требует меньше вычислительных ресурсов и работает быстрее, чем многие нейросети сопоставимого размера.
► Alice AI Foundation LLM хорошо справляется с программированием, математическими задачами и логическими рассуждениями. В некоторых тестах она показывает результаты на уровне или выше более крупных открытых моделей.
Например, в задачах по программированию новая модель обошла NVIDIA Nemotron-3-Super-120B-Base, хотя одновременно использует примерно в четыре раза меньше параметров.
В тестах на знание фактов Alice AI Foundation LLM также смогла обойти некоторые более крупные модели, включая DeepSeek-V4-Flash-Base. При этом по качеству ответов она приблизилась к предыдущей закрытой модели Alice AI LLM, которая значительно крупнее.
Отдельный акцент Яндекс сделал на русском языке. Компания создала два собственных теста: WikiWebFacts и HardMultiQA.
- WikiWebFacts проверяет знание дат, событий, определений и известных людей.
- HardMultiQA содержит более сложные вопросы из разных областей: от IT и искусства до медицины и права. В таких заданиях модели недостаточно просто вспомнить один факт: иногда нужно выбрать несколько правильных ответов, найти ошибку или перечислить несколько подходящих вариантов.
Оба теста Яндекс также выложил в открытый доступ вместе с правильными ответами и методикой оценки. Это позволит другим разработчикам самостоятельно проверять результаты разных моделей.
Alice AI Foundation LLM является экспериментальной моделью. На ней Яндекс тестирует технологии для будущей единой рассуждающей модели, которая должна стать основой новых возможностей Алисы AI.
ИИ-модель распространяется по лицензии Apache 2.0. Это значит, что разработчики могут свободно использовать и дорабатывать модель, в том числе в коммерческих продуктах.
Техническая документация и тесты уже опубликованы на Hugging Face и Хабре.
6 комментариев