Apple объявила, что совместно с Nvidia разрабатывает инструменты для ускорения работы больших языковых моделей (LLM), которые лежат в основе генеративных ИИ.
Инженеры компаний смогли ускорить обработку ответов от LLM на графических чипах Nvidia в 2,7 раза. Для этого Apple адаптировала свой алгоритм ReDrafter под чипы Nvidia.
ReDrafter также поддерживает процессоры Apple Silicon.
Ускорение обработки ответов LLM сокращает время отклика на запросы пользователей и снижает задержки, что делает использование чат-ботов более удобным.
Apple открыла исходный код ReDrafter, поэтому его могут использовать разработчики любых больших языковых моделей. [Apple]
4 комментария