Яндекс выложил в открытый доступ нейросеть YaLM 100B для генерации и обработки текстов на русском и английском языках, сообщили iPhones.ru в пресс-службе компании.
YaLM 100В содержит 100 млрд параметров. Нейросеть определяет принцип построения текста и создает новые с учетом правил русского языка и своих знаний о мире.
К примеру, YaLM 100В умеет генерировать описания товаров и видео, а также придумывать идеи для рекламных объявлений.
Яндекс использует YaLM 100В более чем в 20 проектах, в том числе в поиске и Алисе. Нейросеть помогает службе поддержки отвечать на сообщения пользователей. Кроме того, она готовит быстрые ответы в поиске и создает описания сайтов.
YaLM 100В обучалась на суперкомпьютерах Яндекса и обработала около 2 ТБ текстов.
“Перед загрузкой весов убедитесь, что у вас есть 200 ГБ свободного места на диске. Модель (код основан на microsoft/DeepSpeedExamples/Megatron-LM-v1.1.5-ZeRO3 ) должна работать на нескольких графических процессорах с тензорным параллелизмом”
200 гигов ! Тензорные процессоры…
А онлайн есть где потестить ?
@virtualinsanity, 200 ГБ свободного места на диске.
Думаю имелось ввиду видеопамять. В черыре Nvidia A100 должно уместится.