Представьте, что вы учите язык, но никогда не слышали, как он звучит. И даже буквы и слова никогда не видели. Но вы всё-таки научились понимать речь и отвечать собеседнику устно или письменно.
Невероятно? Но именно так и происходит у языковых моделей — нейросетей вроде ChatGPT, Gemini или GigaChat.
В нашей статье поговорим о том, что такое языковые модели, как выглядит их «школа» и в какой момент они становятся «выпускниками».
КРАТКО◦ Что такое языковые модели
◦ Почему языковые модели нужно обучать.
◦ Как обучают языковые модели
◦ ◦ Предобучение
◦ ◦ Тонкая настройка
◦ ◦ Обучение с подкреплением на основе обратной связи от человека
◦ Сколько времени уходит на создание и обучение нейросети
Вот сколько получают люди, которые тестируют промты
Пока нейросети обучаются и становятся всё лучше, пользователи тоже учатся. Они придумывают хитрые формулировки: промты, с помощью которых добиваются от нейросетей более точных ответов. И уже даже появилась новая профессия — промт-инженер, то есть, человек, который составляет запросы для нейросетей.
Как видно из скриншота, таких специалистов нанимают компании и платят им немалую зарплату. Вакансии есть и на HeadHunter, и на Finder.work. Но чтобы стать промт-инженером, нужно разбираться, что такое нейросети в целом и языковые модели в частности, а также как они устроены и как обучаются. Об этом и поговорим.
Что такое языковые модели
Во вступлении мы уже упоминали определения «нейросеть» и «языковая модель», но что же это такое и в чём разница?
Искусственная нейронная сеть или сокращённо нейросеть — это вариант искусственного интеллекта. Это программа, вдохновлённая принципами работы человеческого мозга, и в этом её особенность. Конечно, она не такая сложная, как мозг, но в ней есть нейроны, которые передают друг другу информацию.
Нейроны в нейросети тоже искусственные. Они представляют собой маленькие элементы программы — математические функции. Каждый такой нейрон устроен относительно просто и умеет относительно мало. Он может только принимать информацию (естественно, выраженную в числах), а также производить запрограммированные математические вычисления по формуле и передавать результат другим нейронам.
Сила нейросети не в сложности нейронов, а в их взаимодействии. В модели могут быть миллиарды таких частичек, которые взаимодействуют между и выдают конечный результат. Также и у человека: один нейрон мало на что способен, но мы знаем, на что способен мозг.
▸ Чем отличается ИИ от нейросети. Объясним на примерах
А что же тогда такое языковая модель? Это компьютерная система, главным элементом которой (но не единственным) является нейросеть. И эта нейросеть натренирована работать именно с текстом. Она учится на огромных объёмах текстовых данных из книг, сайтов, форумов, соцсетей.
Проще говоря, языковая модель — это нейросеть, которая учится разговаривать. А если она мощная и современная, то будет называться Большой Языковой Моделью, по-английски Large Language Models или LLM.
Помимо языковых моделей, есть нейронные сети, работающие с изображениями, звуком, видео. Они учатся:
- распознавать на изображениях живые объекты и предметы и рисовать их
- распознавать звук и синтезировать голос
- распознавать движения и синтезировать видео
Многие модели ИИ, которые изначально были только языковыми, а впоследствии приобретали новые функции.
ChatGPT записывает мой голос, чтобы потом перевести его в текст и выполнить запрос
Например, с 2023 года ChatGPT умеет работать с изображением и звуком. Можно не печатать запрос на клавиатуре, а наговорить его, или попросить модель распознать, что нарисовано на картинке, перерисовать её или нарисовать новую по текстовому запросу.
То же самое можно сказать о Gemini. В 2025 году он отлично рисует, а также распознаёт информацию с фото.
Gemini по моему запросу нарисовал реалистичную картинку
GigaChat принял мой голосовой запрос и создал реалистично изображение
GigaChat на данный момент также имеет и совершенствует все эти функции.
Если языковая модель помимо работы с текстом также работает со звуком и изображениями, она называется мультимодальной, по-английски Multimodal Models или MM.
Отвечает на сложные вопросы бесплатно! Распаковал новую версию ИИ GigaChat от Сбера, который теперь рассуждает как человек
Задал четыре разных и актуальных вопроса, чтобы проверить точность и исполнительность. И оценил полезность конкретно для пользователей в России…..→
Почему языковые модели нужно обучать
Когда разработчики создают языковую модель, сначала они разрабатывают её структуру. Это значит, что они решают, сколько слоёв будет в сети и сколько нейронов будет в одном слое, какую информацию будет учиться обрабатывать, каким правилам должна следовать.
Только что созданная нейросеть является пустой. Это значит, что у неё ещё нет никаких знаний и умений, это просто набор нейронов, связанных между собой и запрограммированных на определённые вычисления. И если спросить что-то у такой нейросети, она выдаст в ответ беспорядочный набор символов или ошибку, если разработчики запрограммируют эту функцию:
Примеры ответов необученной и обученной нейросети
Чтобы модель начала выдавать удовлетворительные ответы, её надо обучать на реальных данных, в случае с языковой моделью — на текстах. А удовлетворительными считаются осмысленные и логичные ответы, которые отражают знания о мире, а также соответствуют другим критериям разработчиков, например, вежливости и безопасности.
Как обучают языковые модели
У каждого искусственного нейрона есть связи со множеством других нейронов, а также внутренние параметры, которые называются весами. Веса отражают важность каждой такой связи, то есть, показывают, насколько она сильна. В процессе обучения веса меняются: одни связи становятся более крепкими, а другие менее крепкими, почти как в человеческом мозге.
Обучение нейросети делится на несколько этапов:
- Предобучение
- Тонкая настройка
- Обучение с подкреплением на основе обратной связи от человека
► Предобучение
Это примеры заданий, которые выполняет модель на этапе предобучения
Во время предобучения модели дают множество заданий, где она должна предсказать пропущенное слово.
Когда нейросеть ошибается в предсказании, она корректирует веса между нейронами так, чтобы в следующий раз предсказание было более точным. И этот процесс повторяется триллионы раз.
▸ 5 рабочих способов победить галлюцинации от нейронок
Для предобучения используют огромные базы знаний. Тексты для таких баз специально собирают, очищая от мусора: устаревших данных, повторов, рекламы, кусочков html-кода, вредной или опасной информации.
После этого этапа модель знает грамматику и синтаксис языка, а также накапливает огромный объём фактов о мире.
► Тонкая настройка
Вот примеры инструкций и эталонных ответов людей, на которые модель ориентируется во время тонкой настройки
Во время тонкой настройки разработчики учат нейросеть вести диалог и следовать инструкциям. Для этого они используют меньший, но очень качественный набор данных. Он состоит из инструкций или вопросов и эталонных ответов к ним, написанных людьми.
Нейросеть получает инструкцию, генерирует ответ, сравнивает с эталонным ответом, корректирует веса между нейронами и таким образом настраивается. При этом сами люди, создающие эталонные ответы, непосредственно с моделью не общаются. На этом этапе модель получает набор заранее созданных пар инструкций-ответов в автоматическом режиме.
К концу этого этапа нейросеть способна общаться в форме диалога и понимать намерения пользователя, а не просто продолжать текст. Также на этом этапе модель нужно делать узкоспециализированной, учить давать ответы для определённой сферы деятельности.
► Обучение с подкреплением на основе обратной связи от человека
На изображении примеры вопросов, ответов и решений людей, работающих над улучшением модели
При обучении с подкреплением модели дают запрос и просят сгенерировать несколько разных ответов. Далее эти ответы люди оценивают вручную, выбирая лучшие. Так модель понимает, какой из сгенерированных ответов наиболее предпочтителен.
▸ Почему ИИ врёт. Как появляются галлюцинации у нейросетей
К концу этого этапа модель максимально приближает стиль общения к человеческому, становится белее последовательной, безопасной и этичной.
Когда обучение модели считается законченным
Модель считается готовой к выпуску, когда разработчики достигают целевых показателей по качеству и производительности:
- Когда количество ошибок на этапе предварительного обучения снижается. Это означает, что модель уже извлекла из данных максимум знаний.
- Когда после тонкой настройки и обучения с подкреплением модель демонстрирует высокий рейтинг по оценкам экспертов. Она стабильно выдаёт полезные, безопасные и соответствующие запросу ответы.
- Когда модель успешно проходит внутренние тесты на безопасность, токсичность и соответствие фактам.
Как только эти критерии достигнуты, модель считается «выпускником» и готова работать с пользователями.
Сколько времени уходит на создание и обучение нейросети
Время, необходимое для создания и обучения LLM, зависит от её размера и доступных вычислительных ресурсов.
Например, проектирование и сбор обучающей базы могут занимать несколько месяцев работы команд специалистов. И предварительное обучение тоже длится месяцами. К тому же для этого требуются тысячи специализированных графических процессоров, которые располагаются в крупных дата-центрах.
Тонкая настройка и обучение с подкреплением тоже могут занимать до нескольких месяцев, так как нужен постоянный контроль со стороны людей.
Разработчики могут потом дообучать модель, обновлять её знания или давать новые навыки. Обновление знаний и выпуск новых, улучшенных версий — это непрерывный процесс.
Итого с момента создания до выпуска модели может пройти год.
3 комментария