Сооснователь OpenAI Андрей Карпатый выложил на GitHub приложение LLM Council, в котором несколько языковых моделей одновременно отвечают на один и тот же запрос, а затем анонимно оценивают ответы и выбирают лучший.
Такая система позволяет сравнивать различные ИИ-модели и получать более качественные ответы за счёт коллективного обсуждения моделей.
Работает LLM Council следующим образом:
- Несколько моделей генерируют независимый ответ на вопрос.
- Затем модели анонимно оценивают и рецензируют ответы друг друга.
- Главная модель «председатель» (её выбирает пользователь) объединяет мнения в итоговый ответ.
По умолчанию LLM Council работает с GPT-5.1, Gemini 3 Pro, Claude Sonet 4.5 и Grok 4. Но пользователь может добавлять и другие модели.
Запустить LLM Council можно на Windows, macOS или Linux, предварительно установив Python и Node.js. Также для работы приложения понадобятся API языковых моделей.
Карпатый использовал LLM Council, чтобы разбирать сложные главы в книгах. По его словам, приложение постоянно ставит на первое место ответы GPT-5.1, а Claude Sonet 4.5 — на последнее. Но по его личному мнению, GPT-5.1 слишком многословна, Claude Sonet 4.5 — чрезмерно лаконична, а Gemini 3 Pro выдаёт сжатые и проработанные ответы.
2 комментария