Разработку подготовили исследователи управления экспериментальных систем машинного обучения Сбербанка. Pollux содержит четыре миллиарда параметров и доступна открыто. Пользователь сам указывает критерии, которым должен соответствовать ответ, и задает шкалы для проверки.

Возможности модели не ограничиваются отдельными ответами. Она анализирует диалоги из нескольких ходов, результаты работы систем, привлекающих сведения из внешних источников, а также цепочки вызовов инструментов у ИИ-агентов.

Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков пояснил, что для обучения Pollux специалисты собрали большой массив данных и привлекли экспертов к их разметке. Кроме того, команда подробно описала критерии оценивания. Исследователям открыли доступ и к разметке, и к самим критериям.

Как пояснили в банке, при традиционной проверке ответов задействуют большие языковые модели. Массовый анализ таким способом требует значительных ресурсов для вычислений. Pollux допускает локальный запуск и позволяет сократить эти затраты.

Ожидается, что с новой разработкой ошибки в ответах удастся выявлять быстрее. Среди других ожидаемых результатов — более качественная и безопасная работа систем ИИ.