Для исследования ученые сопоставили обучение и работу 500 тысяч нейросетей сравнительно простой конструкции, распознающих тексты и изображения. Даже когда все внешние условия совпадали, результаты обучения могли существенно различаться.

Оказалось, что для серьезных расхождений достаточно при запуске нейросети изменить один бит в одной из переменных, задающих ее внутренние параметры. По масштабу влияние такой перемены сопоставимо с воздействием внешних факторов.

На основе экспериментов математики получили формулы, описывающие различия в поведении моделей через закономерности фракталов — математических структур с повторяющимся строением. Формулы задают жесткую взаимосвязь между тем, насколько быстро обучается нейросеть и насколько предсказуемо она работает. По выводу исследователей, одновременно добиться высоких показателей по обоим направлениям не позволяет сама математическая природа этих систем.

Профессор Сиднейского университета Гун Пулинь пояснил, что прежде различия в работе ИИ объясняли внешней случайностью. Среди возможных источников называли очередность подачи данных при обучении и особенности вычислительных систем, способные менять итоги расчетов. Исследование показало, что проблема лежит глубже.

Непредсказуемость обучения и переобучения мешает повторно получать модели с прежними результатами исследований и разработок. Она также серьезно затрудняет совершенствование уже созданных нейросетей, отметили математики.

Источник: ТАСС