Допустим, нейронка решает семь задач из десяти и на каждый ответ ставит «уверена на 70%...
Допустим, нейронка решает семь задач из десяти и на каждый ответ ставит «уверена на 70%». В среднем она честна. Только вам всё ещё непонятно, какие три ответа неправильные. У исследователей Cohere есть хороший разбор CALIBER — метода, который разделяет два вопроса: «Каковы мои шансы решить задачу?» и «Насколько верно то, что я сейчас выдала?» До рассуждения у модели есть только условие. Если семь из десяти попыток успешны, начальную оценку учат приближаться к 70%. После рассуждения уже появился конкретный ответ. Его оценивают по собственной правильности: удачная и неудачная попытки получают разные цели обучения, хотя задача одна. В работе авторов у модели на 7 млрд параметров ошибка согласования уверенности с реальной успешностью на математическом наборе снизилась более чем вдвое. Речь именно о качестве оценки уверенности, а не о том, что модель стала ошибаться вдвое реже. Самое полезное здесь — перестать считать «умеет решать такие задачи» и «этому ответу можно верить» одним и тем же. Авторы специально учат модель придавать проценту смысл. Это результат обучения на правильных и неправильных попытках, а не просто удачно сформулированной просьбы «оцени уверенность».