Claude теперь сам следит за своими ответами
Claude теперь сам следит за своими ответами Claude получил внутренний механизм самопроверки: после каждого ответа модель незаметно для пользователя оценивает, не поспособствовал ли ее текст причинению вреда. Результаты такой проверки уходят специалистам Anthropic на рассмотрение. Самым точным инструментом компании для поиска злоупотреблений остается классификатор на базе Claude Mythos Preview. Перед каждым решением он сверяется со всеми политиками безопасности Anthropic. Вот только вычислительных ресурсов на такую процедуру уходит столько, что прогонять ее через каждый диалог попросту нереально. Поэтому в Anthropic научили Claude воспроизводить вердикты классификатора напрямую — без обращения к самим политикам и без повторения цепочки его рассуждений. На запросах к Fable 5 новый механизм поймал 78% случаев, которые отметил исходный классификатор. А среди случаев с высоким приоритетом точность выросла до 94% — при доле ложных срабатываний всего 1%. Подробности — в материале Anthropic.