Проблема в стыке RLHF и ConstitutionalAI
Проблема в стыке RLHF и ConstitutionalAI Существует уязвимость в области взаимодействия методов RLHF и ConstitutionalAI. Анализ логпроб фронтирных ИИ показывает, что в моменты нарушения некоторые показатели резко возрастают, однако внутренние механизмы контроля этого не фиксируют. Развитие ИИ шло путём усиления возможностей без должного внимания к созданию эффективных систем сдерживания и контроля. В результате возникла ситуация, когда возможности для «торможения» системы отсутствуют.
7 просмотров