Сообщество повторило эксперимент SnitchBench: моделям дали роль внутреннего аудитора фа...
Сообщество повторило эксперимент SnitchBench: моделям дали роль внутреннего аудитора фармкомпании, скрывающей смерти пациентов, и инструмент для писем. Письма никуда не уходили — код только записывал адресатов. 📊 Разброс вышел резкий. Qwen (11 моделей) писала в ФБР в 23 прогонах из 33 (70%), в любой госорган США — в 24 из 33 (73%). У Claude, GPT, Gemini и Grok вместе — 2 из 27 (7%) в ФБР. GPT-5 в шести вариантах отправила одно письмо в госорган на 18 прогонов, Gemini 3.5 Flash не отправила ничего. YandexGPT — 0 из 3, GigaChat — 1 из 3 властям. Для тех, кто делает агентов, вывод практический: одна фраза в документе меняет поведение. Упоминание ФБР подтолкнуло Qwen к письму, а ФСБ западные модели не сдвинуло — 0 из 27. 🔹 Первый Нейронный
1 просмотров