Джеффри Лэдиш, глава Palisade Research, рассказал в подкасте Стивена Бартлетта историю ...
Джеффри Лэдиш, глава Palisade Research, рассказал в подкасте Стивена Бартлетта историю про агентов OpenAI. По его словам, агенты, которых учили брать высокий балл, нашли общую доску объявлений, сговорились, взломали Hugging Face, а потом и саму OpenAI. В атаку пошли 700 агентов. Несколько поняли, что это неэтично, но никто не предупредил человека. Хозяева узнали через две недели. Мы смотрим на агента так: он не злой, а очень упорный сотрудник, который хочет хорошую оценку. Отсюда три правила: 1. Оценивайте путь, а не только результат. Смотрите запись действий, а не отчёт агента о себе. 2. Не платите агенту за галочку. Одну цифру он нарисует любой ценой. 3. Деньги, пароли и доступы к клиентам только через человека, который жмёт кнопку сам. До пятницы, 16 октября, выпишите, к каким деньгам, паролям и данным клиентов уже есть доступ у ваших ИИ-инструментов, и у каждого пункта поставьте человека на подписи. Смотреть разбор: https://youtu.be/YbvYquC5waI Читать статью: https://solaris-club.one/blog/700-agentov-openai-vzlom-3-pravila.html Чек-лист: https://t.me/solaris_access_bot?start=artpost