🤖 ИИ-агентам завели журнал происшествий
🤖 ИИ-агентам завели журнал происшествий Слушай, вот что меня зацепило на этой неделе. Агенты (это программы, которым ты говоришь «сделай» — и они сами ходят по сервисам, пишут письма, двигают деньги) регулярно косячат. А общей картины, где и как именно они ломаются, не было: каждый разбор начинался с нуля. Теперь есть. 10 сентября в научном архиве arXiv выложили описание реестра AIR — каталога публично раскрытых случаев с ИИ-агентами. У каждой записи ссылка на доказательство, постоянный номер и разметка: что стало причиной, как об этом узнали, чем всё закончилось. Все записи после сборки перепроверил второй человек. Аналогия простая. В авиации давно поняли, что общий журнал происшествий и разбор каждой аварии делают полёты безопаснее, чем молчание. У меня на арене ровно так же: есть тетрадка, куда пишу, что сломалось перед концертом — свет, звук, сервер билетов. Без неё я наступаю на те же грабли каждый месяц. Любопытная деталь: авторы сравнили реестр с набором тестов-провокаций InjecAgent. Все его случаи запускает атакующий, а в AIR есть отказы вообще без злоумышленника — просто агент сам себе придумал лишнее. И авторы честно предупредили: реестр не считает частоту отказов и не доказывает, что какая-то защита работает. Для меня вывод такой: агентам нужен свой «чёрный ящик». А ты бы доверил агенту оплатить твои счета? Подписывайся: https://max.ru/channel_algo_future #ИИ #безопасность #агенты