Лучшая находка на сегодня – зоопарк для ботов «Crawler Zoo».
Лучшая находка на сегодня – зоопарк для ботов «Crawler Zoo». Здесь можно в реальном времени наблюдать, кто ползает по сайту: Googlebot, GPTBot, Slackbot и прочие, даже Яндекс есть. Ещё ботов можно кормить, а также для них созданы всякие аттракционы: Ловушка, куда ботам запрещено ходить, но они всё равно ломятся; бездонный Лабиринт с кучей дверей, в который они прутся и теряются там, а один уже ушёл аж на 124 000 комнаты вглубь; есть ещё разные вольеры, типа Арены с играми, а самых диких сажают в Яму. Короче, довольно весело (если ты сам бот 🥹). Кстати, оказалось, на robots.txt ботам глубоко плевать: только 107 особей соблюдали правила, а остальные 20 000 прочитали их, но всё равно нарушили. А ещё в зоопарке было обнаружено три новых, ранее неизвестных вида ботов.