👋 Привет, сетевой друг! — 29 сентября 2026 г. в 09:24:31.091
👋 Привет, сетевой друг! Сегодня проwebcensus - инструмент для довольно специфичной задачи: найти один и тот же URL-путь сразу на огромном количестве сайтов. 🟣Например, хочется понять, кто вообще публикует /.well-known/security.txt, robots.txt, ads.txt или sitemap.xml. Перебирать сайты по одному здесь явно не вариант. 🟣webcensus собирает это в конвейер из нескольких этапов: список доменов ↓ DNS ↓ HTTPS probe ↓ скачивание ↓ проверка файла Сначала massdns быстро резолвит миллионы доменов и оставляет только те, у которых есть A-запись. 🟣Дальше в дело вступает собственный Rust-пробер skim. Он подключается к :443, выполняет TLS handshake и отправляет обычный HTTP-запрос к нужному пути. Но самое интересное - тело ответа на этом этапе вообще не скачивается. Инструмент читает только HTTP status line: {"url":"https://example.com/.well-known/security.txt","status":"success","code":200,"cert_ok":true} Поэтому из миллионов адресов дальше проходят только те, где HTTPS вообще поднялся и нужный путь вернул 200. 🟣И только теперь начинается полноценная загрузка. curl --parallel скачивает найденные URL пачками, причём для каждого запроса есть ограничения по размеру, времени и числу повторных попыток. Например: --parallel-max 50 --max-filesize 5M --max-time 10 --connect-timeout 3 --retry 2 Это важно, потому что сервер вполне может ответить 200, а вместо маленького security.txt отдать несколько мегабайт HTML. 🟣После скачивания webcensus ещё раз проверяет содержимое уже локально. HTML-страницы, JSON-ошибки, бинарный мусор и слишком короткие ответы отбрасываются. Получается важная разница: HTTP 200 ≠ нужный файл действительно существует Например, сайт может отдавать одну и ту же SPA-страницу на любой URL с кодом 200. Для простого сканера это найденный файл, для webcensus - мусор. 🟣Весь процесс запускается внутри Docker, а каждый этап оставляет результат в data/. Можно остановиться после любого шага и продолжить с него, а локальный этап проверки вообще не требует повторно ходить в интернет. 🤖Бесплатный ChatGPT