Веб Мастерская | Веб разработка и программирование | ИТ | IT
Без категории · 14 сентября 2026 г.
SEO:
SEO: Разбираем robots.txt по винтикам: что закрывать, что открывать, где чаще всего ошибаются Коллеги, признавайтесь: кто хоть раз копировал robots.txt с первого попавшегося сайта и вставлял к себе, не глядя? 😅 Спойлер: почти все так делали. А потом удивлялись, почему половина сайта не индексируется. Давайте разберём этот файл по-настоящему. Что закрываем без раздумий: — /admin, /wp-admin, /login — панели управления не для поисковиков — /cart, /checkout, /account — корзины и личные кабинеты — ?utm_*, ?ref=, ?gclid= — дубли через метки — /api/, /test/, /dev/ — служебные папки и тестовые среды — Временные файлы: /tmp/, /backup/ Что НЕ закрываем (а многие закрывают!): — CSS и JS-файлы. Да, коллеги, если вы запретите /assets/css/, Google увидит вашу страницу как голый текст из 1998 года. Индексация упадёт, потому что рендеринг сломается. — /images/ — если хотите картинки в выдаче. — Основную версию сайта и sitemap. Топ-5 ошибок из продакшена: 1️⃣ Disallow: / вместо Disallow: /private/. Слэш в конце меняет ВСЁ. Первое блокирует весь сайт, второе — только папку. 2️⃣ Забыли указать Sitemap: https://site.ru/sitemap.xml. Робот должен знать, где карта. 3️⃣ Отдельный robots.txt для поддомена. Каждый поддомен — свой файл. Один на всех не сработает. 4️⃣ Директива Disallow без Allow для вложенных папок. Хотите закрыть /private/, но открыть /private/public/? Сначала Disallow, потом Allow. Порядок имеет значение. 5️⃣ Файл отдаётся не с кодом 200, а через 301-редирект. Для робота это = файла нет. Проверяйте через curl -I https://site.ru/robots.txt. Быстрый чек-лист: ✅ Откройте файл в браузере — должен быть доступен по адресу /robots.txt ✅ Прогоните через yandex.ru/webmaster → «Анализ robots.txt» ✅ То же самое в Google Search Console ✅ Убедитесь, что нет конфликтующих правил Запомните простое правило, коллеги: закрываем то, что не должно попасть в выдачу. Всё остальное — открыто. Не плодите правила ради правил. Минимализм здесь ваш лучший друг. А в следующем разборе покажу, как мы чинили индексацию интернет-магазина, где «заботливый» стажёр закрыл Disallow: / на бою в пятницу вечером. Было весело. Ну, нам. Не клиенту. 😬 Вот так. Идем кодить дальше! 🚀 #robots #robotstxt #SEO #вебразработка #индексация #GoogleSearchConsole #ЯндексВебмастер #frontend #backend #разработкасайтов #вебмастерская #практика #juniordev #фриланс #сайтподключ