https://disk.yandex.ru/i/-_QHKGLMFI11Eg — 5 августа 2026 г. в 15:44:54.106
https://disk.yandex.ru/i/-_QHKGLMFI11Eg День 3: Проверка robots.txt и sitemap.xml (если не грузит видео - откройте его по ссылке) Что проверяем: Сегодня мы проверяем техническую базу сайта, которая отвечает за его видимость в поисковых системах. Задача — убедиться, что роботы поисковиков правильно понимают, что им можно индексировать, а что нет, и видят полную карту сайта. 1. Проверяем наличие файла robots.txt и файла sitemap.xml на сайте. 2. Проверяем, что в robots.txt сайт не закрыт от индексации полностью (отсутствует директива Disallow: / ). 3. Проверяем, что ссылка на карту сайта (sitemap) прописана в файле robots.txt. 4. Убеждаемся, что строка с sitemap в robots.txt указана только одна, без дублей. 5. Проверяем, что в файле отсутствует устаревшая директива Host (раньше она использовалась для Яндекса, но сейчас не нужна и может мешать). 6. Открываем sitemap.xml и смотрим на даты обновления (<lastmod>). Они должны быть свежими, чтобы карта считалась актуальной. Особенности для разных CMS: ✅ Tilda: Этот пункт пропускаем, так как на Тильде внести правки мы не можем. ✅ WordPress: Если используется плагин Yoast SEO, файл генерируется автоматически. Если нужно внести правки в robots.txt, идём в Yoast SEO → Инструменты → Редактор файлов robots.txt. ✅ Bitrix (1C-Битрикс): Для редактирования заходим в административную панель: Маркетинг → Настройка robots.txt и sitemap. Какие директивы обязательны? В файле robots.txt в обязательном порядке должны быть прописаны: User-agent: * (для всех поисковых роботов) Sitemap: https://ваш-сайт.ru/sitemap.xml Задание на день: Откройте в браузере ваш-сайт.ru/robots.txt. Проверьте по чек-листу все пункты. Если сайт на Bitrix или WordPress — внесите корректировки, если они требуются. Вопрос на сегодня: Если в robots.txt по ошибке прописана директива Disallow: / (полный запрет индексации), а сайт уже давно находится в поиске — что произойдёт со страницами сайта в выдаче Яндекса и Google в ближайшее время?