Ко всем статьям Статья SEOquick

Robots.txt в 2026: как создать, проверить и не сломать индексацию

Практический гайд по robots.txt: что можно закрывать, что нельзя, почему robots не удаляет страницы из Google и как связать файл с sitemap.

Опубликовано · 26.04.2026 1 мин чтения

Коротко

Визуальная схема

Дерево решений robots.txt

Robots управляет сканированием. Это не инструмент приватности или деиндексации.

Need crawl? allow Waste crawl? disallow Need hide? noindex Need map? sitemap

Robots.txt — маленький файл с большим риском. Одна строка может закрыть важные страницы от сканирования, а другая — оставить в обходе мусорные фильтры, параметры и технические разделы.

Главное правило: robots.txt управляет сканированием, а не гарантированным удалением URL из поиска. Google прямо предупреждает: не используйте robots.txt как способ спрятать веб-страницы из результатов.

Что можно делать через robots.txt

Задача	Подходит robots.txt?	Комментарий
Уменьшить crawl waste	да	фильтры, параметры, служебные папки
Закрыть CSS/JS	обычно нет	Google должен понимать страницу
Удалить страницу из индекса	нет	нужен noindex или удаление URL
Указать sitemap	да	полезно для поисковых систем
Скрыть приватные данные	нет	используйте авторизацию, не robots

Базовый пример

User-agent: *
Disallow: /wp-admin/
Disallow: /*?sort=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Перед публикацией проверьте, не закрываете ли вы страницы услуг, блог, изображения, CSS и JS, которые нужны для рендеринга.

Типичные ошибки конкурентов

закрывают весь сайт строкой Disallow: /;
блокируют ресурсы темы и ломают понимание страницы;
закрывают URL, но ждут, что они исчезнут из индекса;
забывают sitemap;
не проверяют robots после редизайна или миграции.

Следующий шаг: если есть сомнения, начните с технического аудита, затем проверьте сайт в UNmiss и добавьте sem.chat, чтобы пользователи не терялись после перехода из поиска.