До всіх статей Стаття SEOquick

Robots.txt у 2026: як створити, перевірити й не зламати індексацію

Практичний гід по robots.txt: що можна закривати, що не можна, чому robots не видаляє сторінки з Google і як зв'язати файл із sitemap.

Опубліковано · 26.04.2026 1 хв читання

Коротко

Візуальна схема

Дерево рішень robots.txt

Robots керує скануванням. Це не інструмент приватності або деіндексації.

Need crawl? allow Waste crawl? disallow Need hide? noindex Need map? sitemap

Robots.txt — маленький файл із великим ризиком. Один рядок може закрити важливі сторінки від сканування, а інший — залишити в обході сміттєві фільтри, параметри й технічні розділи.

Головне правило: robots.txt керує скануванням, а не гарантованим видаленням URL із пошуку. Google прямо попереджає: не використовуйте robots.txt як спосіб сховати вебсторінки з результатів.

Що можна робити через robots.txt

Завдання	Підходить robots.txt?	Коментар
Зменшити crawl waste	так	фільтри, параметри, службові папки
Закрити CSS/JS	зазвичай ні	Google має розуміти сторінку
Видалити сторінку з індексу	ні	потрібен noindex або видалення URL
Вказати sitemap	так	корисно для пошукових систем
Сховати приватні дані	ні	використовуйте авторизацію, не robots

Базовий приклад

User-agent: *
Disallow: /wp-admin/
Disallow: /*?sort=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

Перед публікацією перевірте, чи не закриваєте сторінки послуг, блог, зображення, CSS і JS, потрібні для рендерингу.

Типові помилки конкурентів

закривають весь сайт рядком Disallow: /;
блокують ресурси теми й ламають розуміння сторінки;
закривають URL, але чекають, що вони зникнуть з індексу;
забувають sitemap;
не перевіряють robots після редизайну або міграції.

Наступний крок: якщо є сумніви, почніть із технічного аудиту, потім перевірте сайт в UNmiss і додайте sem.chat, щоб користувачі не губилися після переходу з пошуку.