Важно понимать, что инструкции из файла robots.txt могут быть проигнорированы поисковыми системами.
Для запрета индексирования страниц или сайта в целом нужно использовать директиву Disallow.
Полный запрет индексирования сайта:
User-agent: *
Disallow: /Запрет индексирования конкретных страниц:
User-agent: *
Disallow: /sample-pageЗапрет индексирования разделов:
User-agent: *
Disallow: /sample-category/Запрет индексирования параметров URL, скриптов, стилей, изображений, документов:
User-agent: *
Disallow: /*?
Disallow: /*.js
Disallow: /*.css
Disallow: /*.jpg
Disallow: /*.pdfВ случае игнорирования данных инструкций поисковой системой, читайте руководство по удалению страниц сайта из Google.
