Правильный robots.txt для сайта
Наличие на сайте правильного составленного robots.txt служит гарантией правильной индексации сайта поисковыми системами. Используя доступные в robots директивы (указания для поисковых роботов) мы можем разрешать и запрещать к индексированию любые страницы, разделы и даже весь сайт. Директивы для составления правильного robots.txt Основными директивами файла robots.txt являются: Имя робота которому дается указание: User-agent. Запрещающая индексирование директива: Disallow. Указание расположения карты сайта: Sitemap. Для …
