Posted on By seodiz_baza_

Что в мета теге robots можно запретить поисковикам

что закрывать от индексации в файле роботс

Действиями поисковых роботов можно управлять (во всяком случае очень хочется в это верить), и не только при помощи файла robots.txt разрешая или запрещая индексирование отдельных страниц или целых разделов сайта, но и при помощи специального для них (роботов по англ. robots) предназначенного мета тега, включенного в секцию head любой страницы.

О том какие указания можно давать роботам поисковых систем в мета тегах страницы, что можно разрешать а что запрещать в данном теге мы поговорим в данной статье.

Мета тег robots: директивы роботам поисковиков

Обычный тег meta для роботов в секции head страницы выглядит следующим образом:

<meta name="robots" content="здесь находится директива, или несколько директив роботу"/>

А в случае его отсутствия на странице применяется правило, разрешающее любые действия с ее содержимым, в том числе индексация, архивирование, следование по ссылкам и остальные, подробнее о всех этих действиях вы узнаете чуть ниже.

Директивы в мета теге robots

Как разрешить или запретить индексирование текста и переход по ссылкам

  • all — разрешает индексировать и учитывать ссылки
  • none — запрещает индексировать и переходить по ссылкам
  • index — разрешает индексировать содержание
  • noindex — запрещает индексировать контент страниц
  • follow — разрешает учитывать и переходить по ссылкам
  • nofollow — запрещает переход по ссылкам

Как разрешить или запретить архивирование — сохранение копии страницы

  • archive — разрешает архивировать страницу (в результатах поиска появится ссылка на сохраненную копию)
  • noarchive — запрещает архивацию страниц, в кеше поисковиков не будут сохранятся их копии

Как запретить использование для страниц описаний из открытого проекта ODP и Yahoo директории

  • noodp — запрещает использовать в качестве описания страницы ее описание в ODP
  • noydir — запрещает показывать в поисковой выдаче описание страницы из директории Yahoo

Как запретить отображение сниппета в результатах поисковой выдачи

  • nosnippet — запрещает создавать и отображать описание (сниппет от англ. snippet) в результатах поиска

Использование нескольких директив в одном META теге

Для того, чтобы использовать сразу нескольких директив для роботов, не нужно создавать дополнительные теги, все директивы и указания можно указывать в одном, разделяя их запятой и пробелом. Например:

<meta name="robots" content="noindex, nofollow, noarchive, noodp, noydir, nosnippet"/>

Указания для одного робота конкретной поисковой системы

Если например вы заходите установить запрет на индексирование или дать другие директивы одному определенному роботу, конкретной поисковой системы (например: Google или Яндекс), то в этом случае ваш тег META должен выглядеть следующим образом:

<meta name="googlebot" content="index, follow"/>
<meta name="yandex" content="noindex, nofollow"/>

В этом случае будет уместным использование для каждого робота отдельных meta тегов. Имена роботов других поисковых систем вы найдете в базе данных.

Приоритет директив мета тегов robots в случае конфликтов указаний

В случае конфликтов между несколькими директивами в одном или нескольких тегах поисковый робот Яндекса будет использовать значение по умолчанию, то есть: разрешающее индексацию и другие действия. А робот Google в случае конфликта двух или нескольких указаний посчитает приоритетной и будет использовать запрещающую директиву.

Читайте также: html теги robots страницы индексация