Мое негодование о Robots.txt и всех кто дублирует его для Яндекса 👇

Уже не первый раз, пишу кусками о правильности файла Robots.txt в Этот раз, хочу «прояснить ситуацию» о тех ребятах, которые дублируют кусок кода «User-agent: *» тупо для поисковой системы «Yandex».

Что-бы было понятно о чем идет речь, приведу пару Скринов разных сайтов.

1. http://sosnovskij.ru/robots.txt СКРИН
2. http://shakin.ru/robots.txt СКРИН

Ну вот у нас список пары топперов из рейтинга topblogs.su Начну с обзора shakin.ru только потому, что парень меня забанил в твиттере =) за что??

И так в файле http://shakin.ru/robots.txt есть идентичные "User-agent: *" и «User-agent: Yandex» — в чем их разница?

В том что Шакин, указал роботу Яндекса: файл с картой сайта в XML «Sitemap: http://shakin.ru/sitemap.xml» но при этом не указал всем остальным роботам этот файл!! Как так?

Единственное что можно указать роботу Яндекса, так это, какие то индивидуальные настройки. К примеру запрет к индексации страниц, которые можно разрешить индексировать другим роботам. На ранних этапах развития своих сайтов, отдельно для Яндекса закрываю категории и метки к индексации.

Для чего указывать «Host: shakin.ru» только Яндексу? Этот параметр можно оставить и для остальных поисковиков и если они его не понимают, то это все равно не вызовет никакой негативной реакции у поисковиков.

_

Так как, многие фапают на топперов, они с уверенностью дублируют их роботсы, думают что все будет тип-топ. Но на самом деле доверяйте только действительно трастовым парням. Таким является Александр Люстик к примеру его роботс http://seom.info/robots.txt

_

У Сосновского в http://sosnovskij.ru/robots.txt то-же что и у Шакина, только наоборот и слегка умней =). Он указал Яндексу дерективу «Host: sosnovskij.ru» и всем остальным роботам указал XML карту сайта.

И мы приходим опять к эпик фэйлу, зачем прописывать одно и тоже? В чем логика?

_

Пост писал очень усталый, так что если есть ошибки я их не вижу в упор, перечитываю уже несколько раз =)