Мое негодование о Robots.txt и всех кто дублирует его для Яндекса 💎
Уже не первый раз, пишу кусками о правильности файла Robots.txt в Этот раз, хочу «прояснить ситуацию» о тех ребятах, которые дублируют кусок кода «User-agent: *» тупо для поисковой системы «Yandex».
Что-бы было понятно о чем идет речь, приведу пару Скринов разных сайтов.
Ну вот у нас список пары топперов из рейтинга topblogs.su Начну с обзора shakin.ru только потому, что парень меня забанил в твиттере =) за что??
И так в файле http://shakin.ru/robots.txt есть идентичные "User-agent: *" и «User-agent: Yandex» — в чем их разница?
В том что Шакин, указал роботу Яндекса: файл с картой сайта в XML «Sitemap: http://shakin.ru/sitemap.xml» но при этом не указал всем остальным роботам этот файл!! Как так?
Единственное что можно указать роботу Яндекса, так это, какие то индивидуальные настройки. К примеру запрет к индексации страниц, которые можно разрешить индексировать другим роботам. На ранних этапах развития своих сайтов, отдельно для Яндекса закрываю категории и метки к индексации.
Для чего указывать «Host: shakin.ru» только Яндексу? Этот параметр можно оставить и для остальных поисковиков и если они его не понимают, то это все равно не вызовет никакой негативной реакции у поисковиков.
_
Так как, многие фапают на топперов, они с уверенностью дублируют их роботсы, думают что все будет тип-топ. Но на самом деле доверяйте только действительно трастовым парням. Таким является Александр Люстик к примеру его роботс http://seom.info/robots.txt
_
У Сосновского в http://sosnovskij.ru/robots.txt то-же что и у Шакина, только наоборот и слегка умней =). Он указал Яндексу дерективу «Host: sosnovskij.ru» и всем остальным роботам указал XML карту сайта.
И мы приходим опять к эпик фэйлу, зачем прописывать одно и тоже? В чем логика?
_
Пост писал очень усталый, так что если есть ошибки я их не вижу в упор, перечитываю уже несколько раз =)
Подписаться на Telegram