Как сам Яндекс использует NOINDEX в своих сайтах 💎

В общем давно наблюдаю, что верхнее меню навигации по сервисам Яндекса обернуты в <noindex>. Позже замечал и другие сервисы Яндекса с интересными моментами. Попробую отыскать то, что видал ранее и найти что-то интересное, и все заскриню сюда в пост.

Перейдем на страницу http://yandex.ru/video/ почему на нее? А все просто в robots.txt Яндекса она открыта для индексации http://yandex.ru/robots.txt

Видим строчку

Allow: /video/$

Она и разрешает индексацию данной рубрики. Вот как выглядит хэдер страницы с видео (бирюзовый цвет это и есть NOINDEX)

Если закинуть site:yandex.ru/video/ в поиск по саму Яндексу, то мы увидим, что страница не проиндексирована самим поисковиком.

Гуглом же, как известно индексируется все подряд и он этот момент не упустил

BING тоже индексирует, ну и ладно, но можно заметить, что Яндекс отдает забугорному поисковику заголовок на инглише, да и содержимое тоже подмешивает… от хитряк.

Если обратимся к страницам помощи Яндекса http://help.yandex.ru/

редиректит сюда http://help.yandex.ru/common/browsers-settings/browsers-cache.xml

Надеюсь вы понимаете, что Яндекс скрывает левый сайтбар, как-то так это выглядит в коде

Ладно посмотрим другие места, к примеру, зайдем на морду Яндекса http://www.yandex.ru/ и в самом низу перейдем на вакансии

Так как у меня стоит в настройках Москва меня и перекинуло http://company.yandex.ru/job/vacancies/?city=msk

Тут интересный случай, начнем с хэдера

Как видим скрывает все любые слова которые не относятся к содержанию данной страницы.

Также скрыто превью

Яндекс не любит дублированный контент, показывает нам, что можно закрыть его на главной… и на других страницах. А возможно он считает этот текст служебным =)

Вот закрыт список по городам

А вот он футер

Некие челы мне как-то писали, что у меня SEO головного мозга, а оказывается не только у меня, еще и у самого Яндекса с этим траблы =).

Пример как Яндекс скрывает в NOINDEX анкор ссылок

Возьмем самое первое, то что попало под руку из клуба

http://clubs.ya.ru/4611686018427435918/

— закрыт хэдер

— опросник

под постами скрыты служебные ссылки

Посмотрим блог Яндекса http://blog.yandex.ru/post/10146/

больше Noindex тегов не увидал, хотя и сам блог совсем недавно стал светиться вебмастерами (может они пока не успели провести такие работы..)

вот что в robots.txt http://blog.yandex.ru/robots.txt

Служебные метки закрыты от индексации…

Забил в Бинг site:images.yandex.ru и в топ 10

Кстати не все идеально у Яндекса site:http://images.yandex.ru/ его самого банит его же капча, а стоило бы запретить в robots такое индексировать.

Заглянем сюда http://fotki.yandex.ru/

справа фотки пользователей и их ники в noindex

слева такая надпись тоже обернута

Вот неплохой пример внутри сайта http://fotki.yandex.ru/users/serg63ant/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0/view/35514?page=0 по метке пользователя

 служебные вещи

Вот музыка http://music.yandex.ru/

ну и вот футер морды

Насколько знаю http://moikrug.ru/ это соц сеть, которую купил Яндекс

перейдем на рандомный профиль http://deveaux.moikrug.ru/ и увидим обернуты места

и вот в сайтбаре

__

Большое спасибо могу сказать RDS плагину для FF браузера, он продолжительное время помогает выпаливать очень много полезностей, даже бесплатными функциями. Недавно за то, что подкидывал маленькие баги, подогнали мне на счет 5 баксов, чему очень рад ахах =)