Поиск по блогу:

Быстрый индекс 👇

А теперь про Быстрый индекс Яндекса и Google

Каждый сапоговноклепатель пытается следовать «главным законом», а именно делают много внутренних ссылок на страницы тэгов /tag/ архивов /archives /2010/

Надеюсь, вы поняли о каких внутренних ссылках я тут тру, все просто Уровень Вложенности меньше, цена на странице выше.

Но как не крути Яндекс и Google не любит повторяющийся контент, причем на свеженьком сайте для продажи ссылок.

Приодеться хитрить, да хитрить. Используем файл robots.txt который обычно лежит в корне вашего сайта.

В нем запрещаем индексирование тегов, меток, архивов, и страниц которые будут кушаться с неохотой поисковиками.

User-Agent: *
Disallow: /tag
Disallow: /archives /
Disallow: /и по примеру пидалим сюда все что не лень/

Дальше, приходит робот Яндекса, видит, что наш сайт создан ровными руками, а не кривыми и хавает его.

После того как Яндекс съел планируемые разделы (проиндексировал) нормальное кол-во страниц, мы удалим те строки в файле robots.txt которые запретили к индексированию грязи и поисковик схавает все остающиеся страницы без палева.

Можно также миксовать без палева, перед удалением robots.txt добавить пару страниц свежего контента.

И быстрый индекс вам обеспечен!

Все статьи и новости →

Владислав Островерх
Владислав Островерх / автор cтатьи

Автор закрытого текстового анализатора с парсингом LSI, BM25-таблицей и косинусной близостью. SEO-специалист — продвигаю сайты через текстовые факторы ранжирования.

По всем вопросам в Телеграм

robots.txt, sape, индексация сайта
Именно твой/ваш комментарий для автора украсит сегодняшний вечер.

Комментарии к посту: Быстрый индекс