Быстрый индекс

15 марта 2010

А теперь про Быстрый индекс Яндекса и Google

Каждый сапоговноклепатель пытается следовать «главным законом», а именно делают много внутренних ссылок на страницы тэгов /tag/ архивов /archives /2010/

Надеюсь, вы поняли о каких внутренних ссылках я тут тру, все просто Уровень Вложенности меньше, цена на странице выше.

Но как не крути Яндекс и Google не любит повторяющийся контент, причем на свеженьком сайте для продажи ссылок.

Приодеться хитрить, да хитрить. Используем файл robots.txt который обычно лежит в корне вашего сайта.

В нем запрещаем индексирование тэгов, меток, архивов, и страниц которые будут кушаться с неохотой поисковиками.

User-Agent: *
Disallow: /tag
Disallow: /archives /
Disallow: /и по примеру пидалим сюда все что не лень/

Дальше, приходит робот Яндекса, видит, что наш сайт создан ровными руками, а не кривыми и хавает его.

После того как Яндекс схавал наш быстрый индекс (проиндексировал) нормальное кол-во страниц, мы удалим те строки в файле robots.txt которые запретили к индексированию грязи и поисковик схавает все остающиеся страницы без палева.

Можно также миксовать без палева, перед удалением robots.txt добавить пару страниц свежего контента.

И быстрый индекс вам обеспечен!

robots.txt, sape, индексация сайта

13 комментариев на «“Быстрый индекс”»

  1. Anna:

    А для чего вообще нужны повторяющиеся страницы? Ну, ответ-то понятен: чем больше страниц, тем больше можно поставить ссылок, но для чего ПОВТОРЯЮЩИЕСЯ страницы??? Сейчас их поисковики по вашему совету схавали, а при повторном (третьем, пятом) заходе решили вообще ничего не индексировать...

  2. Я конечно сапой не пользуюсь, но у меня вопрос.

    Ведь зачастую в таких системах робот проверяет есть ли страница на которой продаются ссылки в индексе. Зачем кому-то покупать ссылки на страницах, отсутствующих в индексе Яши и Гугля?

  3. Павел Нгуен

    >>Ведь зачастую в таких системах робот проверяет есть ли страница на которой продаются ссылки в индексе.

    если ты имеешь в виду что sape и подобные биржы, проверяют на индекс страницу, то да проверяют..

    >>Зачем кому-то покупать ссылки на страницах, отсутствующих в индексе Яши и Гугля?

    верно, никто на таких страницах покупать ссылки не будет,

    я лишь только расписал как без гемороя засунуть сайт в индекс обоих поисковых систем.

    а после того как все нужные вам страницы проиндексируються, ставьте свой сайт на продажу ссылками.

  4. w2:

    Anna,

    повторяющиеся страницы нужны для хорошей перелинковки, они повышают рейтинг страниц сайта ссылаясь друг на друга, но в случае маленького сайта который предназначен для продажи ссылок, повторяющиеся страницы делают его плохим в глазах поисковых систем.. тоесть страниц мало и большинство из них похожи друг на друга, вот и индексация таких сайтов происходит очень долго, а иногда и вообще не индексируються например Я.

    А на счет следующих визитов поисковиков, то сайт предназначенный для торговли ссылок и врядли будет обновляться контент на нем, те страницы что попали в индекс их будет достаточно для торговли ссылками.

  5. Anna:

    wlad2, спасибо. Но вроде как хорошо перелинковать можно и без повторяющегося контента. Ну да ладно, видимо не моё. Считаю, что и на «продажном» сайте может быть (должна быть) информация не только «для сапы».

  6. Если делать частичные дубли — как бы закрывают глаза на это. Если дохрена — можно и не удивляться, когда сайты выпадают.

    Когда сайт приобретает некоторое доверие у поисковиков, тогда можно и потихоньку выпускать страницы с дублями

  7. Школьнег,

    я только лишь могу предложить решение для вордпресса, это..

    вывод в тэгах 100 символов текста, вывод в категориях по 200 символов

    и в таком духе, есть плагин непомню название..

    так мы разбавим разное кол-во текста в разных местах сайта и будет меньше палева..

  8. Есть хороший плагин Robots Meta, который все это делает из админки

    Убирает все возможные дубли + можно править роботс из админки

  9. ну тогда это клевый плагин, хотя для меня проще по ftp все сделать..

  10. Не очень понял эти манипуляции с удалением. Робот так схавает и теги и категории, не? Я закрываю далеко не везде, и там, где не закрываю, они в индексе уже полгода. Посты отдаю по 1-2 предложения до more.

  11. Truth Hunter, что именно непонятно?

    если вы не сталкивались с плохой индексацией сайта под продажу ссылок, то наверно вам не стоит читать этот пост.

  12. Действительно не сталкивался ни разу с плохой индексацией тегов и категорий ни в WP ни в DLE. Всегда в числе первых индексируются, т.к. они УВ2 — ссылки с главной.. Как я понимаю, проблемы больше с АГС, чем с индексацией.

    Хотя, я не делал сразу очень больших сайтов на WP, может быть с ними и есть какие-то проблемы. На DLE 25k страниц, среди которых 100-200 тегов, легко хаваются.

  13. Truth Hunter, имеется в виду что весь сайт не-хавается поисковиком из-за тэгов, архивов..

    как вариант я предоставил решение