AGGRESS Parser под Windows проиндексированных страниц в индексе Яндексе

20 марта 2009

Схожий пост был написан с использованием этого-же парсера, про то как парсить бэклинки по yahoo.

Теперь пришла мысль, скорее ее нужно назвать потребностью, проверять свои сайты на кол-во страниц в индексе, и увидеть список всех страниц, а не только их количество.

Всем уже известно что перейдя по ссылке

yandex.ru/yandsearch?surl=rap.ru&pag=u&numdoc=50&rd=0 то с легкостью можно узнать сколько страниц в индексе сайта rap.ru, но отсортировать все ссылки, в кучу вряд-ли удастся.

Чтобы собрать все напарсенные ссылки в кучу мы скачаем парсер «AGGRESS Parser» vector-seo.info/parser/AGRPsetup.exe нароем у себя папочку C:\Program Files\AGGRESS\Parser\search

Сделаем такой файлик с настройками на парсинг Яндекса и Назовем его YandexUrl.txt
Url-http://www.yandex.ru
AbsoluteUrl-http://www.yandex.ru/yandsearch?surl={REQUEST}&pag=u&numdoc=50&rd=0&lr=187
UntilTextAfter-href="{TEXT}"
UntilNextLinkAfter-<a id="next_page" href="{NEXTLINK}">
Pattern-{TEXT}{BLACKWORD(yandex|yandsearch|yandpage|google|msn|yahoo|rambler|aport|meta|wow.ya.ru|onclick|advanced|amp;|numdoc|all_services|favicon.ico|opensearch|/setup/|/info/)}

Если что непонятно то валим в эту тему, там подробнее расписано...

__

Да и один из самых мне известных парсер datacol.

парсер
  • Ichigo

    Парсер ничего не выводит. С того времени формат выдачи не поменялся?

  • Ichigo

    Нашел причину — кривые кавычки вордпресса. Терь все работает

  • Итальянец

    AGGRESS Parser крутая махина, парсит все что угодно, использую его как парсер сайта, и тп.

  • vlad

    почему то после запуска идет время, ни чего не находит, пишет 0 урл в минуту

  • Andrey

    А так чтоб проверить десяток урлов с разных сайтов на проиндексированость в разных ПС???

  • Xpund