Парсер проиндексированных страниц в Яндексе

Схожий пост был написан с использованием этого-же парсера, про то как парсить бэклинки по yahoo.

Теперь пришла мысль, скорее ее нужно назвать потребностью, проверять свои сайты на кол-во страниц в индексе, и увидеть список всех страниц, а не только их количество.

Всем уже известно что перейдя по ссылке  yandex.ru/yandsearch?surl=rap.ru&pag=u&numdoc=50&rd=0 то с легкостью можно узнать сколько страниц в индексе сайта rap.ru, но отсортировать все ссылки, в кучу вряд-ли удастся.

Чтобы собрать все напарсенные ссылки в кучу мы скачаем парсер AGGRESS Parser нароем у себя папочку C:\Program Files\AGGRESS\Parser\search

Сделаем такой файлик с настройками на парсинг Яндекса и Назовем его YandexUrl.txt
Url-http://www.yandex.ru
AbsoluteUrl-http://www.yandex.ru/yandsearch?surl={REQUEST}&pag=u&numdoc=50&rd=0&lr=187
UntilTextAfter-href="{TEXT}"
UntilNextLinkAfter-<a id="next_page" href="{NEXTLINK}">
Pattern-{TEXT}{BLACKWORD(yandex|yandsearch|yandpage|google|msn|yahoo|rambler|aport|meta|wow.ya.ru|onclick|advanced|amp;|numdoc|all_services|favicon.ico|opensearch|/setup/|/info/)}
Если что непонятно то валим в эту тему, там подробнее расписано..