РШ2. robots.txt для шопа rx-promotion 💎

И так если в данный момент Реалити Шоу (РШ1. Туду лист), мы зарегистрировали шоп, но времени заниматься им нет, лучше всего закрыть полностью от индексации поисковиками, для этого я использую самый простой и правильный способ, закрываю доступ сканерам в файле robots.txtкоторый всегда и на любом сайте находиться в корне, http://site.com/robots.txt
Закрыл по началу:
User-agent: *
Disallow: /
А теперь спустя пару дней, нашел время заняться этим проектом, включаю программу Xenu про которую писал тут и тут.
С помощью нее видим все ненужны страницы, а так-же внешние ссылки, которые нужно будет закрыть от индексации!

User-agent: *
Disallow: /static/
Disallow: /captcha
Disallow: /counter
Disallow: /js/
Disallow: /add-to-cart.php?id=
Disallow: /themes/
Disallow: /cart
Disallow: /search
Allow: /pill/
Allow: /static/bestsellers
Allow: /category/Erection_Packs
User-agent: Googlebot-Image*
Allow: /pill_images/
Host: site.com

В ходе расследования нашлись внешние ссылки, которые нужно 100% закрыть от индексации, вот например морда и все внутряки ссылается на www.rx-drugs-support.com/?a=p&p=couponа это очень не-хорошо, если мы хотим продвигать наш шоп белыми seo методами.
Есть такая ссылка http://www.providesupport.com/?messenger=rxpromotionнаходиться она на многих внутряках продуктов шопа.
Еще вот такой адрес mailto:support@rx-drugs-support.comкоторый находиться на странице /static/status и /static/contactsи его нужно удалить или скрыть в JS внешний.
Подробное описание составлять смысла нет, но по поводу Disallow: /searchэто же не ссылка, а адрес в форме поиска шаблона, но он все-равно индексируеться, помните пост[гугл кликает по формам]?
Страницы /static/закрываем, так как там, ничего полезного нет, может контакты и полезны нам, но поисковику они точно ненужны, а вот одну страницу /static/bestsellersмы оставим в индексе, так как на ней будет осуществятся перелинковка наших продуктов.
/captcha /counter /js/ /add-to-cart.php?id=совершенно бесполезные, тоже закрываем их.
А так-же я разрешил боту гугла или даже можно сказать натолкнул индексировать /pill_images/картинки, как выяснилось к которым позже нужно будет прописать alt=""и title="""
Примечание, мной выбран шаблон theme.StallionsRx в отличии от других в нем нет вывода всех подряд категорий, есть только одна которую я тоже оставил к индексации.