РШ2. robots.txt для шопа rx-promotion 💎
И так если в данный момент Реалити Шоу (РШ1. Туду лист), мы зарегистрировали шоп, но времени заниматься им нет, лучше всего закрыть полностью от индексации поисковиками, для этого я использую самый простой и правильный способ, закрываю доступ сканерам в файле robots.txt
который всегда и на любом сайте находиться в корне, http://site.com/robots.txt
Закрыл по началу:
User-agent: *
Disallow: /
А теперь спустя пару дней, нашел время заняться этим проектом, включаю программу Xenu про которую писал тут и тут.
С помощью нее видим все ненужны страницы, а так-же внешние ссылки, которые нужно будет закрыть от индексации!
User-agent: *
Disallow: /static/
Disallow: /captcha
Disallow: /counter
Disallow: /js/
Disallow: /add-to-cart.php?id=
Disallow: /themes/
Disallow: /cart
Disallow: /search
Allow: /pill/
Allow: /static/bestsellers
Allow: /category/Erection_Packs
User-agent: Googlebot-Image*
Allow: /pill_images/
Host: site.com
В ходе расследования нашлись внешние ссылки, которые нужно 100% закрыть от индексации, вот например морда и все внутряки ссылается на www.rx-drugs-support.com/?a=p&p=coupon
а это очень не-хорошо, если мы хотим продвигать наш шоп белыми seo методами.
Есть такая ссылка http://www.providesupport.com/?messenger=rxpromotion
находиться она на многих внутряках продуктов шопа.
Еще вот такой адрес mailto:support@rx-drugs-support.com
который находиться на странице /static/status и /static/contacts
и его нужно удалить или скрыть в JS внешний.
Подробное описание составлять смысла нет, но по поводу Disallow: /search
это же не ссылка, а адрес в форме поиска шаблона, но он все-равно индексируеться, помните пост[гугл кликает по формам]?
Страницы /static/
закрываем, так как там, ничего полезного нет, может контакты и полезны нам, но поисковику они точно ненужны, а вот одну страницу /static/bestsellers
мы оставим в индексе, так как на ней будет осуществятся перелинковка наших продуктов.
/captcha /counter /js/ /add-to-cart.php?id=
совершенно бесполезные, тоже закрываем их.
А так-же я разрешил боту гугла или даже можно сказать натолкнул индексировать /pill_images/
картинки, как выяснилось к которым позже нужно будет прописать alt=""
и title="""
Примечание, мной выбран шаблон theme.StallionsRx в отличии от других в нем нет вывода всех подряд категорий, есть только одна которую я тоже оставил к индексации.