PDA

Показать полную графическую версию : Вопрос. Как исправить robots.txt


kamea
21-01-2017, 15:55
Добрый день. Нужна помощь по такому вопросу.

Имеется сайт, сделанный на Джумле+Virtuemart. Последний помещает различную служебную информацию (типа libraries, templates и пр.) в общую папку components, которая в итоге содержит 15 поддиректорий. В robots.txt сейчас директория components закрыта:

Disallow: /components/

Однако в этой же директории!!! также имеется поддиректория com_virtuemart/shop_image/product/, в которую по умолчанию помещаются ВСЕ КАРТОЧКИ ТОВАРА.

И, хотя ниже в robots.txt прописана директива

Allow: /components/com_virtuemart/shop_image/product/

Allow: /components/com_virtuemart/shop_image/product/resized/

позволяющая просмотр карточек товара, у меня есть большое подозрение, что ни Гугл, ни Яндекс эти страницы не индексируют. Во всяком случае, Гугл выдает такую картину: - см. вложение

Вопрос: как правильно закрыть всю директорию components, кроме одной папки com_virtuemart и двух ее подкаталогов?

Буду очень признательна за помощь профи.

mwz
22-01-2017, 00:20
кроме одной папки com_virtuemart и двух ее подкаталогов? »

Вообще-то директивы выполняются в порядке их поступления.
Не пробовали в начале разместить разрешения (Allow), а затем уже запреты (Disallow)?
Хотя гарантировать не могу.

kamea
22-01-2017, 08:21
Не пробовали в начале разместить разрешения (Allow), а затем уже запреты (Disallow)? »

Нет, не пробовала. В инструкциях Гугла, вообще-то, написано

Disallow: [the URL path you want to block] - адрес, путь, который вы хотите заблокировать

Allow: [the URL path in of a subdirectory, within a blocked parent directory, that you want to unblock] - путь в подкаталог, блокированном в родительском каталоге, который вы хотите разблокировать.

Т.е. указано, что сначала идет указание к блокируемому адресу, затем - к разрешенному. Если у вас есть другой опыт, расскажите.

Maxx_1982
07-03-2017, 12:34
Сначала allow. Но те папки которые Вы хотите разрешить не отвечают в вирте за карточки товаров. Это папки с картинками для товаров и открыв их проиндексируются только изображения дающие Вам трафик из поиска по картинкам при правильной подаче.




© OSzone.net 2001-2012