Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Вебмастеру (http://forum.oszone.net/forumdisplay.php?f=22)
-   -   Вопрос. Как исправить robots.txt (http://forum.oszone.net/showthread.php?t=322986)

kamea 21-01-2017 15:55 2705128

Вопрос. Как исправить robots.txt
 
Вложений: 1
Добрый день. Нужна помощь по такому вопросу.

Имеется сайт, сделанный на Джумле+Virtuemart. Последний помещает различную служебную информацию (типа libraries, templates и пр.) в общую папку components, которая в итоге содержит 15 поддиректорий. В robots.txt сейчас директория components закрыта:

Disallow: /components/

Однако в этой же директории!!! также имеется поддиректория com_virtuemart/shop_image/product/, в которую по умолчанию помещаются ВСЕ КАРТОЧКИ ТОВАРА.

И, хотя ниже в robots.txt прописана директива

Allow: /components/com_virtuemart/shop_image/product/

Allow: /components/com_virtuemart/shop_image/product/resized/

позволяющая просмотр карточек товара, у меня есть большое подозрение, что ни Гугл, ни Яндекс эти страницы не индексируют. Во всяком случае, Гугл выдает такую картину: - см. вложение

Вопрос: как правильно закрыть всю директорию components, кроме одной папки com_virtuemart и двух ее подкаталогов?

Буду очень признательна за помощь профи.

mwz 22-01-2017 00:20 2705210

Цитата:

Цитата kamea
кроме одной папки com_virtuemart и двух ее подкаталогов? »

Вообще-то директивы выполняются в порядке их поступления.
Не пробовали в начале разместить разрешения (Allow), а затем уже запреты (Disallow)?
Хотя гарантировать не могу.

kamea 22-01-2017 08:21 2705229

Цитата:

Цитата mwz
Не пробовали в начале разместить разрешения (Allow), а затем уже запреты (Disallow)? »

Нет, не пробовала. В инструкциях Гугла, вообще-то, написано

Цитата:

Disallow: [the URL path you want to block] - адрес, путь, который вы хотите заблокировать

Allow: [the URL path in of a subdirectory, within a blocked parent directory, that you want to unblock] - путь в подкаталог, блокированном в родительском каталоге, который вы хотите разблокировать.
Т.е. указано, что сначала идет указание к блокируемому адресу, затем - к разрешенному. Если у вас есть другой опыт, расскажите.

Maxx_1982 07-03-2017 12:34 2717379

Сначала allow. Но те папки которые Вы хотите разрешить не отвечают в вирте за карточки товаров. Это папки с картинками для товаров и открыв их проиндексируются только изображения дающие Вам трафик из поиска по картинкам при правильной подаче.


Время: 20:17.

Время: 20:17.
© OSzone.net 2001-