SANtana
06-05-2003, 14:24
Вот столкнулся с такой проблемкой, может кто подскажет что лучше предпринять.
У меня сайт использует фреймы, минимум 3 - максимум 6. Конечно херово, понимаю, так что не осуждайте, просто так нужно было. Так вот, когда прописываю файл robots.txt, то бишь разграничиваю что индексировать, а что нет, робот все равно индексирует те страницы, которые запрещены для индексации. В итоге, когда идет запрос в поисковой системе, он находит как раз те страницы, которые он не должен находить. Как от этого избавиться.
Звыняйте что масло масляное, но я сегодня глючу.
В файле robots.txt я прописываю примерно следующее:
User-agent: *
Disallow: /cie.html
Disallow: /left.html
и т.д.
У меня сайт использует фреймы, минимум 3 - максимум 6. Конечно херово, понимаю, так что не осуждайте, просто так нужно было. Так вот, когда прописываю файл robots.txt, то бишь разграничиваю что индексировать, а что нет, робот все равно индексирует те страницы, которые запрещены для индексации. В итоге, когда идет запрос в поисковой системе, он находит как раз те страницы, которые он не должен находить. Как от этого избавиться.
Звыняйте что масло масляное, но я сегодня глючу.
В файле robots.txt я прописываю примерно следующее:
User-agent: *
Disallow: /cie.html
Disallow: /left.html
и т.д.