Доступ поисковика к закрытым страницам

[ScorpionXXX]

Бывает так, что ищу я информацию с помощью поисковика и он мне дает ссылку на сайт или форум, где есть совпавшие слова. Так же поисковик приводит фрагмент текста из страницы, но переходя по ссылке меня кидает на другую страницу, где пишется "Для получения доступа к этой страницы необходимо пройти процедуру регистрации". Вопрос, как поисковик сумел получить доступ и найти там нужный мне текст на закрытой странице и могу ли я без регистрации сам прочитать эту страницу?

[ShaRP]

ScorpionXXX
могу ли я без регистрации сам прочитать эту страницу?

Если она есть в кэше поисковика - то да. Весьма неплохой кэш у Гугля.

[Tigr]

Поисковики индексируют кэши других серверов ? Тогда как получить к ним доступ напрямую ?

[hasherfrog]

>> как поисковик сумел получить доступ и найти там нужный мне текст на закрытой странице

Поисковик был зарегистрирован на форуме, он проходит там специальным пользователем.
Весьма распространено.

>> и могу ли я без регистрации сам прочитать эту страницу?

Да, как раз через кэш поисковика. У меня где-то был букмарклет...

Вот
javascript:t=document.location.href;t=t.replace('http://','');void(window.open('http://www.google.com/search?q=cache:'+t))
Ищет сохранённую в кеше гугля копию текущей страницы.

[dascon]

Поисковик был зарегистрирован на форуме, он проходит там специальным пользователем. Весьма распространено
каким? логин и пас для него какой? я просто не понимаю - как?

[hasherfrog]

Да. Например, GoogleBot или googlespider, или Yahoo. В тонкости механизма я не вникал, мне интереснее последствия.

А вообще-то я не очень точно всё описал...

Идентифицируются (на форумах!) они по IP и User-agent, видимо. GoogleBot - это уже видимое отображение "посетителя" для остальных пользователей. так что "пароля" как такового у него нет. Видимо :-|

http://forums.seochat.com/search-engine-spiders-27/help-identifying-spiders-20329.html