Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Хочу все знать (http://forum.oszone.net/forumdisplay.php?f=23)
-   -   [решено] Поиск на сайтах. Как обойти ограничение в файле robots.txt (http://forum.oszone.net/showthread.php?t=240738)

adgeuk 16-08-2012 19:14 1971411

Поиск на сайтах. Как обойти ограничение в файле robots.txt
 
Вложений: 1
Открыл сайт биржи труда - kiosk.fas.ie

Перебирать все предложения дело долгое и утомительное.

Требуется:

- найти все страницы сайта kiosk.fas.ie, в которых присутствует словосочетание:
No Experience Required или Some Experience Required

То есть, найти все вакансии, которые не требуют предварительного опыта работы,
либо требуют лишь некоторый опыт.

Пример искомой страницы в прикреплённом к теме файле.

Делал так:

- вводил в поиск Google: "Some Experience Required" site:kiosk.fas.ie

- результат: Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Как обойти такие настройки сайта и всё-таки выполнить поиск в полной мере?

adgeuk 17-08-2012 15:37 1971873

Даю наводящий вопрос:

Если сначала скачать сайт на компьютер, а потом выполнить поиск, как думаете, получится?
У кого опыт есть в этом деле, помогите.

adgeuk 17-08-2012 16:34 1971908

Способ найден:

использовал программу для скачивания сайтов MetaProducts Offline Explorer.

Скачал сайт (нужную ветку), выполнил поиск, всё нашёл.


Время: 05:47.

Время: 05:47.
© OSzone.net 2001-