[решено] Поиск на сайтах. Как обойти ограничение в файле robots.txt

[adgeuk]

Открыл сайт биржи труда - kiosk.fas.ie

Перебирать все предложения дело долгое и утомительное.

Требуется:

- найти все страницы сайта kiosk.fas.ie, в которых присутствует словосочетание:
No Experience Required или Some Experience Required

То есть, найти все вакансии, которые не требуют предварительного опыта работы,
либо требуют лишь некоторый опыт.

Пример искомой страницы в прикреплённом к теме файле.

Делал так:

- вводил в поиск Google: "Some Experience Required" site:kiosk.fas.ie

- результат: Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Как обойти такие настройки сайта и всё-таки выполнить поиск в полной мере?

[adgeuk]

Даю наводящий вопрос:

Если сначала скачать сайт на компьютер, а потом выполнить поиск, как думаете, получится?
У кого опыт есть в этом деле, помогите.

[adgeuk]

Способ найден:

использовал программу для скачивания сайтов MetaProducts Offline Explorer.

Скачал сайт (нужную ветку), выполнил поиск, всё нашёл.