Войти

Показать полную графическую версию : [решено] Индексация сайта для поиска


RasKolbas
01-11-2016, 08:21
Допустим есть некий сайт на котором много нужной для меня информации и я мне постоянного нужно найти на нём что-то. Вот допустим мне нужно найти статью, содержащую слова "Москва" "хостинг" и "Иванов", но я не могу это сделать потому как:
1) На сайте нет поиска по статьям
2) Найти нужную статью через поисковые системы Яндекс и Google невозможно, потому как сайт не индексируется этим самым Яндексом из-за того, что доступ к страницам возможен только после авторизации, а сайт работает по https.
Но у меня-то аккаунт на сайте есть. Такая мысль возникла, если это не может сделать Яндекс, могу ли я самостоятельно сайт проиндексировать? Какое существует ПО для этого?

Iska
01-11-2016, 08:41
1) На сайте нет поиска по статьям »
Какой сайт? Какой поиск есть?

Vadikan
01-11-2016, 23:32
RasKolbas, скачать сайт локально и искать :)

Yewgeniy
02-11-2016, 07:46
Если RasKolbas'а не забанять за это...

Iska
02-11-2016, 09:08
Если RasKolbas'а не забанять за это... »
Не забанят.

RasKolbas
02-11-2016, 11:08
Vadikan, скачать сайт программой вроде WebCopier?
Пробовал, не качает

Iska
02-11-2016, 11:25
RasKolbas, любому грабберу нужно а) дать указание использовать Ваши учётные данные (в разных приложениях реализовано может быть по разному), и б) граббер должен уметь работать не только по http, но и по https (коль ресурс требует именно этого протокола).

RasKolbas
02-11-2016, 11:45
Iska, вот я тоже подумал, что WebCopier поддерживает не все способы авторизации на сайтах, всё-таки старая программа. А какие ещё грабберы есть, более продвинутые?

Iska
02-11-2016, 11:58
Попробуйте HTTrack Website Copier - Free Software Offline Browser (GNU GPL) (https://www.httrack.com/). htpps — есть, авторизацию поддерживает.




© OSzone.net 2001-2012