Компьютерный форум OSzone.net  

Компьютерный форум OSzone.net (http://forum.oszone.net/index.php)
-   Хочу все знать (http://forum.oszone.net/forumdisplay.php?f=23)
-   -   [решено] Индексация сайта для поиска (http://forum.oszone.net/showthread.php?t=320336)

RasKolbas 01-11-2016 08:21 2683617

Индексация сайта для поиска
 
Допустим есть некий сайт на котором много нужной для меня информации и я мне постоянного нужно найти на нём что-то. Вот допустим мне нужно найти статью, содержащую слова "Москва" "хостинг" и "Иванов", но я не могу это сделать потому как:
1) На сайте нет поиска по статьям
2) Найти нужную статью через поисковые системы Яндекс и Google невозможно, потому как сайт не индексируется этим самым Яндексом из-за того, что доступ к страницам возможен только после авторизации, а сайт работает по https.
Но у меня-то аккаунт на сайте есть. Такая мысль возникла, если это не может сделать Яндекс, могу ли я самостоятельно сайт проиндексировать? Какое существует ПО для этого?

Iska 01-11-2016 08:41 2683618

Цитата:

Цитата RasKolbas
1) На сайте нет поиска по статьям »

Какой сайт? Какой поиск есть?

Vadikan 01-11-2016 23:32 2683855

RasKolbas, скачать сайт локально и искать :)

Yewgeniy 02-11-2016 07:46 2683899

Если RasKolbas'а не забанять за это...

Iska 02-11-2016 09:08 2683912

Цитата:

Цитата Yewgeniy
Если RasKolbas'а не забанять за это... »

Не забанят.

RasKolbas 02-11-2016 11:08 2683943

Vadikan, скачать сайт программой вроде WebCopier?
Пробовал, не качает

Iska 02-11-2016 11:25 2683953

RasKolbas, любому грабберу нужно а) дать указание использовать Ваши учётные данные (в разных приложениях реализовано может быть по разному), и б) граббер должен уметь работать не только по http, но и по https (коль ресурс требует именно этого протокола).

RasKolbas 02-11-2016 11:45 2683960

Iska, вот я тоже подумал, что WebCopier поддерживает не все способы авторизации на сайтах, всё-таки старая программа. А какие ещё грабберы есть, более продвинутые?

Iska 02-11-2016 11:58 2683968

Попробуйте HTTrack Website Copier - Free Software Offline Browser (GNU GPL). htpps — есть, авторизацию поддерживает.


Время: 17:21.

Время: 17:21.
© OSzone.net 2001-