Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Собиратель ссылок типа sitemap

Ответить
Настройки темы
Собиратель ссылок типа sitemap

Аватара для benya

Старожил


Сообщения: 302
Благодарности: 5

Профиль | Сайт | Отправить PM | Цитировать


Господа, никто не знает алгоритма собирателя уникальных ссылок с сайта для создания карты сайта? Не хочется выдумывать велосипед, может кто-то делал.

Отправлено: 15:25, 01-09-2006

 

Ночной странник


Contributor


Сообщения: 4050
Благодарности: 83

Профиль | Сайт | Отправить PM | Цитировать


benya
все зависит от того если доступ к движку сайта или нет.

-------
можно практически все, но просто мы это еще не знаем.
главный враг програмиста это копипастинг
За хорошее сообщение не забываем нажимать ссылочку "Полезное сообщение"!


Отправлено: 15:34, 01-09-2006 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для benya

Старожил


Сообщения: 302
Благодарности: 5

Профиль | Сайт | Отправить PM | Цитировать


Vlad Drakula,
А зачем нужен доступ? По принципу скачивания страниц целиком наверное... Зашли на страницу, собрали ссылки, выкинули дубликаты и так дальше по очереди... Но вот как...

Отправлено: 17:13, 01-09-2006 | #3


Ночной странник


Contributor


Сообщения: 4050
Благодарности: 83

Профиль | Сайт | Отправить PM | Цитировать


benya
я просто генерю ракту сайта сразу в момент генерации всего сайта это проще удобнее и быстрее.

-------
можно практически все, но просто мы это еще не знаем.
главный враг програмиста это копипастинг
За хорошее сообщение не забываем нажимать ссылочку "Полезное сообщение"!


Отправлено: 17:30, 01-09-2006 | #4


Аватара для benya

Старожил


Сообщения: 302
Благодарности: 5

Профиль | Сайт | Отправить PM | Цитировать


Ну я бы так тоже сделал, только вот не знаю как отгенерить все страницы...

Отправлено: 18:00, 01-09-2006 | #5


Аватара для E-mail

Ветеран


Сообщения: 640
Благодарности: 2

Профиль | Сайт | Отправить PM | Цитировать


Цитата:
может кто-то делал
интересно у нас тут есть ктонибудь с рамблера, яндекса или апорта?

Vlad Drakula
Цитата:
ракту сайта
это как?...
у меня при произношении этого слова странные представления в голове проявляются

-------
Основы HTML | Конференции


Отправлено: 23:40, 01-09-2006 | #6


Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


benya, не знаю как на счет велосипеда, но задача в общем-то довольно простая, чтобы реализовывать ее множеством невелосипедных путей:
1) Регулярным выражением примерного вида
Код: Выделить весь код
<a.*?href=['"]?((?:(?:https?|ftp|file)://)?[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|])['"]?
(с i модификатором) выдираем ссылки из текста странички. Получам массив строк, являющихся значениями атрибута href всех ссылок.
2) Применяем к массиву функцию array array_unique(array) и получаем массив с убранными повторяющимися ссылками.

По сути это все, разве что будет дополнительные моменты по разбору могущих возникнуть нюансов.

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Последний раз редактировалось Prisoner, 03-09-2006 в 16:11.


Отправлено: 10:25, 02-09-2006 | #7


Deadooshka


Сообщения: 2352
Благодарности: 624

Профиль | Отправить PM | Цитировать


Prisoner, забыл экранировать опасные символы .

Отправлено: 03:56, 03-09-2006 | #8


Аватара для E-mail

Ветеран


Сообщения: 640
Благодарности: 2

Профиль | Сайт | Отправить PM | Цитировать


ага, а еще добавить протокол http:

-------
Основы HTML | Конференции


Отправлено: 04:10, 03-09-2006 | #9


Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


Sham, E-mail, прошу прощения, ваши замечания учитываются моими "примерным" и P.S. соответственно - я не собирался давать полного ответа, это лишнее.

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Отправлено: 16:11, 03-09-2006 | #10



Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Собиратель ссылок типа sitemap

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
[решено] Где посмотреть список свойств ссылок (обычных ссылок интернета)? evg64 AutoIt 4 13-09-2009 13:41
Интернет - Генератор кодов ссылок? Yez Программное обеспечение Windows 0 26-05-2009 18:12
Вид ссылок CTEPBA Вебмастеру 2 10-09-2006 22:48
Защита ссылок mailto: Doctorrr Вебмастеру 1 11-12-2003 19:59




 
Переход