Собиратель ссылок типа sitemap

Vlad Drakula · Конфигурация компьютера

benya
все зависит от того если доступ к движку сайта или нет.

benya · Отправлено: **17:13, 01-09-2006** | #3

Vlad Drakula,
А зачем нужен доступ? По принципу скачивания страниц целиком наверное... Зашли на страницу, собрали ссылки, выкинули дубликаты и так дальше по очереди... Но вот как...

Vlad Drakula · Конфигурация компьютера

benya
я просто генерю ракту сайта сразу в момент генерации всего сайта это проще удобнее и быстрее.

benya · Отправлено: **18:00, 01-09-2006** | #5

Ну я бы так тоже сделал, только вот не знаю как отгенерить все страницы...

E-mail · Отправлено: **23:40, 01-09-2006** | #6

Цитата:

может кто-то делал

интересно у нас тут есть ктонибудь с рамблера, яндекса или апорта?

Vlad Drakula

Цитата:

ракту сайта

это как?...
у меня при произношении этого слова странные представления в голове проявляются

Prisoner · Отправлено: **10:25, 02-09-2006** | #7

benya, не знаю как на счет велосипеда, но задача в общем-то довольно простая, чтобы реализовывать ее множеством невелосипедных путей:
1) Регулярным выражением примерного вида

Код:

<a.*?href=['"]?((?:(?:https?|ftp|file)://)?[-A-Z0-9+&@#/%?=~_|!:,.;]*[-A-Z0-9+&@#/%=~_|])['"]?

(с i модификатором) выдираем ссылки из текста странички. Получам массив строк, являющихся значениями атрибута href всех ссылок.
2) Применяем к массиву функцию array array_unique(array) и получаем массив с убранными повторяющимися ссылками.

По сути это все, разве что будет дополнительные моменты по разбору могущих возникнуть нюансов.

Sham · Отправлено: **03:56, 03-09-2006** | #8

Prisoner, забыл экранировать опасные символы

.

E-mail · Отправлено: **04:10, 03-09-2006** | #9

ага, а еще добавить протокол http:

Prisoner · Отправлено: **16:11, 03-09-2006** | #10

Sham, E-mail, прошу прощения, ваши замечания учитываются моими "примерным" и P.S. соответственно - я не собирался давать полного ответа, это лишнее.