Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Теоретический вопрос о поиске по сайту

Ответить
Настройки темы
Теоретический вопрос о поиске по сайту

Новый участник


Сообщения: 6
Благодарности: 0

Профиль | Отправить PM | Цитировать


Есть движок с кучей модулей, есть задача сделать поиск по всему сайту, включая форум, блог, опросы и так далее. Есть идея написать индексатор, который будет индексировать сайт на манер поисковых роботов и пихать данные в базу/файл. Сам поиск будет производиться по индексной базе/файлу. Заслуживает ли идея реализации? Есть ли у кого опыт реализации подобного поисковика? Особо волнует проблема производительности бота.

И если вдруг кто в курсе, засчитывают ли провайдеры трафик идущий через file_get_contents на самом сервере? Тоесть, запросил я с сервера страницу, находящуюся на этом же сервере, приплюсуется ли мне входящий трафик? По логике вещей - нет, но кто знает

Отправлено: 19:22, 13-03-2006

 
mar mar вне форума

Аватара для mar

just mar


Moderator


Сообщения: 3904
Благодарности: 163

Профиль | Отправить PM | Цитировать


johnny_palec
2) по поводу провайдера. Теоретически нет, но лучше самого провайдера никто не скажет.
1) по поводу поиска - у нас тут было несколько тем. Основные:
поиск по сайту (статические страницы)
Создания поиска по сайту(обсуждаем алгоритмы)
организация поиска по сайту
может, лучше сначала прочитать их и, возможно поднять одну из них? Или что-то принципиально новое?

Отправлено: 20:30, 13-03-2006 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Новый участник


Сообщения: 6
Благодарности: 0

Профиль | Отправить PM | Цитировать


Смотрел, это не то. Я хочу написать бота, который будет делась следующее:

-Тащит корневую страницу
-Составляет список ссылок на внутренние страницы сайта
-Удаляет всё ненужное и индексирует текст
-Идёт по первой ссылке из списка
-Действия повторяются

Таким образом бот обходит весь сайт и составляет его индекс с привязкой к урлу. Поис производится непосредственно в индексной таблице.

Отправлено: 20:40, 13-03-2006 | #3

mar mar вне форума

Аватара для mar

just mar


Moderator


Сообщения: 3904
Благодарности: 163

Профиль | Отправить PM | Цитировать


johnny_palec
по первой ссылке все Ваши действия называются "индексация сайта" или "скрипт, индексирующий сайт". Дана ссылка на пример. Если мало, или непонятно, можно объяснить, но лучше там же, дабы не плодить темы. Читайте внимательней, pls.

Отправлено: 21:32, 13-03-2006 | #4


Новый участник


Сообщения: 6
Благодарности: 0

Профиль | Отправить PM | Цитировать


mar, я же не спрашиваю способ реализации, мне интересно обсудить вопрос с человеком, который этот способ успешно/безуспешно реализовал

Отправлено: 21:37, 13-03-2006 | #5


Ночной странник


Contributor


Сообщения: 4050
Благодарности: 83

Профиль | Сайт | Отправить PM | Цитировать


johnny_palec
я писал поисковую машину для http://soft.oszone.net/ и для http://www.oszone.net/
учитывая что я знал как вормируются все урлы из базы данных, я не стал делать индексациолнную машину.
я просто сделал поиск записей по базе данных, потом скрипт обрабатывает результаты поиска и острит по ним ссылки на страницы.
плюсом этого метода является что не нужно переиндексировать сайт, и новые данныз появляются мгновенно после добавления в базу.

пример поиска по каталогу програм и по сайту одновременно:
http://soft.oszone.net/search.php?s=dvd

-------
можно практически все, но просто мы это еще не знаем.
главный враг програмиста это копипастинг
За хорошее сообщение не забываем нажимать ссылочку "Полезное сообщение"!


Отправлено: 11:14, 14-03-2006 | #6

mar mar вне форума

Аватара для mar

just mar


Moderator


Сообщения: 3904
Благодарности: 163

Профиль | Отправить PM | Цитировать


johnny_palec
в моем случае (как я уже писала по той ссылке), был статический сайт + форум.
Была добавлена индексационная машина для стаитки. (Форум и так в базе).
Использовался полнотекстовый поиск (все написано в том топике вместе со спорами об использовании последнего)

Отправлено: 11:25, 14-03-2006 | #7


Аватара для E-mail

Ветеран


Сообщения: 640
Благодарности: 2

Профиль | Сайт | Отправить PM | Цитировать


кстати говоря ктонибудь реализовывал не полнотекстовый поиск?

-------
Основы HTML | Конференции


Отправлено: 23:35, 14-03-2006 | #8

mar mar вне форума

Аватара для mar

just mar


Moderator


Сообщения: 3904
Благодарности: 163

Профиль | Отправить PM | Цитировать


E-mail
ну, мне всякий приходилось. А Влад, насколько мне помнится, в первой из указанных тем как раз объяснял, почему он реализовывал именно НЕ полнотекстовый поиск. (Еще немного и склею темы )

Отправлено: 00:09, 15-03-2006 | #9


Ночной странник


Contributor


Сообщения: 4050
Благодарности: 83

Профиль | Сайт | Отправить PM | Цитировать


E-mail
я делал... и даже релевантность в поиске сам писал...

-------
можно практически все, но просто мы это еще не знаем.
главный враг програмиста это копипастинг
За хорошее сообщение не забываем нажимать ссылочку "Полезное сообщение"!


Последний раз редактировалось mar, 15-03-2006 в 12:17.


Отправлено: 11:20, 15-03-2006 | #10



Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Теоретический вопрос о поиске по сайту

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Вопрос по сайту Odnoklasniki.ru romashka7 Хочу все знать 3 09-01-2010 15:42
C/C++ - [решено] Теоретический вопрос в задаче о классе целых чисел Sky-er Программирование и базы данных 4 08-01-2009 04:18
Route/Bridge - Подключение к инету. Маршрутизация. Теоретический вопрос. Alexandrovav Сетевые технологии 1 21-11-2008 10:23
Интерфейс - [решено] Песик в поиске..... Uran238 Microsoft Windows 2000/XP 4 15-07-2008 18:57
Нужна помощь в поиске! Killed Программирование и базы данных 4 08-01-2007 01:21




 
Переход