[Smoke2k]

P.S.: как закрыть страницу от индексации, используя sitemap? »

Я не притендую на спеца, потому как новечёк сам, но из того что я прочитал, понял что всё зависит от движка. Например в WordPress есть очень даже хорошие плагины которые в которых можно указать категории или какие-то спицефические параметры которые будут фильтровать страницы по содержанию что допустить в sitemap, а что нет. И на сколько я понял в robots.txt можно указать только физические пути на сервере куда роботам нельзя заходить. Или можно блокировать страницы перечисляя их... хотя если так подумать, то какая разница что генерировать Sitemap.xml или robots.txt. Хотя мне кажется передать поисковику список страниц значительно лучше нежели фильтровать доступ для бота

И всё же вопрос остаётся открытым, нужен ли такой фаил (robots.txt или sitemap.xml) в форуме? или есть ещё какие-то системы индыксации которые больше подходят для форумов? Или это вообще делать не нужно?