[Habetdin]

что допустить в sitemap, а что нет. »

Это не то же самое, что "что конкретно допускать к индексации" Для запрета индексации - robots.txt

какая разница что генерировать Sitemap.xml или robots.txt »

Первое дает поисковику информацию о структуре сайта, а второе указывает, что из содержимого сайта нельзя показывать в поиске

нужен ли такой фаил »

Sitemap облегчает поисковику жизнь, нужен он или нет - решать вам

---

мне кажется передать поисковику список страниц значительно лучше нежели фильтровать доступ для бота »

Одно другому не мешает, но что здесь значит "лучше"? Что-то вроде "Лучше ребенку показать тарелку с печеньками, чем запрещать ему лезть во вторую, с конфетами" - как по вашему связаны такие тарелки?..