[решено] анализ robots.txt

[makatuk]

при проверки robots.txt в результате указывает на "Обнаружена неизвестная директива"в чём может быть проблема ?

http://i66.fastpic.ru/big/2014/1104/5b/4f965298f64dca233fa336ba189e265b.jpg (http://i63.fastpic.ru/big/2014/1104/f7/38362f1f9f54abc832de7084c359f8f7.jpg)

[Master-It]

makatuk, у вас в robots.txt совершенно не те данные, которые нужны. Это данные sitemap.xml, что-то вы перепутали.
Пример роботс.тхт:

User-agent: *
#Для всех роботов
Allow: /страница.html
#Разрешает сканировать страницу
Disallow: /папка/
#Закрывает от индексации директорию папка
Disallow: /администратор.html
#Закрывает от индексации страницу администратор.html

Синтаксис и правила составления robots.txt смотрите здесь (http://master-it.biz/robots-txt-wordpress.html).

[makatuk]

в robots.txt совершенно не те данные »
подскажите что нужно прописать в строках которые у Вас указаны на русском языке?
я не программист,сайт делал через конструктор WebSite X5 Evolution 11,сейчас хочу его оптимизировать

[Master-It]

makatuk, в вашем случае будет достаточно разрешить всем ботам (User-agent: *) сканировать весь сайт (Allow: /), указать главное зеркало для Яндекса и добавить карту сайта sitemap.xml.
В итоге вот этого кода для вашего сайта будет достаточно:
User-agent: *
Allow: /
Host: www.optimanerud.com
Sitemap: http://www.optimanerud.com/sitemap.xml

Все остальное нужно удалить, после этого проверьте robots.txt в валидаторе.

Если на сайте есть админка, или другая папка, сценарий (html или Php страница) и вы не хотите, чтобы роботы их индексировали, то добавьте в роботс инструкцию:
Disallow: /папка/
Disallow: /страница.html

[makatuk]

User-agent: *
Allow: /
Host: www.optimanerud.com
Sitemap: http://www.optimanerud.com/sitemap.xml »
премного благодарен за ответ !