Индексация сайта Яндексом

Sham · Отправлено: **22:36, 02-07-2010** | #2

Цитата ][alter:

Пробывал открывать файл редакторами, эта закагулина отсутствует! »

имхо из-за метки BOM (если UTF-8). Нужно сохранять без BOM. Либо попробовать сохранить в другой кодировке с латиницей (если нет нелатинских)...

2. отдает 403 (вроде бы). попробуйте изменить user-agent в запросе на яндексовый (в браузере или скрипте) и проверить ответ.

][alter · Отправлено: **23:33, 02-07-2010** | #3

Поменял кодировку на ANSI, вопрос решился.

А вот по поводу второго можно немного подетальнее?

Вот эти директивы что означают?

Код:

Disallow: /*ru
Disallow: /*en

Запрет индексации доменных зон?

Sham · Отправлено: **01:37, 03-07-2010** | #4

Disallow - похоже на запрет на индексирование указанного пути относительно корня сайта. Мб яндекс запрет в файле роботс понимает как 403, хз, но проверить лучше все варианты, в т.ч. обычный запрос с user-agent яндекса (вдруг это сервер 403 отдает)...

http://help.yandex.ru/webmaster/?id=996567

][alter · Отправлено: **13:17, 03-07-2010** | #5

Подскажите как этот запрос осуществить?

Sham · Отправлено: **15:17, 03-07-2010** | #6

https://addons.mozilla.org/ru/firefox/addon/59/ - строки яндекса там нет вроде, но добавить вручную можно.

http://help.yandex.ru/webmaster/?id=1112272

][alter · Отправлено: **15:43, 03-07-2010** | #7

В google бот

Код:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

А как будет Яндекса?

Sham · Отправлено: **15:53, 03-07-2010** | #8

Цитата ][alter:

А как будет Яндекса? »

Цитата Sham:

http://help.yandex.ru/webmaster/?id=1112272 »

еще тут http://help.yandex.ru/webmaster/?id=995329 старые вроде

][alter · Отправлено: **16:42, 03-07-2010** | #9

Проверил все хорошо, ошибок не каких не возникает. Буду ждать следующего посещения робота.

Кстати директорий «ru»и «en» у меня на ftp не было и в документации на яндексе я описания не нашел. Возможно это и было причиной.

aparator · Отправлено: **20:53, 19-07-2010** | #10

у меня вообще не индексирует н ирамблер ни яндекс ни одну страницу. уже два месяца сайту. гугл и яха быстро проиндексировали ,вот нормальные поисковики, не то-что этот яндекс. надоел уже.
Так вот, может дело в том, что я использую бесплатныей хостинг и домен 3-го уровня?