Accept в HTTP – заголовке

Оказывается, сервис http://seolab.ru/add/header.htm при запросе страницы “прикинувшись Яндексом” не посылает в HTTP-заголовке Accept: text/html. А обычный робот Яндекса, видимо, посылает его при индексации. Я на этом прилично накололся.
Ситуация: есть страницы на сайте. Он не индексируется. Смотрим seolab-ом: ответ 200 ОК. А если смотреть, посылая заголовок Accept: text/html – ответ 406 Not Acceptable.
Что еще забавно – при добавлении страницы в аддурл http://webmaster.yandex.ru/ он нормально принимает 406 страницу (видимо добавляльщик, в отличие от индексатора, не посылает этот заголовок или посылает его в другом виде) – и страница нормально добавляется! В то же воемя, при добавлении откровенно 4ХХ страниц Яндекс-аддурл ругается.
Упс.

Accept в HTTP – заголовке: 5 комментариев

  1. Было бы интересно проверить такой сайт связкой Firefox + LiveHTTPHeaders + UserAgentSwitcher.

  2. Я не всегда отлавливал 406-ю даже когда максимально прикидывался индексатором Яндекса с помощью WebBug.
    Правда сильно далеко не копал, да и сайт с 406 попался всего один раз и быстро куда-то пропал

  3. Жень, разные роботы Яндекса могут задавать разные заголовки …
    Я тут налетел с мастерхостом 3 недели назад – они кэшировали размер документа в gzip’e, а потом отдавали документ в HTML размером от gzip ;))

  4. это случалось в некотором проценте случаев ;)))

Комментарии запрещены.