Оказывается, сервис http://seolab.ru/add/header.htm при запросе страницы “прикинувшись Яндексом” не посылает в HTTP-заголовке Accept: text/html. А обычный робот Яндекса, видимо, посылает его при индексации. Я на этом прилично накололся.
Ситуация: есть страницы на сайте. Он не индексируется. Смотрим seolab-ом: ответ 200 ОК. А если смотреть, посылая заголовок Accept: text/html – ответ 406 Not Acceptable.
Что еще забавно – при добавлении страницы в аддурл http://webmaster.yandex.ru/ он нормально принимает 406 страницу (видимо добавляльщик, в отличие от индексатора, не посылает этот заголовок или посылает его в другом виде) – и страница нормально добавляется! В то же воемя, при добавлении откровенно 4ХХ страниц Яндекс-аддурл ругается.
Упс.
День: 08.11.2005
аукцион на nic.ru
Сравниваем по Яндексу количество лотов в http://auction.nic.ru/ :
#url=”auction.nic.ru/torgi/lot.cgi?id=*”: страниц — 739 (здесь половина страниц – списки разных сео-характеристик доменов)
Уберем страницы с “индексами”: #url=”auction.nic.ru/torgi/lot.cgi?id=*” && -проиндексировано: страниц — 399
А сколько из них никому не нужны: #url=”auction.nic.ru/torgi/lot.cgi?id=*” && “ходе торгов не было сделано ни одной ставки”: страниц — 338
Вот так он нужен народу, этот аукцион.
Это я все к тому, что у них появился расширенный поиск с показом всяких тИЦов, PRов и т.д.
Только кому надо вообще там искать? 🙂