День: 15.10.2005

Быстроробот Яндекса забывчив?

Только что буквально я страдал по поводу постепенного выкидывания одного сайта на 35 тыс. страниц из базы Яндекса… То было 5, потом 3, потом 1.8 тысяч…
А этот сайт умеет заголовки if-modified-since обрабатывать. И на проиндексированные каждым поисковиком страницы он выдает 304 Not Modified – когда надо.
Короче, я взял – обнулил отметки об индексации. Типа начнем сначала. Позавчера уже было 9300 страниц в базе Яндекса.
Сейчас 22.5 тысячи уже. 🙂
Что же это получается? Яндексовский быстроробот как быстро индексирует, так и быстро забывает? 🙂 Не любит он, видно, необновляемые страницы.
PS Рамблер нормально держит все страницы в базе всю дорогу.
Кстати, именно постепенное выкидывание Яндексом страниц может означать именно то, что есть некая дата, до которой страница живет… Ибо сайт новостной – на нем страницы все время появляются… И многие, видимо, устаревают.
PPS Единственно, что при поиске по этому сайту в Яндексе – сплошные “Abort trap”-ы. Быстроробот еще и неаккуратен. 🙂