Метка: быстроробот

Для отмены определения БР, СПЕКТРа – Яндекс сменил doc id

Борются-борются… Кстати, не очень быстро.
Интересно, что это им взбрело. Наверное, еще всяких примесей планируют ввести?

Итак, раньше можно было через Яндекс.XML определять быстророботные включения, СПЕКТР (и ультраробот от бара, пока его не выключили, и буржуйскую базу,пока ее не выключили) по структуре идентификатора документа doc id
Для БР и СПЕКТРа doc id был из трех фрагментов вида 72-2-ZB61AC8DED7F2740E (с разным первым фрагментом для разных баз), а для обычных – из четырех фрагментов.
***
А 27-28 июля все это дело отменили – из doc id отпилили первые фрагменты, остался только фрагмент вида ZB61AC8DED7F2740E (кстати, он остался тот же самый, что последний кусок до отпиливания)
***
PS а возможность определять СПЕКТР таки осталась ))

PPS Кстати, а ведь отпиливание действительно целевое. Оно коснулось только трех- и четырех-фрагментных id, двух- не коснулось. Заодно, кажется, вернули ультраробот.

быстроробот в урловых операторах

а быстроробота в операторах типа domain отменили с четверга на пятницу 9-10

Но остального изменения не коснулись, изменений по другим запросам нет. Получается, точечно подкрутили запросонезависимую часть формулы.

Анонс: скоро у меня будет анализатор откатов. Будет пробиваться похожесть выдачи сегодня и в прошлое. Тогда легче будет понять, что к какому состоянию откатилось.

перманентный быстроробот

товарищи яндексоиды!
Я вот не понимаю. Быстрорбот – он же для свежих документов или как? И базы у основного и быстрого робота разные.
Т.е. появился документ – проиндексирован БР – появился в выдаче на пару дней из базы БР – пропал – появился в выдаче через один ап в основной базе.

А вот как же так получается, что с самого начала времен документ http://WebStudio2U.net/ru/web-promotion/194-promotion-recomendation.html находится безвылазно в быстророботе (и по совместительству – в топ10 по “продвижение сайтов” 🙂 )

Почему он из БР не вылетает? Или это для региона “Сумы” так редко появляются новые документы и оттого так долго живет быстроробот?

Быстроробот Яндекса забывчив?

Только что буквально я страдал по поводу постепенного выкидывания одного сайта на 35 тыс. страниц из базы Яндекса… То было 5, потом 3, потом 1.8 тысяч…
А этот сайт умеет заголовки if-modified-since обрабатывать. И на проиндексированные каждым поисковиком страницы он выдает 304 Not Modified – когда надо.
Короче, я взял – обнулил отметки об индексации. Типа начнем сначала. Позавчера уже было 9300 страниц в базе Яндекса.
Сейчас 22.5 тысячи уже. 🙂
Что же это получается? Яндексовский быстроробот как быстро индексирует, так и быстро забывает? 🙂 Не любит он, видно, необновляемые страницы.
PS Рамблер нормально держит все страницы в базе всю дорогу.
Кстати, именно постепенное выкидывание Яндексом страниц может означать именно то, что есть некая дата, до которой страница живет… Ибо сайт новостной – на нем страницы все время появляются… И многие, видимо, устаревают.
PPS Единственно, что при поиске по этому сайту в Яндексе – сплошные “Abort trap”-ы. Быстроробот еще и неаккуратен. 🙂