массовые поломки/починки апометров ) оператор date: сломался + инкрементальные апдейты Яндекса

Я, понятное дело, хоть и держу апометр http://tools.promosite.ru/ с 2008 года, но не захожу на него каждый день. И даже каждую неделю. Спасибо всем, кто написал на почту. Сейчас добавлю туда ссылку на мой FB.

Дело было в том, что с в какой-то момент новые проиндексированные документы в Яндексе перестали выводиться поиском по оператору date: (оператор даты индексации idate перестал работать еще летом).

Например: последний апдейт по оператору date был 4 декабря, а уже 6 декабря произошел ахтунг – вывалились ранее выдававшиеся документы за даты в середине, с 22 по 29 ноября:

И эта граница по старым документам (23 ноября) остается день ото дня (вот скан от 11 декабря).

При этом вы заметили, что область пустых ответов увеличилась? На предыдущем скрине пустота начинается с 29 ноября, а тут – с 4 декабря

И даже сейчас документы по запросу date:20171123 находятся, а по date:20171124 – уже нет.

И дальше – тоже нет. Точнее, совсем мало.

И такие выпадения прошлого индекса по date: происходит ежедневно и незаметно – день за днем граница сдвигается вперед. (Кстати, под это дело я поменял визуализацию, теперь там обратно отображаются документы, и чем зеленее – тем их больше)

Но иногда “отсутствующие” документы влетают обратно, 24 декабря

Но через пару дней вылетают

Теперь выводы:

  1. в Яндексе творится ниибическая хуйня. Оператор date: документирован, но работает через жопу.
  2. Вся хуйня произошла по понятным причинам. Яндекс просто дрочит на “старшего брата” дядю Гугл, у которого инкрементальные апдейты уже давно. И это все – попытка Яндекса внедрить инкрементальные апдейты, ежедневные. Это видно по поиску, да у меня есть экспериментальные сайты с ежедневно меняющимся текстом на морде.
  3. Апометр http://tools.promosite.ru/ пофиксен, все снова работает, и в отличие от других сервисов у меня таки выдается максимальная  дата проиндексированных документов. Традиция, чо. На основе поиска по экспериментальным сайтам.
  4. Прикалывает, что только 20 дек начали появляться фиксы других сервисов )) ребятки верят моему сервису, пока он молчал, они не суетились )
  5. Забыл сказать – конечно, в этом промежутке были апы. Но оператор date их не показывал.

в Яндексе сломался оператор date: и не только

… и не только он, а еще оператор даты индексации (для быстроробота отдает не нули, а для основного индекса строгие нули)

… и поэтому предыдущие 2 апа на tools.promosite.ru нарисованы как “изменения выдачи без выкладывания” (от 14 июля 2017 и 16 июля 2017 )

Как проверить – ну тупо поискать что-то вида date:20170715 – выдает 20-80 документов, а  date:20170708 уже не отдает ничего.

Если навсегда – то, конечно, найдутся способы обойти, тупо поиском дат в основном индексе. На сейчас, кстати, дата индекса 11 июля, хотя было два апа – 14го и 16го, в нормальных условиях индекс должен быть бы по 14 или 13.

В документации пока он есть, надеюсь, поправят

что-то с Я.XML странное – не отдает еще со вчерашнего вечера

Чудеса.

При запросах по датам именно в те даты, когда должен быть выложен общий индекс, что-то сломалось (2017-07-14), поэтому сегодняшний ап обозначен как “изменение без выкладывания”

Причем это с общим индексом. А в даты, когда должен быть быстроробот, число документов ненулевое.

Разбираемся.

исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса

Значит, сначала коротко. Яндекс 31 января 2017 объявил о том, что прекращает поддержку многих операторов поиска, и в тот же день это ввел (пруф).

При этом у меня в tools.promosite.ru перестали показываться апы из-за того, что была включена “пробивка кеша”, которая сломалась. Сломался оператор ~~ (отсутствие слова в документе) для запросов некоторых видов.

Проблему я поправил, и еще я поменял методику пробивки изменений выдачи. Теперь степень изменения выдачи не учитывает “многорукого бандита” и выглядит гораздо качественнее:

Про методику пробивки изменений выдачи – в следующих постах.

Читать далее «исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса»

На пути к инкрементальным апдейтам? Апометр – число выдаваемых сайтов уменьшилось. Поправлено.

На сейчас список последних апов в tools.promosite.ru выглядит так:

Поправленные апдейты последних дней, конец 2016

ВНЕЗАПНО (ну, для меня это – месяц назад) Яндекс при апдейтах при поскае операторами вида date: (дата документа и последней индексации) стал отдавать сильно меньше сайтов.

Это число стало меньше моего нижнего лимита, и вместо апдейтов там стало рисовать “изменение выдачи”. Это поправлено, все пересчитано, подсветка даже переделана.

Единственно, апдейт от 15 декабря я все-таки оставил как “изменение”, там число сайтов было в десяток раз меньше, чем обычно. Подсветка там нарисована.

Зачастили, неужели хочется инкрементальные апдейты делать, как у Гугла?


Еще, например, два случая было вечерних апдейтов – 4 декабря и 2 декабря – там, понятно, изменение выдачи от них на следующий день идет. У меня причем с датой никаких изменений не было, а перевод часов (отключен) в октябре…


Ждите новостей, оставайтесь с нами, скоро будет изменен метод расчета изменений выдачи так, что многорукий бандит не будет мешать. 🙂