массовые поломки/починки апометров ) оператор date: сломался + инкрементальные апдейты Яндекса

Я, понятное дело, хоть и держу апометр http://tools.promosite.ru/ с 2008 года, но не захожу на него каждый день. И даже каждую неделю. Спасибо всем, кто написал на почту. Сейчас добавлю туда ссылку на мой FB.

Дело было в том, что с в какой-то момент новые проиндексированные документы в Яндексе перестали выводиться поиском по оператору date: (оператор даты индексации idate перестал работать еще летом).

Например: последний апдейт по оператору date был 4 декабря, а уже 6 декабря произошел ахтунг – вывалились ранее выдававшиеся документы за даты в середине, с 22 по 29 ноября:

И эта граница по старым документам (23 ноября) остается день ото дня (вот скан от 11 декабря).

При этом вы заметили, что область пустых ответов увеличилась? На предыдущем скрине пустота начинается с 29 ноября, а тут – с 4 декабря

И даже сейчас документы по запросу date:20171123 находятся, а по date:20171124 – уже нет.

И дальше – тоже нет. Точнее, совсем мало.

И такие выпадения прошлого индекса по date: происходит ежедневно и незаметно – день за днем граница сдвигается вперед. (Кстати, под это дело я поменял визуализацию, теперь там обратно отображаются документы, и чем зеленее – тем их больше)

Но иногда “отсутствующие” документы влетают обратно, 24 декабря

Но через пару дней вылетают

Теперь выводы:

  1. в Яндексе творится ниибическая хуйня. Оператор date: документирован, но работает через жопу.
  2. Вся хуйня произошла по понятным причинам. Яндекс просто дрочит на “старшего брата” дядю Гугл, у которого инкрементальные апдейты уже давно. И это все – попытка Яндекса внедрить инкрементальные апдейты, ежедневные. Это видно по поиску, да у меня есть экспериментальные сайты с ежедневно меняющимся текстом на морде.
  3. Апометр http://tools.promosite.ru/ пофиксен, все снова работает, и в отличие от других сервисов у меня таки выдается максимальная  дата проиндексированных документов. Традиция, чо. На основе поиска по экспериментальным сайтам.
  4. Прикалывает, что только 20 дек начали появляться фиксы других сервисов )) ребятки верят моему сервису, пока он молчал, они не суетились )
  5. Забыл сказать – конечно, в этом промежутке были апы. Но оператор date их не показывал.

в Яндексе сломался оператор date: и не только

… и не только он, а еще оператор даты индексации (для быстроробота отдает не нули, а для основного индекса строгие нули)

… и поэтому предыдущие 2 апа на tools.promosite.ru нарисованы как “изменения выдачи без выкладывания” (от 14 июля 2017 и 16 июля 2017 )

Как проверить – ну тупо поискать что-то вида date:20170715 – выдает 20-80 документов, а  date:20170708 уже не отдает ничего.

Если навсегда – то, конечно, найдутся способы обойти, тупо поиском дат в основном индексе. На сейчас, кстати, дата индекса 11 июля, хотя было два апа – 14го и 16го, в нормальных условиях индекс должен быть бы по 14 или 13.

В документации пока он есть, надеюсь, поправят

исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса

Значит, сначала коротко. Яндекс 31 января 2017 объявил о том, что прекращает поддержку многих операторов поиска, и в тот же день это ввел (пруф).

При этом у меня в tools.promosite.ru перестали показываться апы из-за того, что была включена “пробивка кеша”, которая сломалась. Сломался оператор ~~ (отсутствие слова в документе) для запросов некоторых видов.

Проблему я поправил, и еще я поменял методику пробивки изменений выдачи. Теперь степень изменения выдачи не учитывает “многорукого бандита” и выглядит гораздо качественнее:

Про методику пробивки изменений выдачи – в следующих постах.

Читать далее «исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса»

типы файлов в урловых операторах

теперь опять подкрутили – в операторе domain:ru в топе не-хтмл-типы документов.
doc, xls, swf, rtf

видимо, сегодняшнее изменение. и еще длинные запросы прилично поменялись, мб чото с цитатным поиском, или с текстовым поиском (неконкурентные запросы изменились сильнее)

быстроробот в урловых операторах

а быстроробота в операторах типа domain отменили с четверга на пятницу 9-10

Но остального изменения не коснулись, изменений по другим запросам нет. Получается, точечно подкрутили запросонезависимую часть формулы.

Анонс: скоро у меня будет анализатор откатов. Будет пробиваться похожесть выдачи сегодня и в прошлое. Тогда легче будет понять, что к какому состоянию откатилось.

поиск сравнений запросов через ИЛИ

уже каждый раз вижу, что кто-то активно пробивает разные слова сравнением через оператор ИЛИ : http://tools.promosite.ru/last20.php?fragment=”|”&start=

Список запросов:

“3pl” | “legat”
“кий купить” | “диски foton”
“кий купить” | “coffee life”
“кий купить” | “пицца харьков”
“покрышки” | “huter”
“автомасла” | “меандр”

Раньше все однословники сравнивали, сейчас и до двусловников дошли. И причем в кавычках.

Кто-то определялку конкурентности делает? 🙂
Но все равно непонятно – запросы уж больно дохлые сравниваются.

Что бы это могло быть?

аффилиаты-3: яндекс убивается об стену

ЫЫЫ!!!

Предыстория. Сначала Яндекс в целях борьбы с определением аффилиатов сделал разгруппировку при использовании более одного оператора domain и rhost, потом я предложил использовать схему domain1.ru | domain2.ru для определения аффилиатов, рассчитывая. что уж такой простой оператор (ИЛИ) Яндекс не изнасилует. 🙂

Люди прикалывались, что яндекс закроет ИЛИ 🙂

И ТАКИ ОН ЕГО ПОЧТИ ЗАКРЫЛ!!!111. Или теперь работает через жопу.

Пример по отдельности:
1pointhall.ru – 1 место
1pointmsc.com – 1 место

А вот что нынче показывается по запросу 1pointmsc.com | 1pointhall.ru :

1 .com — Википедия ru.wikipedia.org›Com
2 Одноклассники.ru www.odnoklassniki.ru
3 RU-CENTER – регистрация доменов, домен РФ, хостинг сайтов, аукцион… www.nic.ru
4 @MAIL.RU:… новости, работа, рассылки, развлечения. Почта @MAIL.RU… www.mail.ru
5 СМИ.ru www.smi.ru

-и тому подобная муть.

Раскорячил он таки ИЛИ 🙂

Яндекс, я точно говорю – лучше сразу поиск отменить, больше нервов сэкономите. 🙂

пробелы после операторов

вчера весь день апдейты немножно сломались, а началось это позавчера вечером. Самопроизвольно.

Оказывается, Яндекс немножко покорячил свой язык запросов.
Теперь после операторов должен идти пробел. Раньше я использовал конструкцию запрос ~~абракадабра без пробела после ~~. И вот вчера вечером оно сломалось – оно теперь пытается найти и абракадабру тоже. И, конечно, не находило и рисовало нолики.
окна ~~пластиковые (без пробела) – не исключает, а наоборот, ищет и подсвечивает пластиковые.
окна ~~ пластиковые (с пробелом) – нормально исключает пластиковые.
Вроде мелочи, но как неприятно. Да и хрен заметишь… И хоть бы предупредили.
Проверяйте свои скрипты, чо.
И еще ругается на | без окружающих пробелов, но пока работает.

яндекс не борется с оптимизаторами, да?

для демонстрации аффилированности сайтов мне подсказали использовать оператор domain – выдача для него не разгруппировывалась по страницам домена.
И при использовании конструкции вида domain:site1 | domain:site2 можно было видеть оба сайта или один из них в удобном виде – по одной странице с домена.
Ну я и внедрил такой пруфлинк в сервис проверки аффилиатов – для ручной проверки пар сайтов на аффилированность, убедиться людям нужно, что данные правильные.

И вот неожиданно – оно перестало работать как раньше. Т.е. теперь оно тоже разгруппирует, и нужно копаться в большом числе страниц. Неудобно.
И ведь что интересно: сам оператор domain группирует.
domain:1pointhall – группирует по домену
domain:vchelyabinsk – группирует
Это когда по одной штуке. А если два домена через "или":
domain:vchelyabinsk | domain:1pointhall – не группирует, надо копаться в страницах.

Раньше-то они если и не объясняли, то хотя бы логика была: люди же, типа, набирая host:, наверное, хотят все страницы с домена получить? И вот вам разгруппировка тогда. Это чтобы мы подумали, что они так думают.

А сейчас – какая логика? одна штука domain – группировка есть, две штуки через или – нету.

Палки в колеса вставляете?
Ну ничо, будем юзать ХМЛ. Да и в страницах люди полазят, только нагрузят больше ))

аффилиаты (клоны) в Яндексе

копия из http://forum.searchengines.ru/showthread.php?t=526579

поиск аффилиатов – клонов по основному домену: http://tools.promosite.ru/use/clones.php

я недавно пропарсил много запросов по тестовому XML: http://blog.promosite.ru/comments.php?1264
пока вот товарищ не сказал, что он спалил: http://forum.searchengines.ru/showthread.php?t=523795

В том числе в этом тестовм ХМЛ было много прикольных данных –
1. тег <clon> с ID аффилиата
2. теги <geo> <geoa> с географией сайта
3. цифра редевантности

Я спарсил около 42 тыс. запросов (все ашмановские сеорейтовские запросы и 20+ тыс самых популярных по частотности), по каждому топ1000 результатов.
В сумме получилось почти 2 млн. разных хостов, что составляет примерно 20% от всех доменов в яндексе. Учитывая, что тут речь шла о наиболее популярных запросах, этот набор сайтов – почти все топовые популярные сайты. (у Ашманова в сеорейте подобраны разные коммерческие запросы по всем темам).

Пока что я сделал – поиск аффилиатов – клонов по основному домену.
велкам: http://tools.promosite.ru/use/clones.php
пару дней работает без ограничений, потом для использования нужно будет зарегистрироваться.
также будет АПИ для контор.

Для чего все это нужно?

Если в вам приходит потенциальный клиент, имеющий аффилированные сайты – можно в результате получить кучу проблем. Типа вы продвигаете сайт, а в топах вместо него аффилиат, который продвигает другая контора. А вашего подопечного нет и вы ничего не получите.

В любом случае полезно проверить подопытного на возможные проблемы.

В данный момент ищутся только аффилиаты по уже спарсенной базе. Но те данные уже закрыты.
Но я скоро сделаю поиск аффилиатов по полностью открытым данным. И, возможно, внедрю его в сервис.

велкам, ищите свои клоны: http://tools.promosite.ru/use/clones.php

Щито это?
аффилированные сайты – это сайты, которые Яндекс по разным причинам считает принадлежащими одной компании. Это в основном делается ручками – с учетом контактов на сайте и т.п. Это борьба Яндекса с “забиванием” топа сайтами, может быть и разными, но принадлежащими одной конторе.
Основной результат состоит в том, что по одному запросу может находиться только один аффилиат из группы (самый релевантный). Остальные (менее релевантные) вычищаются из выдачи. Причем из группы зоофилированных сайтов по разным запросам будет находиться то один, то другой, но не оба вместе. Попробуйте, например, поискать лавпланет – тут еще представлена малая доля клонов.
Но аффилиация может делаться не только с помощью кривых ручек, но также и с помощью их кривых алгоритмов. 🙂
* они, аффилиаты, на то и аффилиаты, что по одному запросу показаться может только один аффилиат из группы. Поэтому логично, что все стопроцентов = полный список аффилиатов никто не определит. Т.е., есть случаи, когда я точно знаю, что аффилиаты есть, но какие именно – не знаю. Потому, что остальные аффилиаты случайно не попали в выборку.
А выборка та большая – примерно 2 млн. доменов (10% от всего яндекса по хостам), найденных по 42 тыс. поисковых запросов (топ 1000), когда был во второй раз открыт показ клонов, гео, и релевантности в цифрах. Первый раз был тут и был давно отменен.

Я скоро сделаю определялку аффилиатов на открытых данных, но тогда очень полезно будет ввести список запросов, по которым сайт продвигается. И это будет платный сервис.
Откуда дровишки?
Данные из пропарсенных что-то около 2 млн доменов по 42 тыс запросов по тестовому ХМЛ, когда были открыты разные кошерные данные, как-то: география, аффилиаты, и, конечно, цифра релевантности ))
Каким образом подтвердить аффилированность?
Яндекс, сцуко, похоже борется с возможностями определения аффилиатов. И вообще со всеми возможностями.
в древние незапамятные времена определить аффилированность было просто: берешь, задаешь запрос типа host:domain1.ru | host:domain2.ru, и если в результатах видишь только один домен из двух (при этом каждый из хостов отдельно находится нормально) – перед вами аффилиаты. Т.е., по одному запросу второй аффилированный сайт вычищается из выдачи.

Но сейчас стало посложнее. Яндекс решил, что нужно разгруппировывать домены при поиске host: rhost: и тому подобное. И если раньше и в обычной выдаче модно было увидеть только один домен из двух, то теперь ты вынужден копаться в страницах внутри домена. Ну да, это чуток менее удобно, чем смотреть сразу сгруппированные данные.
Но, кстати, если у вас есть Яндекс-ХМЛ, то в нем все фишки с группировкой остались прежними. И вот тот запроос выше “пруфлинк” можно задать в яндекс-ХМЛ и волшебным образом увидеть один результат из двух аффилирванных.
А если вам лениво лазить в ХМЛ – можно просмотреть все разгруппированные страницы обоих сайтов в обычной выдаче. И операторы host, rhost, url не спасают. И, что мегазабавно: при задании оператора url: через “или” по аффилиатам находятся оба аффилиата. Это настолько они борются с определением клонов, ага ))
вот для примера топ клонов. Число num = число клонов с одинаковым ID аффилиата:
домен число клонов
balance-transfers-promotions.co.cc 11550
842-job.mnogonado.net 2073
beetteam.ucoz.ru 1061
sportzone.ru 992
megaline-file.ucoz.kz 903
izumi.podberi-tv.ru 735
rabota.dagestan.slando.ru 592
batink.webasyst.net 584
cheltools.chelyabinsk-info.ru 451
mylovein.net 394
ufa-trud.ru 384
vsekinolenty.ru 381
sanosipovka.ru 379
ussuriysk.irr.ru 376
zifalon.ru 362
shazycreep.prostoprint.com 358
adwords.google.be 355
bancat.ru 343
publiks.ru 332
tecktonik.nxt.ru 306
ehmz.opt.ru 294
nevskiy-palace.ru 293
a-frankfurt.com 250
singapore-obnovlenie.ru 231
arenda-ratlina.imotiburgas.com 226
nomer.plati.ru 206
vbangkok.ru 204
vchelyabinsk.ru 200
torgi24.vsem.ru 198
znakomstvo.kharkov-reklama.com.ua 196