Кажется, Яндекс выкладывает обучающие данные для формулы ранжирования

Кажется, Яндекс выкладывает обучающие данные для формулы ранжирования: Яндекс открывает датасеты Толоки для исследователей

Toloka Aggregation Relevance 2
Исполнителю предлагался запрос и регион пользователя, который его задал, скриншот документа и ссылка на него, возможность воспользоваться поисковыми системами и варианты ответов: «Релевантен», «Нерелевантен», «Не отображается».

Toloka Aggregation Relevance 5
Исполнителю предлагался запрос и регион пользователя, который его задал, скриншот документа и ссылка на него, кнопки для использования поисковых систем и пять вариантов ответа: «Витальный», «Полезный», «Релевантный +», «Релевантный –», «Нерелевантный».

массовые поломки/починки апометров ) оператор date: сломался + инкрементальные апдейты Яндекса

Я, понятное дело, хоть и держу апометр http://tools.promosite.ru/ с 2008 года, но не захожу на него каждый день. И даже каждую неделю. Спасибо всем, кто написал на почту. Сейчас добавлю туда ссылку на мой FB.

Дело было в том, что с в какой-то момент новые проиндексированные документы в Яндексе перестали выводиться поиском по оператору date: (оператор даты индексации idate перестал работать еще летом).

Например: последний апдейт по оператору date был 4 декабря, а уже 6 декабря произошел ахтунг – вывалились ранее выдававшиеся документы за даты в середине, с 22 по 29 ноября:

И эта граница по старым документам (23 ноября) остается день ото дня (вот скан от 11 декабря).

При этом вы заметили, что область пустых ответов увеличилась? На предыдущем скрине пустота начинается с 29 ноября, а тут – с 4 декабря

И даже сейчас документы по запросу date:20171123 находятся, а по date:20171124 – уже нет.

И дальше – тоже нет. Точнее, совсем мало.

И такие выпадения прошлого индекса по date: происходит ежедневно и незаметно – день за днем граница сдвигается вперед. (Кстати, под это дело я поменял визуализацию, теперь там обратно отображаются документы, и чем зеленее – тем их больше)

Но иногда “отсутствующие” документы влетают обратно, 24 декабря

Но через пару дней вылетают

Теперь выводы:

  1. в Яндексе творится ниибическая хуйня. Оператор date: документирован, но работает через жопу.
  2. Вся хуйня произошла по понятным причинам. Яндекс просто дрочит на “старшего брата” дядю Гугл, у которого инкрементальные апдейты уже давно. И это все – попытка Яндекса внедрить инкрементальные апдейты, ежедневные. Это видно по поиску, да у меня есть экспериментальные сайты с ежедневно меняющимся текстом на морде.
  3. Апометр http://tools.promosite.ru/ пофиксен, все снова работает, и в отличие от других сервисов у меня таки выдается максимальная  дата проиндексированных документов. Традиция, чо. На основе поиска по экспериментальным сайтам.
  4. Прикалывает, что только 20 дек начали появляться фиксы других сервисов )) ребятки верят моему сервису, пока он молчал, они не суетились )
  5. Забыл сказать – конечно, в этом промежутке были апы. Но оператор date их не показывал.

алгоритм “Королёв” от Яндекса

Яндекс на Хабре описывает новый алгоритм. Расширение Палеха с НЧ запросов на… все запросы?

В том числе там есть момент:

Во-первых, тут описано, что есть 4 (четыре) формулы по тяжести. На основе предыдущих данных было понятно, что есть две формулы – фастранк (быстрая, легкая формула) и нормальное ранжирование. Число ступеней подросло. Интересно, какой физический смысл на каждой ступени.

Во-вторых, считалось, что за топ-30 уже не применяется основное ранжирование, идет более легкое. Сейчас озвучена цифра – топ-150 для самой тяжелой формулы.

PS сейчас идет вебинар https://events.webinar.ru/yandex/427383/stream-new/437337 и там в чате отписано, что алгоритм Королев внедрен для всех запросов.

в Яндексе сломался оператор date: и не только

… и не только он, а еще оператор даты индексации (для быстроробота отдает не нули, а для основного индекса строгие нули)

… и поэтому предыдущие 2 апа на tools.promosite.ru нарисованы как “изменения выдачи без выкладывания” (от 14 июля 2017 и 16 июля 2017 )

Как проверить – ну тупо поискать что-то вида date:20170715 – выдает 20-80 документов, а  date:20170708 уже не отдает ничего.

Если навсегда – то, конечно, найдутся способы обойти, тупо поиском дат в основном индексе. На сейчас, кстати, дата индекса 11 июля, хотя было два апа – 14го и 16го, в нормальных условиях индекс должен быть бы по 14 или 13.

В документации пока он есть, надеюсь, поправят

Яндексоиды: LSI – нет, но расширение запроса – да

Многие поделились ссылкой на доклад А. Сафронова (Яндекс), где он говорит на 28 минуте, что вся пачка методов LSI-pLSI-LDA не работает (что их сигнал полезен по сравнению с BM25, но имеющееся яндексовое качество не улучшает)

А вот ссылка на другую секунду, где он говорит, что запрос расширяется дополнительными словами (слова тупо добавляются в запрос – это кстати про методы учета синонимов важно) и матчат с документом по всей пачке слов

Смысловое соответствие текстов в ранжировании — Александр Сафронов

По виду это будет вполне похоже на “сеошный LSI” (типа – напихал “хороших” слов – стало лучше), но работать должен не только на ВЧ, но и на НЧ тоже (а когда в прошлый раз с LSI по Акварели я смотрел – не работало, Чекушин говорил в комменариях на ФБ, что для ВЧ только должно работать, так кто ж их на эксперимент даст!)

Но есть еще следствия, кроме рабочести на СЧ и НЧ –

  1. вся эта штука (в докладе расширение словами) – переранжирование, динамический расчет
  2. “порядок слов в запросе”  не так уж и важен на соответствие документов, на него фапать не надо (ну, с введением релевантности типа all это и так видно было)
  3. Разные стратегии продвижения однословников, двусловников итд – ересь

сегодня с ночи проблемы с определением IP у Яндекса, ахтунг (косяк с доменом xmlsearch.yandex.ru)

Если что, мне всю ночь приходили на почту отлупы от Яндекс.XML – типа мой IP не совпадает с разрешенным. Вот почта от моей мониторилки – там написан реальный ip исходящий реальный и неправильный, который определился яндексом:

Типа ip не входит в список разрешенных.

Ну, я такой написал в Яндекс.

Потом подумал – и написал в фаствпс

делаю исходящие запросы к яндексу с ip ***
и *** (Яндекс.xml и internet.yandex.ru)

запросы яндексом определяются случайным образом как от ip 52.28.144.83 и 2a05:d014:484:fd80::3:4

с чем это может быть связано?

а вот ответ fastvps, хотя им и понадобилось повтыкать, но ответ от Яндекса пришел позже (ёпт, я первым делом написал им), а решили проблему первыми фаствпс:

Судя по всему, часть серверов Яндекса настроены некорректно и выдаёт неправильную информацию. Относится это к серверам, расположенным в Ирландии.
Поменяли на Вашем сервере nameserver’a, указав для использования сервера Google, они резолвят домен Яндекса на российские сервера. Проверьте, пожалуйста, сейчас информация должна быть корректной.

Respectfully, Aleksandr Ivanov

вот FastVPS (осторожно, рефка, я только сейчас ее под это дело и создал), у меня там сервер ровно с тех пор, как там на сервисах был ip 188.40.80.134, а это лет восемь как мне кажется, я историю ip не смотрел

А после того приходит от яндекса – вы такие типа ваще у кого?

Ну, я им тоже прорекламировал, сказал что вот пока вы телитесь они уже проблему решили 🙂

Но вы понимаете, что для вас все это не решили, это вам самим надо решать, ну тут как повезет – смотря в какой Ирландии оказался тот сервер, что вам отвечает

PS

Оказалось, что косяки именно с доменом xmlsearch.yandex.ru, ip от него показывают в Германию, и германский сервер определяет мой IP неправильно

А если пользоваться рекомендованным урлом для отправки XML запроса https://yandex.ru/search/xml? – то все ок, домен yandex.ru

список трафикогенерирующих страниц сайта

вот, например, Мегаиндекс – есть “видимость сайта” по набору запросов, у каждого запроса есть частотность и конкретный урл страницы – мы сразу можем иметь список страниц, на которые идет основной seo трафик, пример

https://ru.megaindex.com/visibility/perevozim.ru/urls?ser_id=1 (сейас только 5 строк кажет, платный стал, но по API не обязательно платить пакетно, а только за сделанные запросы)

И еще пишут, что на серпстате можно часть полного списка таких урлов посмотреть бесплатно.

 

SEO чеклисты

Накидали примеров аудитов и SEO-чеклистов, выложу тут на всякий. Надо потом это профильтровать насчет внедрения в сервис автоматической оптимизации.

http://im-checklist.com/seo.html
https://www.seochecklist.ru/
http://blog.aweb.ua/seo-cheklist-po-vnutrennej-optimizacii-sajta/
https://habrahabr.ru/company/iloveip/blog/322206/
https://www.searchengines.ru/samyy_polnyy_checklist.html
http://topbase.ru/files/BIG-checklist-audit.pdf
https://docs.google.com/spreadsheets/d/1YJTyEX1zoTnPdmnyVX4w9neMuMgjKnA6d4_4xMwAdiE/edit#gid=0
– Google: http://static.googleusercontent.com/media/www.google.ru/ru/ru/intl/ru/webmasters/docs/search-engine-optimization-starter-guide-ru.pdf
– Яндекс: http://cache-mskdataline06.cdn.yandex.net/download.cdn.yandex.net/support/ru/webmaster/files/recommendations.pdf
https://yadi.sk/d/CQ5KxM7z3GbQUg
https://rovertask.com/ru/solutions/digital-marketing/

Если есть еще, пишите в камменты, пожалуйста!

Иногда Платоны Яндекса могут пообещать “внести изменения в алгоритм ранжирования”

Натурально, (не моё) на вопрос к Платонам про резкое падение трафика бывают такие обнадеживающие ответы

исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса

Значит, сначала коротко. Яндекс 31 января 2017 объявил о том, что прекращает поддержку многих операторов поиска, и в тот же день это ввел (пруф).

При этом у меня в tools.promosite.ru перестали показываться апы из-за того, что была включена “пробивка кеша”, которая сломалась. Сломался оператор ~~ (отсутствие слова в документе) для запросов некоторых видов.

Проблему я поправил, и еще я поменял методику пробивки изменений выдачи. Теперь степень изменения выдачи не учитывает “многорукого бандита” и выглядит гораздо качественнее:

Про методику пробивки изменений выдачи – в следующих постах.

Читать далее «исправление ошибок апометра tools.promosite.ru от изменений в языке запросов Яндекса»