Чудеса.
При запросах по датам именно в те даты, когда должен быть выложен общий индекс, что-то сломалось (2017-07-14), поэтому сегодняшний ап обозначен как “изменение без выкладывания”
Причем это с общим индексом. А в даты, когда должен быть быстроробот, число документов ненулевое.
Разбираемся.
Если что, мне всю ночь приходили на почту отлупы от Яндекс.XML – типа мой IP не совпадает с разрешенным. Вот почта от моей мониторилки – там написан реальный ip исходящий реальный и неправильный, который определился яндексом:
Типа ip не входит в список разрешенных.
Ну, я такой написал в Яндекс.
Потом подумал – и написал в фаствпс
делаю исходящие запросы к яндексу с ip ***
и *** (Яндекс.xml и internet.yandex.ru)запросы яндексом определяются случайным образом как от ip 52.28.144.83 и 2a05:d014:484:fd80::3:4
с чем это может быть связано?
а вот ответ fastvps, хотя им и понадобилось повтыкать, но ответ от Яндекса пришел позже (ёпт, я первым делом написал им), а решили проблему первыми фаствпс:
Судя по всему, часть серверов Яндекса настроены некорректно и выдаёт неправильную информацию. Относится это к серверам, расположенным в Ирландии.
Поменяли на Вашем сервере nameserver’a, указав для использования сервера Google, они резолвят домен Яндекса на российские сервера. Проверьте, пожалуйста, сейчас информация должна быть корректной.Respectfully, Aleksandr Ivanov
вот FastVPS (осторожно, рефка, я только сейчас ее под это дело и создал), у меня там сервер ровно с тех пор, как там на сервисах был ip 188.40.80.134, а это лет восемь как мне кажется, я историю ip не смотрел
А после того приходит от яндекса – вы такие типа ваще у кого?
Ну, я им тоже прорекламировал, сказал что вот пока вы телитесь они уже проблему решили 🙂
Но вы понимаете, что для вас все это не решили, это вам самим надо решать, ну тут как повезет – смотря в какой Ирландии оказался тот сервер, что вам отвечает
PS
Оказалось, что косяки именно с доменом xmlsearch.yandex.ru, ip от него показывают в Германию, и германский сервер определяет мой IP неправильно
А если пользоваться рекомендованным урлом для отправки XML запроса https://yandex.ru/search/xml? – то все ок, домен yandex.ru
Вчера, видимо, вводили обещанный переход на лимиты по сайтам и обновили сетку лимитов.
Раньше было 1000-490-150-34-10-0, сейчас сетка стала более развесистой, стало много уникальных значений.
В предыдущей теме http://webmaster.ya.ru/15375 , кстати, сразу яндекс-человек начал в открытую палиться – что, мол, нулевой лимит может быть из-за низкого рейтинга сайта. Или не попасть в список лимитов:
Lisa
Почему-то в список не попали сайты, у которых изменен регистр через настройки – например, большая буква в начале.m-senin
Сообщите, пожалуйста, (здесь или через службу поддержки) о каком сайте идёт речь.Lisa
Например, не вижу ни в одной из двух вкладок сайта AuraDoma.rum-senin
Сайт получил низкий рейтинг. Связи с изменением регистра нет.
Вот, а Лиза-то думала, что все из-за буков, а тут вона как – изза низкого рейтинга 🙂 Потом-то их попинали и сайты появились. Ну и так понятно – сайты с высокими тицами или посещалкой получают больше.
У меня тоже promosite.ru не попал сразу – всегда подозревал на нем аццкие фильтры !!!11
А что, гадание на лимитах еще не началось?
Нужно срочно делать биржу с возможностью покупки ссылок с сайта с высоким рейтингом ХМЛ!!!!1
***
Яндекс тут на месяц раньше против предыдущего срока решил ввести лимиты на Яндекс-ХМЛ
http://webmaster.ya.ru/replies.xml?item_no=15783
Они не будут зависеть от айпишников и то симок, а только от наличия живых сайтов, каждый их которых будет получать ежедневный лимит ХМЛ по сетке
0 – 34 – 150 – 490 – 1000 – (говорят, есть больше)
запросов в день
Если у кого есть лимиты – сайты и в них нет особой необходимости – прошу пожертвовать их лимиты для сервиса tools.promosite
* Это я прямо сейчас так спрашиваю, безвозмездно – потом внедрю всякие хорошие плюшки для тех, кто пожертововал.
Как это сделать –
1. Добавить сайт в webmaster.yandex.ru
2. Зайти в xml.yandex.ru, “начать работу”, поставить галочку “согласен с условиями” внизу страницы
3. В разделе “Информация о лимитах” http://xml.yandex.ru/limit_info.xml будет список ваших сайтов с возможностью передеть лимит
4. Пожертвуйте лимит на логин yatools на Яндексе. Тогда он торжественно появится в сервисе и я смогу желать общественно полезные запросы и давать общественно полезную инфу!!!1
——–
В акке yatools будет видно, от кого пришел лимит, в будущем это можно будет подтвердить отсылкой письма, и я сделаю хорошие плюшки ))
какие хорошие плюшки я буду м.б внедрять (все или частично) для тех, кто пожертвовал лимиты (кстати, их всегда можно забрать обратно) –
1. работа с crm.promosite.ru по некому числу запросов. Проверяет ежедневно позиции, генерит договора, отчеты, конкурентов по набору запросов, генерит готовые договора с ценами и тп, позволяет клиенту входить и люоваться на позиции и отчеты.
2. либо полный и более удобный доступ к сервисам (без капчи, пробивка пачками запросов), либо я даже чужим (свежерегам) это отключу – ну, ибо нех.
3. планировал и планирую вводить новые сервисы – там оченно много пробивки нужно будет – по входящим ссылкам на сайты по ЯВМ, по работе с базой ссылок рунета по вашему набору запросов.
4. Доска почёта на tools с перечнем хороших людей )
Но, конечно, я пока не знаю, что как будет – главное, что пожертованные лимиты остаются под вашим контролем, их всегда можно обратно отозвать.
Плиз, передайте лимиты Яндекс.XML на акк yatools
Обязуюсь все дела хранить в секрете, если нужно – никому ничо кто где чей сайт – не расскажу
Борются-борются… Кстати, не очень быстро.
Интересно, что это им взбрело. Наверное, еще всяких примесей планируют ввести?
Итак, раньше можно было через Яндекс.XML определять быстророботные включения, СПЕКТР (и ультраробот от бара, пока его не выключили, и буржуйскую базу,пока ее не выключили) по структуре идентификатора документа doc id
Для БР и СПЕКТРа doc id был из трех фрагментов вида 72-2-ZB61AC8DED7F2740E (с разным первым фрагментом для разных баз), а для обычных – из четырех фрагментов.
***
А 27-28 июля все это дело отменили – из doc id отпилили первые фрагменты, остался только фрагмент вида ZB61AC8DED7F2740E (кстати, он остался тот же самый, что последний кусок до отпиливания)
***
PS а возможность определять СПЕКТР таки осталась ))
PPS Кстати, а ведь отпиливание действительно целевое. Оно коснулось только трех- и четырех-фрагментных id, двух- не коснулось. Заодно, кажется, вернули ультраробот.
24 и 25 ноября прошла 10я ашмановская конференция по оптимизации сайтов, на которой я планировал два, а сделал три доклада.
Первый – про технологию Спектр (презентацию скоро выложу, видео из профессиональной секции, как я понял, у них не бывает). Вторые два – в секции "парад технологий и сервисов", один про seo-CRM для небольших seo-компаний, которым не хочется для этого держать отдельного программиста, третий – про систему ссылочного продвижения "от меня" (сейчас находится в папке на tools, вот домен сменю и отдельно анонс сделаю).
***
Но я не об этом.
Значит, я в докладе и в презентации показывал, как отличать "спектровые" примеси – по идентификатору документа в XML.
Вчера, в момент доклада, было так:
у обычного результата doc id="49-*-*-*" (4 фрагмента)
у спектра doc id="49-*-*" (3 фрагмента, тот же первый фрагмент – 49)
у быстроробота doc id="53-*-*" (3 фрагмента, другой первый фрагмент)
А сегодня для спектровой примеси стало так:
у спектра doc id="52-*-*" (3 фрагмента, стал другой первый фрагмент – 52)
🙂
Проверил по своему кешу ХМЛ – так и есть.
Вчера у примесного ssve.ru по "продвижению сайтов" был ID 49-118-Z7725D3069AAE1668, а сегодня уже 52-3-Z7725D3069AAE1668. Забавно, еще и остальные фрагменты сменились, не только базу переименовали.
***
Интересно, зачем они это делают? И ведь какая срочность!
Чтобы никто не догадался и все попячились? 🙂
Смешно, чо.
PS внесу изменения в презентацию, попрошу выложить поправленную ))
Яндекс открыл конкурс – Месяц поиска уязвимостей Яндекса
Яндекс уделяет большое внимание вопросам безопасности данных своих пользователей. С целью популяризации информационной безопасности в интернете, мы объявляем месяц поиска уязвимостей — предлагаем всем желающим попытаться найти уязвимости в сервисах Яндекса. Победитель получит $5000.
В течение месяца мы будем принимать сообщения об обнаруженных уязвимостях и 25 ноября 2011 года на конференции по информационной безопасности ZeroNights подведём итоги конкурса.
-у меня, кстати есть уязвимость, которая позволяет с любой страницы любого ЧУЖОГО сайта узнать логин посетителя, если тот залогинен в Яндексе. Может, и еще что-то, глубже не копал. Проверил – работает.
Это считается уязвимостью или нет? нужно кому-нибудь? 🙂
в сервисе апдейтов уничтожил отдельную пробивку русскоязычного (lang:ru | lang:uk) и буржуйского (lang:en | lang:de | lang:fr) индексов.
И с начала этого года подтер показ отдельных.
Это раньше англоязычная и русская база были отдельно (физически, как сейчас отдельно от основного индекса живут базы быстрых роботов), а сейчас рунет и буржунет вместе, слиты в одну базу. Когда это произошло, я не следил, но, видимо, в конце 2010. Тогда время между RU и EN апами стало малым и разница была чисто за счет случайности.
Были бы архивы ХМЛ, можно было бы посмотреть.
Кажется, рост числа выдаваемых документов с тысяч до миллионов 12-го и 13-го числа связан эээ… с чем-то типа перехода на новое хранилище документов.
Чтобы посмотреть поподробнее, есть ли у кого архив ХМЛ-выдачи по любому запросу за каждый день на месяц назад?
Свои-то я тру регулярно, оставляю только пару последних дней.
у Димка один из постов, как я понимаю, про конференцию в Казани:
Поиск яндекса использует разные формулы ранжирования в разных регионах. При этом региональная принадлежность сайта является одним из факторов ранжирования
Яндекс различает 1250 регионов.
чото я не понял, откуда цифра в 1250 регионов. Из головы?
реально же:
число разных ID регионов в Яндекс-баре – 6000+
число разных ID регионов, реально виденных в выдаче по тегу geoa (автоматическое, по выкачанным данным тестового ХМЛ) – 3200+
ЗЫ понял, "различает" здесь – число разных выдач, а не число различаемых регионов.
