сегодня с ночи проблемы с определением IP у Яндекса, ахтунг (косяк с доменом xmlsearch.yandex.ru)

Если что, мне всю ночь приходили на почту отлупы от Яндекс.XML – типа мой IP не совпадает с разрешенным. Вот почта от моей мониторилки – там написан реальный ip исходящий реальный и неправильный, который определился яндексом:

Типа ip не входит в список разрешенных.

Ну, я такой написал в Яндекс.

Потом подумал – и написал в фаствпс

делаю исходящие запросы к яндексу с ip ***
и *** (Яндекс.xml и internet.yandex.ru)

запросы яндексом определяются случайным образом как от ip 52.28.144.83 и 2a05:d014:484:fd80::3:4

с чем это может быть связано?

а вот ответ fastvps, хотя им и понадобилось повтыкать, но ответ от Яндекса пришел позже (ёпт, я первым делом написал им), а решили проблему первыми фаствпс:

Судя по всему, часть серверов Яндекса настроены некорректно и выдаёт неправильную информацию. Относится это к серверам, расположенным в Ирландии.
Поменяли на Вашем сервере nameserver’a, указав для использования сервера Google, они резолвят домен Яндекса на российские сервера. Проверьте, пожалуйста, сейчас информация должна быть корректной.

Respectfully, Aleksandr Ivanov

вот FastVPS (осторожно, рефка, я только сейчас ее под это дело и создал), у меня там сервер ровно с тех пор, как там на сервисах был ip 188.40.80.134, а это лет восемь как мне кажется, я историю ip не смотрел

А после того приходит от яндекса – вы такие типа ваще у кого?

Ну, я им тоже прорекламировал, сказал что вот пока вы телитесь они уже проблему решили 🙂

Но вы понимаете, что для вас все это не решили, это вам самим надо решать, ну тут как повезет – смотря в какой Ирландии оказался тот сервер, что вам отвечает

PS

Оказалось, что косяки именно с доменом xmlsearch.yandex.ru, ip от него показывают в Германию, и германский сервер определяет мой IP неправильно

А если пользоваться рекомендованным урлом для отправки XML запроса https://yandex.ru/search/xml? – то все ок, домен yandex.ru

Гадение на лимите Яндекс.XML

Вчера, видимо, вводили обещанный переход на лимиты по сайтам и обновили сетку лимитов.

Раньше было 1000-490-150-34-10-0, сейчас сетка стала более развесистой, стало много уникальных значений.

В предыдущей теме http://webmaster.ya.ru/15375 , кстати, сразу яндекс-человек начал в открытую палиться – что, мол, нулевой лимит может быть из-за низкого рейтинга сайта. Или не попасть в список лимитов:

Lisa
Почему-то в список не попали сайты, у которых изменен регистр через настройки – например, большая буква в начале.

m-senin
Сообщите, пожалуйста, (здесь или через службу поддержки) о каком сайте идёт речь.

Lisa
Например, не вижу ни в одной из двух вкладок сайта AuraDoma.ru

m-senin
Сайт получил низкий рейтинг. Связи с изменением регистра нет.

Вот, а Лиза-то думала, что все из-за буков, а тут вона как – изза низкого рейтинга 🙂 Потом-то их попинали и сайты появились. Ну и так понятно – сайты с высокими тицами или посещалкой получают больше.

У меня тоже promosite.ru не попал сразу – всегда подозревал на нем аццкие фильтры !!!11

А что, гадание на лимитах еще не началось?

Нужно срочно делать биржу с возможностью покупки ссылок с сайта с высоким рейтингом ХМЛ!!!!1

Краудлимитинг ЯндексХМЛинга

Краудлимитинг ЯндексХМЛинга

***
Яндекс тут на месяц раньше против предыдущего срока решил ввести лимиты на Яндекс-ХМЛ
http://webmaster.ya.ru/replies.xml?item_no=15783
Они не будут зависеть от айпишников и то симок, а только от наличия живых сайтов, каждый их которых будет получать ежедневный лимит ХМЛ по сетке
0 – 34 – 150 – 490 – 1000 – (говорят, есть больше)
запросов в день

Если у кого есть лимиты – сайты и в них нет особой необходимости – прошу пожертвовать их лимиты для сервиса tools.promosite

* Это я прямо сейчас так спрашиваю, безвозмездно – потом внедрю всякие хорошие плюшки для тех, кто пожертововал.

Как это сделать –
1. Добавить сайт в webmaster.yandex.ru
2. Зайти в xml.yandex.ru, “начать работу”, поставить галочку “согласен с условиями” внизу страницы
3. В разделе “Информация о лимитах” http://xml.yandex.ru/limit_info.xml будет список ваших сайтов с возможностью передеть лимит
4. Пожертвуйте лимит на логин yatools на Яндексе. Тогда он торжественно появится в сервисе и я смогу желать общественно полезные запросы и давать общественно полезную инфу!!!1

——–
В акке yatools будет видно, от кого пришел лимит, в будущем это можно будет подтвердить отсылкой письма, и я сделаю хорошие плюшки ))

какие хорошие плюшки я буду м.б внедрять (все или частично) для тех, кто пожертвовал лимиты (кстати, их всегда можно забрать обратно) –

1. работа с crm.promosite.ru по некому числу запросов. Проверяет ежедневно позиции, генерит договора, отчеты, конкурентов по набору запросов, генерит готовые договора с ценами и тп, позволяет клиенту входить и люоваться на позиции и отчеты.

2. либо полный и более удобный доступ к сервисам (без капчи, пробивка пачками запросов), либо я даже чужим (свежерегам) это отключу – ну, ибо нех.

3. планировал и планирую вводить новые сервисы – там оченно много пробивки нужно будет – по входящим ссылкам на сайты по ЯВМ, по работе с базой ссылок рунета по вашему набору запросов.

4. Доска почёта на tools с перечнем хороших людей )

Но, конечно, я пока не знаю, что как будет – главное, что пожертованные лимиты остаются под вашим контролем, их всегда можно обратно отозвать.

Плиз, передайте лимиты Яндекс.XML на акк yatools

Обязуюсь все дела хранить в секрете, если нужно – никому ничо кто где чей сайт – не расскажу

Для отмены определения БР, СПЕКТРа – Яндекс сменил doc id

Борются-борются… Кстати, не очень быстро.
Интересно, что это им взбрело. Наверное, еще всяких примесей планируют ввести?

Итак, раньше можно было через Яндекс.XML определять быстророботные включения, СПЕКТР (и ультраробот от бара, пока его не выключили, и буржуйскую базу,пока ее не выключили) по структуре идентификатора документа doc id
Для БР и СПЕКТРа doc id был из трех фрагментов вида 72-2-ZB61AC8DED7F2740E (с разным первым фрагментом для разных баз), а для обычных – из четырех фрагментов.
***
А 27-28 июля все это дело отменили – из doc id отпилили первые фрагменты, остался только фрагмент вида ZB61AC8DED7F2740E (кстати, он остался тот же самый, что последний кусок до отпиливания)
***
PS а возможность определять СПЕКТР таки осталась ))

PPS Кстати, а ведь отпиливание действительно целевое. Оно коснулось только трех- и четырех-фрагментных id, двух- не коснулось. Заодно, кажется, вернули ультраробот.

Яндекс.СПЕКТР сменил id документов, неожиданно за день )

24 и 25 ноября прошла 10я ашмановская конференция по оптимизации сайтов, на которой я планировал два, а сделал три доклада.
Первый – про технологию Спектр (презентацию скоро выложу, видео из профессиональной секции, как я понял, у них не бывает). Вторые два – в секции "парад технологий и сервисов", один про seo-CRM для небольших seo-компаний, которым не хочется для этого держать отдельного программиста, третий – про систему ссылочного продвижения "от меня" (сейчас находится в папке на tools, вот домен сменю и отдельно анонс сделаю).
***
Но я не об этом.
Значит, я в докладе и в презентации показывал, как отличать "спектровые" примеси – по идентификатору документа в XML.
Вчера, в момент доклада, было так:

у обычного результата doc id="49-*-*-*" (4 фрагмента)
у спектра doc id="49-*-*" (3 фрагмента, тот же первый фрагмент – 49)
у быстроробота doc id="53-*-*" (3 фрагмента, другой первый фрагмент)

А сегодня для спектровой примеси стало так:

у спектра doc id="52-*-*" (3 фрагмента, стал другой первый фрагмент – 52)

🙂
Проверил по своему кешу ХМЛ – так и есть.
Вчера у примесного ssve.ru по "продвижению сайтов" был ID 49-118-Z7725D3069AAE1668, а сегодня уже 52-3-Z7725D3069AAE1668. Забавно, еще и остальные фрагменты сменились, не только базу переименовали.
***
Интересно, зачем они это делают? И ведь какая срочность!
Чтобы никто не догадался и все попячились? 🙂
Смешно, чо.

PS внесу изменения в презентацию, попрошу выложить поправленную ))

уязвимости Яндекса

Яндекс открыл конкурс – Месяц поиска уязвимостей Яндекса

Яндекс уделяет большое внимание вопросам безопасности данных своих пользователей. С целью популяризации информационной безопасности в интернете, мы объявляем месяц поиска уязвимостей — предлагаем всем желающим попытаться найти уязвимости в сервисах Яндекса. Победитель получит $5000.

В течение месяца мы будем принимать сообщения об обнаруженных уязвимостях и 25 ноября 2011 года на конференции по информационной безопасности ZeroNights подведём итоги конкурса.

-у меня, кстати есть уязвимость, которая позволяет с любой страницы любого ЧУЖОГО сайта узнать логин посетителя, если тот залогинен в Яндексе. Может, и еще что-то, глубже не копал. Проверил – работает.

Это считается уязвимостью или нет? нужно кому-нибудь? 🙂

избавился от англоапдейтов

в сервисе апдейтов уничтожил отдельную пробивку русскоязычного (lang:ru | lang:uk) и буржуйского (lang:en | lang:de | lang:fr) индексов.

И с начала этого года подтер показ отдельных.

Это раньше англоязычная и русская база были отдельно (физически, как сейчас отдельно от основного индекса живут базы быстрых роботов), а сейчас рунет и буржунет вместе, слиты в одну базу. Когда это произошло, я не следил, но, видимо, в конце 2010. Тогда время между RU и EN апами стало малым и разница была чисто за счет случайности.

Были бы архивы ХМЛ, можно было бы посмотреть.

ищу архив сорцов XML-результатов за месяц

Кажется, рост числа выдаваемых документов с тысяч до миллионов 12-го и 13-го числа связан эээ… с чем-то типа перехода на новое хранилище документов.

Чтобы посмотреть поподробнее, есть ли у кого архив ХМЛ-выдачи по любому запросу за каждый день на месяц назад?

Свои-то я тру регулярно, оставляю только пару последних дней.

число регионов

у Димка один из постов, как я понимаю, про конференцию в Казани:

Поиск яндекса использует разные формулы ранжирования в разных регионах. При этом региональная принадлежность сайта является одним из факторов ранжирования

Яндекс различает 1250 регионов.

чото я не понял, откуда цифра в 1250 регионов. Из головы?

реально же:
число разных ID регионов в Яндекс-баре – 6000+
число разных ID регионов, реально виденных в выдаче по тегу geoa (автоматическое, по выкачанным данным тестового ХМЛ) – 3200+

ЗЫ понял, "различает" здесь – число разных выдач, а не число различаемых регионов.

Делаем из лимонов лимонад

Яндекс как бы преподнес пилюлю с ХМЛем.
Но под эту пилюлю я буду, наоборот, привлекать народ.
Прошу помочь сервису tools.promosite.ru подтверждением акка по мобиле
Перепост приветствуется!

***

Привет всем.
Прошу помочь сервису tools.promosite.ru – зарегистрироваться с телефоном или для уже зарегистрированных  добавить номер телефона  и разрешить подтвердить на него акк Яндекса. Акки уже есть.
Нужно при редактировании отметить галочку
разрешаю подтвердить на этот телефон аккаунт Яндекс.XML и хочу таким образом помогать сервису

***
Недавно лимиты для большой части аккаунтов подрезали до 10 штук в день.
Как я понимаю, это произошло из-за дырок в ХМЛ, о которых они знают, но найти не могут 🙂

***

Ваш дневной лимит составляет 10 запросов. Чтобы повысить свой лимит до 1000 запросов в сутки, вам необходимо подтвердить телефонный номер, который не был ранее никем подтверждён.

на один телефон удается привязать только один акк ХМЛ.
***

Снять это ограничение (увеличить число запросов до 1000) можно, если привязать аккаунт в Яндексе к мобильному телефону. Вам придет SMS с кодом от Яндекса, код вы введете на специальной странице – так вы поможете этому сервису!
Вас это никак не стеснит – наоборот, это Вы сможете контролировать тот аккаунт, с которого мы делаем запросы. Единственное: мы просим Вас не использовать этот телефон для подтверждения других XML-аккаунтов на Яндексе.
Что хорошего предлагается взамен: я обещаю давать бесплатные доступы к платным и ограниченным в использовании сервисам тогда, когда это возможно. Поскольку пока что платных сервисов нет, а ограниченные только в планах – подробнее сказать сложно.
Общий список сервисов – апдейты (всем), аффилиаты (ограничено), геобаза (большая, сейчас открыта маленькая), копание в цифрах релевантности (скрыто), переформулировки запросов (скрыто), поиск переформулировок и аффилиатов на открытых данных (сейчас нет), мониторилка параметров выдачи с расчетом средних, удобная для анализа (скрыто), копание в странных запросах из “прямого эфира” (скрыто), ну и куча других разных сервисов.
Я не обещаю полного-бесплатного-100% доступа ко всему,
но Вы поможете существованию этого сервиса и немножко попячите Яндекс! 🙂
В любом случае Вы контролируете свой телефон и сможете перепривязать его к другому аккаунту.

***
Кто хочет помочь сервису, чтобы он хорошо работал:
Прошу вбивать номер телефона – сразу я привязывать акк не буду, а когда буду (вручную, скорее всего) – Вы получите письмо от меня и SMS на телефон от яндекса.

После получения СМС нужно будет вбить на сайте tools.promosite.ru или сообщить мне письмом этот код (если письмом, то сообщить еще логин). Форму, куда вбивать, я сделаю отдельно и сообщу тем же письмом.

Ну и в благодарность сделаю какие-нибудь вип-возможности. 🙂

Кроме того, телефон можно использовать и для смс-уведомлений об апдейтах (пока этого нет, но будет).

ПОПЯЧИМ ЯНДЕКС!!!111

Перепост приветствуется и даже необходим!