ждем засилья клонов в яндекс-выдаче?

на роеме пишут по мотивам форума яндекса о том, что возможно разрешение клонированных объявлений в яндекс.директе:

RE: Когда прекратится обман в директе!??? Евгений Ломизе 23.06.2011 15:49
Павел, Вы услышаны. Это решение – о разрешении клонов – сейчас как раз рассматривается. Потому что мы действительно потеряли способность эффективно обеспечивать контроль в этом месте. Либо мы найдем достаточно надежный способ склеивать клоны на автомате, либо откажемся от этого ограничения.

-это в ответ на исходное сообщение про "когда прекратится обман в директе".
Кардинальное решение будет: раз не можем победить, то разрешим официально. 🙂
***
Раньше вроде эта тема работала для разаффилирования сайтов. Разные контакты и юрлица, но сайты аффилированы? Пытаешься дать рекламу в Директ и когда отказывают, начинаешь качать права – они разаффилируют сайты.
***
А теперь вот это останется в прошлом. Алгоритмы аффилирования – то автоматические.
Надо бы про них порыться в базе аффилиатов. Набрать побольше пар аффилиатов, перепроверить актуальность, собрать разных параметров сайтов, ???, PROFIT!

аффилиаты-3: яндекс убивается об стену

ЫЫЫ!!!

Предыстория. Сначала Яндекс в целях борьбы с определением аффилиатов сделал разгруппировку при использовании более одного оператора domain и rhost, потом я предложил использовать схему domain1.ru | domain2.ru для определения аффилиатов, рассчитывая. что уж такой простой оператор (ИЛИ) Яндекс не изнасилует. 🙂

Люди прикалывались, что яндекс закроет ИЛИ 🙂

И ТАКИ ОН ЕГО ПОЧТИ ЗАКРЫЛ!!!111. Или теперь работает через жопу.

Пример по отдельности:
1pointhall.ru – 1 место
1pointmsc.com – 1 место

А вот что нынче показывается по запросу 1pointmsc.com | 1pointhall.ru :

1 .com — Википедия ru.wikipedia.org›Com
2 Одноклассники.ru www.odnoklassniki.ru
3 RU-CENTER – регистрация доменов, домен РФ, хостинг сайтов, аукцион… www.nic.ru
4 @MAIL.RU:… новости, работа, рассылки, развлечения. Почта @MAIL.RU… www.mail.ru
5 СМИ.ru www.smi.ru

-и тому подобная муть.

Раскорячил он таки ИЛИ 🙂

Яндекс, я точно говорю – лучше сразу поиск отменить, больше нервов сэкономите. 🙂

переделал пруфлинки в просмотре аффилиатов

поскольку (в целях борьбы?) отменили группировку для нескольких domain я в сервисе аффилиатов переделал пруфлинки с domain на просто поиск домена.

Сейчас я использую ту фичу, что по запросу вида domain.ru всегда первым выдается сайт domain.ru (у него и цифра релевантности существенно выше была при таких запросах), и то же самое при перечислении нескольких через "или" – искомые сайты сверху.

В выдаче по запросу domain1.ru | domain2.ru на первых двух будут эти сайты, если они не аффилированы. Если они аффилированы – на 1-2 местах останется только один сайт из двух. Перед использованием не мешает проверить нахождение двух доменов по отдельности.
__
PS что, яндексоиды, будете корячить выдачу дальше? и вкусно причмокивайте.

яндекс не борется с оптимизаторами, да?

для демонстрации аффилированности сайтов мне подсказали использовать оператор domain – выдача для него не разгруппировывалась по страницам домена.
И при использовании конструкции вида domain:site1 | domain:site2 можно было видеть оба сайта или один из них в удобном виде – по одной странице с домена.
Ну я и внедрил такой пруфлинк в сервис проверки аффилиатов – для ручной проверки пар сайтов на аффилированность, убедиться людям нужно, что данные правильные.

И вот неожиданно – оно перестало работать как раньше. Т.е. теперь оно тоже разгруппирует, и нужно копаться в большом числе страниц. Неудобно.
И ведь что интересно: сам оператор domain группирует.
domain:1pointhall – группирует по домену
domain:vchelyabinsk – группирует
Это когда по одной штуке. А если два домена через "или":
domain:vchelyabinsk | domain:1pointhall – не группирует, надо копаться в страницах.

Раньше-то они если и не объясняли, то хотя бы логика была: люди же, типа, набирая host:, наверное, хотят все страницы с домена получить? И вот вам разгруппировка тогда. Это чтобы мы подумали, что они так думают.

А сейчас – какая логика? одна штука domain – группировка есть, две штуки через или – нету.

Палки в колеса вставляете?
Ну ничо, будем юзать ХМЛ. Да и в страницах люди полазят, только нагрузят больше ))

как рождаются слухи )

Сеоньюс написал про сервис аффилиатов, но нужно же вставить сбоку-припёку мнение своих "специалистов", куда ж без этого? Нужно ж им профит иметь.

А специалисты – они чо? они пишут фразы:

Если мы просто предполагаем, что на сайте может быть такой фильтр, то с помощью языка запросов определить, по какому запросу, и с кем зааффилирован сайт не было возможности», – комментирует Анастасия Бадина, ведущий специалист
***
планирует «сделать определялку аффилиатов на открытых данных». Она позволит смотреть позапросно факт аффилированности, т.к. между двумя сайтами по одному запросу может быть зааффилированность, а по другому – нет

и еще вид, как будто я это утверждаю…
как будто я про аффилированность по отдельным запросам говорил!
в камментах уже начали волноваться – как же так?
Ну, сами понимаете – я такого не говорил, а "гениальный" вывод, повторенный аж два раза, сделан, как я догадываюсь, из описалова:

скоро сделаю определялку аффилиатов на открытых данных, но тогда очень полезно будет ввести список запросов, по которым сайт продвигается

-во как! если я требую – значит, влияет! значит, аффилированность позапросно! 🙂
***
а список запросов нужен всего-то, чтобы легко найти сайт в выдаче, а не придумывать эти самые запросы.

ЗЫ слово "зоофилированнность" искажено ))

аффилиаты (клоны) в Яндексе

копия из http://forum.searchengines.ru/showthread.php?t=526579

поиск аффилиатов – клонов по основному домену: http://tools.promosite.ru/use/clones.php

я недавно пропарсил много запросов по тестовому XML: http://blog.promosite.ru/comments.php?1264
пока вот товарищ не сказал, что он спалил: http://forum.searchengines.ru/showthread.php?t=523795

В том числе в этом тестовм ХМЛ было много прикольных данных –
1. тег <clon> с ID аффилиата
2. теги <geo> <geoa> с географией сайта
3. цифра редевантности

Я спарсил около 42 тыс. запросов (все ашмановские сеорейтовские запросы и 20+ тыс самых популярных по частотности), по каждому топ1000 результатов.
В сумме получилось почти 2 млн. разных хостов, что составляет примерно 20% от всех доменов в яндексе. Учитывая, что тут речь шла о наиболее популярных запросах, этот набор сайтов – почти все топовые популярные сайты. (у Ашманова в сеорейте подобраны разные коммерческие запросы по всем темам).

Пока что я сделал – поиск аффилиатов – клонов по основному домену.
велкам: http://tools.promosite.ru/use/clones.php
пару дней работает без ограничений, потом для использования нужно будет зарегистрироваться.
также будет АПИ для контор.

Для чего все это нужно?

Если в вам приходит потенциальный клиент, имеющий аффилированные сайты – можно в результате получить кучу проблем. Типа вы продвигаете сайт, а в топах вместо него аффилиат, который продвигает другая контора. А вашего подопечного нет и вы ничего не получите.

В любом случае полезно проверить подопытного на возможные проблемы.

В данный момент ищутся только аффилиаты по уже спарсенной базе. Но те данные уже закрыты.
Но я скоро сделаю поиск аффилиатов по полностью открытым данным. И, возможно, внедрю его в сервис.

велкам, ищите свои клоны: http://tools.promosite.ru/use/clones.php

Щито это?
аффилированные сайты – это сайты, которые Яндекс по разным причинам считает принадлежащими одной компании. Это в основном делается ручками – с учетом контактов на сайте и т.п. Это борьба Яндекса с “забиванием” топа сайтами, может быть и разными, но принадлежащими одной конторе.
Основной результат состоит в том, что по одному запросу может находиться только один аффилиат из группы (самый релевантный). Остальные (менее релевантные) вычищаются из выдачи. Причем из группы зоофилированных сайтов по разным запросам будет находиться то один, то другой, но не оба вместе. Попробуйте, например, поискать лавпланет – тут еще представлена малая доля клонов.
Но аффилиация может делаться не только с помощью кривых ручек, но также и с помощью их кривых алгоритмов. 🙂
* они, аффилиаты, на то и аффилиаты, что по одному запросу показаться может только один аффилиат из группы. Поэтому логично, что все стопроцентов = полный список аффилиатов никто не определит. Т.е., есть случаи, когда я точно знаю, что аффилиаты есть, но какие именно – не знаю. Потому, что остальные аффилиаты случайно не попали в выборку.
А выборка та большая – примерно 2 млн. доменов (10% от всего яндекса по хостам), найденных по 42 тыс. поисковых запросов (топ 1000), когда был во второй раз открыт показ клонов, гео, и релевантности в цифрах. Первый раз был тут и был давно отменен.

Я скоро сделаю определялку аффилиатов на открытых данных, но тогда очень полезно будет ввести список запросов, по которым сайт продвигается. И это будет платный сервис.
Откуда дровишки?
Данные из пропарсенных что-то около 2 млн доменов по 42 тыс запросов по тестовому ХМЛ, когда были открыты разные кошерные данные, как-то: география, аффилиаты, и, конечно, цифра релевантности ))
Каким образом подтвердить аффилированность?
Яндекс, сцуко, похоже борется с возможностями определения аффилиатов. И вообще со всеми возможностями.
в древние незапамятные времена определить аффилированность было просто: берешь, задаешь запрос типа host:domain1.ru | host:domain2.ru, и если в результатах видишь только один домен из двух (при этом каждый из хостов отдельно находится нормально) – перед вами аффилиаты. Т.е., по одному запросу второй аффилированный сайт вычищается из выдачи.

Но сейчас стало посложнее. Яндекс решил, что нужно разгруппировывать домены при поиске host: rhost: и тому подобное. И если раньше и в обычной выдаче модно было увидеть только один домен из двух, то теперь ты вынужден копаться в страницах внутри домена. Ну да, это чуток менее удобно, чем смотреть сразу сгруппированные данные.
Но, кстати, если у вас есть Яндекс-ХМЛ, то в нем все фишки с группировкой остались прежними. И вот тот запроос выше “пруфлинк” можно задать в яндекс-ХМЛ и волшебным образом увидеть один результат из двух аффилирванных.
А если вам лениво лазить в ХМЛ – можно просмотреть все разгруппированные страницы обоих сайтов в обычной выдаче. И операторы host, rhost, url не спасают. И, что мегазабавно: при задании оператора url: через “или” по аффилиатам находятся оба аффилиата. Это настолько они борются с определением клонов, ага ))
вот для примера топ клонов. Число num = число клонов с одинаковым ID аффилиата:
домен число клонов
balance-transfers-promotions.co.cc 11550
842-job.mnogonado.net 2073
beetteam.ucoz.ru 1061
sportzone.ru 992
megaline-file.ucoz.kz 903
izumi.podberi-tv.ru 735
rabota.dagestan.slando.ru 592
batink.webasyst.net 584
cheltools.chelyabinsk-info.ru 451
mylovein.net 394
ufa-trud.ru 384
vsekinolenty.ru 381
sanosipovka.ru 379
ussuriysk.irr.ru 376
zifalon.ru 362
shazycreep.prostoprint.com 358
adwords.google.be 355
bancat.ru 343
publiks.ru 332
tecktonik.nxt.ru 306
ehmz.opt.ru 294
nevskiy-palace.ru 293
a-frankfurt.com 250
singapore-obnovlenie.ru 231
arenda-ratlina.imotiburgas.com 226
nomer.plati.ru 206
vbangkok.ru 204
vchelyabinsk.ru 200
torgi24.vsem.ru 198
znakomstvo.kharkov-reklama.com.ua 196

сеошники – дебилы

чел кается, это он спалил… блин http://forum.searchengines.ru/showthread.php?t=523795 (дайте ему минус в репу, что ли. я уже 🙂 )
Короче, некоторое время назад в тестовом режиме ХМЛ http://xml.yandex.ru/test_query.xml появлялись интересные параметры:
1. релевантность показывалась цифрой. внутри тега relevance была цифра от 100 млн до 400+ млн (для витальных результатов). Но и меньше 100 млн были результаты – 10+ млн (по запросам типа порнухи, скачать, фильмы и вся такая тема). Я еще не разбирал результаты, это навскидку.
2. были теги geo и geoa с айди региона
3. был тег clon с айдишником, общим для всех клонов – аффилиаты
4. был тег FactorDocLen в интервале 0-1, это была целочисленная дробь вида N/255, зависела от длины (числа слов? пока не смотрел) документа.

***
ну и вообще – там многое изменилось, показывает теперь sitelinks, всякие источники описания сайта (дмоз, як), всякие темы наподобие блогов
***
уроды!
это ж цифры нам дали посмотреть, блять!
***
я сам-то скачал выдачу по топ1000 примерно 18 тыс сеорейтовских коммерческих запросов и по 26 тыс самых частотных рунетовских запросов – с цифирками, конечно.

Вот!!!