Зашел сейчас в Яндекс посмотреть про перевал Цирк 2А – и 6-м номером сайтик на by.ru:
Алтай 1998. Домашняя страничка Александра Люлина.
2А- р.Катуньпер.Арсенал 1А- р.Белая Берель- пер.Цирк 2А- пер.Туристов 1Б- пер.Титова 2А- оз.Аккемское- пер.Кузияк н.к.- пос.Тюнгур- Телецкое озеро- г …
http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm
Захожу туда и вижу: сайт удален (на самом деле не удален, а “перемещен в архив”, но это только если вчитаться):
Документ перемещён.
Вы запросили страницу сайта «lulinalex.by.ru», который не обновлялся слишком давно, был посчитан устаревшим и перенёсен в архив. Последняя редакция сайта произошла 360 дней назад: 1-го сентября 2004-го года. (*)Что можно сделать?
* Чтобы увидеть архивную страницу, вам достаточно пройти по этой ссылке. Система распакует для вас сайт «lulinalex.by.ru» и некоторое время вы сможете ходить по всем его страницам.
* Вы можете вернуться на предыдущую страницу и пойти другой дорогой.
* Наконец, актуальную информацию вам могут дать поиск или каталог:
-только не жмите на ссылку распаковки! 🙂
Ну и там ссылки на байрушный каталог от Бегуна.
Но что удивило. “Нормальные” накрутчики кликов с 404 страниц, типа Агавы – все же перебрасывают на 404 страницу! А здесь – ни фига, по тому же URL все расположено.
Ну ладно, думаю. Может, она 404 в коде http дает? Проверяю через сервис http://seolab.ru/add/header.htm – нет, 200 ОК. Тогда почему он в Яндексе есть, да еще от 2002-2003 года? Нечисто, думаю…
Что оказалось. Экспериментируем с if-modified-since (ставим минус один год) – в том же сервисе на seolab.ru проверяем http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm – оно дает:
HTTP/1.1 200 OK
Date: Sat, 27 Aug 2005 06:00:09 GMT
Server: Apache
Accept-Ranges: bytes
X-Powered-By: PHP/4.3.1
Set-Cookie: extract=1125122409; expires=Sat, 27-Aug-2005 18:00:09 GMT; path=/; domain=lulinalex.by.ru
Connection: close
Content-Type: text/html; charset=WINDOWS-1251
Content-Language: ru
Но это с User-Agent: MSIE! А если поставить User-Agent: Yandex, получится:
HTTP/1.1 304 Not Modified
Date: Sat, 27 Aug 2005 06:00:29 GMT
Server: Apache
Connection: Keep-Alive
Keep-Alive: timeout=5, max=80
ETag: “ba8f87-33cfe-29d67540”
Vary: Host
-короче, By.ru делает вид для поисковиков, что сайт типа есть и не менялся, а сам чужой траф гонит на Бегуна.
Ну не козлы, а? 🙁
PS Не исключаю, что и сами авторы сайтов не знают… А кто знает, пойдет отключать “архивацию”?
Вот ублюдки, а… Я сейчас без хедеров поэкспериментировал… Просто весь контент скачал…
Просто обычный GET, без рефа… Юзерагент MSIE-шный => дает страницу "Документ перемещён. – BY.RU"
Тот обычный GET, но юзерагент Yandex => дает целиком страницу "Алтай 1998. Домашняя страничка Александра Люлина."
Клоачат, уроды.
И ведь врут! Типа, бедненькие – у них так ресурсов не хватает, что они заархивировали и в архив положили… А для робота Яндекса, значит, хватает ресурсов!!!
интересно, а забанят ли бай.ру? 😉
Ну чё, будем писать в Яндекс?
:)) вот будет прикол если забанят ;-)… сразу будет о чем рунетчикам пошуметь
алекс, дык я и хочу чтобы народ об этом начал трепаться на форуме 🙂
О клоакинге сразу можно было догадаться, подсветив найденные слова:
http://hghltd.yandex.com/yandbtm?url=http://lulinalex.by.ru/Texts/Tourism/Reports /Alien/Altay/1998.htm&text=перевала Цирк 2А&reqtext=(перевала::188092 && Цирк::247852 && 2А::250211)//6&dsn=357&d=1239262
Ведь это текущее состояние страницы "глазами" робота с литерой "М". У меня привычка сначала смотреть документы из выдачи Яндекса именно так. И я, кстати, именно таким образом уже наталкивался на эти фокусы от бай.ру
Что-то ссылка криво встала. Ну, надеюсь, вы и так поняли.
банить однозначно. и кто это придумал типа архивировать необновляемые сайты, когда критерий нужности сайта посещаемость?? понятно что вся придумка из-за трафика.
Забавно. Я сам ходил в этот поход, отчет о котором выложен на сайте Шуры. Очень забавно получается….
P.S. А вообще, заметка интересная.
Надо не только в яндекс, они наверное для всех основных ботов клоачат. Например в гугле давно уже с этим столкнулся. В кэше нормальная страница, а при переходе пишет "документ перемещен".
В общем нехорошо поступают админы by.ru. Трудно конечно от такого халявного трафа отказаться, меня только удивляет почему никакие санкции до сих пор не применены? Полгода точно такая ситуация имеет место.
С другой стороны, банить эти самые субдомены – жестоко, и даже не столько by.ru хуже будет…
Как-то поисковикам бы пригрозить бай.ру вообще… Общими карами какими-нибудь…
Иж раскричались, а чего вы собственно хотите? Халява она и есть халява – правильно делают на by.ru Для нормальных проектов надо домены покупать не жадничать. А траф халявный конвертируемый – это несомненно хорошо.
Хамство. Спасибо что глаза открыли. Недели две назад обратил внимания что как не пойду с Яндекса -все страницы в архиве. Вчера страница была не обновлена 127 дней назад. Они на следующий день уже архивируют ?:)
не у всех есть деньги на платное. коли by.ru решили предоставлять фри хост, так вот пусть предоставляют.
Раньше они вставляли клоакингом ссылки на свои проекты …
Мне тоже так кажется. У меня кстати была домашняя страничка на by.ru. Я его не обновлял с годок, так они его закрыли без предупреждения. Это было года 1,5 назад.
В yandex, rambler, google, aport писали?
Если нет то я пойду писать.
ерунда, правильно бай.ру делает.
Оказывается наш Бигмир тоже клоачит, только не ради трафа, а ради продажи ссылок.
Здесь подробно написал, с картинками:
http://notes.webartsolutions.com/archives/000098.html
Сервер BY.RU уже забанили в Яндексе. Со 2-го сентября, судя по всему.