BY.ru – ну не уроды, а?

Зашел сейчас в Яндекс посмотреть про перевал Цирк 2А – и 6-м номером сайтик на by.ru:

Алтай 1998. Домашняя страничка Александра Люлина.
2А- р.Катуньпер.Арсенал 1А- р.Белая Берель- пер.Цирк 2А- пер.Туристов 1Б- пер.Титова 2А- оз.Аккемское- пер.Кузияк н.к.- пос.Тюнгур- Телецкое озеро- г …
http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm

Захожу туда и вижу: сайт удален (на самом деле не удален, а “перемещен в архив”, но это только если вчитаться):

Документ перемещён.
Вы запросили страницу сайта «lulinalex.by.ru», который не обновлялся слишком давно, был посчитан устаревшим и перенёсен в архив. Последняя редакция сайта произошла 360 дней назад: 1-го сентября 2004-го года. (*)

Что можно сделать?
* Чтобы увидеть архивную страницу, вам достаточно пройти по этой ссылке. Система распакует для вас сайт «lulinalex.by.ru» и некоторое время вы сможете ходить по всем его страницам.
* Вы можете вернуться на предыдущую страницу и пойти другой дорогой.
* Наконец, актуальную информацию вам могут дать поиск или каталог:

-только не жмите на ссылку распаковки! 🙂
Ну и там ссылки на байрушный каталог от Бегуна.
Но что удивило. “Нормальные” накрутчики кликов с 404 страниц, типа Агавы – все же перебрасывают на 404 страницу! А здесь – ни фига, по тому же URL все расположено.
Ну ладно, думаю. Может, она 404 в коде http дает? Проверяю через сервис http://seolab.ru/add/header.htm – нет, 200 ОК. Тогда почему он в Яндексе есть, да еще от 2002-2003 года? Нечисто, думаю…
Что оказалось. Экспериментируем с if-modified-since (ставим минус один год) – в том же сервисе на seolab.ru проверяем http://lulinalex.by.ru/Texts/Tourism/Reports/Alien/Altay/1998.htm – оно дает:

HTTP/1.1 200 OK
Date: Sat, 27 Aug 2005 06:00:09 GMT
Server: Apache
Accept-Ranges: bytes
X-Powered-By: PHP/4.3.1
Set-Cookie: extract=1125122409; expires=Sat, 27-Aug-2005 18:00:09 GMT; path=/; domain=lulinalex.by.ru
Connection: close
Content-Type: text/html; charset=WINDOWS-1251
Content-Language: ru

Но это с User-Agent: MSIE! А если поставить User-Agent: Yandex, получится:

HTTP/1.1 304 Not Modified
Date: Sat, 27 Aug 2005 06:00:29 GMT
Server: Apache
Connection: Keep-Alive
Keep-Alive: timeout=5, max=80
ETag: “ba8f87-33cfe-29d67540”
Vary: Host

-короче, By.ru делает вид для поисковиков, что сайт типа есть и не менялся, а сам чужой траф гонит на Бегуна.
Ну не козлы, а? 🙁
PS Не исключаю, что и сами авторы сайтов не знают… А кто знает, пойдет отключать “архивацию”?

BY.ru – ну не уроды, а?: 19 комментариев

  1. Вот ублюдки, а… Я сейчас без хедеров поэкспериментировал… Просто весь контент скачал…
    Просто обычный GET, без рефа… Юзерагент MSIE-шный => дает страницу "Документ перемещён. – BY.RU"
    Тот обычный GET, но юзерагент Yandex => дает целиком страницу "Алтай 1998. Домашняя страничка Александра Люлина."

    Клоачат, уроды.
    И ведь врут! Типа, бедненькие – у них так ресурсов не хватает, что они заархивировали и в архив положили… А для робота Яндекса, значит, хватает ресурсов!!!

  2. :)) вот будет прикол если забанят ;-)… сразу будет о чем рунетчикам пошуметь

  3. алекс, дык я и хочу чтобы народ об этом начал трепаться на форуме 🙂

  4. О клоакинге сразу можно было догадаться, подсветив найденные слова:
    http://hghltd.yandex.com/yandbtm?url=http://lulinalex.by.ru/Texts/Tourism/Reports /Alien/Altay/1998.htm&text=перевала Цирк 2А&reqtext=(перевала::188092 && Цирк::247852 && 2А::250211)//6&dsn=357&d=1239262

    Ведь это текущее состояние страницы "глазами" робота с литерой "М". У меня привычка сначала смотреть документы из выдачи Яндекса именно так. И я, кстати, именно таким образом уже наталкивался на эти фокусы от бай.ру

  5. Что-то ссылка криво встала. Ну, надеюсь, вы и так поняли.

  6. банить однозначно. и кто это придумал типа архивировать необновляемые сайты, когда критерий нужности сайта посещаемость?? понятно что вся придумка из-за трафика.

  7. Забавно. Я сам ходил в этот поход, отчет о котором выложен на сайте Шуры. Очень забавно получается….

    P.S. А вообще, заметка интересная.

  8. Ну чё, будем писать в Яндекс?

    Надо не только в яндекс, они наверное для всех основных ботов клоачат. Например в гугле давно уже с этим столкнулся. В кэше нормальная страница, а при переходе пишет "документ перемещен".

    В общем нехорошо поступают админы by.ru. Трудно конечно от такого халявного трафа отказаться, меня только удивляет почему никакие санкции до сих пор не применены? Полгода точно такая ситуация имеет место.

  9. С другой стороны, банить эти самые субдомены – жестоко, и даже не столько by.ru хуже будет…
    Как-то поисковикам бы пригрозить бай.ру вообще… Общими карами какими-нибудь…

  10. Иж раскричались, а чего вы собственно хотите? Халява она и есть халява – правильно делают на by.ru Для нормальных проектов надо домены покупать не жадничать. А траф халявный конвертируемый – это несомненно хорошо.

  11. Хамство. Спасибо что глаза открыли. Недели две назад обратил внимания что как не пойду с Яндекса -все страницы в архиве. Вчера страница была не обновлена 127 дней назад. Они на следующий день уже архивируют ?:)

  12. Иж раскричались, а чего вы собственно хотите? Халява она и есть халява – правильно делают на by.ru Для нормальных проектов надо домены покупать не жадничать.

    не у всех есть деньги на платное. коли by.ru решили предоставлять фри хост, так вот пусть предоставляют.

  13. Раньше они вставляли клоакингом ссылки на свои проекты …

  14. Хамство. Спасибо что глаза открыли. Недели две назад обратил внимания что как не пойду с Яндекса -все страницы в архиве. Вчера страница была не обновлена 127 дней назад. Они на следующий день уже архивируют ?:)

    Мне тоже так кажется. У меня кстати была домашняя страничка на by.ru. Я его не обновлял с годок, так они его закрыли без предупреждения. Это было года 1,5 назад.

    В yandex, rambler, google, aport писали?
    Если нет то я пойду писать.

  15. Сервер BY.RU уже забанили в Яндексе. Со 2-го сентября, судя по всему.

Комментарии запрещены.