Рубрика: SEO и поисковики

Яндекс выложил индекс за 2 дня – 17 и 18, в предыдущее выкладывание были выложены 9 и 10 числа.
В промежутке, за 11-15 числа насколько я понимаю, был выложен зарубежный индекс.
А как же русская неделя? 🙂
Это, кстати, не первый раз. Например, между 16 декабря (макс. дата выложенного) и 23 декабря (мин. дата выложенного) тоже неделька потерялась, и тоже количество выложенного (~300-400 тыс сайтов) похоже на зарубежный индекс…
Яндекс зохавал кусок индекса 🙂

http://webmaster.ya.ru/replies.xml?item_no=3116

Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий, пользователей, рефереров и т.д.), вы можете описать их при помощи директивы Clean-param в robots.txt. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Иван Наймушин и команда разработки поискового робота

еще одна фича.

А ведь много уже нафигачили они в роботсе за последнее время.
Из того, что я помню, Crawl-delay и Allow. Но сейчас обнаружил еще и указание Sitemap – чтобы не добавлять спецом в яндекс-вебмастер, удобно, однако – в роботсе указал и все. И использование спецсимволов "*" и "$" – круто, я даже как-то не заметил.

Сколько интересного 🙂

На сёрче сегодня тема про ап, но говорят, что подвижки маленькие.
Мой апометр ничего не показал, Ивановский тоже.
С другой стороны, Яндекс-вебмастер говорит, что ап.

У меня на апометре за сегодня цифры такие – в час ночи появилось 300-400 тыс. сайтов с датой от 3-5 декабря, в 2 ночи вывалено еще по 300-400 тысяч сайтов за 6-8 декабря.

Но по норме (с датой 2 декабря и раньше) бывает 1.7, 2.8, 3.1 миллиона сайтов. Т.е., это не норма. А у меня как раз чисто по числу сайтов смотрит, там быстроробота еще много подмешивается, поэтому малые числа сайтов апом не считаются. 🙂

А не зарубежный ли это индекс? Смотрим запросы с датой по домену com (это все в XML лучше смотреть):
date="20081203" domain="com" /(1 1) domain="root" – 125 тыс. сайтов
date="20081204" domain="com" /(1 1) domain="root" – 151 тыс. сайтов
date="20081205" domain="com" /(1 1) domain="root" – 169 тыс. сайтов

А по домену ru:
date="20081203" domain="ru" /(1 1) domain="root" – 77! сайтов
date="20081204" domain="ru" /(1 1) domain="root" – 58! сайтов
date="20081205" domain="ru" /(1 1) domain="root" – 111! сайтов

При этом за второе декабря, выложенное в прошлый ап, date="20081202" domain="ru" /(1 1) domain="root" – 455 тыс. сайтов, все штатно.

Так что я думаю, зарубежный индекс выложили. Поэтому и изменения у всех маленькие.

Как, скажите – надо ли в апометр добавлять отдельную пробивку зарубежного и русского индекса, например, таким образом? Или на фиг?

UPD Кажись, начали откатывать – за 5 и 4 декабря в час дня было уже 98-160 сайтов 🙂

Гугль пишет: http://googleblog.blogspot.com/2008/10/picture-of-thousand-words.html

Приведены примеры запросов, сканенные документы в выдаче:
http://www.google.com/search?q=public+statements+iraq
http://www.google.com/search?q=theory+of+interstellar+trade

Интересно, жырнее весит, чем обычный текст? Нагенерить дорвеи-то посложнее будет 🙂 Сейчас все начнут сайты сканированные делать 🙂

via

на роеме пишут, что Гурешовский поисковик “Янга” не только заработал, но и научился показывать обратные ссылки на сайты
Смешно, что там сейчас написан бесплатный домен http://yanga.net.ru/ , а тов. под ником ludkiewicz смотрел на http://www.yanga.co.uk/ , который был прописан в теме. Меняют на ходу, что ли? Копят восимисят рублей на домен? 🙂

Особенно мне нравится это “не только заработал, но и …”. 🙂 Заработать просто – это вообще достижение.

Кто-то там написал, что малая глубина индексации, хуже, чем у яху. А Гурешов пишет, что “Количество беков будет увеличено в ближайшую неделю в 100 раз”.

Интересно, а что там у Гурешова с Вебальтой? Что-то они стали разбрасываться. Хотя может быть, что у вебальты там куча инвесторов, выибут, есличо. И Гурешов решил свой отдельный личный поисковик сделать? 🙂

Сопли – supplemental results, как у Гугля.
Есть у меня сайтик, который инфу по доменам ru выдает – и поиск, и группировка, и все такое.
Тыц 20. Но при этом тыце Яндекс наиндексировал 150-160 тысяч страниц. Это страницы с инфой по каждому домену: доменов – то много. Вот и наиндексировал.
Вдруг бац: все выпало, осталось 1600 страниц (держится больше недели, и подросло до 1700). Поиском по сайту остальное не находим.
Ну я думаю: попробую применить прогрессивную технологию sitemap-ов. 🙂 Создал там все, добавил в панель вебмастер.
А сайтмэпы вложенные: один указывает на несколько других, и так пока число урлов больше 10 тысяч (в спецификации 50 тыс. позволяется, но…).
И еще не успел всосаться корневой сайтмэп (там пишется, когда обработан), как уже кажет структуру сайта. И в этой структуре написано, что страниц тех известно 285 тысяч. 🙂
Это точно не из-за сайтмэпов: там еще известны страницы, которых в карте нет и они вообще в роботсе запрещены.

Теперь вот сижу и думаю: либо Яндекс те страницы знает, но просто не кажет (как "не особо важные"), либо реально выпало и просто "вебмастер" старую инфу выдает.
Кстати, вблизи находки это произошло – вполне может быть, сопли ввели. Страницы – то с доменами не изобилуют инфой – правда, и "обвязки" мало.

Тут несколько месяцев назад я с удивлением обнаружил, что аддурилка стала работать по-другому.
Раньше если сайт не существовал, домен был не делегирован и т.п. – Яндекс отказывался его проверять, и нельзя было понять – забанен он или нет.
А сейчас наоборот. При добавлении в аддурилку:
1. Сначала проверяется зеркалинг. Если на домене был когда-то прописан главным зеркалом урл (с, без) www или редирект – Яндекс ругнется, что "домен такой-то может быть внесен по такому-то адресу".
2. Потом проверяется бан. Если даже домен свободен, его можно проверить на бан ("индексация запрещена")
3. Потом проверяется доступность домена: "не был внесен в базу Яндекса, так как ресурс ***.ru не существует (он неизвестен DNS-серверу)
4 Потом проверяется индексация "уже проиндексирован и доступен для поиска"
5 Потом robots.txt (если домена не существует – тоже ругнется: "не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx")
6 Потом ответ сервера ("К сожалению, мы не смогли дождаться ответа от")

А раньше если домена не существовало, проверить на бан было нельзя.