Имеем 2 тенденции:
1) Рост мощностей железа при тех же ценах и удешевление нынешнего. Трафик тоже должен дешеветь. Поэтому поисковики будут более производительными и войти новичку станет легче.
2) Засирание интернета всякими текстами. Кучи разных онлайн-дневников, новостных сайтов, партнерок, клонов магазинов, хомяков, сервисов, форумов и т.п. Дорвеев в том числе. Объем информации увеличивается непомерно.
Вопрос, что происходит быстрее? Мне кажется, засирание интернета текстами идет гораздо быстрее. Что из этого будет следовать?
Что поисковик в будущем не только не сможет заиндексировать все, но и ему будет ненужно индексировать все – потому, что 90% “всего” – натуральный мусор.
Или, если сказать по-другому: на каждый доллар, вложенный в индексацию (в железо и траф) имеем некую удельную отдачу (которая проявляется в качестве поиска и лояльности пользователей, например). При индексации “всего, что в рот полезло”, эта отдача будет уменьшаться, поскольку:
* чем дальше, тем больше мусора
* чем дальше, тем больше дублирования информации.
В этом случае на первый план выходит умение поисковика отличать качественную инфу от говна.
Яндексу пока все равно – Рунет маленький. А вот по Гуглу заметно – начал нос воротить от некоторых сайтов и уже давно. Внутрь сайта без ссылок не пойдет… Страницы потеряет…
***
Так эту ситуацию можно “экстраполировать наоборот” – и будет вывод, что для создания качественного поисковика совсем не обязательно индексировать всё. Или, по-другому: сокращение объема индекса на 90% может ухудшить поиск на 10%…
Этакий маркетинговый подход к созданию поисковиков…