http://webmaster.ya.ru/replies.xml?item_no=3116
Если адреса страниц вашего сайта содержат динамические параметры, которые не влияют на их содержимое (например, идентификаторы сессий, пользователей, рефереров и т.д.), вы можете описать их при помощи директивы Clean-param в robots.txt. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Иван Наймушин и команда разработки поискового робота
еще одна фича.
А ведь много уже нафигачили они в роботсе за последнее время.
Из того, что я помню, Crawl-delay и Allow. Но сейчас обнаружил еще и указание Sitemap – чтобы не добавлять спецом в яндекс-вебмастер, удобно, однако – в роботсе указал и все. И использование спецсимволов "*" и "$" – круто, я даже как-то не заметил.
Сколько интересного 🙂