При помощи новой директивы Clean-param в robots.txt теперь можно указывать незначащие cgi-параметры в url поисковому роботу. Робот Яндекса, используя информацию в директиве Clean-param, перестанет индексировать дублирующийся контент на страницах сайта, адреса которых содержат динамические параметры, не влияющие на их содержание. К таким параметрам относятся индетификаторы сессий, пользователей, рефереров и т.п.

Использование директивы Clean-param может позволить индексирующему роботу увеличить эффективность обхода сайта, а также снизить нагрузку на сервер.