Главная » 2009 » Январь » 29 » Яндекс ввёл новую директиву для файла robots.txt (29.01.2009)
Яндекс ввёл новую директиву для файла robots.txt (29.01.2009)
11:46 PM
При помощи новой директивы Clean-param в robots.txt теперь можно указывать незначащие cgi-параметры в url поисковому роботу. Робот Яндекса, используя информацию в директиве Clean-param,
перестанет индексировать дублирующийся контент на страницах сайта,
адреса которых содержат динамические параметры, не влияющие на их
содержание. К таким параметрам относятся индетификаторы сессий,
пользователей, рефереров и т.п.
Использование директивы Clean-param может позволить индексирующему
роботу увеличить эффективность обхода сайта, а также снизить нагрузку
на сервер.
По мнению Тимофея Любимого, эксперта по оптимизации компании SmartSEO, Clean-param достаточно необходимая директива при управлении индексацией сайта. «В
целом вещь крайне полезная, т.к. наша компания как раз специализируется
на больших проектах и нам проблемы индексации крайне актуальны и
близки. Сложность состояла в том, что ранее поисковый робот
индексировал совершенно ненужные страницы с дублирующим контентом, а до
нужных страниц не доходил. Соответственно, имея такой инструмент, все
эти урлы можно легко и без потерь склеить в один и дать роботу
возможность идти дальше по сайту, не закачивая шлак», - комментирует Тимофей.
Эта директива говорит для владельцев сайтов, что оптимизация сайта выходит на первое место для поискового робота Yandex.
При помощи 
