Определение основного зеркала сайта

Задача: определить правильное написание адреса сайта для простановки ссылок.

Описание проблемы.

Самое главное требование к URL сайта – это его единственность. У сайта не должно быть никаких синонимов. Следует учитывать, что www.example.ru и example.ru являются разными сайтами. И если у вас на сайте находится динамический контент, то Яндекс может их разделить на разные сайты, склеить в один или, что ещё хуже забанить один из сайтов, как подозрительный дубликат.

Решение проблемы.

Для существующего сайта выбирается тот адрес, который выводит Яндекс в результатах поиска. Со всех других синонимов идёт переадресация на один адрес. Например, если сайт доступен с www. и без, то выбирается тот вариант, что выдаёт Яндекс, например с www. и на адрес без www ставится постоянный редирект в .htaccess:

RewriteCond % ^example.com
RewriteRule ^(.*)$ http://www.example.com/$1 [R=permanent,L]

Не смотря на то, что выше речь идёт только о Яндексе, для Google это тоже справедливо.

Кроме того, для Яндекса есть ещё одна возможность указать главное зеркало сайта с помощью файла robots.txt

Для этого в файле необходимо добавить строку следующего вида:

Host: www.example.com

Однако важно помнить, что эту директиву понимает только Яндекс, и чтобы другие поисковики не растерялись нужно указывать её непосредственно после директивы Allow или Disallow. Подробнее об этом можно посмотреть в справке Яндекса.