Все тонкости индексации сайта. Файл robots.txt.

Robots.txt - разрешение индексации всех страниц поисковиками Yandex, Google, Rambler;Sitemap.xml

Я думаю все оптимизаторы используют файл robots.txt.
Для того, чтобы разрешить всем поисковикам индексировать, просматривать все страницы сайта, показать основное зеркало сайта, показать карту сайта, можно использовать файл robots.txt, в котором будет следующая информация:

User-Agent: *
Disallow:
Host: mysite.ru

User-agent: Yandex
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

User-Agent: Googlebot
Disallow:
Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

User-agent: StackRambler
Disallow:
Host: mysite.ru

Где mysite.ru - основное зеркало сайта.
Что такое зеркало?
Пример:
у вас есть сайт с доменом mysite.ru, который доступен также как и www.mysite.ru, также он будет доступен по адресам mysite1.ru и www.mysite1.ru, если домен mysite1.ru направить туда же, куда направлен домен mysite.ru.
Т.е. сайт может быть доступен по неограниченному количеству доменов. Для поисковиков 1 домен будет основным, а остальные зеркалами. Чтобы показать поисковым машинам основной домен, который Вы хотели бы видеть основным, необходимо в файле robots.txt указать основной домен. Также (желательно) для всех доменов сделать 301 редирект на основной домен, который вы выбрали. Про 301 редирект в статье на странице http://webskyline.livejournal.com/12546.html

http://webskyline.livejournal.com/13529.html