Настроен файл robots.txt

Настраивается файл robots.txt. Для Яндекса прописывается основной хост