Просмотр поста #14551: Используете ли Вы robots.txt в своих проектах?
Piks
Чёрт, плохо, что максимальная длина ответа 50 символов, вопрос не до конца помещается. Второй вариант ответа имеет вид «Да, содержит не только директивы для роботов, но и кое-что ещё»