Просмотр поста #14550: Используете ли Вы robots.txt в своих проектах?
Piks
Вот такой вот опрос. Можете похвастаться своими robots.txt в данной теме, а если отвечаете пунктом «Да, содержит не только директивы для роботов, но и кое-что ещё», то сделать Вы это просто обязаны!