Просмотр поста #14556: Используете ли Вы robots.txt в своих проектах?
Piks
Сам использую на всех своих проектах, и не важно что от глаз поисковых систем скрывать порой нечего, просто это один из обязательных пунктов моего списка перед запуском сайта.