Simba, лет 10 назад заморачивался. Это фикция, ботам плевать на этот файл (скандал со сливом в индекс яндекса смсок с сайта мегафона яркий тому пример).
Проще и надежнее через тот же хтаччес по UA их блочить.
Просмотр поста #558007: Избавляемся от ботов на сайте и настраиваем robots.txt
ramzes