云虚拟主机被爬虫访问耗费大量流量的解决方法

问题描述　　用户使用云虚拟主机搭建的网站被爬虫访问，耗费大量流量和带宽的处理方法。　　解决方案　　在站点根目录下创建 robots.txt文件，robots.t