一、robots.txt有什么用？
       如果您不希望互联网爬虫（又叫蜘蛛、Crawler、Spider等）抓取您网站的每一个公开的链接，而只抓取您指定的某一部分链接，或根本不抓取任何链接，你可以使用robots.txt向我们汇报爬虫信息。  

自己懒，其实很早想写的，毕竟这个空间还说很稳定的。
这次小和尚给写了，哈哈...