robots.txt是什么？该怎么写？

robots.txt是个很小的文本文件，放在网站根目录，作用是告诉搜索引擎蜘蛛：哪些目录能爬，哪些别碰。写错了会影响收录，写好了能省蜘蛛的力气。 它管什么 搜索引擎来抓网页前...

阅读更多