robots.txt是什么？该怎么写？

robots.txt是个很小的文本文件，放在网站根目录，作用是告诉搜索引擎蜘蛛：哪些目录能爬，哪些别碰。写错了会影响收录，写好了能省蜘蛛的力气。

它管什么

搜索引擎来抓网页前，会先看一眼robots.txt，遵守里面的规则。你想让百度收录产品页，但不想让后台目录被抓，就在这里声明。

注意，它只是君子协定，遵守与否看搜索引擎自觉。真正需要保密的目录，靠robots.txt挡不住，还得靠密码和权限。

基本写法

文件里最常用两行：User-agent定义对哪个蜘蛛生效，星号代表全部；Disallow定义禁止抓取的路径。比如禁止所有蜘蛛爬后台，就写User-agent: * 加 Disallow: /admin/。

还有Allow指令用来在禁止目录里开小口。想主动提交网站地图，加一行Sitemap: 加上sitemap的完整地址，方便蜘蛛顺藤摸瓜。

这几个坑别踩

最严重的是写成Disallow: /，斜杠一加，等于通知全网搜索引擎别收录任何页面。真出过这种事故，整改一个月排名才缓过来。

路径大小写要和实际目录一致，结尾的斜杠有区别。写完可以用百度站长平台的robots工具检测一下，它会模拟蜘蛛告诉你哪些路径被拦。

什么情况该改

网站改版后目录变了，robots.txt要跟着更新。新增了测试目录、临时文件目录，及时屏蔽掉，免得重复内容被收录。

反过来说，大多数中小企业官网内容不复杂，robots.txt保持简单就好，别为了炫技写一大堆规则，写错一条可能就少一批收录。

和搜索引擎的关系

百度、必应、搜狗都认robots.txt，规则基本通用。写一次，各大引擎都受益。搜索引擎蜘蛛抓取有额度，把没价值的目录屏蔽掉，有限的抓取次数就都用在正经页面上。

有人担心屏蔽目录影响收录，其实被屏蔽的是你不想收录的部分，想让收录的页面一个都不受影响，放心写。

robots.txt的原则是少而准。拿不准的目录不写，写完用工具测一遍，比什么都有用。