很多中小企业做网站优化，习惯先盯着关键词和外部链接，反而把robots.txt这个基础文件放在一边。它就像放在网站门口的一块指路牌，写清楚了，搜索引擎爬虫知道该往哪走;写含糊了，可能让辛苦做的页面连被收录的机会都丢掉。下面按实际动手的顺序，把中小企业设置robots的流程讲一遍。

　　一、先弄明白robots是给谁看的

　　robots.txt是放在网站根目录下的纯文本文件，搜索引擎爬虫访问网站时，会先来读它，判断哪些目录可以进、哪些不要进。要说明的是，它属于行业约定，不是强制命令，正规爬虫会参考，恶意采集程序未必理会。所以别把它当安全工具，后台、数据库这类敏感路径该做权限验证还得做。中小企业的站点结构通常不复杂，用robots挡掉一些没必要收录的页面，把抓取资源留给真正想被搜到的内容，这就是它的主要作用。

　　二、把需要屏蔽的目录列出来

　　动手写之前，先把自己的网站目录过一遍。常见的需要挡掉的有这么几类：后台管理目录，比如/admin/;程序缓存和临时文件夹，比如/cache/、/tmp/;用户登录和注册页，这类页面被收录了意义也不大;搜索结果页和带大量参数的筛选页，容易产生重复内容。反过来，产品页、文章页、公司介绍这些希望被收录的，就别去挡。有个简单的判断办法：用户从搜索结果点进来，会不会觉得这页有用?会，就放开;不会，就屏蔽。

　　三、动手写文件内容

　　文件开头一般写User-agent，用星号代表所有爬虫都适用。然后一条条写Disallow，后面跟路径。只写目录名加斜杠，表示整个目录都不让进。如果希望所有爬虫都能访问全部内容，Disallow后面留空即可。想单独指定某个爬虫，就把星号换成对应的名字。每条规则占一行，写完记得换行。文件里不要写中文说明，爬虫看不懂，只会当乱码处理。另外路径区分大小写，Linux服务器上/Admin/和/admin/是两个不同的目录，写错了等于没挡。

　　四、放到正确位置并做检查

　　robots.txt必须放在网站根目录，也就是域名后面直接跟/robots.txt能打开的那个位置。放在子目录里不生效。上传后，在浏览器地址栏输入你的域名加/robots.txt，看看能不能正常显示内容。再用搜索引擎官方提供的抓取测试工具跑一遍，确认规则被正确识别。有的企业网站用了CDN或者开了伪静态，根目录可能被重定向，这时要确认文件确实能被访问到，否则爬虫读到的是错误页面，规则自然也不起作用。

　　五、后续维护的几点提醒

　　robots不是写完就不用管的。网站改版、新增栏目、调整目录结构之后，都要回头看看规则还对不对。比如原来屏蔽的/old/目录已经删了，规则留着没坏处;但新增了/activity/活动页希望被收录，就得确认没被误伤。