商城系统【网站收录生成robots.txt文件】使用说明

1. 可以使用站长平台的robots.txt文件生成文件，工具链接：http://tool.chinaz.com/robots

PS:有特殊需求，例如需要限制某个页面不被收录，可以在工具中设置限制目录。

举例：

例一："Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。

例二："Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。

2. 将TXT记事本，上传到网站根目录中。