|
商城系统【网站收录生成robots.txt文件】使用说明 二维码
发表时间:2023-08-14 11:11来源:羽薇网 1. 可以使用站长平台的robots.txt文件生成文件,工具链接:http://tool.chinaz.com/robots PS:有特殊需求,例如需要限制某个页面不被收录,可以在工具中设置限制目录。 举例: 例一:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。 例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。 2. 将TXT记事本,上传到网站根目录中。 |