在线客服
做营销产品,就上羽薇网
文档

文档

副标题

网站系统
商城系统
小程序开发
门店系统
教育系统
销售系统
互动营销游戏
H5微场景
公众号助手

商城系统【网站收录生成robots.txt文件】使用说明

 二维码
发表时间:2023-08-14 11:11来源:羽薇网

1. 可以使用站长平台的robots.txt文件生成文件,工具链接:http://tool.chinaz.com/robots



PS:有特殊需求,例如需要限制某个页面不被收录,可以在工具中设置限制目录。


举例:

:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。

例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。


2. 将TXT记事本,上传到网站根目录中。



让我们与您联系,我们会在1个工作日内联系您;或关注公众号为您提供更高效的服务。