18720358503 在线客服 人才招聘 返回顶部
企业动态 技术分享 行业动态

SEO实例教程 robots.txt文档普遍主要用途

2021-03-11分享 "> 对不起,没有下一图集了!">
本文将为你详细介绍最常见的4种robots.txt文档文件格式。

1. 容许全部的检索模块浏览网站的任何一部分

User-agent: *
Disallow:

(或还可以建1个空文档 "/robots.txt")

2. 严禁全部检索模块浏览网站的任何一部分

User-agent: *
Disallow: /

3. 严禁全部检索模块浏览网站中全部的动态性网页页面

User-agent: *
Disallow: /*?*

4. 严禁网站上的程序流程文档被检索模块蜘蛛数据库索引,这样能够节约服务器空间。

1般网站中不必须蜘蛛抓取的文档有:后台管理管理方法文档、程序流程脚本制作、附件、数据信息库文档、编号文档、款式表文档、模版文档、导航栏照片和情况照片这些。

User-agent: *
Disallow: /admin/   后台管理管理方法文档
Disallow: /require/   程序流程文档
Disallow: /attachment/  附件
Disallow: /images/     照片
Disallow: /data/       数据信息库文档
Disallow: /template/   模版文档
Disallow: /css/       款式表文档
Disallow: /lang/      编号文档
Disallow: /script/    脚本制作文档
注:每一个网站的文档夹姓名将会会不1样

"> 对不起,没有下一图集了!">
在线咨询