什么是robots协议

特别声明:文章多为网络转载,资源使用一般不提供任何帮助,特殊资源除外,如有侵权请联系!

 

robots协议是一个网站根目录下的一个txt文本文件,当搜索引擎蜘蛛在访问某个网站时,都会检查这个网站的根域下是否有这么一个文本文件。所以,它同时也是搜索引擎蜘蛛来到你站点抓取的第一个文件,这个robots文件的作用就是针对蜘蛛让它对你的站点哪些内容抓取还是不抓取,给搜索引擎的一个协议,它能够很好的保护用户信息,网站隐私等。

robots规则

User-Agent:       针对某个搜索引擎蜘蛛的规则,
Allow:                允许抓取
Disallow:           不允许抓取
*                        通配符,所有的
$                           结束符,以什么什么结尾。
/                           根目录

注意:以上都是英文状态下输入,包括冒号,空格,冒号之后有一个英文状态下的空格,首页要字母大写,并且写的都是相对路径,而不是绝对路径。

例如:

User-Agent: *                                               针对所有搜索引擎的规则
Disallow: /wp-content/                                不允许抓取这个文件夹
Allow: /wp-content/uploads/LOGO.jip        允许抓取这个文件夹里的这个张图片
Disallow: /*.js$                                             不允许抓取更目录下所有以.js结尾的文件

 

本文来自阿南SEO学习博客原创作者:阿南!!
本文由暖吧收集发布!

标签:

未经允许不得转载:作者:无言染爱, 转载或复制请以 超链接形式 并注明出处 无言博客
原文地址:《什么是robots协议》 发布于2019-09-12

分享到:
赞(0)

评论 抢沙发

2 + 3 =


什么是robots协议

长按图片转发给朋友

Vieu4.0主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册