欢迎来到成都seo优化_网络推广_网站建设平台-点瑞网络科技有限公司【官网】

联系我们|网站地图|SEO诊断

18482003530

当前位置:主页 > SEO优化 > 优化公司 > 浅析网站的robots.txt文本有什么用处呢?

浅析网站的robots.txt文本有什么用处呢?

分类:优化公司   时间:2019-09-06 作者:成都seo 围观:

  很多seoer优化人员,都会给网站做robots协议,什么是robots协议呢?其实简单的来说就是一个txt文本,那么这个txt文本有什么用处呢?今天成都小编来给大家说一下。
 

网站的robots.txt文本有什么用处呢?
 

  什么是robots协议?
 

  robots是网站和搜索引擎之间的一个协议。用来防止一些不想被搜索引擎索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录
 

  robots协议怎么写?
 

  robots的常用的命令一般有:
 

网站的robots.txt文本有什么用处呢?
 

  User-agent:*(这里的*代表的所有的搜索引擎种类,这句话表示可以让所有的搜索引擎都可以访问抓取这个网站。)

  Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)

  Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)
 

  robots协议的作用
 

  通过我们上面的内容,我们对robots也有了了解。当搜索引擎王文网站时,会优先访问网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?
 

  1、如果没有robots,搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也决对不好。
 

  2、没有robots,搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。
 

网站的robots.txt文本有什么用处呢?

  网站的robots.txt文本有什么用处呢,相信大家已经有所了解,robots协议还是加上比较好,没有很麻烦,我们一般会把robots放在FTP的根目录下,有助于蜘蛛的抓取,想要了解更多关于seo优化的细节和知识,可以持续关注我们的官网。

 

文章标题:浅析网站的robots.txt文本有什么用处呢?

本文地址:/seoyh/yhgs/1398.html

 

上一篇:网站优化如何写TDK方式有哪些?

下一篇:大型企业标准的SEO审查,该如何做?

展开 展开 关闭

百度了 N家 网络营销公司不知道哪家好?哪家更实惠? 点我吧 ,点瑞科技 合作案例 ,网络营销认准点瑞品牌!

在线客服
在线客服
服务热线