24小时热线:18058779213

免费询价
今日免费诊断名额

仅剩

找代办客服经理电话

18058779213

您也可以留下您的电话号码,找代办客服经理会联系您,并免费为您定制一份推广方案

信息保护中请放心填写

在线免费咨询

robots.txt有什么作用,应该放在网站哪个地方

2019-10-29 11:05:51

新手在学习seo的时候,相信robots.txt是比较早接触到的,因为他很重要,也很常见,那么robots.txt具体有些什么作用呢,在网站优化中,我们要将robots.txt文件放在网站的哪个位置才能起到对应的作用呢?

7779aaaa.jpg

Robots.txt有什么作用,应该放在网站哪个地方


今天小编就给大家分享下哦!


Robots.txt文件的作用:

 

1、屏蔽网站内的死链接。

 

2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。

 

3、阻止搜索引擎索引网站隐私性的内容。

 

因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。

 

robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。

 

放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。

 

比如:

 

http://www.zhaodaiban.com/robots.txt  有效

 

http://wwww.zhaodaiban.com/bbs/robots.txt  无效