新手在学习seo的时候,相信robots.txt是比较早接触到的,因为他很重要,也很常见,那么robots.txt具体有些什么作用呢,在网站优化中,我们要将robots.txt文件放在网站的哪个位置才能起到对应的作用呢?
Robots.txt有什么作用,应该放在网站哪个地方
今天小编就给大家分享下哦!
Robots.txt文件的作用:
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
3、阻止搜索引擎索引网站隐私性的内容。
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
比如:
http://www.zhaodaiban.com/robots.txt 有效
http://wwww.zhaodaiban.com/bbs/robots.txt 无效