快捷导航
查看: 99|回复: 0

Robots协议是什么,Robots.txt的作用!

[复制链接]

管理员

发表于 2020-6-29 22:07 | 显示全部楼层 |阅读模式
当你开启一个全新站点的时候,默认的情况下网站根目录中是没有Robots.txt文件的,这导致很多站长并不关心Robots协议,这为日后的运营,埋下隐患,比如: ① 产生大量重复页面,动态链接被抓取。 ② 新站无内容栏目,被收录,影响站点质量评定。 对于新站而言,由于蜘蛛抓取频率有限,我们应该合理利用Robos协议,巧用Robots.txt文件,引导蜘蛛爬行与抓取。 <h2>那么,Robots协议是什么,Robots.txt的作用有哪些? </h2><h3>1、Robots协议 </h3>简单理解:Robots协议是搜索引擎蜘蛛爬行的一种标准,当蜘蛛来访的时候会首先检测网站根目录下是否存在Robots.txt这个文件。 如果存在,它会根据Robots协议的规定,去抓取只被SEO管理允许抓取的页面,而屏蔽不需要抓取的内容,它可以理解为是蜘蛛与站点之间的桥梁。 <h3>2、Robots.txt文件样式 </h3>Robots.txt通常存放在网站跟目录,你可以登录FTP查看站点跟目录下是否存在这个文件,如果没有可以自行创建,当Robotx.txt为空的时候,它代表不为网站做任何的抓取限制。 通常Robots.txt的写法如下: User-agent:* Allow:/ 它表示允许抓取所有的内容,而将Allow:/替换成Disallow:/则表示禁止抓取站点所有内容。 其中值得注意的是,百度支持使用通配符&quot;*&quot;和&quot;$&quot;来模糊匹配URL,具体关于Robots.txt文件的相关设置,你可以参考百度官方文档,百度搜索资源平台-&gt;网站支持-&gt;数据监控-&gt;Robots。 同时,当你修改了相关Robots.txt文件,而并不清楚是否设置正确的时候,也可以通过上述工具进行检测。 <h3>3、Robots.txt常见问题 </h3>① 如何生成Robots.txt文件 目前线上平台有很多SEO推广软件,都支持客户端自动生成Robots.txt文件,它提供了一些便利的条件,比如:自动屏蔽一些没必要的爬虫,避免浪费过多资源,以及相关栏目页面与图片等。 ② 网站不收录,熊掌号不出数据 通常出现这个问题,你可以第一时间查看Robots.txt文件,是否由于操作失误,屏蔽了百度蜘蛛,导致网站不收录 ③ Robots.txt与nofollow标签 有的时候当你试图屏蔽一个URL的时候,明明在Robots.txt禁止抓取了,仍然会被索引,这种情况是可能存在的,为了安全起见,你可以在&lt;meta&gt;标签中,添加nofollow,来达到万无一失的作用。 总结:Robots.txt文件是一个值得站长研究的协议,它合理的调配网站资源,有利于站点运营的快速发展。                 966SEO学习网 https://www.966seo.com
高级模式
B Color Image Link Quote Code Smilies

本版积分规则

966SEO学习网

GMT+8, 2020-12-5 10:15

Powered by SEO学习网  本站采用创作共用版权 CC BY-NC-SA 3.0 CN 许可协议,转载或复制请注明出处

© 2014-2019 投诉建议及友链申请联系邮箱:[email protected]

快速回复 返回顶部 返回列表