网站SEO优化基础教程:网站内部优化之Robots设置

原创 大发迹创业网  2018-05-11 09:17:08  阅读 34 次 评论 0 条

Robots一般是以txt文件的形式存在,其作用就是告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。如果页面有大量的垃圾页面,为了不影响搜索引擎对网站的印象及收录,可以通过robots.txt文件设置这些页面不被抓取。

网站SEO优化基础教程:网站内部优化之Robots设置1.jpg

robots.txt文件的设置:

建一个文本文档并命名为robots,并在文件填写对应的代码即可,然后将文件上传到网站根目录即可。

一般书写代码如下:

User-agent: *

Disallow: /目录/

代码解释:

User-agent:允许那个搜索引擎可以抓取

Disallow:不允许抓取

Allow:希望被抓取

如果网站的所有内容都希望被抓取,则不用建立robots.txt。

如果网站有robots.txt文件,则可以在百度站长平台检测是否设置正确。

延伸阅读:

robots.txt是搜索引擎中访问网站的时要查看的第一个文件,蜘蛛是根据该文件来确定网站哪些内容可以被抓取。

以上是关于网站内部优化之Robots设置的介绍,关注更多网站建设及seo优化教程,请继续关注大发迹创业项目网。

本文地址:http://cy.dafaji.com/post/115.html
版权声明:本文为原创文章,版权归 大发迹创业网 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?