网站SEO优化基础教程:网站内部优化之Robots设置

原创 发迹创业网  2018-05-11 09:17:08  阅读 285 次 评论 0 条

Robots一般是以txt文件的形式存在,其作用就是告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。如果页面有大量的垃圾页面,为了不影响搜索引擎对网站的印象及收录,可以通过robots.txt文件设置这些页面不被抓取。

网站SEO优化基础教程:网站内部优化之Robots设置1.jpg

robots.txt文件的设置:

建一个文本文档并命名为robots,并在文件填写对应的代码即可,然后将文件上传到网站根目录即可。

一般书写代码如下:

User-agent: *

Disallow: /目录/

代码解释:

User-agent:允许那个搜索引擎可以抓取

Disallow:不允许抓取

Allow:希望被抓取

如果网站的所有内容都希望被抓取,则不用建立robots.txt。

如果网站有robots.txt文件,则可以在百度站长平台检测是否设置正确。

延伸阅读:

robots.txt是搜索引擎中访问网站的时要查看的第一个文件,蜘蛛是根据该文件来确定网站哪些内容可以被抓取。

以上是关于网站内部优化之Robots设置的介绍,关注更多网站建设及seo优化教程,请继续关注大发迹创业项目网。

推荐阅读:

怎么玩游戏赚钱?什么游戏最赚钱?正规的玩游戏赚现金教程!

支付宝红包可以每天免费领取,最高99元!附支付宝红包提现方法!

网上创业:pos机代理加盟赚钱项目

优质原创软文代写、高质量原创文章代写服务


发迹创业网,关注创业、营销、自媒体和站长

扫码立即关注我们!

本文地址:https://cy.dafaji.com/post/115.html
版权声明:本文为原创文章,版权归 发迹创业网 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?