安徽SEO顾问

毛主席说过,实践出真知(也许他老人家也许没说过...不过这些不重要)重要的是本博将持续更新,持续分享。
网络营销优化QQ交流群:436867053

关于robots文件对于百度抓取网页有没有效

    今天百度site了下我的的网站,因为前段时间我的网站一直robots屏蔽状态的,前几天放开的,今天一看site结果如下:

百度site抓取

    由于前期调整换了好几个系统和模板,上图结果好多是以前替换的,现在是没有的,说明就算有robots协议,百度一样会抓取你的网站,只是把你放到数据库而不进行索引罢了,后期你robots文件权限放开后,就会把以前的数据库文件进行索引,并不是说你的网站robots屏蔽,百度蜘蛛就不抓取了。

    在看360结果如下:

    

360site结果

    在看谷歌的结果如下:

谷歌site抓取

    那么什么是Robots协议呢?

    Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

    Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

    1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

    2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

    百度搜索引擎优化最权威的参考资料:http://www.baidu.com/robots.txt

    谷歌搜索引擎优化最权威的资料参考:https://www.google.com/robots.txt

    robots如果在搜索引擎优化中的作用对于某些网站来说是直接决定网站的关键词排名的,很多网站由于程序原因,robots.txt没有写好 ,收录一团糟。




相关阅读

发表看法

额 本文暂时没人评论 来添加一个吧

Top