安徽SEO顾问

毛主席说过,实践出真知(也许他老人家也许没说过...不过这些不重要)重要的是本博将持续更新,持续分享。
网络营销优化QQ交流群:436867053

关于robots文件对于百度抓取网页有没有效

    今天百度site了下我的的网站,因为前段时间我的网站一直robots屏蔽状态的,前几天放开的,今天一看site结果如下:

百度site抓取

    由于前期调整换了好几个系统和模板,上图结果好多是以前替换的,现在是没有的,说明就算有robots协议,百度一样会抓取你的网站,只是把你放到数据库而不进行索引罢了,后期你robots文件权限放开后,就会把以前的数据库文件进行索引,并不是说你的网站robots屏蔽,百度蜘蛛就不抓取了。

    在看360结果如下:
<