robots.txt的解禁和百度抓取诊断,为什么和站长们分享这两个问题呢,因为漳州网站建设被这两个问题搞的头大,没有很多的经验,只能自己去百度搜索,一步一步去想办法解决,就像一个小丑被玩弄试的,但皇天不负有心人,在今天笔者成功解决了这两个问题,百度也成功抓取了博客首页,虽然是不带w的域名,但这是成功的一小步,喜大普奔,可能SEOer在建站的时候会遇到,所以在这跟大家一起分享。

 1.robots.txt的解禁

很多新手SEO应该跟笔者一样,一开始对网站都是全面设置禁止搜索引擎抓取,就是想等个好日子再把网站开放出来,可是一设置robots.txtx就停不下来了,先看一组漳州网站优化robots.txt的记录。

robots.txt解禁和百度抓取诊断1

在5月30日就设置了百度全面封禁,而且是对全面搜索引擎的封禁,却出来了个小意外,360搜索引擎竟然可以收录博客,而且还是首页,看来360搜索引擎对robots.txt还是相当的有意见,所以在对待360还是百度上站长们得多个心。插个小曲不知道百度站长统计与cnzz统计对360也是两码事不。

笔者在6月26日把robots.txt解禁掉后,一直在站长工具查询robots.txt的情况,到今天7月4日才解禁掉,百度才有去抓取,其中间隔了8天,因为刚新建的博客,心里比较着急,这期间笔者每天就去查一下robots.txt的情况,还是一样的结果对百度全面封禁。但是笔者又想虽然还没解禁,但搜索引擎蜘蛛还是会来爬取只是没有收录吧,所以每天定时的文章更新和外链建设就是漳州网站建设这8天的全部任务,幸好百度还是没让笔者的努力功亏一篑。

robots.txt解禁和百度抓取诊断2

2.百度的抓取诊断

在解禁robots.txt期间,笔者用百度站长工具区抓取诊断,一直是抓取失败,显示信息是网站ip,未解析到ip,这让笔者心惊胆跳的,每隔一会就去诊断,笔者就去百度搜索原因,在网站可以访问无出现任何小插曲,可能有两种说法,其一是robots.txt对搜索引擎封禁,导致未解析到ip,工具出错,其二是dns出错,因为笔者的网站360有抓取收录,就怀疑是dns出错,笔者就更换了国内的dns服务,改为dnspod解析服务商,终于抓取成功了。

总结:网站结构正确,网站可以正常访问,在不清楚robots.txt是否解禁,做好内容优化才是王道,内容优化遵循两个原则:原创的独特性,快速且经常性,解禁robots.txt差不多一周时间,做SEO耐得住寂寞才行,这期间不能去更改网站结构程序代码,否则就不止一周哈,百度自身工具抓取诊断虽然强大,但是也得视情况而定,具体问题具体分析。

【上一篇】 【下一篇】
  • 文章标签:
  • 本文链接: robots.txt解禁和百度抓取诊断 | 黄艺强SEO博客
  • 版权所有: 除非注明,文章均为黄艺强SEO博客首创-转载请标明出处,谢谢