网站优化吧 关注:26,626贴子:62,934
  • 10回复贴,共1

西安SEO:影响百度爬虫对网站抓取量的因素

只看楼主收藏回复



IP属地:广东1楼2018-01-20 17:00回复
    影响百度爬虫对网站抓取量的因素有哪些? 程博SEO博客首先介绍一下百度爬虫抓取量,其实就是百度爬虫对站点一天抓取网页的数量,从百度内部透露来说,一般会抓两种网页,其中一个是这个站点产生新的网页,一般 中小型站当天就可以完成,大型网站可能完成不了,另一种是百度以前抓过的网页,它是需要更新的,比如一个站点已经被百度收录了5w,那么百度会给出一个时 间段,比如30天,然后平均一下,每天到这个站点上面抓5W/30的这样一个数字,但是具体的量,百度有自己的一套算法公式来计算。


    IP属地:广东2楼2018-01-20 17:01
    回复
      影响百度抓取量的因素。
      1.站点安全 对于中小型站点,在安全技术上比较薄弱,被黑被篡改的现象非常常见,一般被黑有常见几种情况,一种是主域被黑,一种是标题被篡改,还有一种是在页面里面加 了很多的外链。一般主域被黑就是被劫持,就是主域被进行301的跳转到指定的网站,而如果在百度那边发现跳转后的是一些垃圾站,那么你这个站点抓取量会里 面降低。


      IP属地:广东3楼2018-01-20 17:01
      回复
        2.内容质量 如果抓取了10万条,而只有100条建库了,那么抓取量还会降下来,因为百度会认为抓取的网页比例很低,那么就没必要去抓取更多,所以要"宁缺毋滥",特别要注意在建站的时候一定要注意质量,不要采集一些内容,这是一种潜在的隐患。


        IP属地:广东4楼2018-01-20 17:02
        回复
          3.站点响应速度 ①网页的大小会影响抓取,百度建议网页的大小在1M以内,当然类似大的门户网站,如新浪另说。 ②代码质量、机器的性能及带宽,这个不多说,后续笔者会单独拿出一篇文章讲解,请实时关注“营销小能手”。 http://www.52rqx.com


          IP属地:广东5楼2018-01-20 17:02
          回复
            4.同ip上面主域的数量 百度抓取都是按照ip进行去抓取的,比如在一个ip上一天抓取了1000w个页面,而在这个站点上有40W的站点,那么平均下来抓取每个站点的数量会分的 很少,所以在选择服务商的时候,要看一看同ip上面有没有大站,如果有大站的话,可能会被分得的抓取量会很少因为流量都跑大站上面去了。


            IP属地:广东6楼2018-01-20 17:02
            回复
              各位可以到我的博客看看,交流一下
              西安seo知识(http://www.52rqx.com


              IP属地:广东7楼2018-01-20 17:03
              回复
                留下我的足迹


                8楼2018-01-26 14:44
                回复
                  帮顶


                  IP属地:河北来自Android客户端9楼2018-03-31 16:09
                  回复
                    帮顶


                    IP属地:广东来自iPhone客户端10楼2018-04-04 19:16
                    回复
                      顶你


                      IP属地:广东来自iPhone客户端11楼2018-06-19 00:11
                      回复