图拉丁吧 关注:7,634,256贴子:128,811,584
  • 31回复贴,共1

大神速进-百万条数据计算需要的配置

只看楼主收藏回复

一楼必须给度娘?


IP属地:上海1楼2014-05-30 09:42回复
    最近工作需要,必须经常对130万条数据进行大量分析,匹配,筛选,透视,回归等初级分析,家里艹到3.2G的5639已经不堪重负。
    昨天对2组40万的数据进行匹配时,发现12个核心占用率都是100%,一个简单匹配用了3分钟。而且打开一个40万数据的EXCEL也要用1分钟,顿时累觉不爱。
    因此请大神出招,需要多路服务器来应对这些大量应用。还有简单的数学分析,EXCEl是否够用?


    IP属地:上海2楼2014-05-30 09:51
    回复
      双路x5650
           这绝逼不仅仅是为了凑够十五字,这是这是水笔的信仰


      IP属地:广西来自Android客户端3楼2014-05-30 09:59
      回复
        加固态
             这绝逼不仅仅是为了凑够十五字,这是这是水笔的信仰


        IP属地:广西来自Android客户端4楼2014-05-30 09:59
        收起回复
          大神,早餐好了请强势插入!


          IP属地:上海5楼2014-05-30 09:59
          回复
            EXCEL支持 双路5650 24核运算么?


            IP属地:上海6楼2014-05-30 10:04
            收起回复
              不用只盯着硬件
              数据处理算法才是重中之重 效率突破口在算法上


              7楼2014-05-30 10:14
              收起回复
                首先,加固态硬盘明显对楼主的需求没任何帮助。
                我只懂数据库的, 不知道楼主说的数据处理是哪个行业的?
                130万条记录对我们来说都是小数据量。 每天新增记录数都不止这些。
                EXCEL匹配数据,肯定比SQL处理起来慢了很多很多了。这个是先天缺陷。
                楼主导入数据库中去处理,应该会好很多的。
                楼主所在行业不清楚所以以上只是猜测。


                IP属地:上海8楼2014-05-30 10:23
                收起回复
                  这个时候AMD的模块化设计就有用了


                  IP属地:江苏9楼2014-05-30 10:32
                  收起回复


                    IP属地:天津来自iPhone客户端10楼2014-05-30 10:38
                    回复
                      数据库方面,AMD曾经一度超过INTEL。不过几年前就被反超了。


                      IP属地:上海11楼2014-05-30 10:41
                      回复
                        一百多万条。。。这应该是算法问题。。


                        来自Android客户端12楼2014-05-30 10:43
                        收起回复