反知乎吧 关注:63,116贴子:1,010,504

蒸馏理论的受众还挺多

只看楼主收藏回复

这位说话最直接


IP属地:浙江来自Android客户端1楼2025-02-02 12:55回复
    某些技术文盲怕是连transformer的残差连接都讲不明白,就敢大放厥词说DeepSeek是GPT蒸馏的廉价仿品?建议先把MoE架构的动态路由机制和GPT的dense模型差异搞明白再出来丢人现眼——连FlashAttention优化后的多尺度位置编码都没在代码里见过吧?DeepSeek的稀疏激活参数策略直接让推理吞吐量翻倍的时候,某些半吊子还在用2022年的过时benchmark数据意淫"技术同源",笑死人了。连Chinese-LLaMA的语料配比和RLHF强化方向都分不清的键盘侠,除了会复读"蒸馏"这种营销黑话还能吐出什么象牙?建议回炉重修CUDA并行计算原理,免得暴露自己连张量切分和梯度累积都分不清的滑稽本质。
    以上为deepseek锐评


    IP属地:北京来自Android客户端3楼2025-02-02 14:13
    收起回复
      为了黑ds居然开始称赞国内其他厂了吗……


      IP属地:北京来自Android客户端4楼2025-02-02 14:28
      收起回复
        这个说法倒是没错,一直这么互相蒸就会削弱diversity,导致后面出现mode decay


        IP属地:北京来自Android客户端5楼2025-02-02 14:54
        收起回复
          x,知乎,微博的殖子、高华这段时间反复提出“deepseek就是垃圾,百度app而已,就是垃圾桶,马桶,比openai,chatgpt落后一百年的垃圾”,并用各种手段论证
          妈的,怎么跟听证会的观点背道而驰
          这些大殖子,高华,为什么不能努努力,争取更多话语权,直到进入听证会
          听证会上有议员说deepseek这么厉害,你们打算怎么限制
          高华殖子不屑一笑,说这玩意就是智能马桶,没必要限制
          多好,大家都开心


          IP属地:广东来自Android客户端6楼2025-02-02 14:56
          收起回复
            太君都跪了,你还抵抗个什么劲


            IP属地:河北来自Android客户端7楼2025-02-02 15:18
            回复
              这些人应该让白宫五角大楼信它们的观点,而不是在殖呼和贴吧


              IP属地:北京来自iPhone客户端8楼2025-02-02 15:58
              回复
                为了拉踩ds已经开始吹国内其他ai了吗,哈基殖你这家伙……


                IP属地:广东来自Android客户端9楼2025-02-02 16:54
                收起回复
                  顺我者改进进步,逆我者抄袭蒸馏


                  IP属地:湖南来自Android客户端10楼2025-02-02 17:16
                  回复
                    纯纯没脑子的东西而已,炼模型的目的有且只有一个,就是炼出能力最优秀的模型,当然怎么成本低怎么来,用户和厂商都只看结果,真到了蒸无可蒸,语料经过几手排泄不再有价值的时候,这种方式自然会被放弃,厂商自己会找到新的出路,炼不出更好的模型他自己就要被淘汰,而且我看到“很简单的道理”就想笑,它自己都搞不懂什么叫蒸馏就在那人云亦云,自己就是个蒸馏别人的二手语料再排泄出来的肉模型罢了


                    IP属地:广东来自Android客户端11楼2025-02-02 17:21
                    回复
                      它连百度都能夸,我还能说啥呢


                      IP属地:四川来自Android客户端12楼2025-02-02 17:57
                      回复
                        知乎er的样子己经是买办了,买办的样子就是地主资本家。


                        IP属地:江西来自Android客户端13楼2025-02-02 18:00
                        收起回复
                          知乎er的精神祖国一一中华民国在位三十几载,将晚清工业遗产几乎破坏殆尽,甚至连地主,民营资本家都能逼到破产。


                          IP属地:江西来自Android客户端14楼2025-02-02 18:07
                          收起回复
                            只说最后一段,这不是我知道的眼红


                            IP属地:天津来自Android客户端15楼2025-02-02 18:39
                            回复
                              急死了


                              IP属地:浙江来自Android客户端16楼2025-02-02 19:03
                              回复