deepseek吧 关注:106,886贴子:188,552
  • 8回复贴,共1

用4080m跑deepseek-r1-32b-q4模型实况贴

取消只看楼主收藏回复

上次已经跑过了14b,但是4080m明显还能更强,这次来试试32b
q8肯定是跑不了了,试试q4km吧
选用模型:
DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF


IP属地:天津1楼2025-01-30 11:11回复
    我使用LMstduio来进行混合运算,因为32b q4要求显存在20左右,4080m 12G明显是不够用的
    还好我有32G内存,这样就能去跑32b了


    IP属地:天津2楼2025-01-30 11:16
    回复
      这是github上对distill的介绍:DeepSeek-R1-Distill 模型是在开源模型的基础上进行微调的,使用了 DeepSeek-R1 生成的样本。我们对它们的配置和分词器进行了轻微的修改。


      IP属地:天津3楼2025-01-30 11:16
      收起回复
        LMStudio配置如下(可以参考下)
        CPU:i9-13980hx


        IP属地:天津5楼2025-01-30 11:19
        回复
          内存,显存占用情况



          IP属地:天津6楼2025-01-30 11:21
          回复
            吃个饭,回来再更新


            IP属地:天津7楼2025-01-30 11:22
            回复
              (众所周知,过年是需要去亲戚家吃饭的,所以在外面吃饭久一点很正常((()
              首先来试试写个python井字棋游戏
              思考使用时间

              速度:3.92tok/s

              这个速度,勉强能用吧。。。


              IP属地:天津13楼2025-01-30 16:17
              回复
                再来试试r1的强项
                来个简单的数学问题:3.11和3.9谁大

                速度:3.60tok/s

                说实话,有点慢,改改设置试试?


                IP属地:天津14楼2025-01-30 16:25
                回复
                  ok在经过了漫长的调试后,终于找到了我目前这个配置最佳的速度

                  同样的”请用 python 写一个井字棋游戏“这个问题可以跑到5tok/s左右(4.83tok/s)
                  属于是一个勉强够用的水平了,可以参考下我这个配置


                  IP属地:天津15楼2025-01-30 17:22
                  收起回复