deepseek吧 关注:106,879贴子:188,540

用4080m跑deepseek-r1-32b-q4模型实况贴

只看楼主收藏回复

上次已经跑过了14b,但是4080m明显还能更强,这次来试试32b
q8肯定是跑不了了,试试q4km吧
选用模型:
DeepSeek-R1-Distill-Qwen-32B-Q4_K_M-GGUF


IP属地:天津1楼2025-01-30 11:11回复
    我使用LMstduio来进行混合运算,因为32b q4要求显存在20左右,4080m 12G明显是不够用的
    还好我有32G内存,这样就能去跑32b了


    IP属地:天津2楼2025-01-30 11:16
    回复
      这是github上对distill的介绍:DeepSeek-R1-Distill 模型是在开源模型的基础上进行微调的,使用了 DeepSeek-R1 生成的样本。我们对它们的配置和分词器进行了轻微的修改。


      IP属地:天津3楼2025-01-30 11:16
      收起回复
        我嘞个


        IP属地:吉林来自Android客户端4楼2025-01-30 11:16
        回复
          LMStudio配置如下(可以参考下)
          CPU:i9-13980hx


          IP属地:天津5楼2025-01-30 11:19
          回复
            内存,显存占用情况



            IP属地:天津6楼2025-01-30 11:21
            回复
              吃个饭,回来再更新


              IP属地:天津7楼2025-01-30 11:22
              回复
                速度怎么样


                IP属地:浙江来自Android客户端8楼2025-01-30 11:56
                收起回复
                  和lz配制差不多,4070ti,32g ddr4,看看能不能强跑32b


                  IP属地:广东来自Android客户端9楼2025-01-30 13:14
                  收起回复
                    多少token/s


                    IP属地:广东来自iPhone客户端10楼2025-01-30 15:16
                    收起回复
                      13700k + 64GB内存 + 4080s win11
                      ollama 直接拉32b q4的模型,openWebUI 中提问
                      提出问题:使用java 写一个冒泡算法的程序
                      思考用时:19分钟58秒
                      完整用时:21分钟48秒
                      能跑起来 ,玩玩还行,但工作学习中 还是没法使用,太慢了


                      IP属地:山东12楼2025-01-30 15:51
                      收起回复
                        (众所周知,过年是需要去亲戚家吃饭的,所以在外面吃饭久一点很正常((()
                        首先来试试写个python井字棋游戏
                        思考使用时间

                        速度:3.92tok/s

                        这个速度,勉强能用吧。。。


                        IP属地:天津13楼2025-01-30 16:17
                        回复
                          再来试试r1的强项
                          来个简单的数学问题:3.11和3.9谁大

                          速度:3.60tok/s

                          说实话,有点慢,改改设置试试?


                          IP属地:天津14楼2025-01-30 16:25
                          回复
                            ok在经过了漫长的调试后,终于找到了我目前这个配置最佳的速度

                            同样的”请用 python 写一个井字棋游戏“这个问题可以跑到5tok/s左右(4.83tok/s)
                            属于是一个勉强够用的水平了,可以参考下我这个配置


                            IP属地:天津15楼2025-01-30 17:22
                            收起回复
                              效果怎么样


                              IP属地:广东来自Android客户端16楼2025-01-30 17:30
                              收起回复