我使用LMstduio来进行混合运算，因为32b q4要求显存在20左右，4080m 12G明显是不够用的
还好我有32G内存，这样就能去跑32b了

这是github上对distill的介绍：DeepSeek-R1-Distill 模型是在开源模型的基础上进行微调的，使用了 DeepSeek-R1 生成的样本。我们对它们的配置和分词器进行了轻微的修改。

我嘞个

LMStudio配置如下（可以参考下）
CPU：i9-13980hx

内存，显存占用情况

吃个饭，回来再更新

速度怎么样

和lz配制差不多，4070ti，32g ddr4，看看能不能强跑32b

多少token/s

13700k + 64GB内存 + 4080s win11
ollama 直接拉32b q4的模型，openWebUI 中提问
提出问题：使用java 写一个冒泡算法的程序
思考用时：19分钟58秒
完整用时：21分钟48秒
能跑起来 ，玩玩还行，但工作学习中 还是没法使用，太慢了

（众所周知，过年是需要去亲戚家吃饭的，所以在外面吃饭久一点很正常（（（）
首先来试试写个python井字棋游戏
思考使用时间

速度：3.92tok/s

这个速度，勉强能用吧。。。

再来试试r1的强项
来个简单的数学问题：3.11和3.9谁大

速度：3.60tok/s

说实话，有点慢，改改设置试试？

ok在经过了漫长的调试后，终于找到了我目前这个配置最佳的速度

同样的”请用 python 写一个井字棋游戏“这个问题可以跑到5tok/s左右（4.83tok/s）
属于是一个勉强够用的水平了，可以参考下我这个配置

效果怎么样