。

你可以试试，q4行了

感觉受限于上下文数量，我故意设置了50个上下文数量。
然后发现思考部分就会计算上下文数量了。
而且超出上下文数量就会卡住或者胡言乱语，总之上下文数量不能太低。
而上下文数量和显存有关，1000字大概占用200MB以上的显存？
所以上下文数量是非常吃显存的，AI模型文件也很吃显存，70b的应该是43G起步。