虽然现在GLM不一定行，但是未来就可能出现几十亿参数级别的，满足阿宅日常需要的模型了。

在公司的A40上测试了FP16和INT8量化版本ChatGLM-6B，FP16模型对话后占用14.36G，INT8多轮任务后稳定在8.72GB。晚上回家试试P40如何，不担心显存，主要是担心P40速度不行。

图中，上方是P40加载未量化的FP16模型的耗时，下方是P40加载INT8量化的模型的耗时，启动耗时包含了一次预热。问了同一个续写故事问题，
量化以后无论是启动速度（实时量化加载）还是问答速度都实在太慢，要等待1分多钟...
实际上量化以后，A40上面启动速度和问答速度也好不到哪里去，同样问题要50秒。