类ChatGPT新玩具要来了，50hx会迎来春天吗？【p106吧】

p106吧关注：26,202贴子：243,971

24回复贴，共1页

类ChatGPT新玩具要来了，50hx会迎来春天吗？

清华开源的，类ChatGPT模型——ChatGLM来啦，最小的模型只有60亿参数，据说模型执行INT4量化以后6G显存都能跑（表示怀疑，估计8G起步）。由于量化以后主要用整数算力，不知道没有阉割整数算力的50hx能不能正常推理，如果能，那到是发挥第二春的机会。

送TA礼物

IP属地:江苏

1楼2023-03-16 00:37回复

glm看起来不太行啊，上下文这方面

IP属地:广东

来自Android客户端2楼2023-03-16 07:40

虽然现在GLM不一定行，但是未来就可能出现几十亿参数级别的，满足阿宅日常需要的模型了。

IP属地:江苏

来自手机贴吧3楼2023-03-16 08:37

收起回复

int4理论占用只有fp32的1/8，fp16的1/4，60亿参数换算过来只有不到3g，并非不可能

IP属地:湖北

来自Android客户端5楼2023-03-16 09:26

在公司的A40上测试了FP16和INT8量化版本ChatGLM-6B，FP16模型对话后占用14.36G，INT8多轮任务后稳定在8.72GB。晚上回家试试P40如何，不担心显存，主要是担心P40速度不行。

IP属地:江苏

来自手机贴吧8楼2023-03-16 13:22

收起回复

参数太小能力会非常受限没什么意义

IP属地:天津

来自Android客户端9楼2023-03-16 15:01

图中，上方是P40加载未量化的FP16模型的耗时，下方是P40加载INT8量化的模型的耗时，启动耗时包含了一次预热。问了同一个续写故事问题，
量化以后无论是启动速度（实时量化加载）还是问答速度都实在太慢，要等待1分多钟...
实际上量化以后，A40上面启动速度和问答速度也好不到哪里去，同样问题要50秒。

IP属地:江苏

10楼2023-03-16 23:35

收起回复

支持技术贴

IP属地:黑龙江

来自Android客户端11楼2023-03-17 08:19

下载的模型大小是12G，模型全部按半精度保存，这个显存占用情况来看半精度浮点数也是原样存储在显存中的。
去查了一下量化的原理，现阶段INT8只是一种存储方案，最后计算时还是要靠除以一个范围值转换为浮点数的，所以浮点能力残废的卡也不能跑。什么时候模型真基本用整数计算了再说。

IP属地:江苏

来自手机贴吧13楼2023-03-17 09:25

P106能跑不？

IP属地:四川

来自Android客户端14楼2023-03-19 00:07

收起回复

用P40跑过了，写个总结，会议通知啥的，文章勉强还算通顺，就是经常写一半就没了

来自Android客户端16楼2023-03-28 14:28

收起回复

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

贴吧热议榜

24回复贴，共1页

<返回p106吧

发表回复

发贴请遵守贴吧协议及“七条底线”贴吧投诉

内容:

使用签名档查看全部

发表

保存至快速回贴

日	一	二	三	四	五	六

类ChatGPT新玩具要来了，50hx会迎来春天吗？

登录百度账号

扫二维码下载贴吧客户端