🐢的大语言模型记得是租服务器的，本地的4090只负责跑l2d等杂七杂八部分
单纯想试试本地AI聊天的话，找点开源大语言模型部署一下不算麻烦，但要训练微调的话好像就要专业卡级别了🤔
*截图是GLM-4训练微调的配置要求

自己跑点小的模型没问题, 想要水平高一点要用专业卡, 一般自己弄的话去租云算力比较合适

带不起

玩游戏没什么玩不了，跑ai还真就带不动

你这个配置比我要轻松一些，不过，显存还是要多些才能跑好点的本地llm模型，目前主流方案大概都是走联网api路线。llm，tts，asr（有需要的话），这仨都是压榨显存和内存的大头，所以云端服务器可能是一个较好的选择。当然，我这还是在假定你明白这个项目大致细节的基础上。