本文关键词：96核心没有显卡运行deepseek

说实话，刚拿到那台96核的服务器时，我心里是打鼓的。

没显卡，纯CPU，跑DeepSeek这种大模型？

同行都笑我疯了，说这是拿牛车去拉高铁。

但我偏不信邪。

折腾了半个月，从报错报到手软，到终于跑通。

今天把血泪经验掏出来，不整虚的，直接上干货。

很多人以为没显卡就玩不转大模型，这是误区。

96核心虽然单核弱，但胜在核心多啊。

只要策略对，CPU也能跑出不错的效果。

第一步，别碰原始权重，直接转量化。

原始FP16格式，显存和内存都扛不住。

我用的是AWQ或者GPTQ量化，精度降到4bit。

这一步是关键，体积直接缩小75%。

内存占用从几百G降到几十G，96核的服务器才吃得消。

第二步，选对推理引擎，别用老掉牙的HuggingFace。

推荐用vLLM或者llama.cpp。

llama.cpp对CPU优化极好，支持GGUF格式。

下载对应的GGUF文件，加载速度快得惊人。

配置参数里，把线程数开到最大。

96核嘛，全用上，别浪费。

第三步，调整上下文窗口，别贪大。

虽然内存够，但推理速度会慢。

我一般把context设为2k或者4k。

够用就行，别为了显示“高大上”拉满。

跑起来后，第一句生成可能有点卡。

别慌，这是预填充阶段，正常现象。

后面逐字生成的速度，大概每秒3-5个字。

对于代码辅助或者文档摘要，完全能接受。

要是追求极致速度，可以试试蒸馏版的小模型。

比如DeepSeek的1.3B或者7B版本。

96核跑7B，那是真·丝般顺滑。

我有个客户，专门拿这个做内部知识库问答。

没买任何GPU，省了十几万硬件钱。

虽然并发量上不去，但单用户响应很快。

关键问题：内存带宽。

CPU推理瓶颈不在算力，在内存读写速度。

如果你的服务器内存是DDR4，建议升级到DDR5。

或者至少保证双通道，频率越高越好。

这点我吃过亏，一开始内存带宽不够，卡成PPT。

换了高频内存后，速度直接翻倍。

还有，散热一定要做好。

96核全开，发热量巨大。

我专门加了工业风扇，温度控制在70度以下。

不然CPU降频，那就前功尽弃了。

最后说点心态上的事。

别指望CPU能比显卡快，那是做梦。

我们的目标是“能用”，且“成本极低”。

对于个人开发者，或者小团队，这方案真香。

不用求爷爷告奶奶租GPU云主机。

数据在自己手里，安全又放心。

96核心没有显卡运行deepseek，真的可行。

只要你不追求毫秒级响应，它就很好用。

别再被那些“必须GPU”的言论吓住了。

技术是为了解决问题，不是为了炫技。

能跑起来，就是好方案。

如果你也在折腾，欢迎评论区交流。

我是老张，干了9年大模型，只说真话。

希望这篇笔记，能帮你省下不少冤枉钱。

记住，量化要彻底，线程要拉满，内存要够快。

这三点做到了，96核也能飞起来。

别犹豫，今晚就试试，你会回来谢我的。