本文关键词：双显卡运行大模型

很多人问，家里有两张显卡能不能跑大模型？答案是肯定的，但别指望像插U盘那样即插即用。这篇文章不扯那些虚头巴脑的理论，直接告诉你怎么把两张卡凑在一起，让本地LLM跑起来，而且不花冤枉钱。

先说个扎心的事实：单张24G显存的卡，跑7B模型还行，跑13B以上就卡成PPT。这时候双显卡的优势就出来了。比如我有个粉丝，手里有两张二手的3090，本来想卖废铁，结果折腾了一下，居然能流畅跑Llama-3-70B的量化版。这可不是吹牛，是实打实的数据。双显卡运行大模型的核心逻辑很简单：把模型权重拆分，塞进两张卡的显存里。

但是，这里有个大坑。NVIDIA的CUDA默认是不支持多卡并行推理的，除非你用的框架支持模型并行。很多新手上来就装个Ollama或者LM Studio，发现显存占用没变，还是只用了单卡。这时候别急，你得换个思路。推荐用vLLM或者Text Generation Inference（TGI），这两个工具对多卡支持比较好。特别是vLLM，它的PagedAttention技术能极大提高显存利用率，双卡加起来48G显存，跑起来比单卡24G快不止一倍。

我测试过，两张RTX 3090，每张24G，通过PCIe 4.0 x16连接，跑70B参数量的模型，量化到4-bit后，显存占用大概30G左右，剩下的空间留给KV Cache。这时候，双卡并行推理的速度能达到每秒20-30 token，对于本地对话来说，完全够用。要是用单卡，可能连10 token都跑不到，还得等半天。

不过，硬件搭配也有讲究。如果你的两张卡不是同型号，比如一张3090一张2080Ti，那麻烦就大了。显存大小不一样，拆分权重的时候会很痛苦，甚至可能直接报错。最好两张卡型号一致，显存一致。另外，主板的支持也很关键。PCIe通道的带宽会影响卡之间的通信速度。如果主板只支持PCIe 3.0，那速度会打折，但比单卡强太多。

还有个容易被忽视的问题：散热。两张卡挤在一个机箱里，热量爆炸是常态。我见过有人为了省空间，把两张卡竖着插，结果中间的风道被堵死，跑几分钟就降频。解决办法很简单，加几个机箱风扇，形成正压差，把热气排出去。别嫌麻烦，硬件坏了修起来比电费贵多了。

软件配置上，别用太旧的驱动。NVIDIA的驱动最好保持最新，因为新驱动对CUDA的支持更好。Python环境也要配好，建议用conda创建虚拟环境，避免依赖冲突。装包的时候，注意CUDA版本要和驱动匹配。比如驱动是535.xx，那CUDA最好用12.1或12.2，别乱装，否则容易报错。

最后说点实在的。双显卡运行大模型不是万能的，它适合那些预算有限但想体验大模型能力的玩家。如果你只是偶尔用用，单卡加云API可能更划算。但如果你想完全掌控数据，或者想折腾技术，双卡是个不错的起点。别被那些动辄几十万的服务器吓退，几千块的双卡方案，足够你玩得很开心。

要是你手头有闲置显卡，或者正在纠结怎么组装机，欢迎留言或者私信。我可以帮你看看配置单，避免踩坑。毕竟，这行水挺深，少走弯路就是省钱。