我干大模型这行七年了。

见过太多人为了省钱，折腾各种奇奇怪怪的显卡组合。

今天聊聊3070双卡跑大模型这事儿。

说实话，这玩意儿就像个“薛定谔的猫”。

用好了，真香。

用不好，直接心态崩盘。

我有个朋友，去年为了搞本地部署，咬牙买了两张二手的3070。

他以为省下了买A卡的钱，结果呢？

驱动装了一周，CUDA版本对不上，PyTorch报错报到手软。

最后跑个7B的小模型，速度比云端慢十倍。

这就是典型的“贪小便宜吃大亏”。

但如果你懂行，3070双卡跑大模型确实是个不错的入门方案。

先说硬件。

两张3070，显存加起来24G。

别高兴太早，PCIe通道不够的话，两张卡之间通信能把你累死。

你得确认主板支持PCIe 3.0甚至4.0，而且插槽间距要够。

很多ITX机箱根本塞不下双卡，散热更是灾难。

我见过有人把两张卡塞进一个普通机箱，开机半小时，温度直接飙到85度。

这时候，3070双卡跑大模型就不是性能问题了，是保命问题。

再说软件环境。

别指望一键安装。

你得会写脚本，得懂怎么量化模型。

INT4量化后的7B模型，大概需要6-8G显存。

两张卡分担，压力不大。

但如果是13B或者更大的模型，24G显存捉襟见肘。

这时候你就得用vLLM或者llama.cpp这种推理框架。

别用原始的HuggingFace transformers，显存溢出（OOM）会让你怀疑人生。

我实测过，用llama.cpp在双3070上跑Llama-2-13B。

生成速度大概在每秒15-20个token。

对于聊天机器人来说，这个速度勉强能接受。

但如果你想要实时对话，那还是得忍痛上云端。

这里有个坑，很多人不知道。

双卡并行需要代码支持。

不是插上两张卡，程序就自动调用两张卡了。

你得修改代码，或者使用支持多卡并行的框架。

否则，第二张卡就是摆设，只占着茅坑不拉屎。

我见过最惨的案例，一个人买了四张3070，结果因为PCIe带宽瓶颈，性能还不如一张4090。

这就是不懂底层原理的下场。

再说说价格。

现在二手3070大概多少钱？

大概1200-1500元左右。

两张就是3000块左右。

加上主板、电源、机箱，总成本控制在5000以内。

这个性价比，确实比买一张二手3090（大概4000+）要稳妥些。

毕竟3090矿卡风险太高。

但你要清楚，3070双卡跑大模型，适合什么场景？

适合学习、适合做简单的RAG（检索增强生成）、适合跑小参数模型。

如果你想训练模型，趁早死心。

显存太小，连Batch Size都调不高。

训练？那是4090或者A100的事。

最后，给想折腾的朋友几个建议。

第一，电源一定要足。

双卡满载功耗接近600W，加上CPU，至少上750W金牌电源。

别省这点钱，炸了主板得不偿失。

第二，散热要做好。

最好买带涡轮风扇的服务器版3070，或者自己改装水冷。

第三，心态要稳。

遇到报错，别急着骂娘。

去GitHub找Issue，去Discord问老外。

国内社区虽然热闹，但很多回答都是复制粘贴的。

总之，3070双卡跑大模型，不是万能钥匙。

它是穷人的玩具，也是极客的乐园。

如果你只是想体验AI的魅力，云端API更划算。

如果你真想深入底层，搞懂分布式推理，那这趟浑水，值得蹚。

别盲目跟风，先算好账，再动手。

毕竟，头发和钱包，总得保一个。