手里攥着颗AMD 8700G，想拿它跑大模型？别急，先看完这篇再动手，能帮你省下不少冤枉钱和折腾的时间。这篇文章不整虚的，只聊真实体验、坑点以及怎么让这颗APU在推理时跑得稍微顺畅点。

先说结论：8700G做推理（Inference）可以，但别指望它能像RTX 4090那样起飞。它最大的优势是核显共享内存，劣势也是内存带宽和算力瓶颈。如果你是想本地部署7B以下的小模型，或者做简单的RAG应用，它完全够用；但要是想微调或者跑70B的大参数模型，趁早打消念头，会卡到你怀疑人生。

很多兄弟问，8700g部署大模型需要买额外的显卡吗？我的建议是：如果你预算有限，且主要需求是本地知识库问答，不需要额外显卡，利用它自带的Radeon 840M核显和LPDDR5X高频内存，通过量化技术，还是能跑起来的。

这里有个真实案例。我有个朋友，搞法律行业的，需要本地处理合同。他用了8700G配32GB内存，部署了Llama-3-8B-Instruct的4bit量化版本。结果呢？首字延迟大概1.5秒左右，后续生成速度在每秒10-12 token。对于阅读合同这种场景，这个速度完全能接受，而且数据不出本地，老板很放心。但是，如果他把模型换成70B的，那生成一个字要等好几秒，基本没法用。

所以，8700g部署大模型的核心策略就是“小模型+高量化”。千万别去碰FP16精度的大模型，显存（其实是内存）根本扛不住。推荐你用Ollama或者LM Studio这些工具，它们对AMD的支持现在越来越好了，尤其是通过WDDM驱动或者Linux下的ROCm环境（虽然8700G在Linux下驱动还在完善中，Windows下用WDDM也能跑，只是效率略低）。

避坑指南来了，重点看这三点：

第一，内存一定要双通道且频率高。8700G是APU，它的性能瓶颈很大程度上取决于内存带宽。如果你用的是单通道或者低频DDR4，那推理速度直接打对折。一定要上DDR5 6000MHz以上，并且组双通道。我测试过，单通道和双通道在生成速度上差了接近40%，这差距太大了。

第二，散热不能忽视。8700G积热问题一直存在，跑大模型时CPU和GPU同时满载，温度很容易破90度。一旦过热，降频立马到来，速度断崖式下跌。建议换个好的硅脂，或者加个机箱风扇对着吹。别为了省几十块钱的散热钱，毁了整个体验。

第三，软件选择要正确。Windows下目前最稳的是用Ollama，它底层调教得不错，能自动利用核显加速。Linux用户如果想追求极致，可以折腾ROCm，但8700G的ROCm支持目前还比较边缘，容易遇到各种报错，新手慎入。

最后说说成本。8700G本身性价比不错，搭配主板和内存，整套下来大概2000多块。相比买张二手显卡再配电脑，这个成本更低，而且还能兼顾日常办公和游戏。虽然它不能替代专业AI算力卡，但对于个人开发者、小团队或者极客玩家来说，8700g部署大模型是一个极具性价比的入门方案。

总之，别被网上的夸大宣传忽悠了。它不是神器，但也绝不是废物。认清它的定位，用小模型、高量化、好散热，你就能在这颗APU上玩出花来。希望这篇干货能帮到正在纠结的你，有问题评论区见，咱们一起折腾。