AMD ollama魔改

说实话，刚看到NVIDIA显卡在LLM领域一家独大的时候，我手里的RX 6800 XT确实有点烫手。不是显卡热，是心凉。那时候网上全是“A卡炼丹火葬场”的论调，什么ROCm环境配得我想砸键盘，什么内存带宽不够根本跑不动。我也信了，差点就把显卡卖了换张4090。但穷啊，真的穷，兜里比脸还干净，只能硬着头皮继续折腾。

这几个月，我算是把AMD的脾气摸透了。所谓的amd ollama魔改，其实不是什么黑魔法，就是跟系统较劲，跟驱动死磕。今天不整那些虚头巴脑的理论，就聊聊我怎么让A卡跑起7B甚至13B模型的，全是血泪教训换来的干货。

第一步，别去碰那些花里胡哨的Docker镜像，除非你是Linux老手。对于大多数Windows用户或者不想折腾内核的兄弟，直接上WSL2是条近路，但要注意，WSL2里的GPU直通有时候会抽风。我推荐直接装原生Linux，Ubuntu 22.04 LTS是目前的版本之王，别问为什么，问就是稳定。装好系统后，第一件事不是装Ollama，而是装AMD的驱动。去官网下载最新版的Pro驱动，别用开源的Mesa，虽然Mesa进步了，但在推理场景下，Pro驱动的稳定性还是吊打开源版。这一步错了，后面全白搭。

第二步，解决依赖地狱。Ollama官方对A卡的支持确实滞后，但社区的力量是无穷的。你需要手动编译Ollama，或者找那些大佬魔改好的二进制文件。这里有个坑，很多魔改版为了追求速度，直接砍掉了部分兼容性代码，导致有些模型加载失败。我的建议是，先跑个最小的Qwen2-1.5B模型试试水。如果这个能跑通，说明你的环境基本没问题。这时候你会发现，速度比你想的快，但显存占用有点高。

第三步，也是最重要的一步，调整量化策略。A卡的显存带宽虽然不如N卡猛，但胜在显存大。6800 XT有16G，足够你跑一些中等大小的模型。但是，不要盲目追求高精度。Q4_K_M这个量化级别是A卡的甜点，既保证了智商在线，又不会把显存撑爆。如果你非要跑Q8，那大概率会OOM（显存溢出），到时候你就只能看着报错日志发呆。我试过把上下文窗口从4096调到2048，速度立马提升30%，这招很实用，别舍不得那两行字。

第四步，优化系统参数。Linux下，你需要调整一些内核参数来释放更多显存给Ollama。比如关闭不必要的后台服务，调整swappiness。这些细节虽然不起眼，但在资源紧张的时候，就是救命稻草。我有一次为了跑一个13B的模型，把系统的虚拟内存调大了一倍，结果真的跑起来了，虽然慢点，但能用。

其实，AMD ollama魔改的核心心态就是“凑合着用，直到不能用为止”。别指望它能像N卡那样开箱即用，但只要你肯花时间去调优，它绝对能给你惊喜。我现在的生产环境就是基于RX 6800 XT搭建的，跑Qwen2-7B-Instruct，响应速度大概在每秒20-30 token，对于日常对话和代码辅助来说，完全够用。

最后给点真心话。如果你是想搞科研，或者对延迟极其敏感，那还是建议上N卡，别折磨自己。但如果你只是个人开发者，想低成本体验大模型的魅力，A卡绝对值得你折腾。这个过程很痛苦，但当你第一次看到A卡成功加载模型并吐出文字时，那种成就感是买现成服务体会不到的。

如果你卡在某个步骤，或者不知道选哪个量化版本，欢迎来聊聊。我不卖课，也不收咨询费，就是单纯想帮同样在坑里挣扎的兄弟少走点弯路。毕竟，这条路，一个人走太黑，一群人走才能看见光。