说实话，最近搞大模型部署这块，心里真有点虚。不是技术难，是坑太多。前阵子去面了一家大厂，聊得那叫一个刺激，面试官盯着我的简历问了好几个关于vllm的问题，我当时脑子有点宕机，现在回想起来，真是后怕。所以今天必须把这事儿记录下来，顺便给各位还在找工作的兄弟姐妹们提个醒。这篇vllm面经，是我用血泪教训换来的，希望能帮你们少走弯路。

先说个最基础的，PagedAttention。这玩意儿是vllm的核心，面试官第一问就是：“你知道PagedAttention和普通Attention有啥区别吗？” 我当时脑子一抽，差点说成是KV Cache的优化。其实它更像操作系统的虚拟内存管理。传统的推理方式，KV Cache是连续分配的，这就导致内存碎片化严重，特别是当请求长度变化大的时候，浪费得厉害。而PagedAttention把KV Cache分成了块，就像内存页一样，非连续存储。这样不仅能消除碎片，还能在多个请求间共享这些块，因为很多请求的前缀是一样的。这点一定要讲透，不然面试官觉得你只是调包侠。

接着就是连续批处理（Continuous Batching）。这个概念现在挺火的，但很多人只知其一不知其二。传统的批处理是等一个batch里所有请求都生成完才结束，这就导致短请求还得等长请求，吞吐量上不去。vllm采用的是连续批处理，也就是当一个请求生成完一个token后，如果它还没结束，就继续留在batch里，同时插入新的请求。这里有个细节，面试官喜欢问：“如果batch里的请求长度差异很大，怎么处理？” 这时候你可以提到vllm内部是怎么管理这些不同长度的序列的，以及它如何通过动态调整batch size来平衡延迟和吞吐。这部分内容在vllm面经里出现的频率很高，别忽略了。

再聊聊那个让很多人头疼的FlashAttention。虽然vllm默认不一定强制用FlashAttention2，但它对性能的提升是巨大的。面试官可能会问：“在什么场景下应该开启FlashAttention？” 这时候你要回答，当显存带宽成为瓶颈，且序列长度较长时，FlashAttention能显著减少显存访问次数，从而加速推理。但是，要注意兼容性，有些旧的GPU架构可能不支持，或者在某些特定算子下会有bug。这点很关键，体现你对底层原理的理解，而不只是会跑demo。

还有一个容易被忽视的点，就是多GPU部署。vllm支持Tensor Parallelism，也就是张量并行。面试官可能会问：“如果模型太大，单卡放不下，怎么拆分？” 这里要提到模型权重的切分策略，比如按层切分还是按头切分。vllm默认是按层切分的，但也支持更细粒度的切分。另外，还要提到通信开销，因为多卡之间需要频繁交换数据，如果网络带宽不够，性能会大打折扣。这部分内容在vllm面经里属于进阶题，能答好说明你有实战经验。

最后，说说那个让我印象深刻的“幻觉”问题。虽然vllm主要解决的是性能问题，但面试官问：“vllm生成的结果和HF原生库有差异吗？” 我当时有点懵，后来才反应过来，这是因为浮点数精度和并行计算顺序导致的微小差异。虽然通常不影响最终结果，但在极端情况下，可能会导致输出略有不同。这点要诚实回答，不要硬编。

总之，这次面试让我明白，光会用vllm是不够的，还得懂背后的原理。比如PagedAttention的内存管理，Continuous Batching的动态调度，以及FlashAttention的算子优化。这些知识点在vllm面经里出现的频率都很高，建议大家都好好复习一下。

希望这篇分享能帮到你们。找工作不容易，大家加油。如果有其他问题，欢迎在评论区留言，我们一起讨论。毕竟，独乐乐不如众乐乐嘛。