大模型做分类任务别总盯着Prompt调，数据质量才是命门。很多团队花大价钱买算力，结果模型效果还不如传统机器学习，纯属浪费钱。这篇不扯虚的，直接给你看我们团队踩过的坑和怎么把准确率从80%拉回95%的真实路子。

先说个扎心的事实：你以为大模型做分类任务是让AI“理解”世界？错。在工业界，它就是个高级的概率预测器。如果你给它一堆乱七八糟的脏数据，哪怕你是GPT-4级别，它也给你吐出垃圾。

去年我们接了个电商售后工单分类的项目，甲方要求把投诉单分到“物流”、“产品质量”、“服务态度”、“退款纠纷”四个类别。刚开始，我们自信满满，写了个精美的System Prompt，强调角色设定、输出格式，还加了Few-shot示例。跑了一周，准确率卡在82%左右，怎么调都上不去。

老板急得跳脚，说这没法上线。我盯着日志看了三天，发现一个诡异现象：那些标注为“产品质量”的工单，模型经常分错成“物流”。比如用户说“东西坏了，怎么还没到”，模型因为看到“没到”，就倾向于分给物流。

这时候我才反应过来，问题不在模型智商，而在数据分布。我们的训练数据里，“物流”和“质量”的边界太模糊。很多用户表述本身就含混不清。这时候，再好的Prompt也救不了。

我们做的第一个改变，不是调参，而是清洗数据。我们把所有标注为“质量”但包含“物流”关键词的样本，全部人工复核。结果发现，有15%的样本其实应该归为“物流延误导致的质量质疑”，这是个新类别，或者应该明确标注为“物流”。我们重新定义了分类标准，把模糊地带剔除，只保留边界清晰的样本。

第二个改变，是引入“思维链”（CoT）。以前我们直接让模型输出标签，现在要求模型先输出判断理由，再输出标签。比如：“用户提到包装破损，但强调是快递暴力分拣，因此核心诉求是物流赔偿，归类为物流。” 虽然多花了一点Token，但准确率直接飙升到93%。

这里有个关键细节：思维链的长度要控制。太短没效果，太长容易跑偏。我们测试发现，1-2句话的理由阐述效果最好。

第三个坑，是温度参数（Temperature）。很多新手喜欢把温度设得很高，觉得这样更有“创意”。但在分类任务里，你要的是确定性，不是创意。我们把温度从0.7降到了0.1，甚至0。效果立竿见影，一致性大幅提高。

最后，别忘了评估指标。别只看准确率，要看混淆矩阵。我们发现“服务态度”和“退款纠纷”经常互错。因为很多投诉服务态度差的，最终诉求都是退款。这时候，单纯靠模型很难区分，需要结合业务规则，比如如果用户提到了“退钱”、“退款”，优先归为退款纠纷。

大模型做分类任务，核心不是炫技，而是懂业务。你得知道你的数据长什么样，知道用户的真实意图是什么。模型只是工具，人才是灵魂。

我们团队现在做分类项目，前两周基本不碰代码，全在跟业务方聊，把分类标准磨得细之又细。数据清洗占了60%的时间，Prompt工程只占20%，剩下的20%才是调参和评估。

如果你还在为准确率上不去发愁，别急着换模型。先看看你的数据，是不是太脏了？你的分类标准，是不是太模糊了？

大模型做分类任务，拼的不是算法有多深，而是你对业务的理解有多深。把基础打牢，比什么技巧都管用。希望这些踩坑经验，能帮你少走弯路。毕竟，时间才是最大的成本。