某零售客户的售后客服场景，团队按公开榜单选了综合排名第一的模型。上线两周后复盘，发现「订单改地址」「退款进度查询」这两类任务的完成率只有 61%。换成榜单上排第十四、单价还便宜四成的模型后，同样的任务完成率到了 83%。
这不是模型谁强谁弱的问题。榜单考的是通用知识、数学推理和代码题，而这两类业务任务的真实形态是：三千字的历史工单、三个工具调用、内部商品编码和退换货规则。题目分布完全对不上，排名自然失去参考价值。
所以「大模型怎么选」这个问题的正确顺序不是「先看榜单再挑第一」，而是「先用榜单排除，再用自己的数据决定」。
榜单失真的三个来源
先说清楚榜单为什么不能直接拿来选型，这不是否定榜单的价值，而是划清它的适用边界。
- 题目分布偏差：通用问答、数学、代码题占比高，而企业场景里这三类往往不到两成。真正占比最大的多轮业务对话，反而很少被覆盖。
- 提示词友好度：榜单通常用针对该模型调优过的最优提示词测试，而你的系统里用的是一套固定模板。模板对 A 模型是加分项，对 B 模型可能是灾难。
- 成本与延迟不进榜：两个模型准确率差 1 个百分点，单次成本可能差五倍，P95 延迟可能差三倍。这两项在真实系统里往往比那 1 个百分点更重要。
因此榜单的正确用法只有一个：初筛。把明显不具备基础能力的模型、明显超出预算的模型排除掉，把候选从二十个收敛到五六个，剩下的交给评测集。
第一步：先建评测集，再谈模型
这是整个选型流程里唯一不能省的一步，也是最容易被跳过的一步——因为它看起来不产出任何"结果"。
样本来源必须是真实日志。从生产或试运行系统里导出最近一个季度的真实请求，按任务类型、难度、用户类型三层分层抽样。直接用公开数据集或让同事手工编样本，会得到一份美化过的假数据，跑出来的结论没有任何指导意义。
数量两百到四百条起步，难例不低于三成。数量再少，模型之间的差距容易落进标注噪声；难例比例过低，所有模型都能拿高分，区分度消失。难例包括：字段缺失的、表述前后矛盾的、多意图混杂的、需要拒绝回答的。
标注必须两人独立做，分歧样本仲裁。一个人标三百条会疲劳，标准会漂移。两个人独立标注后计算一致率，一致率低于 85% 说明判定标准本身写得不清楚，先修标准，再谈模型。
第二步：定义四个业务指标
指标不是越多越好。我们只保留四个，覆盖效果、正确性、安全与成本：
| 指标 | 定义 | 参考阈值 |
|---|---|---|
| 任务完成率 | 用户原始目标是否被真正达成，而非单轮回答是否正确 | ≥ 85% |
| 关键字段准确率 | 结构化输出中关键字段的正确比例 | ≥ 95% |
| 拒答恰当率 | 该拒的拒、该答的答，两个方向都算 | ≥ 90% |
| 单次任务成本 | 含重试、工具调用与人工复核的综合成本 | 按预算倒推 |
其中「任务完成率」最容易被算错。很多团队用单轮回答准确率代替它，结果是模型把每一句都答得不错，但用户的事仍然没办完。正确做法是以「用户原始目标」为判定单位，跨多轮统计。
「拒答恰当率」则是安全底线。只统计"该答的答对了"会掩盖过度承诺的风险，必须同时统计"该拒的有没有拒"。
第三步：用淘汰赛，不要用打分制
打分制看起来科学，实际很难用。同一个模型，两个评审人打出的分数可能差十分；换成百分制后，不同批次的分数也不可比。更麻烦的是，大家会不自觉地把分数往自己偏好的模型上靠。
我们改用淘汰赛：每轮把候选模型两两配对，对同一条样本做盲评——隐藏模型名、随机顺序、只看输出。评审只回答一个问题：哪个输出更接近业务可用的标准。三轮之后按胜率排序，末位三分之一淘汰，通常从六个候选收敛到两个。
这样做的额外好处是：胜率差值能直接告诉你差距有多大。两个模型胜率 55 比 45，说明在业务眼里几乎没区别，这时候应该按成本和延迟做决定，而不是继续抠效果。
第四步：把「换模型」的成本算进去
选型不是一次性动作。今天选中的模型，半年后大概率会被更新的一代超过。所以评估候选时，要同时评估「将来换掉它有多贵」。
- 提示词资产：为某个模型特效调优的提示词，迁移到另一个模型后常常失效。提示词里越多针对性的技巧，迁移成本越高。
- 微调资产：一旦基于某个基座做了微调，换基座等于这笔投入归零。除非任务极度稳定，否则优先用检索与工具调用解决问题。
- 评测集复用：这是唯一能跨模型复用的资产。有评测集，换模型的验证周期大约两周；没有评测集，往往要重走一遍三个月的选型。
所以我们一般建议客户：把评测集当成固定资产，跟着业务走、不跟着模型走。每次换模型、换版本、改提示词，都先跑一遍评测集再上线。
什么时候该换，什么时候不该换
有了评测集之后，换模型的判断可以量化。我们使用的触发条件有三条，满足任意一条就复评：某类任务完成率连续两个月低于阈值；新模型在自建评测集上领先当前方案八个百分点以上；同等效果下单次成本可以下降四成以上。
反过来，两种理由不值得换：一是公开榜单换了排名，二是新模型报价便宜两成但效果未经验证。前者说明你在用别人的题目做自己的决策，后者省下的钱通常会在返工里花回去。
常见问题
问：大模型选型应该看哪些榜单？
榜单只做初筛。用榜单把能力明显不足、价格明显超预算的模型排除掉，把候选从二十个压到五六个，剩下的全部放进自建评测集。如果一家供应商只能用榜单证明自己，那它大概率没在你的场景里跑过。
问：自建评测集要多少条样本才够用？
单场景两百到四百条足以支撑决策，关键在抽样质量而非数量。必须来自真实日志、分层抽样、难例占三成以上、两人独立标注并仲裁分歧。低于一百条时，模型间的差距常常落在标注噪声范围内，结论不可信。
问：模型更新这么快，多久重新评估一次？
季度例行复评就够了，再叠加触发式复评：效果下滑、成本上升超三成、或者新模型领先八个百分点。有固定评测集的团队，一次复评两周内能出结论；没有评测集的团队每次都要从头开始，这也是为什么我们坚持把评测集列为交付物之一。
最后一句经验：模型会一直换，评测集不会。选型方法的价值不在于这一次选出哪个模型，而在于你下次换模型时，还能在两週内给出有依据的答案。
本文数据来自天辰平台模型评估与交付项目，已做脱敏与归一化处理。