AI 治理清单：
内容安全、可观测与成本边界

我们见过太多「先上线、再补治理」的项目。它们通常在前两周表现良好，然后在某次模型升级或一次越权提问后陷入被动：没有日志、没有评测基线、没有责任人。治理成本在事故发生时被一次性放大。

一、内容安全：四个问题

1. 输入侧拦什么？列出禁止主题、敏感指令与越权请求的具体判定方式，而不是只写「过滤不良信息」。
2. 输出侧拦什么？明确哪些结论必须附依据、哪些表述必须加限定语、哪些场景必须拒答。
3. 谁来复核？高风险输出的人工复核岗位、时限与升级路径是否已经指定到人。
4. 拦截之后怎么留痕？被拦截的请求是否记录原因、命中规则与处置结果，能否支持事后审计。

二、可观测：三条曲线

上线后每天需要看的，其实只有三条曲线。它们同时恶化时，问题通常在数据；只有一条恶化时，问题通常在模型或提示词版本。

曲线	观察内容	异常阈值示例
质量	准确率、格式合规率、人工接管率	准确率周环比下降 3 个百分点
性能	首字时延、P95 完成时延、失败率	P95 超过 8 秒或失败率超过 1%
成本	单次会话 Token、日均推理费用	单次成本周环比上升 30%

与之配套的是四个问题：日志能否按会话回放？提示词版本是否可追溯？模型版本切换是否有记录？告警是否能落到具体值班人？这四项是「可观测」与「有监控」的区别。

三、成本边界：两个问题

5. 单个场景的月度预算上限是多少？超限时是限流、降级到小模型，还是转人工？必须有预设动作，而不是临时决策。
6. 谁对成本负责？是业务方按场景买单，还是技术部门统一承担？责任不清时，成本会无声地流向最容易被调用的那个接口。

我们通常会给每个场景设置三层预算：日常额度、突发额度与硬上限。硬上限触发后自动切换为「确定性流程 + 人工」，保证业务不中断但成本可控。

四、事故响应：两个问题

7. 发现错误输出后，多久能定位到原因？这取决于日志粒度。我们要求能在一个会话内定位到具体节点、模型版本与召回片段。
8. 能否在十分钟内止损？包括切换模型、关闭某个节点、回滚提示词版本、临时提高人工复核比例。这些动作应当在后台可一键执行。

剩下的四个问题

• 数据边界：哪些数据允许进入模型，哪些必须脱敏，是否已经写入合同与配置。
• 退出机制：合作终止后数据如何删除、多久内完成、能否提供销毁证明。
• 责任归属：AI 输出的最终责任方是谁，客户与供应商的责任如何划分。
• 变更管理：模型升级、知识库更新、提示词修改是否走统一的评审与回归流程。

这十二个问题里，没有一条需要前沿技术。它们需要的是把工程习惯延伸到 AI 系统上：写清楚边界、留下证据、指定责任人。做到这三点，治理就不再是负担，而是让业务敢放量的前提。

本清单可向天辰平台顾问索取可编辑版本，用于内部评审。