提示版本管理与 A/B 实验

一句话定义

把提示当代码管理：进版本库、带变更说明、按评估分数与线上指标决定发布——A/B 实验则是把"哪个版本更好"的判断交给数据而不是资历。

为什么重要

提示是少数"一行文字改动就能引发全量行为变化"的资产，却常被放在代码库之外的文档里裸奔：谁改的、为什么改、影响什么，全靠回忆。版本管理让提示获得代码级的安全网（可回滚、可追溯、可评审）；A/B 让版本决策摆脱"我觉得 v3 更好"的口水战。两者合起来是提示从个人技艺变成团队资产的分界线。

前置知识

• 评估集构建：黄金样本与失败分类：评估分数是版本决策的依据；
• 采样参数与输出随机性：提示为何"时灵时不灵：A/B 必须固定采样参数，否则比的不是版本是参数。

直观类比

提示版本管理之于提示，就像食谱的版本记录之于私房菜：老师傅凭手感改配方，改好了说不清为什么；写成"v3：糖减 10g，因为试吃偏甜（8 人盲测 6 人通过）"，徒弟才能复现、才能改得更好。

图示

修改动机 → 新分支 vN+1 → 评估集离线对比（固定参数, N≥30）
   ├─ 分数持平或下降 → 归档不发布
   └─ 分数显著提升 → 线上 5~10% 流量 A/B（主指标+护栏+回滚条件）
         ├─ 达标 → 全量发布，变更说明归档
         └─ 护栏破线 → 一键回滚 vN，失败样本回流评估集

核心概念

• 提示仓库：提示文本 + 元数据（版本号、适用模型、采样参数、关联评估分数）入库管理，代码引用版本号而不是散落字符串。
• 变更说明（Change Note）：每次修改记录"动机/改动点/评估结果/回滚条件"四要素。
• 离线评估 vs 线上 A/B：先在评估集上分胜负（便宜、快、可重复），赢家才有资格进线上小流量 A/B（真实分布的最终裁决）。
• 分流与指标：线上按用户/会话哈希分流，指标除了自动评分还要看业务指标（转人工率、采纳率、投诉率）。
• 回滚预案：发布前定好"什么信号触发回滚"（如边界误拒率超阈值），预案写进变更说明。

原理与机制

版本管理的工程机制并不复杂，难在纪律：

1. 一版一意图：一次变更只解决一类问题（如"修复日期格式漂移"），混合变更无法归因——这是提示版的"单一职责原则"；
2. 评分表随版本走：每个版本在当前评估集上的分数快照入库，使任何时点都能比较任意两版；
3. 线上 A/B 的最小纪律：预设样本量与观察期（避免看两天数据就拍板）、预设主指标与护栏指标（护栏如误拒率不许涨）、提前注册回滚条件——先定规则再看数据，防止"看到数据再编解释"。

公式或模型

本节不适用——A/B 的显著性检验是标准统计学内容（比例差异检验），工程上记住两条：预设样本量、护栏指标一票否决。

实例或案例

案例：一次规范的提示发布。 操作步骤：① 新分支修改"摘要提示 v7 → v8"（动机：摘要过长）；② 变更说明：动机/只改了输出契约的长度条款/离线 N=40、长度达标率 62%→94%、要点保留率持平/回滚条件：要点保留率下降 >5pp；③ 线上 10% 流量一周，主指标"人工编辑量"下降 31%，护栏（投诉率）持平；④ 全量发布，v7 归档保留。变更说明模板：

版本：摘要提示 v7 → v8
动机：摘要普遍超过 200 字，编辑成本高
改动：R1 由"≤300字"改为"≤150字，要点以编号列出"
离线：N=40，T=0；长度达标率 62%→94%；要点保留率 91%→90%（持平）
线上：10% 流量 × 7 天；主指标人工编辑量 -31%；护栏投诉率持平
回滚：要点保留率较 v7 下降超 5 个百分点即回滚

排错清单：

• 症状：线上效果与离线评估不一致 → 评估集分布偏了（评估集构建：黄金样本与失败分类 的采样问题）或线上流量含新意图；
• 症状：A/B 两版差异不显著但被迫决策 → 延长观察或扩大分流；没有显著差异时保守沿用旧版；
• 症状：出问题找不到是哪次改动引起 → 违反一版一意图，变更说明里混了多个动机，回滚只能整版退。

常见误区

• 提示躺在文档/IM 里：无法回滚、无法评审、无法归因——第一件要做的事就是入库；
• 跳过离线直接线上 A/B：浪费线上流量与风险敞口，离线评估就是为过滤明显劣版；
• 只看自动评分不看护栏：分数涨了但误拒率也涨，用户伤害更大——护栏一票否决。

自测题

1. 为什么一次变更只改一类问题？

答：混合变更无法归因——分数变化说不清是哪个改动造成，回滚也只能整版退。

1. 变更说明的四要素？

答：动机、改动点、评估结果（离线+线上）、回滚条件。

1. 离线评估和线上 A/B 的分工？

答：离线便宜可重复，负责淘汰明显劣版；线上真实分布，负责最终裁决——顺序不可颠倒。

与其他知识点的关系

回归测试：把提示当代码守护 在每次版本运行评估全集实现回归守护；迭代工作流：从失败样本到提示修订 把版本决策嵌入迭代循环；采样参数固定原则来自 采样参数与输出随机性：提示为何"时灵时不灵。

延伸阅读

• 综述：The Prompt Report（Schulhoff et al., 2024）——提示优化与实验设计的章节。