对AI产品进行A/B测试与测试传统功能截然不同。AI系统生成概率性输出，会随新数据不断演化，并因用户上下文与提示而变化。在生产环境中，其可靠性、安全性与成本都呈动态特征——这意味着实验必须同步验证多个维度：模型质量、用户价值、护栏、漂移风险以及推理经济性。本手册提供一个端到端框架，以严谨的实验方法与清晰的战略视角测试AI驱动的功能与模型。
核心结论可以先摆出来：AI实验需要 多指标评估，而不能依赖单一KPI提升，PM必须在同一个实验设计里同时跟踪准确率、漂移、幻觉、安全性、成本与用户影响。离线评估必要但不充分，只有在线A/B测试才揭示真实行为与经济表现；AI 还带来了明显的经济波动性，需要全面建模服务成本；而伦理与治理（安全、公平、合规）是实验的组成部分，不是事后补丁。这套复杂性要求实验流程把统计严谨性、定性评估、经济分析与治理要求，整合成一个统一可控的决策循环。
1. AI产品的实验设计
AI实验必须同时考虑模型行为、用户交互模式与系统限制，因此假设最好分三层来写。模型层描述预期出现哪些具体改善：更高准确率、更少幻觉、更佳的语义理解、更快的推理、更安全的输出；体验层描述产品体验将如何变化：推荐更相关、交互流程更顺滑、更强的推理或引导能力、更少的使用阻力；用户结果层则落到可量化的最终影响：更高的任务完成率、更好的留存、更短的价值达成时间、更高的转化率。三层缺一层，假设就容易在“模型变好”和“用户获益”之间断链。
同样重要的是预先定义预期的负面输出，也就是失效模式，其中不少是 AI 特有的：幻觉输出、不安全内容、离题回答、延迟上升、预测偏差，以及长提示或过度推理导致的成本激增。定下要争取什么、要防住什么之后，才谈得上选实验结构。常见的选择包括经典 A/B、用 A/B/C 对比多个模型版本、带 门控（gating） 的 A/B（基于置信度、安全性或容量）、适合高方差个性化系统的多臂老虎机，以及作为 A/B 前安全步骤的影子测试：在引入新的模型架构或家族时，影子模式尤为重要。
选定实验结构之后，下一件容易被忽略、却直接决定结论能否成立的事，是随机化的单元。传统功能测试里按用户分流几乎是默认动作，但AI功能常在请求级、会话级与用户级之间产生分歧：同一个用户在一次长对话里可能连续触发几十次推理，如果按请求随机，同一个人会在两个变体之间来回跳动，体验前后不一致，行为指标也被自己污染。按用户分流更干净，代价是达到同样功效所需的样本更多、周期更长。
更棘手的是变体之间并非彼此独立。检索增强系统共享同一个向量索引与缓存，新变体写入的内容会被旧变体读到；反馈信号若实时回流到同一个排序模型，处理组的行为就会改变对照组看到的结果。这类干扰违反了A/B测试赖以成立的独立性假设，表现出来往往是效应被系统性地低估或高估。识别它靠的不是更复杂的统计，而是先把数据流画清楚：哪些状态是共享的，哪一层做了随机化，两者是否在同一粒度上。若共享层无法隔离，按地区或按租户做集群随机，常常比个体随机更诚实。
2. AI专属A/B测试指标
AI实验必须采用 多维指标体系。模型质量的基础层是准确率、精确率、召回率与 F1，对生成式场景还需补充相关性评分。幻觉的频率与严重性应当分开衡量：一次罕见但严重的错误，往往比大量轻微偏差更危险。误报与漏报模式能说明模型具体在哪里出错，而校准度与置信度决定了模型的自我评估有多可信。最后是延迟分布：在产品中，一个迟到的正确答案常常等同于错误答案。
漂移可能直接破坏实验结论，因此要持续跟踪变体间的分布漂移、向量嵌入的变化、准确率随时间的下降、新查询带来的更多幻觉，以及置信度离散度的变化。与之并列的是一组用来判断实验能否继续的安全护栏信号：有害或攻击性内容、偏见指示信号、隐私泄露、不安全推荐、模型在极端场景下的脆弱性，以及 fallback 触发频率过高。
行为与产品这一层回答的问题是：用户行为是否真的发生了改变，而不只是模型输出变好了。用户参与度与漏斗转化率反映短期反应，留存 cohort 则说明效果能否延续到首次接触之后。任务完成率与搜索成功率衡量模型是否帮助用户抵达结果，用户满意度再补上行为计数无法捕捉的主观评价。
经济一侧，AI 功能的成本主要由推理成本、上下文长度与 token 使用量决定：请求携带的历史越多，每次回答就越贵。在此之上还有检索负载与多步推理开销——调用链会把一次用户操作的成本成倍放大。此外，所在计算区域同样影响账单，同一功能在不同区域的价格可能相差明显，因此 PM 通常需要进行成本建模与盈利性评估。
还要提醒一点：AI指标的方差通常高于传统转化指标，原因不难理解——个性化让每个用户看到的输出都不同，长尾查询贡献了大量离群值，而幻觉这类事件本身就是低频高影响的。方差高意味着同样的效应需要更大的样本才能被稳定检测，也意味着实验早期的曲线会剧烈抖动。正是这种抖动诱发了最常见的错误——偷看：每天盯着看板，一看到显著就想收手。若在固定样本量的检验里反复中途查看、随时准备叫停，实际的假阳性率会远高于名义上的5%，很多“上线后消失的收益”就来自这里。
有两条务实的出路。一是在设计阶段就用功效分析把样本量与实验时长定死，把中途的显著性当作噪声而非信号；二是改用为连续监测而设计的序贯检验或贝叶斯方法，它们在数学上允许边看边判，代价是需要更保守的判定边界。降方差也能直接换来样本量：CUPED这类方法用实验前的协变量（例如用户过去的活跃度）扣掉一部分可预测的波动，在不动随机化的前提下把所需样本压下来。举个直观的例子，若基线转化率约为4%，想以80%的功效检测0.3个百分点的绝对提升，每个变体所需样本会达到数万量级；方差越大，这个数字越往上走——这也是为什么AI实验很少能在几天内给出可信结论。
3. 离线 vs 在线评估
在进入离线与在线的分工之前，有一点值得先说清楚：上面这些指标不是一张等权重的清单。真正难的不是把它们都算出来，而是当质量、行为、安全和成本朝不同方向变化时，谁让步、谁一票否决。护栏指标是硬约束，越过就停，不参与加权；主要指标决定值不值得上；模型与经济指标解释为什么会这样、代价有多大。把这套优先级在开测前写死，实验才不会在最后变成一场按预期挑数字的辩论。
两类评估均不可或缺，但分工不同。离线评估验证模型的固有质量：在标注数据集与 golden set 上做评测，配合幻觉检测、相关性基准、对抗提示、安全预筛查与成本画像分析。在线 A/B 测试则验证真实效果，揭示实际分布的变化、边缘案例的表现、用户信任信号、漏斗流动的变化、成本峰值，以及真实流量下的延迟——这一步 PM 需要衡量显著性与效应量。当两者对不上时，常见根源是模型误读了用户真实意图、遇到未见过的新提示类型、数据分布发生切换、UX 摩擦、解释不足，或门控与路由逻辑出错。
前面反复提到幻觉率、相关性、安全性，但这些量本身怎么得到，往往比用它们做决策更难。人工标注最可信，却贵且慢，只能对抽样子集去做；用一个更强的模型充当裁判可以放量，但裁判有自己的系统性偏好——它偏爱更长、更自信、格式更漂亮的回答，而这恰恰可能与真实质量脱钩。可行的做法是把两者绑在一起：先用模型裁判全量打分，再用一份人工标注的金标集去校准裁判的偏差，并给出置信区间，而不是把一个没有误差范围的分数直接写进go/no-go。
还要区分被平均值掩盖的东西。幻觉的危害极不均匀，一次把剂量说错的医疗回答，抵得过成千次无关痛痒的措辞瑕疵，所以按严重度分层、单独盯住尾部，比看一个总体幻觉率更有意义。同样地，离线金标集只能覆盖你已经想到的情况，真实流量里最伤人的往往是没被标注过的新提示类型——这也是“离线漂亮、在线翻车”的一个具体来源。
4. AI实验的多指标评估
在 AI 实验中，单一 KPI 并不够用：质量、行为、安全与成本往往朝不同方向变化。可行的框架是把指标分成三层来做 go / no-go：
- 主要指标（用户价值、转化率、参与度与留存）决定这件事值不值得上；
- 次要指标覆盖 precision/recall、幻觉率与延迟，用来解释质量为什么变化；
- 护栏指标必须全部为绿色：安全性、偏见、成本阈值、合规性与漂移稳定性，任何一项亮红都直接否决。
分层之外还要把取舍显性化，因为典型的权衡随处可见：准确率对延迟、相关性对成本、覆盖率对风险、个性化深度对公平性，这些多维度的权衡需要单独建模。而权重不是通用的，必须贴合产品战略：自动化场景里幻觉风险最关键，推荐系统里相关性优先，企业产品把安全与合规摆在最高优先级，低利润产品则对推理成本格外敏感。
成熟团队很少一次只跑一个实验，几十个实验同时在线是常态。多数情况下它们互不相干，可以各自随机、各自评估；但AI实验之间的耦合比普通功能更常见——两个都改动同一条推理链、同一个检索索引或同一份提示模板的实验叠在一起，效应不再是简单相加，一个实验的处理组可能恰好富集了另一个实验的某个变体。判断的界线其实很清楚：共享了状态、或作用于同一段管线的实验需要正交化设计，或干脆排队；彼此独立的可以放心并行。把这件事事先想清楚，好过事后为一个对不上的结果反复找原因。
5. 推理成本建模
AI 功能可能同时抬高使用指标和压低毛利，所以值得把推理当作一项普通的可变成本来管理。核心的成本驱动因素包括：
- token 数量与上下文窗口长度；
- 模型规模与类型；
- 检索次数与 prompt 复杂度；
- 模型链路带来的多步调用；
- 吞吐量与并发。
围绕它们要设几道成本护栏，给单次请求成本、单次任务完成成本、成本占收入比例与峰值负载预算都定上限。光有均值还不够，得用规模测试把极端情况压出来：周末流量峰值、企业批处理、超长上下文滥用、恶意提示攻击，以及产品发布后的流量激增。
把推理成本当成给定条件去被动承受，是很多团队的默认姿态，但成本更应该被当成一个可以实验的变量。同一个功能，缓存命中率、上下文裁剪策略、按难度把请求路由到大小不同的模型，都会把单次成本拉开几倍的差距：简单请求交给小模型、只在不确定时才升级到大模型，往往能在几乎不损失质量的情况下砍掉大半开销。这意味着“贵”常常不是模型的属性，而是调用方式的属性。
因此值得在实验里额外设一条对照：不仅比模型A和模型B，也比同一个模型在不同调用策略下的成本-质量曲线。真正的决策点不是“这个模型准不准”，而是“在能接受的质量下，它最低能做到多便宜”。忽略这条，往往会因为一次没优化过的昂贵实现，误杀掉一个其实经济可行的模型。
6. 伦理与治理
在 AI 实验里，重要的不只是结果是否更好，还有这个结果是怎么得来的。开测前要确认几件事：内容安全、偏见在可接受范围内、数据来源合法、必要时具备可解释性，以及各用户群之间的公平性。实验文档也要落到纸面，至少包含假设、评估标准、风险场景、离线结果、成本阈值、护栏与回滚计划。最关键的是那条硬规则：即便 KPI 提升，只要出现偏见、危险的边缘案例、隐私敏感行为或严重幻觉，都必须立即 no-go。
把伦理留到最后一节讲，容易让人以为它是合规盖章。但在真实产品里，实验期间接触到问题输出的是真实用户，他们并不知道自己在处理组里。这带来两个具体要求：一是知情与撤出机制，尤其在健康、金融、就业这类高风险场景，用户应当能看出结果由AI生成，并有回到人工或旧版本的通道；二是事故的归属要在开测前就定清楚，一旦出现偏见或有害输出，谁有权一键回滚、谁负责复盘，不能等事情发生了再临时找人。
这些约束看起来拖慢速度，实际却是在保护实验本身。一次未被察觉的伤害，赔上的不只是一个变体，而是用户对整个功能乃至品牌的信任——信任一旦掉下去，是任何KPI提升都换不回来的。
7. AI A/B测试的决策流程
一次 AI 实验只有三种结局，而三者的判定标准都应在实验开始前写死，避免最终决策取决于团队的预期：
- 上线（Ship）：关键 KPI 上升、模型指标优于 baseline、成本可接受、没有安全或偏见问题、漂移稳定，且离线与在线一致；
- 重训（Retrain）：漂移出现、幻觉恶化、成本难以预测、不同群体间相关性差异增大，或离线与在线不一致；
- 下线（Kill）：护栏被触发、安全风险出现、用户信任下降、利润率崩塌、用户挫败提升，或模型在负载下不稳定。
8. 新颖效应与长期留出组
一个反复出现、又反复被忽略的陷阱是：AI功能上线初期的漂亮数字，有一部分只是因为它“新”。用户会去点新出现的推荐、去试探新的对话能力，短期参与度被好奇心抬高，几周后回落到接近基线。反过来也有“改变厌恶”——习惯旧交互的老用户一开始抵触，指标先跌后升。这两种效应都可能让一次两周的实验得出与长期真相相反的结论。
要把短期反应和持久价值分开，需要在时间维度上做设计，而不是堆更多指标。观察指标随实验天数的走势，看它是收敛到一个稳定水平，还是仍在漂移；保留一个长期留出组，让一小部分用户在数月内持续不接触新功能，作为对抗缓慢漂移的干净参照；并优先看只有回头用户才可能贡献的指标，比如次周留存和重复完成任务的比例，而不是首次点击。对高风险变更来说，宁可让实验多跑几周，换来一个不会在上线后蒸发的结论。
9. 把决策接进运行系统，而不是留在文档里
前面的护栏、阈值和回滚计划，只有被接进线上系统才真正生效。安全护栏应当是自动熔断，而不是等人盯看板才发现——当有害内容比例或成本单价越过阈值时，流量自动回落到基线，这比任何事后复盘都更能挡住损失。分流比例、门控条件和回滚开关最好由配置驱动、可以秒级切换，这样一旦影子阶段或小流量阶段暴露问题，止损不必依赖一次上线发布。
同样重要的是，实验结束后模型不会静止。数据分布会漂移，今天通过全部护栏的模型，三个月后可能在悄悄变化的输入上退化，所以上线不是终点，而是持续监测的起点：把关键的质量、安全与成本指标接入常态化告警，用定期重跑的金标集捕捉退化。一次严谨的实验回答的是“现在能不能上”，而运行系统回答的是“它还值不值得留着”。
那该怎么做？
AI产品A/B测试是一门融合实验科学、伦理治理、模型评估与财务工程的高级产品管理实践。它之所以需要多指标评估，是因为 AI 同时影响模型质量、用户行为、安全性与成本，任何单一指标都不可能覆盖全部影响；离线评估只能做基础验证，真实表现要靠在线测试才看得到。遇到参与度提升但幻觉增多这类冲突，答案很干脆——护栏优先，该版本不得上线；样本量则通过功效分析与效应量计算确定，并把 AI 更高的方差算进去。成本建模同样不可省，推理成本、长上下文与模型链一旦失控，会迅速吞噬利润。说到底，掌握多指标评估与结构化治理的 PM，才能构建既负责任、又具备可持续盈利能力的 AI 产品，让实验成为企业竞争优势的核心驱动力。