一家线上园艺商店准备把结账页的运费提示提前。团队认为提前说明费用会让更多访客完成付款，也担心提示会让顾客在看到可选配送方式前退出。实验要回答的是这项改动对符合条件的购物者有多大影响，以及这个影响是否值得上线。用一份计划把业务决策、数据口径和排查顺序写清楚，再开启分流。
先锁定问题、指标和决策规则
以账户为随机单位，登录用户每次返回都进入同一版本。将符合条件的账户定义为在实验开始后首次打开结账页且配送地址在试点范围内。主指标是分配后七天内完成至少一笔付款的账户比例，分母包含符合条件且已分配的账户。另看退款、结账报错和支持工单作为护栏，分别规定观察窗口。账号层汇总前核对事件去重规则，一位顾客重试三次仍然只有一个账户。
用近期相同流量口径估计基线。假设付款率为 8%，团队认为达到 9% 才值得维护新版，最小关注差异就是 1 个百分点，相对提高 12.5%。计划应写明用什么区间判断收益，护栏恶化到什么程度应停止，以及样本达标后还要等多久才能让最后一批用户的七天窗口结束。如果团队需要证明收益超过 1 个百分点，功效设计还需以该门槛为检验边界，不能直接套用检测相对零差异的样本量。
在开跑前算样本和排日程
对独立账户的二元付款结果，可用两比例的正态近似做初步估算。以 8% 和 9% 为两组假定付款率、等比例分流、双侧显著性水平 0.05、功效 80%，每组约需 1.22 万个账户。用 Statsmodels 的 proportion_effectsize 与 NormalIndPower 可复算估计，把版本、参数和取整方式写进方案。如果按商店或家庭随机，同组成员的行为可能相关，要按实际分流单位重新估计功效。
把需要的账户数换算成符合资格的每日流量，并考虑完整业务周期。比如工作日和周末的购物行为不同，计划应覆盖整周，再给最后分配的用户留出转化窗口。如果排期无法支持目标样本，把原因提交决策。可以推迟试验，或在看结果前改为只检测更大的差异，并说明这会放弃回答什么问题。固定样本设计可持续监控数据健康和护栏，主指标的提前停止则需要事先选定的序贯规则。
分配异常先查清，再解释统计结果
可以先做 A/A，让两组看到同一页面。对比分配日志、曝光事件、付款回传和两组漏斗，确认重复登录是否仍然命中同一组。A/A 没有显著差异只说明这次没有检测到异常，正式实验仍需检查。若设计为五五分流而实际分配 53 比 47，先做样本比例失配检查，按平台、日期和版本追踪分流。检查是入口过滤、事件丢失还是分配规则出错。只有曝光表缺记录时，不能直接认定随机系统坏了，也不能随手删掉多出来的记录凑平。
汇报每组账户数、成功数、付款率、绝对差异和置信区间。比如观察到增加 0.3 个百分点，区间为负 0.2 到正 0.8 个百分点。区间仍容许小幅下降或改善，按该模型也没有支持预设的 1 个百分点收益。若区间宽到仍覆盖目标收益，结论应写成证据不足，并指出最影响精度的数据量或波动。不要用一个 p 值替代对收益大小、测量质量和护栏的判断。
排查短期新鲜感和分组反转
把按日期的监控图与按进入实验的批次分开。第一天效果大、后面回落，可能是新鲜感，也可能是周末流量不同，或后来进入的用户还没到付款观察窗口。对同样长的观察窗口比较新旧批次，记录同期促销和故障。若总体结果与手机、桌面内的方向不同，列出各分层的样本数和转化率，检查渠道构成、分层口径和是否有分配后的筛选。保留预先约定的整体分析，附上解释差异所需的分层数据。
若同时评估多项指标和人群，先写清哪些检验决定上线，再选对应的多重比较控制。发现老用户效果更好时，先估计两类用户效果差异及其区间。一个分层显著而另一个不显著，单靠这一点无法支持两者效果不同。计划之外的发现作为下一轮假设保存。
用 RFM 把分层变成可执行方案
在首次分配前冻结分层快照。以过去 90 天为例，R 是距离最近一次有效购买的天数，F 是去重后有效订单数，M 是按同一币种口径汇总的实付净额。规定取消单、退款、迟到交易和无历史记录的处理方式。给首次购物的账户单独标签，别让缺失值误入低价值层。分界线可根据历史样本设定，但必须保存切点与快照日期，便于下次复算。
假设某账户最近一次付款在 12 天前，过去 90 天完成四单，净实付 320 元。汇总表保存三个原始特征、分层标签和规则版本，再与实验分配表关联。公布分层分析时同时展示人数、效果区间和覆盖比例。若某层数据太少，先把它作为探索线索，下一轮在足够流量下验证该层是否值得单独上线。
工具产物和常见问题
功效步骤应留下可复算参数与样本量表。检验步骤要保留每组分母、事件数、区间算法和异常记录。分群步骤交付匿名账户快照、规则表及各层人数。先用虚构记录试跑，检查同一账户是否只有一个标签，再用经批准的数据环境处理正式记录。
样本到了就能结束吗？先看最后入组账户的观察窗口是否结束，再跑预先写好的数据质量检查。若只有报表日期更新而事件仍在补传，等数据到齐后再计算。
显著但效果很小怎么办？把点估计和区间与预设业务门槛、护栏及实施成本放在一起。若实际改动无法产生足够价值，可保持旧方案，并记录本次实验排除了哪些较大的收益。
分层在实验途中重新计算吗？基线分层采用首次分配前的快照。用实验期间的购买行为更新标签，会把处理可能改变的结果带回分组规则，让因果解释失去依据。
准备分析交接时，可用关联的统计显著性分析设置指南整理流程。先提供书面假设、已选定的检验和一份模拟数据，请它整理设置与复核步骤。用保存的参数和分组计数独立复算。