低流量 CRO 验证剧本：不能做大样本 A/B 时怎么判断

低流量不等于只能凭感觉改站，但它要求你降低结论强度。 当转化数不足以支持可靠的受控实验时，仍可以证明故障存在、任务变得更容易、信息被正确理解，以及改动没有伤害关键护栏。不能做的是从几笔订单的涨跌推导确定的转化提升。

先做判断

先把候选改动分成三类：确定性修复、可用性改善、说服假设。错误链接、按钮无响应、总价计算冲突属于确定性修复，复现后直接修并回归；用户反复选错或找不到信息属于可用性改善，可用任务成功率验证；标题、证据顺序和 Offer 表达属于说服假设，需要更谨慎的行为与经营结果观察。

判断现有证据是否足够，可使用CRO 证据质量诊断；要把验证排入稳定节奏，可接到七天 CRO 优先级剧本。

决策与执行框架

步骤一：写清最低可证明结论。 例如“主要移动设备上，未选变体时用户能看懂错误并继续”，而不是“新交互会提升收入”。结论越贴近直接可观测行为，低流量证据越可靠。

步骤二：建立基线证据包。 保存问题复现、关键漏斗的较长窗口、同分群录屏、客服或搜索语料，并记录页面版本与日期。若数据事件不可信，就明确不用它做前后比较。

步骤三：做理解与任务测试。 五秒测试用于检查首屏能否被正确识别；任务测试用于观察用户能否找到商品、判断选项、查看总价并继续。测试者应接近目标人群，主持人不给提示。记录成功、犹豫、错误与用时，但不把少量参与者外推成总体比例。

步骤四：实施最小可逆改动。 一次只改变能解释问题的核心变量，避免同时换主题、改价格、重排内容和新增应用。发布前验证功能、事件与护栏；保留回滚版本和准确时间点。

步骤五：做前后证据三角验证。 看相同任务是否不再失败、同类客服问题是否减少、同分群录屏中的阻塞是否消失、较长窗口漏斗方向是否一致。四项不必全部显著，但至少要相互不冲突。若订单上升而任务问题仍在，不能把上涨归因给本次改动。

步骤六：给结论分级。 A 级是阻塞已稳定复现并修复；B 级是任务表现与行为证据一致改善；C 级是经营趋势向好但样本不足；D 级是无变化或证据冲突。C 级可以继续观察，不能写成“已证明提升”。

常见误判

• 低流量所以不需要记录基线：没有版本与时间，任何前后比较都会失去意义。
• 五个测试者喜欢新版就能上线全站：偏好不是任务成功，更不是购买增量。
• 前后转化率上涨就是因果：渠道、库存、活动与星期结构都可能变化。
• 把多个改动打包更容易看到效果：结果会失去解释性，也更难回滚。
• 没有统计显著就什么都学不到：故障复现、理解错误和任务失败都能产生可靠行动。

验证清单

• 是否先判断属于确定性修复、可用性改善还是说服假设。
• 最低可证明结论是否具体、直接可观测且不过度外推。
• 基线是否记录版本、日期、分群、问题复现与护栏。
• 测试任务是否真实具体，主持过程是否无引导。
• 改动是否最小、可逆，并避免多个变量同时变化。
• 前后是否使用相同入口、设备、人群与观察口径。
• 行为、语料、任务与经营趋势是否相互支持。
• 结论是否按证据强度分级，并保留无效结果。

适用边界

本剧本适合流量或转化数不足以支撑常规 A/B 的站点，也适用于高风险发布前的可用性预验收。它不能替代统计实验来证明细小增量，也不能绕过生产审批。对支付、安全、法律披露和无障碍阻塞，优先遵循确定性要求与专业规范，而不是等待用户测试给出多数意见。