记录改动前后的基线,核心是让“改前”和“改后”用同一套口径取数:同一个页面集合、同一批查询、同一个统计周期、同一种归因方式。做不到全部一致时,至少固定页面、查询和周期三项,并写清哪一项发生了变化。对时间和人手有限的情况,最先要做的不是收集全部指标,而是选定一个可重复的对照口径,再开始改动。
基线不是一张截图,而是一份可重复的取数说明。动手前先落成一份简短记录,包含以下字段:
这一步的关键是“先冻结口径再改”。如果先改页面再回头取数,取到的已经是改动后的状态,对照就失效了。
基线记录和改动记录要成对存在。每次改动登记四件事:改了什么、改在哪个URL、什么时候上线、预期影响哪个指标。例如“2024-06-03 将文章页标题模板由‘栏目名+标题’改为‘标题+品牌名’,预期影响点击率”。
技术层面的改动同样要登记,比如是否调整了<h2>层级、是否修改了内链、是否变更了页面渲染方式。只记录“优化了页面”无法支撑后续判断,因为验证阶段需要知道具体变量是什么。
人手有限时,可以只对本次要验证的少数页面做完整登记,其余页面留档即可。基线记录的目的是支撑一次判断,不是建立全站台账。
改动上线后,等一个与基线等长的周期再取数,尽量用相同的导出方式和筛选条件。对比时注意三点:
判断结果可以分三类:指标方向与预期一致且幅度超出日常波动,可暂判有效;方向相反,需排查改动是否引入问题;无明显变化,说明该改动在当前口径下未观察到效果,可保留或回退,取决于成本。
一次对照做完后,把取数说明保存为模板:页面清单怎么生成、查询怎么导出、周期怎么选、指标怎么算。下次改动直接套用,省去重新设计口径的时间。模板里注明数据来源和导出日期,避免几个月后无法判断某份数据对应哪个版本。
如果页面结构或统计工具发生变更,旧基线不再可比,需要重新建立基线并注明断点。基线可以更新,但不能悄悄替换。
选一个近期要改的页面,先按上面的字段写出改前基线记录,再开始改动。记录完成后,把改动内容和上线时间补在同一份文档里,等一个完整周期后按原口径取数对比。