先给结论:当缺失数据集中在某一类设备时,不能直接断定该设备的表现更好或更差,也不能直接把缺失部分按比例补齐。更稳妥的做法是先判断缺失是“记录不到”还是“本来就没有行为”,前者会让结论偏向高估该设备的正常率,后者反而说明该设备确实存在断点。两种情况的处理动作完全不同,下面按条件展开。
设备维度缺失通常来自两个方向。第一类是记录失败:页面能打开,用户也产生了行为,但埋点、日志或统计脚本在该设备上没有正常上报,于是数据里只剩空白。第二类是真实无行为:用户在该设备上根本没有进入关键路径,比如表单控件在该设备上不可点,或首屏内容没有渲染出来,用户直接离开。这两类缺失在报表上都表现为“某设备数据少”,但含义相反。
判断依据可以落在三个可核查的证据上:
这里要强调一个边界:请求量或事件量归零,并不能单独证明你的处理判断正确。它也可能是采集延迟、抽样策略变化、机器人流量被过滤,或该设备当天整体访问量本来就低。必须结合至少两个独立来源交叉验证,再决定下一步。
如果证据指向记录失败,那么此时任何基于现有数据的设备对比都带有偏差,而且偏差方向通常是高估该设备的正常率——因为失败的行为没有被计入分母。此时合理的动作不是补数,而是先修复采集。
具体动作:在该设备上复现一次完整路径,同时观察网络请求、上报接口返回和本地存储写入。若上报接口没有收到请求,问题在前端触发;若收到请求但统计后台没有入库,问题在传输或处理环节。修复后重新跑一个短周期,确认该设备的事件量与其他设备处于同一量级,再重新计算结论。
这个动作的结果会直接影响下一步:如果修复后该设备的数据补齐,原先“该设备转化更好”的结论可能被推翻;如果修复后数据依然偏低,才可以把注意力转向真实无行为。顺序不能颠倒,否则会把采集问题误判成体验问题。
如果证据指向真实无行为,那么缺失本身就是结论的一部分,不应被补齐或剔除。此时要做的不是恢复数据,而是定位断点发生在哪一步。
具体动作:把该设备的会话按步骤拆开,统计每一步的进入量和下一步的进入量,找出下降最陡的那一步。然后在该设备上实际走一遍这一步,观察是否有控件遮挡、脚本报错、布局溢出或交互无响应。定位到具体步骤后,改动只针对该步骤,而不是全站重做。
这个动作的结果同样影响下一步:如果改动后该步骤的进入量回升,说明断点判断成立;如果没有回升,说明缺失可能来自更早的入口或外部来源,需要回到上一层继续查。这里不要把“回升”当成唯一证据,回升也可能来自同期其他改动,应尽量保持一次只改一个变量。
假设某站点发现移动端的事件记录只有桌面端的三成,团队有两种做法:一是按桌面端比例把移动端数据放大后再算转化率,二是先不动数据,去移动端实际走一遍关键路径。若实际走查发现移动端在第二步无法提交,那么放大数据只会掩盖断点,正确顺序是先修断点;若走查发现第二步正常,但上报接口在移动端没有触发,那么放大数据同样错误,正确顺序是先修上报。只有在断点不存在、上报也正常,而移动端访问量本身就低时,才轮到讨论是否需要单独看该设备的样本量。这个例子的数字仅用于说明比较方法,不代表任何真实站点的现状。
无论选哪条路,都要把判断依据留下来:缺失出现在哪个设备、哪个时间段、哪个步骤,日志与统计是否一致,改动前后各自观察了什么。这样当结论被质疑时,能回到证据而不是回到印象。缺失数据集中在某设备时,结论偏差的判断标准不是“数据多不多”,而是“缺失来自记录还是来自行为”,这个区分决定了你先修采集还是先修体验。