核心原则是:把被删除页面从"当前可访问集合"移到"历史档案集合",而不是从数据集中直接抹掉。具体做法取决于两个条件——删除原因是否可预期、以及你未来是否需要用同一口径做同比。假设情境:某站因产品线调整,一次性删除了约80个详情页,三个月后需要对比自然流量变化。若直接删除日志与统计中的这些URL,对比会失真;若原样保留,又会把已不存在的页面算进当前页面质量评估。可行路径是分层保留。
把删除分为三类,处理方式不同。
判断依据不是主观感受,而是可核查的证据链:服务器访问日志中该URL的最后一次成功响应时间、站点地图历史版本、内容管理系统中的删除操作记录。这三者能相互印证"何时删、删了多少、是否做过跳转"。仅凭第三方估算流量下降就断定是删除所致,属于把相关当因果,因为同期还可能有算法调整、季节波动或竞品变化。
做法一:在分析数据集中保留全部历史URL,仅在报表层用标签区分"活跃/已删"。优点是同比口径一致,能直接回答"删除前后同类页面表现如何";代价是当前页面质量评估会被已删页面稀释,需要额外的过滤逻辑。
做法二:把已删页面整体移出主数据集,单独建立归档文件。优点是当前报表干净;代价是同比时两期口径不一致,若不做还原,流量变化会被高估或低估。
选择条件很明确:如果未来12个月内需要做同比或季度对比,选做法一;如果删除量大、且当前评估以活跃页面为主,选做法二但必须同时保存归档文件与口径说明。两者都不应真正丢弃原始明细。
假设你选择了保留全部历史URL、用标签区分。具体动作:
status=removed,并记录标签生效日期。这个动作的结果是:同比对比的URL集合保持一致,删除带来的口径断裂被显式标注而非隐藏。下一步就可以判断流量变化到底来自删除、来自留存页面的表现变化,还是来自外部因素。若发现留存页面本身也在下滑,那么删除就不是主因,诊断方向应转向留存页面的内容与抓取状态。
请求量或抓取量归零,不能单独证明删除处理正确。它还有几种合理解释:搜索引擎尚未重新抓取、站点地图未及时更新、内部链接仍指向旧URL导致抓取浪费。因此保留历史数据时,应同时保留删除前后的抓取与索引状态记录,而不是只看流量曲线。
另外,第三方估算流量、搜索引擎报告与站内统计三者的口径不同:第三方多为估算模型,搜索引擎报告侧重展示与点击,站内统计依赖自身埋点。做历史对比时应固定使用同一来源,跨来源比较只能作为趋势参考,不能直接相减得出"删除损失了多少流量"这类结论。
把删除记录当作病历的一部分长期保存,而不是一次性清理,是让后续每次网站诊断都能回到同一基线的前提。