当页面从几十个涨到几百上千个,最先撑不住的往往不是策略,而是手工流程。手工维护在规模扩大后会同时带来三类后果:遗漏变多、口径不一致、以及没人能说清某次改动到底覆盖了哪些页面。判断一项工作该不该继续手工,关键看它是否满足三个条件:输入是否稳定、规则是否可描述、出错后是否能低成本回滚。三项都满足,就该转成批处理或模板化;只要有一项不满足,手工反而更安全。
手工的价值在于处理例外。标题怎么写更贴合搜索意图、两个近似页面该合并还是分化、某段内容是否真的解决了用户问题,这些需要人看上下文,手工做没有错。但一旦同一判断要在几十个页面上重复执行,手工就从“精细”变成了“不可控”。
可以按这个标准分:如果一件事的判断依据能用一句话写清楚,例如“所有列表页的标题都带上分类名”,那它属于规则,应该交给模板或批量脚本;如果判断依据需要看具体内容才能定,例如“这个页面是否和另一个页面抢同一个意图”,那它属于例外,保留人工。规模扩大后最常见的错误,是把本该模板化的规则留在手工清单里,又把本该人工判断的例外塞进批量规则。
假设你手上有一份从后台或站长平台导出的页面清单,包含 URL、标题、最近修改时间。不要急着逐条改,先按下面的顺序过一遍。
做完这四步,你得到的不是一份待办清单,而是一份分工方案:哪些交给模板,哪些留给人工,哪些先不动。下一步的动作取决于验证结果——如果小组验证发现问题,说明规则本身没描述清楚,应回到第一步重新归类,而不是继续扩大批量范围。
几十个页面手工改标题还能接受,几百个就会出现漏改、格式不统一、改完记不清改了哪些。这类工作的输入稳定、规则可描述,适合用模板变量或批量替换完成。前提是规则足够简单,例如只拼接分类名和站点名。如果标题需要针对每个页面的搜索意图单独措辞,那它就不是批量任务,硬做批量只会让所有页面变得雷同。
手工加内链在页面少时能保证相关性,规模扩大后会出现两个问题:新页面加了链接但旧页面没回链,以及同一批链接在多次改动中被重复添加。可行的做法是定义链接规则,例如“文章页正文首次提到分类名时链接到分类页”,然后按规则检查。规则之外的相关性判断仍留给人工。
几十个页面靠肉眼比对还能应付,上千个页面时肉眼比对既慢又不可靠。这类工作更适合先按标题相似度或路径结构筛出候选,再由人工确认是否真的重复。注意,筛出的候选不等于重复,路径相似或标题相似都可能有合理解释,例如分页或多语言版本。把候选直接当成结论去删页面,风险远大于收益。
抓取量、索引量这类数据出现变化,不能单独证明你的处理正确或错误。同样的变化可能来自抓取预算调整、站点结构改动,也可能是正常波动。更可靠的验证方式是看具体页面:改动后目标页面是否仍能被正常访问、内容是否按预期展示、页面之间的链接是否指向了正确的目标。如果这些都对,再观察数据趋势;如果页面本身出了问题,先修页面,不要拿数据解释。
把上面的判断落到一个动作上:从你的页面清单里挑出数量最多的那一组模板页,检查它们的标题和描述是否符合同一套规则。如果符合,这组就可以转成模板维护,你省下的时间用来处理例外页面;如果不符合,说明规则还没定清楚,此时扩大批量范围只会把混乱放大。先定规则,再谈自动化,这个顺序反了,规模越大返工越重。