判断采集是否遗漏,不能只看总流量涨跌,而要把“应该被采集到的内容”和“实际进入分析系统的记录”做逐项对照。核心方法是:先建立一份可核对的页面或事件清单,再用站内日志、分析工具报表和搜索端报告三方交叉,找出清单中存在、但报表中缺失或明显偏少的条目。缺失项集中出现在某一目录、某一模板或某一参数上,才说明采集链路可能有遗漏。
遗漏是相对基准而言的。做优化效果分析前,先固定一份基准清单,来源可以是站点地图、栏目页链接列表、商品或文章数据库导出、前端路由配置。清单至少包含唯一标识,例如完整路径、页面ID或事件名,并记录它属于哪个模板、哪个栏目。
基准清单要满足两个条件:一是可重复生成,二是能覆盖本次优化涉及的页面或交互。如果只凭记忆挑几个页面,后面发现的“缺失”很可能只是清单本身不全,不能作为采集遗漏的证据。
单一报表无法证明遗漏,建议同时看三类来源:
三方口径不同:日志按请求计数,分析工具按会话或事件计数,搜索端按展示与点击计数。数字对不上是常态,判断遗漏要看“有没有”,再看“量级是否异常”,不要强求三者数值相等。
发现缺失后,先分类,再决定是否要改代码:
假设示例:某栏目有50个详情页,日志中50个路径都有请求,但分析报表只出现42个路径。剩余8个可能因为URL带跟踪参数被规则合并,也可能因为页面模板未加载采集代码。要判断是哪一种,可先取其中一个路径,在浏览器中打开并查看采集请求是否发出,再回到规则列表核对是否有重写。这个演示只说明排查顺序,不代表任何真实项目结果。
不同原因的修复代价差别很大。配置类问题通常改动小、影响面可控;模板类问题需要改代码并回归测试;入口类问题涉及内容运营,见效慢但影响长期。建议按以下顺序推进:
判断标准是:如果缺失集中在同一模板或同一参数形式,优先怀疑采集配置;如果缺失分散且与访问量高度相关,优先怀疑流量与入口。
把上面的方法固化成一张检查表,每次优化后按同一流程跑一遍:基准清单是否更新、日志路径去重后数量、分析报表覆盖条目数、缺失条目所属模板、缺失条目是否带参数、搜索端是否已发现。记录每次的差异,而不是只记一个总数,才能在下一次优化效果分析时快速定位是采集遗漏还是流量波动。
下一步,先取本次优化涉及的一个模板,生成它的完整路径清单,与最近一段时间的日志和分析报表各比对一次,把缺失条目按上述三类归因,再决定改配置、改代码还是改入口。