先把假设写成可被证伪的句子,再问“如果它不成立,哪个数字会先变、变成什么样”。在阿里搜索词分析里,反证问题不是找更多支持材料,而是提前指定一个与假设冲突的观察结果,并说明去哪里取数、取哪一段、出现什么就放弃或修改假设。这样做的代价是前期多花时间,收益是避免把口径差异当成因果证据。
假设某店铺运营者发现,阿里搜索词分析中某个旧类目相关词带来的进店次数连续数周走低。团队给出三种解释:一是用户搜索习惯变了,二是站内统计口径调整导致部分词不再计入,三是旧内容本身已不再匹配当前供给。主问题不是“哪个解释听起来对”,而是“怎样构造反证问题,让其中两个解释先被排除”。
此时先不要下架旧内容,也不要立刻重写。先做一件事:把三种解释各自对应的可观察结果列出来。习惯变化会同时影响多个渠道的同类词;口径调整通常表现为站内报表与第三方估算流量走势不一致,或某些词从报表中消失但外部工具仍有估算;内容不匹配则更可能表现为词还在、展示还在,但点击或后续行为明显弱于同类新内容。三种解释的证据来源不同,不能用一个总量指标同时验证。
反证问题的写法是“如果X成立,那么Y应当出现;若Y没有出现,则X需要修改或放弃”。对第一个解释,可以问:如果用户搜索习惯真的变了,那么同一类目下其他仍在维护的内容,其相关搜索词是否也同步下降?若只有旧内容下降,习惯变化就不足以单独解释。
对第二个解释,可以问:如果口径调整导致词数减少,那么站内统计中消失的词,在第三方估算或历史导出里是否仍能看到相近趋势?若站内和外部都同步下降,口径调整只能解释一部分,不能解释全部。
对第三个解释,可以问:如果旧内容不再匹配,那么保留的词在展示量未大幅减少时,点击率或后续转化是否持续低于同类新内容?若点击率没有明显差异,内容不匹配就不是主因。每个问题都要指定比较对象和观察窗口,否则反证会变成另一种猜测。
反证问题的作用不是证明谁对,而是缩小退出范围。假设上述三个问题中,第一个问题的答案是“其他内容也下降”,第二个问题的答案是“站内与第三方趋势接近”,第三个问题的答案是“旧内容点击率低于同类新内容”。这时可以形成较稳的判断:习惯变化和口径调整都可能有影响,但旧内容不匹配是更值得优先处理的部分。下一步动作可以是:先保留仍有搜索词进入且点击率不差的页面,只退出那些词量下降且点击率持续偏低的页面。
如果反证结果相反,例如其他内容没有同步下降,而站内消失的词在外部仍可见,那么优先检查统计口径和报表范围,而不是删除内容。动作结果会直接改变下一步:口径问题应先修正取数,再谈内容退出;内容问题才进入重写或下架决策。
第三方估算流量、搜索引擎报告与站内统计口径不同,不能互相替代。第三方估算通常基于抽样和模型,适合看趋势方向,不适合还原具体词的精确变化;搜索引擎报告可能受索引和展示位置影响;站内统计反映的是进入站点后的行为,但不一定覆盖搜索前的全部曝光。反证问题要写清用哪一类数据回答,不能用“流量降了”一句话同时回答三个解释。
一个可核查的证据链至少包含:同一时间窗口、同一词类范围、同一比较对象,以及一个预先写下的判断阈值。阈值不需要精确到小数,但必须能区分“支持假设”和“不支持假设”。例如可以规定:若同类内容的相关词也下降超过一半,则习惯变化解释优先;若站内消失词在外部工具中仍保持原有量级,则口径解释优先。这里的数字只是说明比较方法,不是真实收益推算。
假设一个旧系统仍承载部分搜索词进入的页面,团队想整体退出。先写反证问题:如果旧系统仍有独立价值,那么停止更新后,相关搜索词进入量应只在旧系统内下降,而不影响其他入口;如果其他入口同步下降,则退出旧系统可能不是唯一原因。执行一次小范围观察:暂停旧系统的一个入口,保持其他入口不变,观察同一组词在站内统计中的变化。若只有该入口下降,说明旧系统承担了部分独立流量,可以保留仍有词进入的页面;若多个入口同时下降,应先排查外部习惯或口径变化,而不是扩大退出范围。
这个例子的关键不是数字,而是动作顺序:先构造反证问题,再选最小观察动作,最后根据结果决定保留还是退出。没有反证问题,退出决策容易把“不再维护”误当成“没有价值”。
完成这四件事后,阿里搜索词分析才从“看词”进入“做决定”。反证问题越具体,退出旧内容或旧系统时越能保留仍然有价值的部分,也越不容易把统计口径变化误判为内容失效。