当同一个观察结果能同时支持好几种搜索意图假设时,先别急着选最顺眼的那个。更有效的做法是:对每个假设写出一句“如果它成立,那么某个可核对的事实应该是什么样”,再去查这个事实是否真的出现。这一步就是反证问题的构造。下面给出一种可以直接套用的做法,以及一个会让整套做法失效的反例。
反证问题的目标不是证明某个假设错了,而是找出这个假设和别的假设在“可观察结果”上的分歧。如果两个假设在所有可观察结果上都一致,那它们实际上没有区别,不值得花时间分辨。
构造时先固定一个前提:你手上已经有一个具体的观察,比如某页面在某个查询下的点击率低于同类页面,或者某个查询的展现量高但停留时间短。没有这个前提,反证问题会变成空谈。
然后对每个候选假设问一句:如果它是真的,除了当前这个观察,还应该出现什么?这个“还应该出现什么”就是反证问题的素材。
假设通常以模糊说法存在,比如“用户其实想找的是价格信息”。这句话不能直接核对,需要拆成两类可观察项:
把这两类写下来,反证问题就成型了。它不依赖你信不信某个解释,只依赖数据是否按预期出现。
实际操作中,优先选“不应该出现”那一类,因为它的区分力更强。一个事实出现,往往能同时支持多个假设;但一个本应出现的事实没有出现,通常能直接排除一部分解释。
假设某页面在查询 A 下点击率低、停留时间短。至少有两种解释:一种是搜索意图与页面主题错位,另一种是页面内容本身不够好。
针对第一种,反证问题可以是:如果意图错位,那么把页面主题调整到更贴近查询 A 后,点击率和停留时间应该同时改善;如果只有点击率改善而停留时间没变,意图错位就不足以解释全部现象。
针对第二种,反证问题可以是:如果内容质量不足,那么在同一意图下的其他页面也应该表现出类似的低停留;如果只有这一个页面低,质量解释就缺少支撑。
注意这里的数字只用于说明比较方向,不是真实测量结果。关键是每个反证问题都指向一个可核对的动作和该动作后的变化方向。
做完这个动作后,下一步取决于结果:如果调整主题后两项指标都改善,意图错位解释成立,可以继续沿这个方向优化;如果只有一项改善,说明还有别的因素在起作用,需要把质量假设重新纳入。
反证问题有一个明确的失效条件:当所有候选假设都预测同一个可观察结果时,反证问题无法区分它们。
比如,假设“用户想找价格”和假设“用户想找购买渠道”,如果两者都预测“页面上的行动按钮点击率会上升”,那么无论点击率是否上升,你都无法判断是哪个假设更接近事实。这时需要换一个区分点,比如看用户是否在价格区块和购买渠道区块之间来回滚动,或者看查询变体中是否出现“多少钱”和“在哪买”两类不同措辞。
另一个失效条件是观察本身不可靠。如果点击率或停留时间的统计口径不一致,比如一个来自站内统计,一个来自第三方估算,那么反证问题的结论就会被口径差异掩盖。这种情况下,先统一口径,再构造反证问题。
不要一次构造太多反证问题。选一个当前分歧最大的假设,写出一个“应该出现”和一个“不应该出现”,然后做一次最小核对。
这样做的结果是:你不再需要争论哪个解释“听起来更对”,而是让每个假设接受一个具体事实的检验。如果核对结果与预期不符,下一步就是调整假设或换一个反证问题,而不是继续在原有解释上叠加理由。