一切看起来都很棒。然后我们开始分析异常值。我喜欢称之为“有什么看起来很愚蠢吗?”测试。机器学习会犯错误,就像人类一样,但人类犯错的方式非常特殊。当人类犯错时,我们往往能准确地理解为什么会犯错。但机器学习,尤其是神经网络的情况并非如此;我们在新模型下提取了页面权威性高、恰好没有自然流量的 URL,并将它们包含在训练集中以学习这些错误。我们很快看到奇怪的 90+ PA 下降到更合理的 60 和 70……又一次胜利。
我们还剩最后一项测试。
品牌搜索的问题
网络上一些最流行的关键词是导航性的。人们在 Google 上搜索 Facebook、Youtube,甚至 Google 本身。相对于其他关键词,这些关键词的搜索次数是天文数字。因此,少数几个非常强大的品牌可以对将总搜索量作为其核心训练目标的模型产生巨大影响。
最后一个测试是将当前页面权威与新页面权威进行比较,以确定是否存在任何奇怪的异常值(PA 发生剧烈变化且没有明显原因)。首先,让我们简单比较一下链接根域的 LOG 与页面权威。
还不错。限之间通常呈正相关。但你能发现其中的奇怪之处吗?来吧,花一分钟……
该图表中有两个异常现象十分突出:
URL 的主要分布与上方和下方的异常值之间存在着奇怪的差距。
单个分数的最大差异在 PA 99。有大量的 PA 99 具有广泛的链接根域。
以下可视化图表有助于找出这些异常:
绿色和红色之间的灰色空间表示分布主体和异常值之间的奇怪差距。异 喀麦隆 手机号码数据 常值(红色)往往聚集在一起,尤其是在主要分布之上。当然,我们可以看到 PA 99 顶部的分布不佳。
请记住,这些问题不足以使新的页面权威模型的准确性低于当前模型。但是,经过进一步检查,我们发现该模型产生的错误非常严重,可能会对我们客户的决策产生不利影响。最好有一个在各处都略有偏差的模型(因为 SEO 所做的调整并不是非常精细),而不是有一个在大多数地方都正确但在少数情况下却出奇地错误的模型。幸运的
是,我们对问题所在相当有信心。似乎主页 PA 被不成比例地夸大了,而罪魁祸首可能是训练集。在完成重新训练之前,我们不能确定这是原因,但这是一个强有力的线索。
好消息和坏消息
我们目前的状态很好,因为我们有多个候选模型,它们的表现都优于现有的页面权威模型。我们正处于修复错误阶段,而不是构建模型阶段。但是,除非我们确信新评分能引导我们的客户朝着正确的方向发展,否则我们不会发布新评分。我们非常重视客户根据我们的指标做出的决定,而不仅仅是这些指标是否符合某些统计标准。