网站爬行，第一天 从哪里开始

[rakibhasanbd4723]

技术 SEO | 高级 SEO
请在此处阅读我们为站点爬行添加的 5 项新升级（截至 2017 年 9 月）！

当您面对大型网站可能存在的数千个潜在问题时，您从哪里开始呢？这是我们在重建网站抓取时试图解决的问题。答案几乎完全取决于您的网站，并且可能需要对其历史和目标有深入的了解，但我想概述一个可以帮助您消除干扰并开始的流程。

过于简单可能会很危险
以前，我们在 Moz 尝试将每 VK数据库 个问题标记为高、中或低优先级。这种简单的方法可能很有吸引力，甚至令人欣慰，您可能想知道为什么我们放弃了它。这是一个非常有意识的决定，归根结底是几个问题。

首先，优先级在很大程度上取决于你的意图。误解你的意图可能会导致错误的建议，其范围从令人困惑到彻底的灾难性。例如，假设我们在 Moz 聘请了一位全新的 SEO，他们看到以下问题数量弹出：

几乎有 35,000 个 NOINDEX 标签？！孩子们怎么办？！！

如果新的 SEO 匆忙删除这些标签，他们就会造成很大的损失，因为他们没有意识到这些指令中的绝大多数都是故意的。我们可以让我们的系统更智能，但它们无法读懂你的想法，所以我们要小心误报。

其次，按优先级对问题进行分类并不能帮助您了解这些问题的性质或如何解决这些问题。我们现在将网站抓取问题分为五种描述类型之一：

关键爬虫问题
爬虫警告
重定向问题
元数据问题
内容问题
按类型分类可以让你更有策略性。例如，我们新的“重定向”类别中的问题将有更多共同点，这意味着它们可能有共同的修复方法。最终，帮助你找到问题只是第一步。我们希望更好地帮助你解决问题。