链接在一起> 100K页面没有得到惩罚的SEO

2018-06-03 02:00:19

我正在制作一个网站，对互联网上成千上万个其他网站的隐私政策进行审查。它的初始内容基于我运行CommonCrawl 50亿页面的网页转储，并通过脚本分析所有隐私政策，以识别某些特征（例如“销售您的个人信息”）。

根据搜索引擎优化MOZ新手指南：

搜索引擎往往只抓取任何给定页面上的大约100个链接。这种宽松的限制是必要的，以防止垃圾邮件和保存排名。

我想知道什么是创建导航网页的聪明方式，不会留下任何页面孤立，但仍然可以避免他们提到的这种SEO处罚。我有几点想法：

创建按字母顺序排列的页面（或Google Sitemap .xml's），例如“以Ado *开头的网站”。例如，它会链接“Adobe.com”。这或者页面的任何其他毫无意义的拆分看起来有点令人费解，我想知道Google是否会喜欢它。

使用元关键字或描述进行分类

找到一些方法来应用更有趣的类别，例如地理或基于内容的类别。我在这里担心的是，我不确定我如何能够将这些类别全面应用于这么多网站。我想如果需要的话，我可以编写另一个分类器来尝试并分析爬网页面的内容。听起来像是一个很大的工作，但其本身。

使用DMOZ项目来帮助分类页面。

通过允许用户对所有页面进行分类或标记，Wikipedia和StackOverflow显然解决了这个问题。在我的情况下，我没有那么奢侈，但我想找到最好的选择。

这个问题的核心是Google如何回应不同的导航结构。它是否会惩罚那些以编程/无意义的方式创建网页的人？还是不在乎，只要所有东西都通过链接连接？

Google PageRank不会因为在页面上拥有超过100个链接而受到惩罚。但是，在PageRank算法中，高于某个阈值的每个链接的价值/重要性会下降。

引用SEOMOZ和Matt Cutts：

你能否被判刑？

在我们深入挖掘之前，我想说清楚的是，100链接限制从来就不是一种惩罚形式。在2007年8月的一次采访中，兰德引用马特卡茨的话说：

“将链接数量保持在100以下”位于技术指南部分，而不是质量指南部分。这意味着如果页面上有101或102个链接，我们不会删除页面。根据经验来考虑这一点。

当时，谷歌很可能在某个时间点之后开始忽略链接，但最糟糕的是，这使得100个链接无法通过PageRank。该页面本身不会被删除索引或处罚。

所以问题的关键是如何让Google认真对待所有链接。您可以通过生成一个供Google进行爬网的XML站点地图来完成此任务（您可以使用静态sitemap.xml文件，也可以动态生成其内容）。您需要阅读Google网站管理员工具帮助文档的关于Sitemaps部分。

就像在一个页面上有太多的链接是一个问题一样，在一个XML站点地图文件中有太多的链接也是一个问题。你需要做的是分页你的XML站点地图。 Jeff Atwood谈到了StackOverflow如何实现这一点：Sitemaps的重要性。 Jeff还讨论了StackOverflow播客＃24中的相同问题。

另外，这个概念也适用于Bing。

链接地址: http://www.djcxy.com/p/10717.html