处理假冒或稀薄内容

latix60748@egvo

那么，“我是否应该对大量重复的 URL 或稀薄内容进行索引、不跟踪、或可能禁止抓取？”我有一个例子。假设我是一家电子商务商店，我正在销售这件我觉得很搞笑的星球大战 T 恤，所以我有 starwarsshirt.html，它链接到一个更大版本的图像，它是一个单独的 HTML 页面。它链接到不同的颜色，从而改变页面 URL，所以我有灰色、蓝色和黑色版本。嗯，这四个页面实际上是同一个页面的一部分，所以我不建议不允许对它们进行抓取，也不建议不对它们进行索引。我在那里会做的是一个相关的规范。

请记住，rel canonical 是可以通过不允许来阻止的事情之一。因此，如果 萨尔瓦多 电话号码数据库 我不允许它们被抓取，Google 就无法回顾 Rails 规范，因此如果有人链接到蓝色版本而不是默认版本，我现在可能无法获得链接信用。所以我真正想要做的是使用 rel canonical，允许索引，并让它爬行。如果您真的愿意，您也可以在这些页面上放置元“noindex，follow”，但我真的认为这没有必要，而且它会干扰相关规范。



3. 传递链接权益但不显示在搜索结果中
第三点：“如果我想通过一组页面传递链接权益（或至少抓取），而这些页面实际上不需要出现在搜索结果中 - 我可能有导航功能，人们可以通过这些页面进行导航，但我不需要这些出现在搜索结果中 - 那么我应该使用什么？”