谷歌的约翰·穆勒（John Mueller）在Reddit上回答了一个关于常用机器人元标签的问题，以及如果它丢失会发生什么。穆勒的回答虽然是有道理的，而且是有据可查的，但可能仍然会让许多出版商和SEO感到惊讶。

机器人元标记

HTML meta 元素传达元数据。元数据是 Googlebot 等抓取工具可以读取的机器可读信息。

元元素有很多种，如元描述元素，但机器人元元素的不同之处在于它可以控制搜索引擎爬虫。

机器人元标记传达的信息称为指令，这意味着机器人爬虫有义务遵守机器人元标记中的指令。

机器人元有很多方向可以传递，但下面的元标记是与约翰·穆勒回答的问题相关的。

noindex， no follow 元标记：

<meta name="robots" content="noindex, nofollow">

上面的元标签告诉搜索引擎爬虫不要索引网页上的内容，也不要点击任何链接。

最常见的元标记之一是这个，它命令搜索引擎索引内容并跟踪所有链接：

<meta name="robots" content="index, follow">

虽然上面的元标记很常见，但对它存在很大的误解。有一种推理是，因为 Google 支持 nofollow，那么它必须暗示 Google 支持 follow 指令。

我发现很多权威网站都说谷歌使用元机器人索引，关注元标签。

但实际上，这并不是谷歌使用这些指令的方式，正如约翰·穆勒（John Mueller）在他的回答中明确指出的那样。

Смотритетакже： 如果 Meta Robots 标签影响搜索排名，Google Answers

省略 Meta Robots 索引标签有什么影响？

Reddit上的人问了以下问题：

“我对我正在开发的网站有点困惑。

所以，这就是我工作的大多数网站上的元片段的样子：

<meta name=’robots’ content=’index，请关注….

但是，在手头的网站上，它缺少“索引”标签。

我的问题是：网站缺少’索引’标签有什么影响。

约翰·穆勒（John Mueller）回答说：

“’索引’机器人元标签没有任何功能（至少在谷歌中）——它被完全忽略了。也“关注”。

谷歌有 https://developers.google.com/search/docs/crawling-indexing/special-tags 和 https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag 来记录具有功能的元标记。你可以使用其他任何东西，它将被忽略。<meta name=“robots” content=“topranking bestcheese”>如果你想让人们失望，这是一个选择。”

为什么谷歌忽略机器人索引和关注

Google 忽略机器人索引和关注元标记的简单原因是因为索引和关注是默认设置。

索引和跟踪链接是搜索引擎机器人所做的，他们不必被告知索引内容和跟踪链接，因为这是他们的目的。

Google 关于机器人标签的文档建议

“默认值为 index、follow，无需指定。”

Google 有效指令的完整列表在这里。

如果您要使用的机器人元未在此处列出，则Googlebot将忽略它。

相关新闻： 如何控制 Googlebot 与您的网站的互动

索引、跟随完全没用吗？

诚然，有据可查且官方表明，当涉及到 Googlebot 时，<meta name=“robots” content=“index， follow”> 是对 HTML 空间的浪费，被 Googlebot 忽略。

Bing 处理索引，以类似的方式遵循，但略有不同，如元标记的官方 Bing 文档中所述。

这是 Bing 的文档对 index 指令的说明：

“默认情况下，我们假设是”索引“，但如果需要，您可以使用 <meta name=”robots“ content=”index“> 来明确声明我们可以索引页面。”

这就是它对以下指令的说法：

“默认情况下，我们假设”跟随“，但如果需要，您可以明确声明”跟随”。

在我从事 SEO 创建网站、优化网站和排名的 20+ 年工作中，我一直认为给机器人提供他们所期望的东西并尽量不给他们任何意想不到的东西是一个很好的政策。因此，如果不需要元描述，那么我的冲动就是将其排除在外，因为优化的全部意义在于使搜索引擎尽可能容易地索引和理解内容，这意味着要摆脱任何可能与该目标相悖的东西。

在这种情况下，它很可能不会以某种方式产生影响。

但。。。还有另一种方法可以跟踪和索引绊倒人们。

一些发布商使用此漫游器元标记：

<meta name="robots" content="noindex, follow">

一些网站建议，如果页面没有被索引，使用“follow”指令会迫使搜索引擎跟踪链接。

但是，如果存在“noindex”指令，原因很简单，即 Google 无法跟踪未编入索引的页面上的链接，则情况并非如此。如果它不在索引中，则这些页面上的链接不在索引中。