Yoast SEO Premium插件Crawl settings爬虫设置

　　可抓取性在SEO中至关重要。如果您希望搜索引擎找到您的网站并将其显示在搜索结果中，您的网站必须是可抓取的。不仅如此，您还必须确保搜索引擎有机会抓取您想要排名的页面。没有简单的方法可以做到这一点。但是，使用Yoast SEO Premium，您可以清除所有没有任何SEO价值的URL，使其不受搜索引擎的影响。

　　爬行需要大量资源。例如，搜索引擎和其他各方（如各种应用程序）需要大量电力来抓取越来越多的网站及其URL。网站所有者还需要强大的服务器，以使访问者和机器人都可以访问他们的网站。因此，通过提高抓取效率，您不仅有助于网站的SEO，还有助于减少消耗！

　　Yoast SEO Premium中的抓取设置可帮助您清除不必要的URL，并帮助搜索引擎更有效地抓取您的网站。您可以在Yoast SEO Premium设置的常规选项卡中找到设置。下面，您可以了解Yoast SEO Premium插件Crawl settings爬虫设置的作用。

　　推荐：Yoast seo面包屑导航添加到您的WordPress网站

基本抓取设置

　　与阅读网站前端内容的人类不同，机器人阅读他们在源代码中找到的内容。如果您打开网站的源代码（见下图），您会注意到那里有许多URL。当爬虫来爬取您的网站时，他们会访问他们找到的每一个URL。他们每天会这样做数十或数百次。

　　那么，为什么这是一个问题？嗯，WordPress在您网站的标题和部分中添加了很多URL和一些标签<head>。А很多这些添加是不必要的，它们没有任何SEO价值。因此，我们创建了多个切换，允许您禁用特定的输出。下面，您可以阅读有关每个切换功能的更多信息。

　　推荐：WPControl性能优化插件WordPress最简单的优化插件教程

Shortlinks短链接

　　在<head>单个帖子的部分中，WordPress创建一个shortlink输出（参见下面的示例）。

<link rel='shortlink' href='http://testsite.com/?p=1'/>

　　短链接基本上是同一页面URL的缩短版本。使用此切换，您可以删除该输出。

REST API链接

　　WordPress REST API是一个面向开发人员的功能，它允许应用程序与您的WordPress站点进行交互。WordPress CMS内容管理系统会自动将REST API链接添加到您网站的<head>以供发现。

<link rel="https://api.w.org/"href="http://testsite.com/wp-json/"/>

　　但是，大多数网站不使用WordPress REST API。如果您的网站是其中之一，您可以使用此功能安全地删除链接。

RSD/WLW链接

　　您站点中的RSD（真正简单的发现）链接<head>适用于您使用这些类型的服务。如果不这样做，使用此切换删除链接是安全的。

<link rel="EditURI"type="application/rsd+xml"title="RSD"href="http://testsite.com/xmlrpc.php?rsd"/>

　　WLW链接适用于已停产的Windows Live Writer的用户。如果您不使用它，您也可以安全地删除此链接。

<link rel=”wlwmanifest”type=”application/wlwmanifest+xml”href=”http://testsite.com/wp-includes/wlwmanifest.xml”/>

　　推荐：WordPress性能优化插件

oEmbed links嵌入链接

　　<head>通过此切换，您可以从所有单个帖子的部分中删除oEmbed链接。

<link rel="alternate"type="application/json+oembed"href="http://testsite.com/wp-json/oembed/1.0/embed?url=http%3A%2F%2Ftestsite.com%2F2022%2F05%2Fhello-world%2F"/><link rel="alternate"type="text/xml+oembed"href="http://testsite.com/wp-json/oembed/1.0/embed?url=http%3A%2F%2Ftestsite.com%2F2022%2F05%2Fhello-world%2F&format=xml"/>

　　这些链接帮助其他网站使用您的内容。删除它们不会损害您的任何内容。

Generator tag生成器标签

　　生成器标签显示您的站点正在使用的WordPress版本。

<meta name="generator"content="WordPress 6.0.1"/>

　　这个标签没有SEO价值，事实上，它可能是一个安全威胁。因此，您可以在WordPress建站中使用此切换轻松将其删除。

Emoji scripts表情符号脚本

　　如果您不在内容中使用表情符号，您很可能不需要WordPress添加到您的网站的表情符号支持。通过此切换，您将从您的站点中删除该<link rel=’dns-prefetch’href=’//s.w.org’/>行以及与表情符号相关的一长段脚本。

Pingback HTTP header

　　Pingbacks用于在有人向您的网站添加链接时通知您。然而，这个标准已经很老了，你很可能不再使用它了。如果将切换开关切换为删除，它将X-Pingback:http://testsite.com/xmlrpc.php从响应标头中删除。

Powered by HTTP header

　　通过此切换，您可以从响应标头中删除有关您的站点正在使用的PHP版本的信息。您的网站不需要此信息即可正常运行，因此您可以安全地删除它。

　　推荐：Perfmatters免费下载WordPress性能优化插件

Feed抓取设置

　　以下红色字体更新于2023.2.6日，

　　Yoast SEO插件 v20.0+版本后，带来了一个全新的设置界面，要启用面包屑导航，只需点击“Yoast SEO”->”设置”->”高级”->”crawl-optimization”，接下来就可以在这个界面设置。

　　Yoast SEO插件 v20.0+版本前，您的网站可能拥有比您意识到的更多的URL。例如，WordPress为您网站上的大量内容创建提要，这对爬虫来说可能是个问题。爬虫将开始爬取URL，并且在某些时候，它可能会用完爬取预算。因此，您的重要帖子和页面将没有任何预算。这就是为什么删除这些URL并让搜索引擎更有效地抓取您的网站是明智之举。

Yoast SEO Premium设置的常规选项卡 — Yoast SEO Premium插件Crawl settings爬虫设置 9

　　在Yoast SEO Premium Crawl设置中，您可以切换多个开关，让您保留或删除各种提要。我们不会为每个站点自动删除它们，因为我们无法预测所有Yoast SEO Premium用户的需求。但是，如果您没有从中获得任何价值，我们建议您将切换设置为移除。下面，您可以确切地看到可以使用“抓取”设置删除哪些提要。

1、Global feed

　　页面类型：任何页面，示例提要：http://testsite.com/feed/

2、Global comments feed全局评论提要

　　页面类型：任何页面，示例提要：http://testsite.com/comments/feed/

　　注意：禁用此提要也将禁用发表评论提要。

3、Post author feeds发布作者提要

　　页面类型：作者档案，提要示例：http://testsite.com/author/admin/feed/

4、Post type feeds帖子类型提要

　　页面类型：帖子类型存档，示例提要：http://testsite.com/my-books/feed/

5、Category feeds类别

　　页面类型：分类存档，示例提要：http://testsite.com/category/fiction/feed/

　　推荐：WordPress去掉分类目录网址category的四种方法

6、Tag feeds标记

　　页面类型：标签存档，示例提要：http://testsite.com/tag/fantasy/feed/

7、Custom taxonomy feeds自定义分类

　　页面类型：自定义分类档案，示例提要：http://testsite.com/book-genre/crime/feed/

8、Search results feeds搜索结果提要

　　页面类型：搜索结果，示例提要：http://basic.wordpress.test/search/world/feed/rss2/

9、Atom/RDF提要

　　页面类型：任何页面，示例提要：上面列出的任何提要，在末尾添加/atom或/rdf，例如：

http://testsite.com/feed/atom
http://testsite.com/feed/rdf
http://testsite.com/comments/feed/atom
http://testsite.com/comments/feed/rdf
http://testsite.com/hello-world/feed/atom
http://testsite.com/hello-world/feed/rdf

10、Search cleanup settings搜索清理设置

　　垃圾邮件发送者有时会出于自己的目的将您网站上的内部网站搜索URL定位为目标。这些URL可能会被Google抓取，并且可能会被用户看到。这可能会损害您的SEO（和您的品牌）！此功能可识别一些常见的垃圾邮件模式并将其阻止在其轨道上。我们的插件清理的常见垃圾邮件模式是：TALK:QQ:[：（）【】［］].

　　推荐：Yoast SEO插件使用教程，详细设置步骤