x 同时使用，但是 noindex 不会索引页面，而 nofollow 只会阻止设置的链接被跟踪。例如，您可能希望为出于引用或参考目的而包含的 URL 设置 nofollow。
如果您在下面描述的“robots元标记”中写入nofollow，则该页面内的所有链接都不会被抓取，但通过使用“rel属性”，您可以设置只不抓取相关链接。
行为的文件。
对于不希望被抓取的ow”，阻止抓取到相应的目录或页面。
示例）
拒绝访问所有 URL
Disallow：/
拒绝“○○○”目录下的URL并允许其他
目录禁止：/○○○/
尽
低质量的内容
不需要索引的内容
您不希望编入索引的内容
重复内容
当您的网站上有重复内容时，请使用 noindex。
重复内容是指即使具有不同的 URL（页面）但具有相同或非常相似的内容。
尽管谷歌尚未公布明确的重复内容标准，但如果内容几乎相同，也可能被视为重复内容。
例如，搜索结果可能是同一页面，仅更改了都道 https://lastdatabase.com/zh-CN/c-level-contact-list/ 府县的名称，但其余信息相同，或者搜索结果可能相同，但顺序和URL不同。根据用于创建网站的 CMS 的规范，可能会无意中创建重复内容。
可以在 Google Search Console 上检查可能重复的内容，或者通过将参数“&filter=0”添加到 Google 搜索中的域末尾来检查。仅保留常规 URL，并为其他重复内容设置 noindex。
低质量的内容
任何对用户无用的内容都称为低质量内容，可以使用noindex来防止其影响搜索结果。
为增加页面数量而创建的低质量内容，例如大量创建的仅文本略有变化的重复内容、自动生成的内容以及通过复制其他页面创建的内容。
低质量的内容单薄且缺乏原创性，因此
爬虫往往会给予较低的评分。拥有大量低质量的内容并不是一个好主意，因为它会降低网站本身的声誉。
不应创建低质量的内容，如果网站上存在低质量的内容，则应将其替换为高质量的内容。但是，您可能还需要没有任何实质性内容的页面，例如在您的网站内搜索时返回“0 个结果”的页面。在这种情况下，请使用 noindex 来防止对站点搜索结果建立索引。
不需要索引的内容
首先，有些网站有不需要 这些关键词可以自然地融入到文 索引的内容，所以也为此类内容设置noindex。
示例包括用于查询和文档下载的感谢页面、假设流量仅来自列表广告而创建的登陆页面以及用于下载的 PDF 。
如果此类页面无意中被索引，可能会对网站有效性衡量产生负面影响。这是因为下载了本应没有导体的材料，致谢页面的PV增加了。
