您最好知道应对不同网络爬虫

razzakhosain

有没有服从能力，就看爬行动物本身了。虽然 Googlebot 和其他信誉良好的网络抓取工具可以支持并遵循 robots.txt 文件中的说明，但其他抓取工具可能不会。因此，如果您打算保护所需信息免受网络爬虫的侵害，最好使用其他阻止方法，例如使用密码保护服务器上的私人文件。 不理解一些不同的爬行动物 尽管网络爬虫需要遵循robots.txt文件中的规则，但每个爬虫可能会以不同的方式解释和解析这些规则。因此，的正确方法，因为有些爬虫可能无法理解某些说明。


将某些页面识别为未经授权 robots.txt 中不允许的页面如果链接到其他网站，仍然可以 专用数据库 被编入索引。虽然 Google 无法对 robots.txt 文件阻止的内容建立索引，但如果它们是从网络上的其他位置链接的，它可能会找到非法 URL 并开始索引。因此，URL 和可能的其他公开信息（例如页面链接上的锚文本）仍然会出现在 Google 搜索结果中。为了防止您的网址在 Google 搜索结果中正确显示，请使用密码保护您的服务器文件、使用 noindex 元标记或响应标头，或者完全删除该页面。



在不安装插件的情况下从 Google 结果中删除页面 使用密码的方法是一种非常简单的方法，不再需要下载代码或安装各种插件，并且您可以使用相同的方法对您想要的文件进行加密操作，以便只有您允许进入的用户才能进入。这种加密功能是WordPress本身的功能之一。 使用 Google 搜索控制台 Search Console 可以被认为是使用 Search Console 等工具的最重要的工具之一。事实上，在网站上完成注册后，您可以学习如何使用搜索控制台。