robots协议最容易忽略却很致命的小细节
在我看来，《机器人协议》是站长行使网站主导权的执行文件，这是我们作为站长最基本的权利。这是搜索引擎蜘蛛在爬行网站之前要面对的第一个网关，因此机器人协议的重要性也是可想而知的。据说细节决定成败，所以细节越重要，你越容易忽视一个细节，它就越有可能对你造成致命的打击。我之所以这么说，是因为我几乎成了这个问题的负面教材。幸运的是，我在时间里发现的也在弥补过去!我想马上和你们分享的原因是，我希望你们以后在自己的立场上可以避免犯类似的错误。
事实上，今天就发生了。在那之后，小明seo博客刚刚完成了它的工作。几天前，网站上线后，发现还是有很多小问题需要处理。为了避免网站被搜索引擎在调整的过程中,我写的指令禁止所有搜索引擎爬行的任何部分的网站,网站的调整在它持续了好几天的机器人协议(花了这么长时间的原因是,我一个人不能容忍的缺点。我不知道这是不是一种强迫症)。直到昨天2月3日才全部完成，但在此期间我坚持每天都要添加原创文章。昨天我检查了网站，所有的问题都解决了，我再次修改了robots协议，并发了一个帖子，希望爬虫能快点来爬我的网站。就这样，今天早上我发现这个网站没有被包括进来，于是我去百度站长工具平台看看我的网站是什么，我很震惊的进去了，因为我看到了以下信息(如图所示):
机器人的协议
我的网站甚至完全禁止了百度。发现时间是今天(2月4日)早上5点，这让我像张二和尚一样糊涂。这太不科学了，因为我昨天早上2月3日修改了网站的机器人协议。这真的很奇怪。当我想不出来的时候，我最终通过站长平台工具的“机器人检测”找到了答案，如下图所示:
机器人检测
最初,百度蜘蛛抓住我的网站的机器人协议后第三天我的网站蜘蛛在网上,所以当前有效的协议是一个抓住当我封锁了所有的蜘蛛,和最新的机器人本网站协议还没有生效。现在我终于明白了。现在我知道原因了，做起来很容易。所以我立即提交并更新了协议如下:
更新
协议更新后1分钟内更新，如下图所示:
更新提交
可以看到，这个网站的最新机器人已经开始生效。下午，当我再次进入百度站长平台时，我收到了新的消息，如下图所示:
网站未密封
到目前为止，网站已经解除了机器人协议对百度的全面禁令，检测时间是今天下午2点。晚上，大约3个小时前，当我再次检查网站时，网站的主页已经包括在内。以下图片:
网站收集
网站最终被收录，但是最让我开心的是我通过自己的努力发现问题并解决问题，这是我今天最大的收获。当然,如果我找不到这个问题,也许这个网站不会改善在另一个十天半,所以我想提醒你,你必须记住及时更新机器人协议时,蜘蛛是被禁止的,后来在启封时,这是一个小细节,是不能忽视的。也许根据我的常识，我只需要输入“http: \ \ domain name \ robots”。“txt”看看网站的协议是否有变化，但实践证明，这种方法并不完全可靠，所以我必须记住我这次的经验和教训。一旦机器人被调整，他们必须记得及时提交更新，否则他们不应该被蜘蛛抓住或把蜘蛛挡在门外，耽误他们的时间，这是非常遗憾的。
温馨提示:我只是看看时间。这是转时钟后的第二天。我写这篇文章的时候是2月4日，现在是2月5日。所以文章中提到的“今天”是2月4日。我希望你们不要搞混了。腾讯企业邮箱、qq企业邮箱与微信完美结合的企业QQ邮箱，腾讯QQ企业邮箱上安全、稳定、高效、便捷，企业qq邮箱每账号每年100元起，企业邮箱用户越多越优惠,腾讯企业邮箱首页:www.tjwlt.com.如有疑问，请致电400-889-0304。