详细说明了robots.txt协议文件的编写方法
很多建站系统，网站完成后，都有网站的根目录，默认用robots.txt协议文件。今天，随着网站优化的竞争日益激烈，机器人。txt在成立之初并没有优化的因素，也被最大程度的利用，从而掌握其写作方法，做好准备。
1: robots.txt协议文件有什么用?
当搜索引擎访问一个网站时，他们访问的第一个文件是robots.txt。她告诉搜索引擎蜘蛛哪些网页可以被抓取，哪些网页是禁止被抓取的。从表面上看，这种功能是有限的。从搜索引擎优化的角度来看，我们可以通过屏蔽页面来实现集中权重的功能，这也是优化人员最重要的地方。
以某SEO网站为例，其robots.txt文件如下:
txt协议文件显示
第2集:有几个原因为什么该网站有robots.txt。
1:设置访问权限，保护网站安全。
2:禁止搜索引擎抓取无效页面，将权重集中到主页面。
如何用标准的书写方式来写协议?
有几个概念需要掌握。
用户代理意味着定义哪个搜索引擎，例如用户代理:百度spider。
Disallow意为禁止访问。
表示运行访问。
通过上述三个命令，您可以组合多个写入方法，哪些搜索引擎可以访问，哪些页面是禁止的。
4: robots.txt文件在哪里?
这个文件需要放在网站的根目录下，并且有字母大小的限制。文件名必须是小写的。所有命令的第一个字母应该是大写的，其余的应该是小写的。命令后面应该有一个英文字符空格。
5:当需要使用协议时。
1:无用页面，很多网站都有联系我们，用户协议等页面。与搜索引擎优化相比，这些页面并不有效。此时，您需要使用disallow命令来防止这些页面被搜索引擎抓取。
2:动态页面，企业型网站屏幕动态页面，有利于网站安全。多个网站访问同一网页，会导致体重分散。因此，通常情况下，动态页面被屏蔽，而静态或伪静态页面被保留。
3:网站后台页面，网站后台也可以归类为无用页面，禁止包含所有的好处而没有任何坏处。腾讯企业邮箱、qq企业邮箱与微信完美结合的企业QQ邮箱，腾讯QQ企业邮箱上安全、稳定、高效、便捷，企业qq邮箱每账号每年100元起，企业邮箱用户越多越优惠,腾讯企业邮箱首页:www.tjwlt.com.如有疑问，请致电400-889-0304。