如何正确识别百度蜘蛛?只做这两点
很多SEO从业者经常会问,什么是百度spider?我们可以理解百度spider是用来抓取网站链接的IP的。小编经常听说百度蜘蛛来的太频繁了,服务器会被抓爆。如果你不能识别百度蜘蛛,你怎么知道它是?也有百度蜘蛛不来的情况,有很多站点想要获得百度蜘蛛的IP段,想要将IP添加到白名单中,但无法识别百度的IP。
如何识别正确的百度蜘蛛?来吧,只要做两件事,你就能正确识别百度蜘蛛
I.检查UA。如果UA是不正确的,您可以直接判断不是百度搜索的spider。目前,已向公众公布的UA为:
移动UA: Mozilla / 5.0 (Linux;u;Android 4.2.2;) applewebkit / 534.46 (KHTML, likegecko)版本/ 5.1 mobile Safari / 10600.6.3(兼容;百度pider / 2.0;+ http://www.baidu.com/search/spider.html)
PC UA: Mozilla / 5.0 (compatible;Baiduspider / 2.0;+ http://www.baidu.com/search/spider.html)
新的呈现UA:
移动UA: Mozilla / 5.0 (iPhone;CPU iPhone OS 9﹣1 likemac OS X) applewebkit / 601.1.46 (KHTML,像壁虎)版本/ 9.0移动/ 13b143 Safari / 601.1(兼容;渲染/ 2.0;+ http://www.baidu.com/search/spider.html)
PC UA: Mozilla / 5.0 (compatible;Baiduspider-render / 2.0;+ http://www.baidu.com/search/spider.html)
二世。反知识产权
网站管理员可以通过DNS反IP来判断蜘蛛是否来自百度搜索引擎。根据不同平台的验证方法,如Linux / Windows / OS,验证方法如下:
正确识别百度蜘蛛
(1)在Linux平台上,可以使用host IP命令对IP进行解码,判断它是否来自于百度pider的获取。百度pider的主机名的格式为*。Baidu.com或*。Baidu.jp。非*。Baidu.com或*。百度。jp是假的。
(2)在windows平台或IBM OS / 2平台上,您可以使用NSLOOKUP IP命令来反转IP,以确定获取是否来自Baiduspider。打开命令处理器并输入NSLOOKUP xxx.xxx.xxx。xxx (IP地址)解析IP,以确定它是否来自捕获的百度。百度的主机名的格式是*。Baidu.com或*。百度,jp和non *。Baidu.com或*。百度。jp是假的。
(3)在Mac OS平台上,可以使用dig命令对IP进行解码,以确定获取是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx。xxx (IP地址)解析IP地址,以确定它是否来自捕获的百度。百度的主机名的格式是*。Baidu.com或*。百度,jp和non *。Baidu.com或*。百度。jp是假的。腾讯企业邮箱、qq企业邮箱与微信完美结合的企业QQ邮箱,腾讯QQ企业邮箱上安全、稳定、高效、便捷,企业qq邮箱每账号每年100元起,企业邮箱用户越多越优惠,腾讯企业邮箱首页:www.tjwlt.com.如有疑问,请致电400-889-0304。
专业、安全、专属定制的企业邮箱服务
  • 电话咨询

  • 400-889-0304