2014-10-21
对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。
比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?
我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:
对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun
同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c
对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。
robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。
本文来自百度站长平台
迷你单机沙盒手机版下载v1.24 安卓版
其它手游 109.7M
下载生存闯关测试服下载v1.11.94 安卓版
其它手游 212.1M
下载三体乱纪元大冒险手游下载v1.0 安卓版
其它手游 13.8M
下载缩放大师官方版下载v1.2.0 安卓版
其它手游 131.1M
下载火柴人联盟释放双手游戏下载v1.17.1 安卓最新版
其它手游 84.9M
下载木乃伊法老王归来手机版下载v1.6 安卓版
其它手游 108.6M
下载少年侠客完整版下载v3.5.9 最新安卓版
其它手游 126.5M
下载魔女之恋内衣版下载v3.6 安卓版
其它手游 489.0M
下载我的安吉拉4399版本下载v5.3.0.270 安卓最新版
下载
三国伏魔录单机版下载v4.9.0 安卓版
下载
求仙斗破仙帝官方版下载v1.21.39 安卓最新版
下载
王者史诗手机游戏下载v1.0.0 安卓最新版
下载
上古神诀手游下载v2.2.0 安卓版
下载
乱时空手游下载v1.0.1 安卓版
下载
放置奇兵乐游客户端下载v1.11.0 安卓版
下载
妖怪哪里跑内购破解版下载v1.5.0 安卓版
下载