泄露网民隐私阻碍行业创新 搜索引擎无视Robots协议三大危害

2013年10月16日，百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案将于在北京市第一中级人民法院开庭审理。在互联网领域被奉为行业共识、但公众并不甚了解的Robots协议，如今已经成为360“歪理”的又一受害者。

Robots协议就像顾客在酒店客房门口挂出“请勿打扰”标志后、服务员就不能强行进入房间一样，它由网站拥有者设置，明确表示哪些内容搜索引擎可以抓取，哪些内容不可以抓取。Robots协议没有技术手段上的强制力，也没有形成法律法规和行政指令，但多少年来，国内外行业参与者都在遵守该协议，法院也将其作为判案依据。为何如此？因为一旦Robots协议成为废纸一张，将立刻产生三大危害，对网民和整个行业造成严重影响。

危害一：网民隐私面临严重泄露威胁

随着互联网的发展，网民的网上活动已经不再局限于简单的新闻浏览，范围已扩大至社交关系链、电子商务、甚至涉及网上银行资金安全的账号和密码信息。Robots协议的存在和遵守，就是一道天然屏障，所有人遵守这一规则，不去搜索其中的内容。而如果视Robots协议如无物，那么很快网民的各种信息将“满天飞”。社交网站的登录密码、支付宝的账户数据等信息都将暴露在光天化日之下，给网民隐私安全带来严重威胁。

此前，就有用户在论坛反映，360搜索抓取了一些知名网游的后台订单、电子优惠券编号等信息，甚至IBM lotus domino 邮件系统后台和个人邮件文件存储地址也能在360中搜索到。分析人士指出，这或许与360浏览器窃取用户隐私、搜索爬虫不遵守Robots协议等一系列问题有关。

这就好比，所有人都遵守公序良俗的时候，社会可以做到夜不闭户，但一旦有人违反，家家都要装防盗门、防盗窗，却依然无法保护自己的绝对安全。而现在小偷的逻辑是，Robots协议这样的“公序良俗”，虽然大家都感觉很好，但我发财的路子就断了，所以我要偷窃，你也可以一起偷，我要求公平！这显然是“歪理”。

危害二：原创内容保护不力导致行业大乱

Robots协议作为搜索引擎行业默认规则，市场参与者都蹈规循矩。所以，网民通过百度搜索不到淘宝网的商品信息，通过京东搜索不到苏宁的商品，通过搜狗也显示不了人人网的用户资料。但其实搜索都是一样的原理，“搜不到”是因为百度和京东都遵守了Robots协议，遵守了淘宝和苏宁的意愿。假如无视Robots协议，那么各大搜索引擎以及相互间存在竞争关系的市场参与者可以肆意抓取对方网站的内容，势必引发行业大乱。

与此同时，对于数以百万计的中小网站和广大站长而言，Robots协议是著作权最好的保护屏障。网站内容著作权会因为Robots协议的失效而被肆意践踏，最终会造成原创内容被大量抓取抄袭，无人再投入创新，整个互联网陷入死循环。

此前，大众点评就曾状告爱帮网，以“垂直搜索”之名，无视Robots协议，将大众点评花费心血组织用户发布的点评内容抓到自己的平台上。最终经过艰苦维权，法院判决爱帮网败诉，除了赔偿最高限额外，也要立即停止这一侵权行为。法院认为，这些信息内容被爱帮网未付出劳动、未支出成本、未做出贡献，却直接利用技术手段在爱帮网上展示，并以此获取商业利益，属于反不正当竞争法理论中典型的“不劳而获”和“搭便车”的行为。

危害三：扼杀真正意义上的创新

有人认为如果把Robots生搬硬套为行业规范，必将成为搜索巨头阻击新搜索公司的竞争武器，限制行业创新。其实，相对以违规抓取他人内容的“抄袭式创新”，遵守Robots协议恰恰是激发企业本身创新力最好的方法之一。有意搅局者只讲表面，将竞争无力称为“被打压”，但真正的创新何惧Robots协议？苹果公司在濒临绝地的时候，不正是乔布斯通过真正的创新，迅速在微软、谷歌等巨头市场中取得了成功了吗？

创新不是抄袭，更不是违规抓取。实际上，只有“伪创新”，才会以各种“矫情”粉饰，以各种违反规则的做法获得利益空间。纵观某些企业的历史，无不是以此思路破 坏行业规则，甚至不惜破 坏公序良俗，以法制不健全为机，大钻空子，以此营生。这样的做法一旦成为行业内乃至社会的普世价值，无疑将带来毁灭性灾难。