Robots协议是搜索引擎的立命之本，如果不遵守Robots协议，无异于脱缰之马，对正常秩序的危害后患无穷。事实上，几乎所有的搜索引擎公司都会自觉遵守Robots协议，不管是Google、Yahoo、微软必应，还是百度、搜狗，在Robots协议这个问题上，大家都按照国际规范来做事，让蜘蛛不会去触碰抓取Robots协议中明文禁止抓取的内容。哪怕是再怎么有利于丰富充实搜索结果的信息，只要有Robots文件在，蜘蛛也能遵守规则，对其“视而不见”。    正因如此，Robots协议是国内外绝大多数网站的“保护神”，不管是后台URL，还是各种敏感信息或不愿意被搜索引擎收录分享的内容，只需在Robots文件里加上一笔，就可以放心大吉。    然而，市场竞争中，有些后来的搜索引擎，却往往因为急于上位或受利益驱使，在不告知对方的情况下，就擅自违反Robots协议，偷偷的抓取收录Robots文件中禁止抓取的内容，这就已经不只是道德层面的“缺德”，更是一种很恶劣的不正当竞争行为了。    虽然在国外还没有见到过这种不靠谱的搜索引擎存在，但国内却有这么一个官司，说的就是不违反Robots的事儿。    2013年10月中旬，百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案在北京市第一中级人民法院开庭审理。百度认为，360搜索在未获得百度公司允许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，并向奇虎索赔1亿元。    这个事情要刨根问底，实际上要再后退一年，从360在2012年8月推出搜索引擎说起。由于360的搜索结果中包含着百度百科、百度知道等多个百度产品内容。百度就不愿意了。双方当时的矛盾焦点主要集中于是否应该遵守Robots协议的问题。奇虎360公司认为，Robots协议不具有法律效力，也非强制性规范，搜索引擎公司可以不遵守Robots协议。并且百度百科、百度知道的内容是最优质的网络内容，其搜索结果中应该包括百度相关产品。百度公司表示，奇虎360违反Robost协议抓取大量百度内容，要求360遵守Robots协议停止收录使用百度产品的信息内容。    后来，在行业协会的调解下，包括双方在内的多家互联网公司签署了12家搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》，公约规定，对于本公约公布前违反robots协议抓取的内容，在收到权利人符合法律规定的通知后，及时删除、断开侵权链接。    然而，签署了公约后的360仍然坚持自己的观点，继续抓取收录百度的上述内容。后来也就有了刚才所说的不正当竞争诉讼。      原文来源：http://www.shyandex.com/      http://www.shyandex.com/yandexgg.shtml