Robots違規事件大揭秘

BE違規抓取eBay

美國加州北部的聯邦地方法院就在著名的eBayVS. Bidder's Edge案中（NO.C-99-21200RMW,2000 U.S Dist. LEXI 7282），引用robots協議對案件進行裁定。 Bidder's Edge（簡稱BE）成立于1997年，是專門提供拍賣信息的聚合網站，BE利用“蜘蛛”抓取來自eBay等各個大型拍賣網站的商品信息，放在自己的網站上供用戶瀏覽，并獲得可觀的網站流量。

對于eBay來說，來自BE蜘蛛每天超過十萬次的訪問，給自己的服務器帶來了巨大的壓力。而雖然eBay早已設置了robots協議禁止BE蜘蛛的抓取，但BE卻無視這個要求——原因很簡單，據估算，BE網站69%的拍賣信息都來自eBay, 如果停止抓取eBay內容，這意味著BE將損失至少三分之一的用戶。

數次溝通交涉未果后，2000年2月，忍無可忍的eBay終于一紙訴狀，將BE告上聯邦法庭，要求禁止BE的違規抓取行為。3個月后，受理此案的美國聯邦法官Ronald M. Whyte在經過多方調查取證后做出裁定，認定BE侵權成立，禁止了BE在未經eBay允許的情況下，通過任何自動查詢程序、網絡蜘蛛等設置抓取eBay的拍賣內容。

在當時的庭審中，雙方爭議的焦點主要集中在“網站是否有權設置robots協議屏蔽其他網站蜘蛛的抓取”。被告BE認為，eBay的網站內容屬于網民自創，因此是公共資源，eBay無權設立robots協議進行限制。然而，法院對這一說辭卻并不認同。在法官看來：“eBay 的網站內容屬于私有財產，eBay有權通過robots協議對其進行限制。”違規抓取的行為無異于“對于動產的非法侵入”。

也正是出于這一判斷，即使當年BE還只是搜索了eBay計算機系統里的一小部分數據，其違反robots協議的抓取行為，仍然被判為侵犯了eBay將別人排除在其計算機系統以外的基本財產權。

作為美國歷史上第一個保護互聯網信息內容的法律裁定，eBay與BE的這起糾紛，成為網絡侵權案的標志性案例，并在當時引發了美國互聯網產業乃至社會的廣泛討論。SearchEngine Watch的知名專欄作家DannySullivan 曾專門在文章中指出，robots協議是規范搜索引擎爬蟲行為的極少數約定之一，理應遵守，它不僅僅讓整個互聯網的開放性變成可能，最終也讓整個互聯網用戶受益。

360搜索無視robots協議

2012年8月，360綜合搜索被指違反robots協議：

2012年8月29日，上線不到十日即輕松登上國內第二大搜索引擎寶座的奇虎360搜索遭遇滑鐵盧，在百度一項打擊違規抓取和匿名訪問的措施上線后，360搜索通過山寨加綁架用戶的模式被徹底揭穿，這個故事也正是對所謂“搜索引擎技術無用論”的當頭棒喝。

“360綜合搜索已超出Robots協議的‘底線’，不僅未經授權大量抓取百度、google內容，還記錄國內知名網游的后臺訂單、優惠碼等，甚至一些用戶的電子郵箱、帳號、密碼也被360通過瀏覽器悄然記錄在案”。2012年8月28日業內一位有10年搜索工程師經驗的專業人士表示。

奇虎360搜索8月16 日上線，已連續遭到業界“違規”的警告。不僅UI設計，搜索結果直接剽竊、篡改百度、google等搜索引擎，還不顧國際通行的Roberts協議，抓取百度、google等搜索引擎的內容，很多商業網站和個人信息的私密內容也被抓取泄密。據悉，這種匿名訪問和違規抓取其他網站內容的行為，不僅嚴重違反了行業底線，也傷害到了用戶的體驗。在國外，這種行為甚至會受到法律方面的制裁。“這已經嚴重觸碰了Robots協議的底線!這些讓如百度這樣踏踏實實做技術的公司進行反擊行動，是必然的!”

這位搜索工程師告訴記者，所謂Robots協議，通俗的講就是網站會通過robots.txt協議來自主控制是否愿意被搜索引擎收錄，或者指定搜索引擎只收錄指定的內容。而搜索引擎會按照每個網站主給與自己的權限來進行抓取。這就好比，一個正常的人去到別人家里，需要先敲門，得到許可以后才能進入客廳。除非有主人的進一步許可和邀請，否則你不能擅自進入內室，或者在別人家里四處溜達。當然，強盜或者小偷例外。

對于奇虎360綜合搜索被爆出無視國際通行的robots協議，抓取百度、Google等搜索引擎內容，導致眾多網站出于安全和隱私考慮不允許搜索引擎抓取的內網信息被泄露一事，資深互聯網觀察家洪波指出，做搜索就要遵守搜索行業公認的游戲規則，無視規則，肆意違反規則才是真正的不正當競爭，這種行為不能從法律和政府監管上及時制止，將引發行業大亂。

百度并沒有禁止所有爬蟲抓取問答、知道和貼吧的內容，百度只是禁止了不規矩的、存在潛在安全風險的爬蟲，這恰是保護市場秩序，保護用戶隱私的合理舉措。2008年淘寶也曾禁止百度爬蟲，而百度則嚴格遵守robots協議，停止抓取淘寶網內容，并沒有以淘寶不正當競爭為借口違反robots協議。

中國工程院院士高文：Robots協議是搜索引擎在抓取網站信息時要遵守的一個規則，是國際互聯網界通行的道德規范。網站主人通過Robots協議明示自動抓取程序，服務器上什么內容可以被抓取，什么內容不可以被抓取。這是保證互聯網行業健康發展的自律準則，盡管不是強制命令，但業界都應該遵守。中國互聯網企業要想在國際舞臺受到更多關注、得到更大的發展，沒有理由不遵守這個游戲規則。如果不遵守，不僅損害了違規企業自身的形象，也損害了中國互聯網行業的整體聲譽，得不償失。

浙江大學計算機學院院長莊越挺：互聯網網站頁面，如同廣闊農村中的一個菜園，各有其主。一般而言，訪客進去逛逛無可厚非，但是如果主人在邊界立下界碑：未經允許不得入內，這就意味著主人的意愿成為外界是否獲準入園參觀的標準。Robots協議就是這樣一塊界碑，它雖然不具法律效應，但是人們都普遍遵循。未經允許入園就參觀不僅違反了游戲規則，也有違道德標準。同樣的道理，違反Robots協議，等同于違背了搜索引擎的行業規范，以這種方式獲取資源是一種不道德的競爭。

哈爾濱工業大學教授劉挺：Robots協議是互聯網中網站為搜索引擎所制定的內容抓取規則，體現了業界同行之間的相互信任。如果不遵循Robots協議，將會破其業界信任，使得網站的內容不愿意被抓取的內容被搜索引擎索引，最終傷害用戶的利益。而清華大學計算機系教授馬少平則指出，如果不遵守Robots協議，肆意抓取網站的內容，網站的信息被任意泄漏，將對互聯網的良性發展產生巨大的破壞作用。

百度起訴360

事件詳情

百度訴奇虎360違反“Robots協議”抓取、復制其網站內容侵權一案，2013年10月16日上午在北京市第一中級人民法院開庭審理。百度方面認為，360搜索在未獲得百度公司允許的情況下，違反業內公認的Robots協議，抓取百度旗下百度知道、百度百科、百度貼吧等網站的內容，已經構成了不正當競爭，并向奇虎索賠1億元。

百度公關部郭彪向媒體表示，Robots協議是網站信息和網民隱私保護的國際通行規范之一，理應得到全球互聯網公司的共同遵守。不尊重Robots協議將可能導致網民隱私大規模泄露。

郭彪表示，更嚴重的是，奇虎360還利用360瀏覽器等客戶端，強行抓取網民的瀏覽數據和信息到搜索服務器，完全無視Robots協議。這一做法已經導致大量企業內網信息被泄露。2012年年底，百度工程師通過一個名為“鬼節捉鬼”的測試，證明了360瀏覽器存在私自上傳“孤島頁面”等隱私內容到360搜索的行為。

360方面則認為，360搜索索引這些內容頁面并不涉嫌侵犯百度的權益，實際上還為百度帶來了大量的用戶和流量，百度應該感謝360。

案件宣判

2014年8月7日，百度訴360不正當競爭案在北京市第一中級人民法院宣判。法院判決360賠償百度經濟損失費50萬元，網站建設費20萬元。對于百度要求360停止不正當競爭行為不予支持。

法院認為，同為提供搜索引擎服務致使糾紛，作為搜索引擎服務商的百度和360構成反不正當競爭法規定的內容，是適合的主體。法院宣布，原告主張停止不正當競爭行為的不予支持，但對于民事賠償給予支持。對于判決結果，原告百度到庭的法務部人士表示聽清判決，被告360當事人未到庭，律師并未當庭提出上訴，表示回去和當事人匯報和商量。

文章來源　http://baike.sogou.com/v62040012.htm?fromTitle=Robots%E5%8D%8F%E8%AE%AE