互聯(lián)網(wǎng)的蓬勃發(fā)展給企業(yè)帶來(lái)生機同時(shí)也產(chǎn)生了前所未有的激烈的市場(chǎng)競爭，相對于互聯(lián)網(wǎng)發(fā)展的速度，立法相對滯后?？疾煳覈壳皩τ诨ヂ?lián)網(wǎng)行業(yè)競爭行為的規制現狀，可以發(fā)現，相關(guān)法律法規具有明顯的反應性與被動(dòng)型，并且存在不足?？梢哉f(shuō)，互聯(lián)網(wǎng)的發(fā)展推動(dòng)著(zhù)立法的完善，技術(shù)的進(jìn)步是互聯(lián)網(wǎng)法律發(fā)展的動(dòng)力。我國在1993年出臺了《反不正當競爭法》，在2000年頒布了《中華人民共和國電信條例》和《互聯(lián)網(wǎng)信息服務(wù)管理辦法》，迫于360公司與騰訊公司之間“3Q”大戰引發(fā)的壓力，在2011年，工信部出臺了《互聯(lián)網(wǎng)信息服務(wù)市場(chǎng)秩序監督管理暫行辦法（征求意見(jiàn)稿）》，2012年6月，國務(wù)院出臺了 《互聯(lián)網(wǎng)信息服務(wù)管理辦法 （修訂草案征求意見(jiàn)稿）》。2012年8月以來(lái)，隨著(zhù)百度與360公司關(guān)于搜索引擎爬蟲(chóng)行為爭議引發(fā)的“3B”大戰，又將互聯(lián)網(wǎng)多年遵循的處于后臺的行業(yè)慣例（即“爬蟲(chóng)協(xié)議”）的法律效力問(wèn)題推到了前臺，在無(wú)法尋找到直接的法律規范的情況下，能否在現有法律中如《反不正競爭法》尋找解決問(wèn)題的途徑成為討論的熱點(diǎn)。
《反不正當競爭法》由于頒布時(shí)間過(guò)早 ，對于之后的技術(shù)發(fā)展很難有預見(jiàn)性，其規定的具體不正當競爭行為很難適用于如今的互聯(lián)網(wǎng)領(lǐng)域。因此，大家都將目光投向了《反不正當競爭法》的一般條款，試圖通過(guò)適用一般條款，對互聯(lián)網(wǎng)的競爭行為進(jìn)行規制。
一、基于《反不正當競爭法》的法理分析
（一）《反不正當競爭法》對于商業(yè)道德的保護
對于何為不正當競爭行為，我國和大多數國家一樣，采用了概括和列舉相結合的立法技術(shù)來(lái)規定不正當競爭行為。我國《反不正當競爭法》第2條第1款規定，“經(jīng)營(yíng)者在市場(chǎng)交易中，應當遵循自愿、平等、公平、誠實(shí)信用的原則，遵守公認的商業(yè)道德?！钡?款規定，“本法所稱(chēng)不正當競爭行為，是指經(jīng)營(yíng)者違反本法規定，損害其他經(jīng)營(yíng)者的合法權益，擾亂社會(huì )經(jīng)濟秩序的行為”。在原則性的規定以外，《反不正當競爭法》 還在第二章列舉了11種不正當競爭行為，包括仿冒、限制競爭、權力經(jīng)營(yíng)、商業(yè)賄賂、虛假廣告、侵犯商業(yè)秘密、傾銷(xiāo)、不正當附條件銷(xiāo)售行為、不當有獎銷(xiāo)售、損害商業(yè)以及串通投標。
但是這是否意味著(zhù)我國《反不正當競爭法》就存在所謂的一般條款在學(xué)界仍有爭論。目前主要有三派觀(guān)點(diǎn)，即“一般條款說(shuō)”、“法定主義說(shuō)”以及“有限的一般條款說(shuō)”。
“一般條款說(shuō)”認為《反不正當競爭法》所調整不正當競爭行為應當不限于第2章所列舉的11種行為，它還包括該法總則尤其是第2條第2款的規定所認定的行為?！胺ǘㄖ髁x說(shuō)”則持相反意見(jiàn)，理由在于：第一，法條通過(guò)“違反本法規定”的表述限定了該條款乃至該法的適用范圍；第二，從法律條文的一般關(guān)系看，通常確立“一般條款”的立法，都會(huì )在下文列舉不正當競爭行為的類(lèi)型時(shí)添加類(lèi)似“其他不正當競爭行為”的兜底性條款，而我國并沒(méi)有這樣的規定?！坝邢?b style="background-color: rgb(160, 255, 255);">的一般條款說(shuō)”認為，司法機關(guān)可以據此認定不正當競爭行為，但行政機關(guān)不能依據該條認定不正當競爭行為，該條只對司法機關(guān)有意義，對行政機關(guān)不具有意義。
筆者贊同“有限的一般條款說(shuō)”。我國《反不正當競爭法》已經(jīng)頒布實(shí)施十幾年，實(shí)際情況發(fā)生了極大的變化，采用“法定主義說(shuō)”將會(huì )對《反不正當競爭法》的適用造成極大的限制，不符合現實(shí)情況?！耙话銞l款說(shuō)”過(guò)于靈活，如果不加限制地賦予執法機關(guān)根據個(gè)案隨時(shí)認定不正當競爭行為的權力，會(huì )導致行政權力的濫用。同時(shí)，由于《反不正當競爭法》第4章所規定的法律責任與第2章相對應，第2條的規定很難適用。因此，《反不正當競爭法》的第2條是一個(gè)“有限的一般條款”。該條款對于不同的競爭行為具有不同的意義，有學(xué)者認為：第一，對于須予以行政處罰而《反不正當競爭法》又未列舉的不正當競爭行為，按照一般條款將其確定為不正當競爭行為沒(méi)有意義，除非行政法規、地方性法規另有規定。第二，對于受害人請求賠償，而《反不正當競爭法》又未列舉的不正當競爭行為，任何一級法院可以根據個(gè)案將其確認為不正當競爭行為，判令行為人承擔民事責任。依據以上觀(guān)點(diǎn)的分析，我國《反不正當競爭法》第二章所列舉的11種具體的不正當競爭行為中并不包括對違反一般商業(yè)道德行為的規制。因此，如果試圖通過(guò)《反不正當競爭法》尋求對商業(yè)道德的保護，就必須適用其一般條款。
一般條款中對于商業(yè)道德的保護在反不正當競爭法中所扮演的角色十分重要?？梢哉f(shuō)，反不正當競爭法的精髓是維護商業(yè)倫理或者商業(yè)道德，這與維護競爭自由的反壟斷法形成鮮明的對比。我國《反不正當競爭法》的第1條對該法的立法目的作出了規定 ，即“保障社會(huì )主義市場(chǎng)經(jīng)濟健康發(fā)展，鼓勵和保護公平競爭，制止不正當競爭行為，保護經(jīng)營(yíng)者和消費者的合法權益”是我國《反不正當競爭法》所要達到的目標?？梢钥闯?，該立法目的體現的是對于市場(chǎng)經(jīng)濟發(fā)展的維護、對經(jīng)營(yíng)者與消費者利益的保障，是一種對于商業(yè)道德的維護。這種對于商業(yè)道德維護的立法精神在第2條體現的更為明顯，該法第2條第1款規定了“經(jīng)營(yíng)者在市場(chǎng)交易中，應當遵循自愿、平等、公平、誠實(shí)信用的原則，遵守公認的商業(yè)道德”的基本原則。該法第2條也被普遍認為是我國《反不正當競爭法》的一般條款，對于社會(huì )主義市場(chǎng)經(jīng)濟的健康發(fā)展具有重要意義。
如前所述，《反不正當競爭法》 的主要立法目的和基本原則就是維護商業(yè)倫理?！侗Ｗo工業(yè)產(chǎn)權巴黎公約》第10條之二所規定的，不正當競爭是指“在工商業(yè)活動(dòng)中違反誠實(shí)慣例的任何競爭行為”，“違反誠實(shí)慣例”是判斷競爭行為是否正當的基本標準。而在判斷競爭行為時(shí)，這種“誠實(shí)慣例”的標準是一種道德標準。
因此，對于不正當競爭行為的考量，尤其涉及對于商業(yè)道德的保護，應該適用《反不正當競爭法》的一般條款，在適用一般條款是，我們需要注意一般條款的適用范圍邊界，防止對于法律的擴大適用。
（二）一般條款的定義及適用
1.一般條款的定義
通常所說(shuō)的法律上的一般條款，主流觀(guān)點(diǎn)比較認同由日本法學(xué)家我妻榮主編的《新法律學(xué)詞典》對于一般條款的定義，“一般條款又稱(chēng)為概括性條款，大致在兩種意義上使用。（1）把法律上的要件制定為抽象的、一般的規定。其具體適用聽(tīng)任法官，具有靈活性，在根據社會(huì )情況變化可追求妥當性這一點(diǎn)上，是有特點(diǎn)的。私法上多用于這一意義。（2）公法上，例如‘認為公益上有需要時(shí)’，指以不確定的概念為行政行為要件規定，也還有把與一定情形有關(guān)的情況統一整理為對象的規定?！睂τ凇斗床徽敻偁幏ā匪?b style="background-color: rgb(160, 255, 255);">的一般條款，孔祥俊認為，反不正當競爭法上的一般條款即規定執法機關(guān)或者法院，在法律具體列舉的不正當競爭行為以外認定其他不正當競爭行為的要件的抽象的或者概括的規范。
2.一般條款的適用范圍
（1）基本要求
對于《反不正當競爭法》一般條款的適用應滿(mǎn)足以下基本要求：①貫徹《反不正當競爭法》的立法宗旨；②把握《反不正當競爭法》一般條款的核心原則；③進(jìn)行利弊權衡。
《反不正當競爭法》的宗旨由該法的第1條予以規定，即“保障社會(huì )主義市場(chǎng)經(jīng)濟健康發(fā)展，鼓勵和保護公平競爭，制止不正當競爭行為，保護經(jīng)營(yíng)者和消費者的合法權益”。因此，在適用一般條款時(shí)，應當考慮不正當行為是否有損于社會(huì )主義市場(chǎng)經(jīng)濟的健康發(fā)展，是否產(chǎn)生了不正當競爭，是否侵害了經(jīng)營(yíng)者和消費者的合法權益。
一般條款的核心原則包括誠實(shí)信用和遵守商業(yè)道德。二者是判斷競爭行為是否正當的基礎。當面臨某一競爭行為是否構成《反不正當競爭法》意義上的不正當競爭行為時(shí)，應考量其是否違背了誠實(shí)信用原則或違背了基本的商業(yè)道德。對于誠實(shí)信用原則和商業(yè)道德的進(jìn)一步解釋將在下文進(jìn)行論述。
進(jìn)行利弊權衡是指法官應以《反不正當競爭法》的立法目的為主導，綜合考慮競爭主體、消費者和社會(huì )公共利益，按一般條款規定的原則判斷究竟應注重哪一方的利益。進(jìn)行利弊權衡的同時(shí)，需要強調的是必須以前兩項基本要求為基礎，否則容易導致一般條款的適用偏差。
（2）一般要件
如前所述，對我國《反不正當競爭法》應采取“有限的一般條款說(shuō)”，其適用依賴(lài)于最高人民法院對于一般條款的解釋。
最高人民法院在“山東省食品進(jìn)出口公司、山東山孚集團有限公司、山東山孚日水有限公司與馬達慶、青島圣克達誠貿易有限公司不正當競爭糾紛案”（以下簡(jiǎn)稱(chēng)“海帶配額”案）中對我國《反不正當競爭法》一般條款的適用作出了解釋?zhuān)J為適用《反不正當競爭法》第2條應具備以下條件：①法律對該種競爭行為未作出特別規定；②使其他經(jīng)營(yíng)者的合法權益確因該競爭行為而受到了實(shí)際損害；③該種競爭行為因確屬違反誠實(shí)信用原則和公認的商業(yè)道德而具有不正當性或者說(shuō)可責性。
第一個(gè)要件要求競爭行為必須不屬于 《反不正當競爭法》的二章列舉的11種具體行為中的任何一種。否則，將直接適用第二章的具體規定，討論一般條款的適用是沒(méi)有意義的。
第二個(gè)要件實(shí)際包含三個(gè)方面。首先要求受侵害的對象為其他經(jīng)營(yíng)者，也就是說(shuō)該種不正當競爭手段損害的是其他經(jīng)營(yíng)者的利益，不正當競爭之訴的請求權主體只能是經(jīng)營(yíng)者并非消費者。其次，合法權益的損害與不正當競爭行為具有因果關(guān)系。這里強調合法權益的損害必須是由該不正當競爭行為導致的，如果損害是由于其他因素所引發(fā)，則不應適用一般條款。第三，必須造成了實(shí)際損害。這是對不正當競爭行為損害結果的要求，這種損害結果必須是實(shí)際的，防止了一般條款的濫用。
第三個(gè)要件是對誠實(shí)信用原則以及商業(yè)道德的要求。最高法院在“海帶配額”案中對于反不正當競爭法意義上的誠實(shí)信用原則以及商業(yè)道德進(jìn)行了具體的解釋?zhuān)罡叻ㄔ赫J為，“在規范市場(chǎng)競爭秩序的反不正當競爭法意義上，誠實(shí)信用原則更多的是以公認的商業(yè)道德的形式體現出來(lái)的。商業(yè)道德要按照特定商業(yè)領(lǐng)域中市場(chǎng)交易參與者即經(jīng)濟人的倫理標準來(lái)加以評判，它既不同于個(gè)人品德，也不能等同于一般的社會(huì )公德，所體現的是一種商業(yè)倫理。反不正當競爭法所要求的商業(yè)道德必須是公認的商業(yè)道德，是指特定商業(yè)領(lǐng)域普遍認知和接受的行為標準，具有公認性和一般性。即使在同一商業(yè)領(lǐng)域，由于是市場(chǎng)交易活動(dòng)中的道德準則，公認的商業(yè)道德也應當是交易參與者共同和普遍認可的行為標準。具體到個(gè)案中的公認的商業(yè)道德，應當結合案件具體情形來(lái)分析判定?！?/p>
（三）一般條款的功能
通常情況下，一般條款在一部法律中都居于核心地位，因為其決定著(zhù)該部法律的價(jià)值取向、基本內容和框架。一般條款通常有如下作用：第一，法具體化機能，即在制定法范圍內，補充其規定之不備，使其適合制定法精神的具體化；第二，正義平衡機能，即制定法外之倫理依據，使行使權利合乎實(shí)質(zhì)的正義平衡機能；第三，法修正機能，即為使制定法適合時(shí)代社會(huì )之進(jìn)展需要而具有的制定法修正作用；第四，法創(chuàng )設機能，即為適應時(shí)代需要，而創(chuàng )設與制定法相反的法的機能與前述使制定法適合時(shí)代社會(huì )之進(jìn)展需要，而修正制定法之機能不同。
具體到我國《反不正當競爭法》中，可以將一般條款的功能概括為以下幾個(gè)方面。
第一，一般條款可以彌補《反不正當競爭法》的不足，即法具體化之機能。成文法具有不周延性和滯后性的特點(diǎn)。限于文字表達的固有缺陷，很可能造成許多應該被納入法律規定的內容被法條的具體規定所排除。為了減少這種固有的缺點(diǎn)，就需要為不正當競爭行為提供一個(gè)統一的一般規則，或者規定不正當競爭行為的具體條款，以增強不正當競爭行為的認定標準的客觀(guān)性。同時(shí)，社會(huì )是不斷變化發(fā)展的，即使法律對現有的不正當競爭行為進(jìn)行了詳細的規定，也不能保證其能夠適用于將來(lái)新出現的不正當競爭行為。一般條款的存在可以很好地解決這個(gè)問(wèn)題。一般條款的規定一般比較抽象，司法機關(guān)可以對抽象的概念進(jìn)行解釋?zhuān)瑢ⅰ斗床徽敻偁幏ā愤m用于將來(lái)出現的新的不正當競爭行為。
第二，一般條款可以增強反不正當競爭法的靈活性，即法修正機能。隨著(zhù)社會(huì )主義市場(chǎng)經(jīng)濟的發(fā)展，《反不正當競爭法》 所涉及的不正當競爭行為以及領(lǐng)域將會(huì )越來(lái)越廣。如果沒(méi)有一般條款，那么《反不正當競爭法》將會(huì )十分僵化，失去生命力。一般條款使《反不正當競爭法》可以根據社會(huì )經(jīng)濟的變化不斷調整，增強了其靈活性與適用性，可以保持長(cháng)久的生命力。
第三，一般條款可以為競爭行為提供基本的道德標準與價(jià)值判斷，即正義平衡機能。一般條款所規定的道德標準是競爭者處于經(jīng)營(yíng)活動(dòng)的特定時(shí)間、空間和領(lǐng)域的文化積累和價(jià)值判斷，是競爭者參與競爭的基本準則。一般條款中所規定的誠實(shí)信用原則、商業(yè)道德等相關(guān)規定，為競爭者提供了道德與價(jià)值判斷的標準，要求人們的競爭行為符合公平與道德。在這一標準中，競爭中的義務(wù)來(lái)源和范圍大大擴展了，不再要求只是法律所明確列舉的行為才是法律禁止的，凡是違反這些道德觀(guān)念和倫理標準的行為，不論它是否被列舉條款所明確禁止，都是為《反不正當競爭法》所禁止的。因此，《反不正當競爭法》的一般條款提供了行為人參與市場(chǎng)競爭的基本判斷標準。
因此，《反不正當競爭法》 的一般條款能夠克服法律的不完備性，增強法律的適用性與權威性，提供競爭行為的道德標準以及價(jià)值判斷，具有十分重大的意義。
二、互聯(lián)網(wǎng)行業(yè)基本準則與《反不正當競爭法》一般條款
在互聯(lián)網(wǎng)發(fā)展的早期，互聯(lián)網(wǎng)受政府和國家的干預很少，互聯(lián)網(wǎng)的使用者發(fā)展了自己的非正式規則，可以被稱(chēng)為“網(wǎng)上禮節”，即一種非正式的、非文字的而又被普遍接受的特別有關(guān)于互聯(lián)網(wǎng)上的行為的規則。隨著(zhù)互聯(lián)網(wǎng)的發(fā)展，政府與國家開(kāi)始通過(guò)政策與法律干預互聯(lián)網(wǎng)的發(fā)展，但是這些基本的“網(wǎng)上禮節”保留了下來(lái)，同時(shí)，隨著(zhù)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，在很多新的領(lǐng)域，也形成了新的“網(wǎng)上禮節”。這些“禮節”就是互聯(lián)網(wǎng)行業(yè)的一些基本行為準則。
根據《中國互聯(lián)網(wǎng)行業(yè)自律公約》中對于互聯(lián)網(wǎng)行業(yè)的定義，互聯(lián)網(wǎng)行業(yè)是指從事互聯(lián)網(wǎng)運行服務(wù)、應用服務(wù)、信息服務(wù)、網(wǎng)絡(luò )產(chǎn)品和網(wǎng)絡(luò )信息資源的開(kāi)發(fā)、生產(chǎn)以及其他與互聯(lián)網(wǎng)有關(guān)的科研、教育、服務(wù)等活動(dòng)的行業(yè)的總稱(chēng)?；ヂ?lián)網(wǎng)行業(yè)的基本準則就是指上述定義中各個(gè)部門(mén)都普遍接受的規則。這種基本準則并非法律法規所強制規定的，是互聯(lián)網(wǎng)行業(yè)各個(gè)部門(mén)參與者自愿遵守的。在整個(gè)互聯(lián)網(wǎng)行業(yè)的各個(gè)部門(mén)內部，也有其部門(mén)特有的一些基本準則，同樣，它們也是由具體部門(mén)中的參與者所自發(fā)地、共識地遵守的基本行為規范。
無(wú)論是整個(gè)互聯(lián)網(wǎng)行業(yè)的基本準則還是具體到行業(yè)各個(gè)部門(mén)的基本行為規范，無(wú)疑都要求企業(yè)遵守誠實(shí)信用原則，遵守基本的商業(yè)道德。工信部發(fā)布的《規范互聯(lián)網(wǎng)信息服務(wù)市場(chǎng)秩序若干規定》第4條規定，“互聯(lián)網(wǎng)信息服務(wù)提供者應當遵守平等、自愿、公平、誠信的原則提供服務(wù)”。公平誠信是互聯(lián)網(wǎng)信息服務(wù)提供者所應當遵守的底線(xiàn)，互聯(lián)網(wǎng)行業(yè)應當遵守商業(yè)道德和行業(yè)規范?！兑幏痘ヂ?lián)網(wǎng)信息服務(wù)市場(chǎng)秩序若干規定》第5條列舉了互聯(lián)網(wǎng)信息服務(wù)提供者不得實(shí)施侵犯其他互聯(lián)網(wǎng)信息服務(wù)提供者合法權益的行為，雖然其中并沒(méi)有包括爬蟲(chóng)協(xié)議的遵守，但是在第5條第6款規定了“其他違反國家法律規定，侵犯其他互聯(lián)網(wǎng)信息服務(wù)提供者合法權益的行為”。這里的“其他違反國家法律規定”的行為可以理解為違反《反不正當競爭法》一般條款的行為，也是一種對于互聯(lián)網(wǎng)行業(yè)商業(yè)道德的規定。
同時(shí)，根據最高人民法院在“海帶配額”案中的解釋?zhuān)虡I(yè)道德是指特定商業(yè)領(lǐng)域普遍認知和接受的行為標準，具有公認性和一般性?？梢?jiàn)，互聯(lián)網(wǎng)行業(yè)的基本準則作為互聯(lián)網(wǎng)行業(yè)領(lǐng)域普遍認知和接受的行為標準，實(shí)際上就是互聯(lián)網(wǎng)行業(yè)的商業(yè)道德，對于互聯(lián)網(wǎng)行業(yè)基本準則的違反就是對互聯(lián)網(wǎng)行業(yè)商業(yè)道德的踐踏。
前文已述，對于一般條款中所規定的不正當競爭行為的判斷應當以是否違反了誠實(shí)信用原則以及公認的商業(yè)道德作為判斷的標準?；ヂ?lián)網(wǎng)行業(yè)的基本準則屬于互聯(lián)網(wǎng)行業(yè)的商業(yè)道德，對于基本準則的違反也就意味著(zhù)對于商業(yè)道德的違反，那么違反互聯(lián)網(wǎng)行業(yè)基本準則的行為就很可能構成《反不正當競爭法》一般條款所規定的不正當競爭行為，就會(huì )受到《反不正當競爭法》的規制。實(shí)際上，對于《反不正當競爭法》一般條款對于互聯(lián)網(wǎng)規制的所起到的作用，最高人民法院法官孔祥俊已經(jīng)作出過(guò)十分準確的論斷，他認為《反不正當競爭法》具有兜底性，在調整網(wǎng)上不正當競爭行為中具有特殊作用。
三、爬蟲(chóng)協(xié)議與《反不正當競爭法》的一般條款
違反爬蟲(chóng)協(xié)議的行為在業(yè)界最受譴責，也最容易引起相關(guān)法律爭議。
爬蟲(chóng)協(xié)議的概念，源自于英文的“robots.txt”，即網(wǎng)絡(luò )機器人協(xié)議。robots協(xié)議官方網(wǎng)站（http：//www.robotstxt.org）對網(wǎng)絡(luò )機器人（robots）所下的定義為：網(wǎng)絡(luò )機器人（也叫網(wǎng)絡(luò )游客、爬蟲(chóng)程序、蜘蛛程序），是一種自動(dòng)爬行網(wǎng)絡(luò )的程序。搜索引擎比如Google利用這一程序對網(wǎng)站內容建立索引，垃圾郵件商也利用網(wǎng)絡(luò )機器人程序掃描郵件地址，網(wǎng)絡(luò )機器人程序還有其他的用途。而爬蟲(chóng)協(xié)議即robots協(xié)議是指網(wǎng)站所有者利用robots文本文件指導他們的網(wǎng)站如何應對網(wǎng)絡(luò )機器人，也叫做拒絕網(wǎng)絡(luò )機器人協(xié)議。
爬蟲(chóng)協(xié)議的工作原理是：一個(gè)機器人程序想要訪(fǎng)問(wèn)一個(gè)網(wǎng)站url，如：http：//www.example.com/welcome.html，它會(huì )首先檢查這個(gè)地址：http：//www.example.com/robots.txt，如果它檢查后發(fā)現：User-agent：*或Disallow：/，“User-a-gent：*” 指這個(gè)部分適用于所有的機器人程序 ，“Disal-low：/” 則告訴機器人程序不應該訪(fǎng)問(wèn)這個(gè)網(wǎng)站的所有網(wǎng)頁(yè)。
（一）爬蟲(chóng)協(xié)議與商業(yè)道德
從行業(yè)內的基本實(shí)踐以及法院的相關(guān)判決中我們可以看出，遵守爬蟲(chóng)協(xié)議已經(jīng)成為互聯(lián)網(wǎng)行業(yè)的基本行業(yè)規范，此次360搜索違反的爬蟲(chóng)協(xié)議實(shí)際上是搜索引擎行業(yè)所公認的行業(yè)規范。
從互聯(lián)網(wǎng)行業(yè)的基本實(shí)踐角度考察，1994年6月30日，在經(jīng)過(guò)搜索引擎人員以及被搜索引擎抓取的網(wǎng)站站長(cháng)共同討論后，正式發(fā)布了一份行業(yè)規范，即robots.txt協(xié)議。在此之前，相關(guān)人員一直在起草這份文檔，并在世界互聯(lián)網(wǎng)技術(shù)郵件組發(fā)布后，這一協(xié)議被幾乎所有的搜索引擎采用，包括最早的altavista，infoseek，后來(lái)的google，bing，以及中國的百度、搜搜、搜狗等公司也相繼采用并嚴格遵循。在中國國內互聯(lián)網(wǎng)行業(yè)，大型網(wǎng)站也基本都將爬蟲(chóng)協(xié)議當作一項行業(yè)基本準則。
從法院判例角度考察，在Copiepresse訴Google案中，Copiepresse （比利時(shí)一家報業(yè)集團 ） 認為Google提供的“Google News Belgium”服務(wù)，是由計算機生成分類(lèi)的每日新聞評論，Google在未經(jīng)版權人許可的情況下復制并向公眾提供其版權作品，侵犯了其著(zhù)作權和報業(yè)特有的數據庫。Google抗辯稱(chēng)，Copiepresse并未采取爬蟲(chóng)協(xié)議來(lái)告知其訪(fǎng)問(wèn)政策，構成對搜索引擎抓取其內容的默示許可。最終比利時(shí)高級法院判定Google敗訴，法官認為，版權屬于排他性權利，未使用爬蟲(chóng)協(xié)議并不代表默示許可。換句話(huà)說(shuō)，如果存在爬蟲(chóng)協(xié)議，那么搜索引擎就應當遵守。
另一起與爬蟲(chóng)協(xié)議相關(guān)的國外判例是eBay訴Bidder,sEdge案，eBay是電子交易網(wǎng)站，而B(niǎo)idder,s Edge（下稱(chēng)BE）是一個(gè)提供一站式拍賣(mài)搜索服務(wù)的網(wǎng)絡(luò )服務(wù)提供商，其數據庫搜集包括eBay在內的電子交易網(wǎng)站大量的拍賣(mài)信息。本案中，eBay的用戶(hù)協(xié)議明確規定了使用爬蟲(chóng)訪(fǎng)問(wèn)其網(wǎng)站必須經(jīng)過(guò)其書(shū)面同意，并且通過(guò)爬蟲(chóng)協(xié)議向各爬蟲(chóng)程序說(shuō)明其網(wǎng)站訪(fǎng)問(wèn)政策。在當事人雙方未達成書(shū)面協(xié)議的情況下，BE卻通過(guò)爬蟲(chóng)收集eBay網(wǎng)站的拍賣(mài)信息。法官認為，BE在沒(méi)有獲得eBay授權的情況下，對eBay的網(wǎng)站進(jìn)行反復地查詢(xún)抓取，構成侵權。因此，根據本案法官所得出的結論，在對方設置了爬蟲(chóng)協(xié)議的情況下，搜索引擎如果不遵守該協(xié)議，會(huì )涉及侵權。
對于爬蟲(chóng)協(xié)議的相關(guān)判例，除了國外法院的判決之外，國內也存在一些具有指導借鑒意義的相關(guān)判例，其中法院對爬蟲(chóng)協(xié)議的效力都進(jìn)行了相應的確認。在一起有關(guān)百度搜索侵犯隱私權的案例中，原告向萬(wàn)網(wǎng)公司發(fā)送了附有其個(gè)人信息的電子郵件，但是通過(guò)百度搜索，可以搜索到萬(wàn)網(wǎng)公司電子郵箱中關(guān)于原告的個(gè)人信息，因此，原告起訴兩家公司，要求其就對其隱私權的侵害賠禮道歉并賠償損失。北京市一中院認為，萬(wàn)網(wǎng)公司已按行業(yè)慣例在根目錄下安裝了禁止鏈接的robots協(xié)議，即采取了安全防范措施。百度搜索引擎在進(jìn)行抓取和收集互聯(lián)網(wǎng)信息時(shí)，除非有證據證明其惡意獲取相關(guān)信息，否則其行為并無(wú)不當。因此，對于搜索引擎來(lái)說(shuō)，只要其在進(jìn)行信息收集及抓取的過(guò)程中遵守了爬蟲(chóng)協(xié)議，就不會(huì )構成侵權。
北京市一中院在另一起浙江泛亞電子商務(wù)有限公司訴百度著(zhù)作權侵權的案件中，再一次確認了爬蟲(chóng)協(xié)議的相關(guān)效力。原告泛亞公司稱(chēng)在百度搜索其享有著(zhù)作權的3首歌曲時(shí)，百度會(huì )提供可以進(jìn)行免費下載該歌曲網(wǎng)站的鏈接，侵犯了其著(zhù)作權。法院在判決中認為，權利人在針對搜索引擎的維權行為中，可以選擇明示禁止收錄的措施，比如網(wǎng)站可以創(chuàng )建robots.txt文件，以告知搜索引擎哪些內容可以收錄，搜索引擎可以合法地收錄未被禁止鏈接的網(wǎng)站。從這份判決可以看出，搜索引擎在提供搜索服務(wù)時(shí)，應當遵守爬蟲(chóng)協(xié)議。
通過(guò)以上4個(gè)案例可以看出，雖然在國內外的各個(gè)案例中，法院對于爬蟲(chóng)協(xié)議的性質(zhì)以及法律地位的認定并不完全相同，但是都認同互聯(lián)網(wǎng)企業(yè)應當遵守爬蟲(chóng)協(xié)議，在eBay訴Bidder,s Edge案中，法官認為，如果違反爬蟲(chóng)協(xié)議，可能構成侵權。因此，遵守爬蟲(chóng)協(xié)議已經(jīng)成為互聯(lián)網(wǎng)行業(yè)內部的行業(yè)基本規范與準則。根據“我國海帶配額”案中最高法院對于商業(yè)道德的解讀，爬蟲(chóng)協(xié)議是互聯(lián)網(wǎng)領(lǐng)域普遍認知和接受的行為標準，具有公認性和一般性，屬于公認的商業(yè)道德，對這一行業(yè)基本準則的違反屬于違反互聯(lián)網(wǎng)行業(yè)的商業(yè)道德。
（二）爬蟲(chóng)協(xié)議與《反不正當競爭法》一般條款
《反不正當競爭法》的一般條款要求經(jīng)營(yíng)者在市場(chǎng)交易中，應當遵循自愿、平等、公平、誠實(shí)信用的原則，遵守公認的商業(yè)道德。根據上文的分析，構成適用《反不正當競爭法》 一般條款的構成要件是：1.法律對該種競爭行為未作出特別規定；2.其他經(jīng)營(yíng)者的合法權益確因該競爭行為而受到了實(shí)際損害；3.該種競爭行為因確屬違反誠實(shí)信用原則和公認的商業(yè)道德而具有不正當性或者說(shuō)可責性。在“3B”大戰中，違反爬蟲(chóng)協(xié)議的行為并不屬于我國《反不正當競爭法》第二章中規定的11種具體的不正當競爭行為，該行為擅自抓取其他網(wǎng)站上的信息和可能造成著(zhù)作權、隱私權侵權，以及設置爬蟲(chóng)協(xié)議網(wǎng)站其他商業(yè)利益的損失，同時(shí)違反作為行業(yè)基本準則的爬蟲(chóng)協(xié)議，構成了對互聯(lián)網(wǎng)領(lǐng)域內基本商業(yè)道德的違反。因此，違反爬蟲(chóng)協(xié)議的行為符合適用反不正當競爭法一般條款的三個(gè)要件，可能構成不正當競爭。
四、思考：技術(shù)標準與行業(yè)慣例
在技術(shù)快速進(jìn)步的時(shí)代，規制技術(shù)前沿領(lǐng)域是十分困難的，多變的互聯(lián)網(wǎng)一夜之間就會(huì )產(chǎn)生出許多新的商業(yè)模式，技術(shù)開(kāi)發(fā)者以技術(shù)先進(jìn)性為追求目標，商人以最大盈利為目標，他們在推出新的商業(yè)模式和新技術(shù)時(shí)不會(huì )太多考慮法律的存在，于是在互聯(lián)網(wǎng)領(lǐng)域，技術(shù)的快速發(fā)展與法律的嚴重滯后這一矛盾就更加突出。面對這一矛盾，法律的原則性條款在解決新問(wèn)題方面有著(zhù)得天獨厚的優(yōu)勢，學(xué)者與司法實(shí)踐人員都越來(lái)越注重原則條款在反不正當競爭領(lǐng)域內的作用。同時(shí)在法律缺位時(shí)，互聯(lián)網(wǎng)也依靠她自身強大的調節作用、依靠行業(yè)自律規則和技術(shù)標準保持她的良好運轉。我們能夠看到如下兩種作用。
（一）依靠技術(shù)規范管理——技術(shù)標準的作用
現代互聯(lián)網(wǎng)是依據技術(shù)協(xié)議構建秩序的，經(jīng)由各種組織和工程師們的多種匯集產(chǎn)生的基礎協(xié)議TCP/IP協(xié)議最具有代表性，它是被用作連接計算機和網(wǎng)絡(luò )的上百個(gè)協(xié)議的基礎，它構建了信息傳輸的一整套技術(shù)標準，在這些技術(shù)標準中，盡管充滿(mǎn)著(zhù)創(chuàng )新的結晶——專(zhuān)利技術(shù)，但他們都被無(wú)償的奉獻給了互聯(lián)網(wǎng)的基礎設施。這些協(xié)議規范著(zhù)信息高速公路上的通行者，沒(méi)有警察但是有紅綠燈，這是嚴格的技術(shù)規范世界。
合同、合意和工程協(xié)議提供了互聯(lián)網(wǎng)管理的基礎，也創(chuàng )建了反映在互聯(lián)網(wǎng)用戶(hù)的法律關(guān)系中的框架。理解互聯(lián)網(wǎng)協(xié)議在未來(lái)制定法律時(shí)非常有幫助，正是因為互聯(lián)網(wǎng)協(xié)議本身性質(zhì)而非違法行為決定了：對網(wǎng)上的不法行為強加第三方責任特別是版權侵權責任的必要性，也是由于協(xié)議的性質(zhì)使得要在網(wǎng)絡(luò )空間中衡量管轄權。
新的技術(shù)標準也可能會(huì )影響預料之中和預料之外的網(wǎng)絡(luò )法律關(guān)系。云技術(shù)介入互聯(lián)網(wǎng)，物聯(lián)網(wǎng)的開(kāi)始都是技術(shù)標準先行。工程師們繼續發(fā)展新的協(xié)議去擴展互聯(lián)網(wǎng)的容量和效率。隨著(zhù)新的標準的采納，技術(shù)將繼續推動(dòng)法律產(chǎn)生變化，從這個(gè)意義上看，掌控了互聯(lián)網(wǎng)新的技術(shù)標準也就掌控了未來(lái)法律的方向。
（二）非正式規則與慣例——行業(yè)慣例與自律規則
千百年來(lái)習慣法確立的是：慣例和習俗能確定什么是合理的。在缺乏強制性規則和技術(shù)標準的互聯(lián)網(wǎng)領(lǐng)域，慣例和習俗形成的規律是：最初時(shí)大家各自采用不同的做法，隨后某個(gè)人或某些人提出一種倡議的規范，慢慢地開(kāi)始有人遵循使用，隨著(zhù)使用的人越來(lái)越多，逐漸演變成行業(yè)通用的慣例，大家都遵照使用，但規范本身并未被法律或行業(yè)組織確定為具有強制性，例如超文本傳輸協(xié)議（Http協(xié)議）、記錄網(wǎng)民訪(fǎng)問(wèn)記錄的Cookie，以及前文涉及的爬蟲(chóng)協(xié)議等。
這些規范對于調節互聯(lián)網(wǎng)參與各方的行為發(fā)揮著(zhù)重大的作用?；ヂ?lián)網(wǎng)沒(méi)有國界，如果某一國家的互聯(lián)網(wǎng)從業(yè)者不遵守國際通用的規范，將導致國際互聯(lián)網(wǎng)行業(yè)的排擠，使整個(gè)國家的互聯(lián)網(wǎng)行業(yè)無(wú)法融入世界。
因此，如果是國際通用的技術(shù)標準或行業(yè)慣例，法院應當將其確立為具有法律效力的商業(yè)習慣法，在發(fā)生違約或者侵權案件時(shí)，在法律缺位的情況下，自愿性的規范應當被倡導，而基于商業(yè)道德和行業(yè)慣例的自律規則更應當得到法律的支持。
聯(lián)系客服
