爬蟲技術(shù)應(yīng)用合法性引爭議 亟待規(guī)制非法爬取數(shù)據(jù)行為
爬蟲技術(shù)應(yīng)用合法性引爭議
保障數(shù)據(jù)安全亟待規(guī)制非法爬取數(shù)據(jù)行為
核心閱讀
在大數(shù)據(jù)時代的背景下,愈來愈多的市場主體投入巨資收集、整理和挖掘信息。如果任由網(wǎng)絡(luò)爬蟲任意使用他人通過巨大投入獲取的數(shù)據(jù)資源,將不利于鼓勵商業(yè)投入、產(chǎn)業(yè)創(chuàng)新和誠實(shí)經(jīng)營,甚至可能直接違背了數(shù)據(jù)來源用戶的意愿和知情權(quán),最終勢必?fù)p害健康的競爭機(jī)制。
□ 本報記者 張 維
□ 法制網(wǎng)見習(xí)記者 邢國涵
隨著社會經(jīng)濟(jì)的快速發(fā)展,數(shù)據(jù)的價值日益凸顯,已然成為企業(yè)科技創(chuàng)新的必備要素。但企業(yè)通過技術(shù)手段獲取數(shù)據(jù)時,數(shù)據(jù)抓取技術(shù)的應(yīng)用行為是否合理合法,是一個值得深思的問題。
近年來,網(wǎng)絡(luò)爬蟲“爬取數(shù)據(jù)”成為熱詞,相關(guān)司法案例不斷出現(xiàn)。據(jù)不完全統(tǒng)計,近些年涉及網(wǎng)絡(luò)爬蟲的司法案件達(dá)十余起,其中既包括民事案件,還包括刑事案件。這類案例甚至還有愈演愈烈之勢。
在近日于上海舉行的長三角數(shù)據(jù)合規(guī)論壇(第三期)暨數(shù)據(jù)爬蟲的法律規(guī)制研討會上,上海市人民檢察院研究室副主任陳超然透露,檢察機(jī)關(guān)正在積極推動企業(yè)合規(guī)改革試點(diǎn)工作,數(shù)據(jù)合規(guī)正是其中重點(diǎn)!澳壳芭老x爬取數(shù)據(jù)案件非常普遍,當(dāng)網(wǎng)絡(luò)平臺或者個人通過技術(shù)手段抓取別的平臺數(shù)據(jù)時,這種行為是否合法,平臺數(shù)據(jù)主體是誰,歸誰使用,值得深入研討!
杭州長三角大數(shù)據(jù)研究院副院長郭兵認(rèn)為,數(shù)據(jù)爬蟲作為中立性的技術(shù),已在互聯(lián)網(wǎng)產(chǎn)業(yè)領(lǐng)域得到廣泛應(yīng)用。需要注意的是,如果爬蟲技術(shù)不當(dāng)應(yīng)用,會對其他競爭者的合法權(quán)益造成損害,甚至涉嫌違法或者犯罪,也將對產(chǎn)業(yè)的健康發(fā)展產(chǎn)生非常大的負(fù)面影響。
爬取數(shù)據(jù)涉嫌侵權(quán)
從技術(shù)角度看,爬蟲是通過程序去模擬人類上網(wǎng)或者瀏覽網(wǎng)頁、App行為,讓其高效地在網(wǎng)上抓取爬蟲制造者所需要的信息。
歐萊雅中國數(shù)字化負(fù)責(zé)人劉煜晨說,大多數(shù)網(wǎng)站拒絕爬蟲訪問,其中的原因既包括商業(yè)利益考量,也包括自身網(wǎng)站運(yùn)營安全的考量。除了爬蟲可能爬到網(wǎng)站不愿被爬取的數(shù)據(jù)以外,網(wǎng)站經(jīng)營者往往還會擔(dān)心爬蟲干擾網(wǎng)站正常運(yùn)營。
而非正規(guī)爬蟲自動持續(xù)且高頻地對被爬取方進(jìn)行訪問,服務(wù)器負(fù)載飆升,也會給服務(wù)器帶來“難以承受”之重:應(yīng)對經(jīng)驗不足的網(wǎng)站,尤其是中小網(wǎng)站可能會面臨網(wǎng)站打不開、網(wǎng)頁加載極其緩慢、有時甚至直接癱瘓的情況。
新浪集團(tuán)訴訟總監(jiān)張喆說,無論是爬蟲還是實(shí)現(xiàn)其他目的的技術(shù),就其本身而言,都是中立的,但爬蟲技術(shù)的應(yīng)用不是中立的,技術(shù)應(yīng)用都帶有應(yīng)用者的目的。這時候不應(yīng)該評價技術(shù)原理,而是需要評價技術(shù)用來干什么,這一行為手段是否具有正當(dāng)性。
提及網(wǎng)絡(luò)爬蟲,robots協(xié)議是繞不開的話題。robots協(xié)議(也稱爬蟲協(xié)議)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”,網(wǎng)站通過robots協(xié)議明確警示搜索引擎哪些頁面可以爬取,哪些頁面不能爬取。該協(xié)議也被行業(yè)稱為搜索領(lǐng)域的“君子協(xié)定”。
劉煜晨說,當(dāng)網(wǎng)絡(luò)爬蟲訪問一個網(wǎng)站,robots協(xié)議像立在自己房間門口的一個牌子,告訴外來者誰可以過來,誰不可以過來。但是,這只是一個君子協(xié)議,只能起到告示作用,起不到技術(shù)防范作用。
實(shí)踐中,惡意爬蟲爬取時不遵守網(wǎng)站的robots協(xié)議,并可能爬取到不該爬的數(shù)據(jù),這種情形并非孤例。小紅書法務(wù)負(fù)責(zé)人曾翔說,惡意爬蟲案例經(jīng)常發(fā)生在內(nèi)容平臺和電商平臺。在內(nèi)容上被爬取的更多是視頻、圖片、文字、網(wǎng)紅互動數(shù)據(jù)、用戶行為等,在電商領(lǐng)域則多為商家信息和商品信息。
“內(nèi)容平臺一般約定了相關(guān)內(nèi)容知識產(chǎn)權(quán)歸發(fā)布者或者發(fā)布者和平臺共同所有,這些爬蟲沒有簽訂協(xié)議就獲得用戶授權(quán),涉嫌對知識產(chǎn)權(quán)人權(quán)利的侵犯!痹枵f。
或應(yīng)明確網(wǎng)站權(quán)利
這就涉及到數(shù)據(jù)的權(quán)屬及是否能開放的問題。
上海市浦東區(qū)人民法院知識產(chǎn)權(quán)庭法官徐弘韜認(rèn)為,數(shù)據(jù)是內(nèi)容產(chǎn)業(yè)的核心競爭資源,內(nèi)容平臺經(jīng)過匯總分析處理后的數(shù)據(jù)往往具有極高的經(jīng)濟(jì)價值。
“如果要求內(nèi)容平臺經(jīng)營者將其核心競爭資源向競爭對手無限開放,不僅有違‘互聯(lián)互通’精神的實(shí)質(zhì),也不利于優(yōu)質(zhì)內(nèi)容的不斷更迭和互聯(lián)網(wǎng)產(chǎn)業(yè)的持續(xù)發(fā)展!毙旌腠w說。
惡意爬蟲爬取數(shù)據(jù)案件頻發(fā)的背后,是數(shù)據(jù)的價值增加,以數(shù)據(jù)為核心的市場競爭愈發(fā)激烈。
華東政法大學(xué)教授高富平說,進(jìn)入大數(shù)據(jù)時代,數(shù)據(jù)價值再次凸顯,現(xiàn)在的爬蟲技術(shù)已經(jīng)從原來的網(wǎng)頁爬蟲進(jìn)入到底層數(shù)據(jù)的爬取。數(shù)據(jù)爬蟲問題會變得越來越嚴(yán)重。
在大數(shù)據(jù)時代的背景下,愈來愈多的市場主體投入巨資收集、整理和挖掘信息,業(yè)內(nèi)人士對此表示擔(dān)憂:如果任由網(wǎng)絡(luò)爬蟲任意使用或利用他人通過巨大投入所獲取的數(shù)據(jù)資源,將不利于鼓勵商業(yè)投入、產(chǎn)業(yè)創(chuàng)新和誠實(shí)經(jīng)營,甚至可能直接違背了數(shù)據(jù)來源用戶的意愿和知情權(quán),最終勢必?fù)p害健康的競爭機(jī)制。
高富平認(rèn)為,如果網(wǎng)站合法積累數(shù)據(jù)資源,那么這些數(shù)據(jù)資源就應(yīng)該屬于網(wǎng)站的資產(chǎn)!霸试S數(shù)據(jù)生產(chǎn)者、控制者基于商業(yè)目的開放數(shù)據(jù)是有好處的,通過許可使用、交換交易等方式,可以讓更多人享用數(shù)據(jù)服務(wù)。期待在未來確認(rèn)數(shù)據(jù)所有合法生產(chǎn)者對數(shù)據(jù)的控制權(quán)、使用權(quán)!
有序流轉(zhuǎn)同等重要
目前,網(wǎng)站雖然可以去指定相應(yīng)策略或技術(shù)手段,防止爬蟲抓取數(shù)據(jù),但爬蟲也有更多技術(shù)手段來反制這種反爬策略。
劉煜晨說,反爬和爬取的技術(shù)一直在迭代,在技術(shù)領(lǐng)域,沒有爬不了的網(wǎng)站和App,只有愿不愿意爬和多難爬的問題。
據(jù)了解,現(xiàn)實(shí)中惡意網(wǎng)絡(luò)爬蟲制造者抗辯時,往往將robots協(xié)議限制爬取與數(shù)據(jù)流轉(zhuǎn)聯(lián)系起來。徐弘韜認(rèn)為,在“互聯(lián)互通”的語境下,“有序”和“流轉(zhuǎn)”同等重要、缺一不可,需排除假借“互聯(lián)互通”妨礙公平競爭、危害用戶數(shù)據(jù)安全的行為。
“對于非搜索引擎爬蟲的正當(dāng)性判別,要考慮是否足以保障用戶數(shù)據(jù)的安全性。包括身份數(shù)據(jù)、行為數(shù)據(jù)等在內(nèi)的用戶數(shù)據(jù),從屬性來講不僅僅是經(jīng)營者的競爭資源,同樣具有用戶的個人隱私屬性,而此類數(shù)據(jù)的集合更涉及社會公共利益!毙旌腠w說。
據(jù)了解,近年來有關(guān)數(shù)據(jù)安全的法律規(guī)范正在不斷完善中。數(shù)據(jù)安全法作為數(shù)據(jù)安全的基本法,承載著解決我國數(shù)據(jù)安全核心制度框架的重要任務(wù)。此外,還有2019年通過的密碼法,工信部擬出臺《工業(yè)和信息領(lǐng)域數(shù)據(jù)安全管理辦法(試行)》等,一些地方如深圳、上海等也在探索制定數(shù)據(jù)管理相關(guān)規(guī)范。