<output id="5zixi"></output>
<output id="5zixi"><legend id="5zixi"></legend></output>
<p id="5zixi"><del id="5zixi"><div id="5zixi"></div></del></p>

<tr id="5zixi"><label id="5zixi"></label></tr>
<p id="5zixi"></p>
  • <tr id="5zixi"><label id="5zixi"></label></tr><td id="5zixi"><ruby id="5zixi"></ruby></td><acronym id="5zixi"><meter id="5zixi"></meter></acronym><object id="5zixi"><strong id="5zixi"><address id="5zixi"></address></strong></object>
    論算法的法律規制
    2022/3/7 14:54:10  點擊率[348]  評論[0]
    【法寶引證碼】
      【學科類別】科技法學
      【出處】《中國社會科學》2020年第12期
      【寫作時間】2020年
      【中文摘要】算法崛起對法律規制提出了挑戰,它可能挑戰人類的知情權、個體的隱私與自由以及平等保護。作為人機交互的算法決策機制,算法并非價值中立,具備可規制性。算法公開、個人數據賦權、反算法歧視是傳統的算法規制方式,但機械適用這些方式面臨可行性與可欲性難題。算法公開面臨技術不可行、公開無意義、用戶算計與侵犯知識產權等難題,個人數據賦權面臨個體難以行使數據權利、過度個人數據賦權導致大數據與算法難以有效運轉等難題,反算法歧視面臨非機器算法歧視、身份不可能完全中立、社會平等難以實現等難題。傳統算法規制路徑面臨困境的根本原因在于忽視算法的場景性,算法可能因為運用算法主體的不同、針對對象的不同以及涉及問題的不同而具有不同的性質。因此,算法規制應采取場景化的規制路徑,根據不同場景類型對算法采取不同的規制方式,以實現負責任的算法為目標。在算法場景化規制原則的指引下,可以構建算法公開、數據賦權與反算法歧視等算法規制的具體制度。
      【中文關鍵字】人工智能;算法;算法公開;數據權利;算法歧視;場景化規制
      【全文】

        一、問題的提出:算法崛起的法律挑戰
       
        隨著大數據與人工智能時代的到來,算法開始呈現越來越大的影響,日益成為社會關注的問題。以往,算法更多是數學家或程序員所關注的對象,算法主要在數學運算或實驗室的場景下發生作用。到了大數據與人工智能時代,算法開始在越來越多的應用場景中被用于決策或輔助決策。[1]隨著未來大數據與人工智能更深度地運用,未來算法的應用場景將更為廣泛,在自動駕駛、公共管理、司法等領域與場景中,算法都將發揮舉足輕重甚至是決定性的作用。算法在社會中的廣泛運用帶來很多正面效應,它可以大幅提高決策效率,為消費者或用戶提供更精準的服務。同時,算法崛起也帶來很多挑戰。[2]2020年引起社會廣泛關注的外賣算法系統,一些互聯網平臺利用算法設置外賣騎手的配送時間,送餐時間被壓縮得越來越短,對外賣騎手的生命健康造成嚴重威脅。[3]而且,這個算法系統采用自動化的機器決策,騎手很難理解和提出抗議。
       
        從法律的角度看,算法從幾個方面挑戰了法律的一些基本原則。首先,算法黑箱可能挑戰人類決策的知情權與自主決策。一般認為,在所有重要事務中,做出最終決策的主體應當是人,“人類選擇是私人與公共生活的不可分割與根本性的一部分”。[4]但是在算法社會中,很多時候不透明的算法——而非人——成為決策主體。如果不加檢驗地以機器決策替代人類決策,人類的自主性可能面臨嚴峻考驗。
       
        其次,算法可能威脅個體的隱私與自由。算法常常建立在個人數據的收集之上,通過結合大數據運算與個人數據進行個性化推送。但這種對個體偏好的預測與迎合可能損害公民個體的自主性,因為這種個性化推薦可能使個體困于信息繭房(information cocoons)。個體受限于算法的控制,能接受到的信息只是算法根據個體偏好而篩選出來的信息,而不是那些更加中立、可能促使個體反思自身前見的信息,甚至不是隨機性的信息。長期如此,個體真正的自由可能受到威脅。
       
        最后,算法可能導致歧視與偏見。平等是一個社會的基本價值,算法的技術特征使得有人認為,算法有助于解決歧視與偏見問題。但算法也可能常常暗含歧視與偏見,甚至放大人類的偏見。[5]當人們設計算法與輸入數據時,此類算法或數據可能就不具有代表性。例如一種進行人類臉部識別的算法,如果算法所使用的數據都是白人男性的數據,那么就可能無法識別黑人、亞裔或女性,對黑人、亞裔或女性形成歧視。[6]算法可能會固化歧視與偏見,使其更難被發現、更難以矯正。
       
        針對算法崛起所帶來的法律挑戰,傳統法律規制主要采取三種方式加以應對:算法公開、個人數據賦權與反算法歧視。其中算法公開的方式認為,算法崛起帶來的最大挑戰在于算法的不透明性,人們常常感到它是一個黑箱,無法理解它的邏輯或其決策機制。因此,應當對算法進行公開,使得算法能夠為人們所知曉。個人數據賦權的方式認為,影響個體的算法都是建立在對個人數據的收集與應用基礎上的,因此,應當對算法所依賴的對象——數據——進行法律規制,通過賦予個體以相關數據權利來規制算法。最后,反算法歧視的方式認為,算法中常常隱含了很多對個體的身份性歧視,因此應當消除算法中的身份歧視,實現身份中立化的算法決策。
       
        如何看待算法崛起對法律規制的挑戰?本文力圖對這一問題進行較為全面的分析。首先,本文對算法進行界定,指出算法的本質在于人機交互決策,因此算法不同于純粹的科學或工具,具備法律上的可規制性。其次,本文對算法公開、個人數據賦權與反算法歧視這三種傳統的算法法律規制方式進行分析,指出機械地使用這三種方式可能導致可行性與可欲性問題。再次,本文分析算法規制的基本原理,指出算法常常因為場景的變化而具有不同屬性。為此,算法規制必須采取場景化的規制路徑,根據算法運用的不同主體、算法針對的不同對象、算法涉及的不同領域而進行不同類型的規制,以形成可信賴和負責任的算法。最后,本文對算法公開、個人數據賦權與反算法歧視的制度進行初步建構。
       
        二、算法的界定與可規制性
       
        在分析算法規制之前,需要先對算法進行界定。算法可作狹義界定,也可作廣義或中義界定。[7]從狹義角度看,算法源于數學與計算科學,用于表述解決數學與計算科學難題的一系列規則,例如數據結構算法、數論與代數算法、計算幾何算法、圖論算法、動態規劃以及數值分析、加密算法、排序算法、檢索算法、隨機化算法、并行算法、厄米變形模型、隨機森林算法等。因此,狹義的算法可被視為純粹的科學或技術。[8]根據這種理解,有的學者將算法界定為一系列“已被編碼的程序”或者“為了快速實現某個目標對一組數據進行處理的邏輯步驟”。[9]
       
        算法也可作廣義界定。隨著社會的發展與科技的廣泛應用,算法的概念不僅被應用于數學與計算科學領域,也被應用于很多社會科學領域。在這些語境下,算法被寬泛地界定為所有決策程序或步驟,而不僅是與機器相關的自動化決策。[10]從廣義的算法概念出發,有學者認為算法可被視為一種建構社會秩序的特殊理性形式。[11]還有學者提出,算法可以被界定為“為實現某一目標而明確設定的一系列步驟”。[12]
       
        本文采取介于狹義與廣義之間的中義算法定義。這種算法定義將算法界定為人類和機器交互的決策,即人類通過代碼設置、數據運算與機器自動化判斷進行決策的一套機制。[13]在當前算法大規模介入人類生活決策的背景下,采取這一界定更符合本文所要描述與分析的對象。本文所要分析的是人們利用機器來進行自動化決策或輔助決策的算法,這種算法并非數學或計算機科學意義上的算法,也并非純粹關于人類行為的決策算法,[14]這一過程既有人類決策,也有機器的自動化判斷。
       
        從人機交互的角度分析算法,可以深入理解算法的非中立性與法律上的可規制性。一種觀點認為,算法是一種科學技術或工具,在價值上是完全中立的。法律只需對算法產生的后果進行應對,而不需要對算法本身進行法律規制。就像數學公式或手機一樣,當犯罪分子利用數學公式運算而盜取比特幣,或者利用手機進行詐騙,法律并不將數學公式或手機納入規制范圍。但現代社會中的算法并非實驗室里的算法,而是已經深度介入社會生活的方方面面。在很多情形中,算法已經成為社會價值判斷的一部分。以今日頭條為例,當其宣稱自身算法中立時,其實不過是采取了另一種價值立場:以商業價值與經濟利益作為新聞媒體的最大價值,利用“算法實現最大推送量,獲得最高點擊率”,“追求利益的最大化。”[15]
       
        總而言之,算法與作為犯罪工具的數學公式與手機非常不同。因為就數學公式或手機與犯罪行為之間的聯系而言,數學公式或手機并沒有嵌入價值判斷,[16]但作為決策機制或輔助決策機制的算法卻深深地嵌入了價值判斷。如果此時仍然堅持算法中立性或技術中立性的立場,對價值與倫理問題視而不見,就很可能忽視算法對人類價值倫理所帶來的挑戰。算法或算法系統并不是價值中立的,相反,算法隱含的價值立場使得有必要對算法進行規制。
       
        三、算法規制的傳統方式及其困境
       
        在界定算法的定義并闡述算法的可規制性后,可在此基礎上分析算法規制的三種傳統方式:算法公開、個人數據賦權與反算法歧視。深入分析這三種方式,會發現機械運用傳統規制方式造成的困境。
       
        (一)算法公開
       
        算法公開的方式認為,算法崛起帶來的最大挑戰在于算法的不透明性,因此,應當公開算法,使得算法能夠為人們所知曉。例如,丹妮爾·西特魯恩(Danielle Keats Citron)和弗蘭克·帕斯奎爾(Frank Pasquale)通過對美國征信行業算法黑箱的分析,指出征信行業的算法缺乏透明性。[17]他們主張,負責保護消費者權益的美國聯邦貿易委員會應強化監管,實現算法透明化。聯邦貿易委員會對相關評級機構不僅可以監督評級機構的數據組,也可對其源代碼進行審查,以探明評級機構的算法是否違反反歧視法的相關規定,是否存在程序員的偏見或機器學習的偏見。[18]
       
        與算法公開類似的是算法的可解釋性。相比算法公開,算法的可解釋性具有更高的要求,因為前者主要強調算法運算數據的公開以及源代碼的公開,[19]而后者不僅強調公開,而且強調算法必須為數據主體或終端用戶所理解。在歐洲,這種對算法解釋權的要求已被很多研究者所提倡。“可解釋的人工智能”被冠以“XAI”
       
        (Explainable Artificial Intelligence)的專門術語,成為眾多專家關注的領域。[20]
       
        1.算法公開的可行性
       
        算法公開首先會面臨可行性的難題。算法公開假定,算法是一個黑箱,只要打開這個黑箱,算法就會暴露在陽光下,為人們所知曉。但現實是,算法黑箱的原理與國家機密或商業秘密的原理并不相同,算法黑箱是由算法的技術性特征造成的,而非人為刻意保持造成的。[21]在大數據與人工智能時代,為了提高算法的準確性,算法的復雜性往往會加強,一個企業或網站的算法往往由數十上百甚至上千的工程師寫作完成,同時機器學習中的算法是經過訓練數據集而不斷進行調整優化而產生的,并非完全按照工程師編寫的代碼而產生。在這樣的背景下,公開算法的源代碼和架構并無太多意義,因為公開并不能提供有效的對算法的說明。[22]
       
        基于這一原理,要求人工智能中的算法實現透明性,這“聽上去很好,但實際上可能沒什么幫助,而且可能有害”。[23]實踐中的算法公開也印證了這一點。社交新聞網站Reddit曾對一部分專家公開了其網站的排名算法,但研究者發現,專家對算法到底如何運轉常常存在分歧,對于算法如何真正運行,專家其實也很難完全理解。[24]專家尚且如此,對于普通人而言,算法公開更無實質意義。
       
        至于算法的可解釋性,除面臨和算法公開同樣的困境之外,還面臨著大數據帶來的因果關系難題。傳統上人們主要通過因果關系了解世界,通過把握世界中的因果關系,決策主體就能理解世界發展變化的邏輯,為未來決策提供借鑒和依據。但對于大數據,很多專家都指出,大數據所力圖發現的并不是因果關系,而是相關關系。[25]正如維克托·邁爾-舍恩伯格所說:“當我們說人類是通過因果關系了解世界時,我們指的是我們在理解和解釋世界各種現象時使用的兩種基本方法:一種是通過快速、虛幻的因果關系,還有一種就是通過緩慢、有條不紊的因果關系。大數據會改變這兩種基本方法在我們認識世界時所扮演的角色。”[26]在這個意義上,要求所有算法都必須滿足可解釋性的要求,實際上是要求相關主體完成一項不可能的任務,因為基于大數據的算法與可解釋性所要求的因果關系闡釋具有完全不同的邏輯。[27]
       
        2.算法公開的可欲性
       
        在有些情形中,算法的透明性與可解釋性可以實現或部分實現,但算法的透明性與可解釋性仍可能存在可欲性問題。一旦算法被公開或解釋給相關主體,算法就可能面臨被相關主體鉆空子或者算法知識產權被侵犯的風險。
       
        算法公開首先可能導致算計(gaming)的問題。算法公開的初衷在于防止算法黑箱帶來的濫用,通過公開與解釋算法來監督算法,但算法一旦公開,相關主體就有可能利用和算計算法,通過設置相應的參數和制造數據達成自己的目的,從而損害其他主體的正當權益。例如在搜索算法中,谷歌(Google)曾經依賴于一種叫作PageRank的算法確定搜索排序,這種排序方法主要根據META標簽、關鍵字等參數進行排序。當谷歌公開這一算法之后,很多網站就開始利用此類算法,在自己的網頁內嵌套符合PageRank算法的具有隱藏內容的網頁,以此達到提高網站在谷歌搜索結果頁面排名靠前的目的。經過此類設計后,一些與搜索內容并不相關的網頁也被谷歌搜索結果搜索并排在前面。[28]出于防止算計算法的考慮,如今谷歌采取考慮上百種參數而綜合判斷的搜索算法,維持了搜索算法的秘密性。[29]
       
        即使算法不公開,對于算法的算計也非常普遍。各類評級網站充斥著“水軍”,他們通過人工或機器的方式不正當地改變某些評分,以此影響消費者的消費行為。為防止此類行為,網站常常在相關算法中嵌入打擊刷分行為的參數或設計。[30]如果法律對算法公開與算法可解釋性進行強制性規定,要求企業公開或解釋此類參數或設計,那么“水軍”就可以更快地調整刷分策略,更精準地利用網站的算法漏洞。
       
        除了算計的問題,算法公開也可能導致知識產權侵權或算法被抄襲。在當前的算法監管中,很多商業機構都以商業秘密的名義拒絕監管,一些學者對商業機構的這種做法感到憤怒,因為它實際上完全將算法置于法律監管的空白地帶。[31]此種擔憂有一定道理,尤其當企業算法具有一定的公共屬性時,不宜將算法都視為商業秘密。但從商業秘密的定義以及知識產權原理看,并不能完全否認算法作為商業秘密的特征。從商業秘密的定義看,很多算法的確滿足了秘密性、經濟性等要件。[32]而從原理層面看,無論是基于勞動價值論,還是基于促進投資的功利主義原理,將算法視為商業秘密予以知識產權保護,都具有一定的正當性基礎。[33]
       
        (二)個人數據賦權
       
        從個人數據賦權的角度應對算法問題,與從算法公開與算法可解釋性的角度監管算法具有重疊之處。但個人數據賦權的相關法律更多依賴于個人對數據的控制,更試圖從算法所依賴的對象——數據——的角度切入對算法進行法律規制。[34]
       
        個人數據賦權的相關法律首先賦予個體一系列的數據權利,強化個人對個人數據的知情與控制。例如歐美的很多個人數據立法都賦予個人數據收集時的知情選擇權、數據訪問權、數據更正權、數據刪除權、反對自動化處理的權利等一系列權利。個人數據賦權對數據控制者與處理者施加責任,要求數據控制者與處理者滿足個人的一系列數據權利,承擔維護個人數據安全與數據質量等責任。[35]
       
        我國的相關法律、法規和行業標準也日益注重這一方式。我國《民法典》的人格權編除規定隱私權益受保護外,還規定了個人對自身個人信息的查閱、復制、更正等權利。[36]《網絡安全法》的一些條文和一些行業標準規定了系列個人信息保護制度。[37]《個人信息保護法》對個人信息進行綜合性的立法與保護。
       
        1.可行性
       
        在可行性層面,個人數據賦權并不一定能很好回應算法決策或算法輔助決策帶來的問題。
       
        首先,個人常常無法在數據收集時作出合理判斷。在個人數據保護的現有法律制度中,一項重要的制度設計就是所謂的“告知—選擇(notice-choice)”框架:企業等相關主體在網站或產品上告知相關群體其隱私政策,再由公民個體選擇是否同意。但相關研究表明,個體對于隱私風險的認知往往非常有限,[38]而且企業的網站和隱私政策非常復雜和冗長,[39]一般讀者很難理解,[40]要閱讀所有網站的隱私政策更是要花費海量時間。[41]因此,雖然現有各種數據隱私的立法大都賦予個體知情選擇權,但人們往往很少或幾乎不閱讀相關的隱私公告。[42]
       
        其次,在數據處理時,個人也很難有效行使反對權。歐盟《一般數據保護條例》賦予個體隨時反對“因為直接營銷目的而處理個人數據”或完全“依靠自動化處理”而“對數據主體做出具有法律影響或類似嚴重影響的決策”,但這種賦予個體的權利事實上很難被個體行使。面對算法黑箱,個體很難知曉其個人數據是否被處理,其個人數據何時被處理,被哪個數據處理者處理。
       
        最后,個人很難對侵犯個人數據權利的行為尋求救濟。在信息社會,個人數據權利所面臨的威脅涉及多個主體,侵權過程難以辨識。例如,個人可能只在某個社交網站上公開部分數據,其他公司可能通過爬蟲技術獲取此類數據,后者將此類數據部分匿名化后出售給另外一家大數據公司。對于此類侵權行為,個人即使知曉其中存在侵犯隱私權益的行為,也難以向法院提起侵權之訴或向有關主體申訴。無論是個人的訴訟成本、提供證據還是證明因果關系,都可能面臨很多難題。[43]
       
        2.可欲性
       
        在可欲性層面,從個人數據賦權的角度回應算法也存在一些需要重新思考的問題。首先,就自主性來說,基于算法的自動決策或輔助決策可能威脅個體的自主性或自主選擇,但在其他很多情形,算法也可能幫助人們作出更好的選擇,從而更好地實現人的主體性。[44]如果沒有算法推薦或輔助決策,人類可能會作出很多錯誤判斷,所謂人的自主性也只是空洞的口號。正如有些學者所說,如果說算法與科技讓我們“放棄自主性,那僅僅是此類自主性:做錯誤決策、和后來發現我們不喜歡的人去差勁餐廳、購買無聊小說、聽糟糕音樂、參加付出多余收益活動。比起那個具有錯誤觀念、有限信息和情緒化干擾的自己,其實我們已經做出了更好的選擇,因為我們的真正自我已經得到了強大和有效的科技的幫助。”[45]
       
        在這個意義上,不能簡單認定,基于算法的決策或算法輔助決策不利于人的自主性。如果運用合理,算法反而可能成為人類自主性的助推者,幫助人類個體或集體作出更有效和更好的選擇。[46]因此,不能簡單將隱私或個人數據保護視同保護個人或群體的自主性。
       
        同樣,從信息的角度看,個人數據賦權也不能等同于自由。基于算法的個性化推薦可能會讓人困于信息繭房,威脅個體和集體的自由。但在沒有算法推薦的情形下,個體或集體也可能限于信息繭房。畢竟,信息的傳播從來都不是在真空中進行的,在算法的個體性推薦以及算法輔助決策崛起之前,整個社會就存在很多的信息篩選機制,記者、編輯、出版社以及各類傳播機構對于信息的采集、編輯與傳播存在很多控制。[47]而就信息的接收者來說,個體在沒有算法介入的情形下也同樣偏向于選擇自己愿意聽到的信息,集體也可能出現所謂的群體極化的情形。因此,不能簡單認定基于算法的信息推薦會比沒有算法的世界更有利于人的自由。
       
        (三)反算法歧視
       
        從反歧視的角度規制算法,消除算法中可能存在的身份歧視與偏見,也是目前眾多研究和報告提出的重要手段。
       
        首先,研究者指出,應當禁止利用算法對屬于某些種族、信仰、性別的群體進行區別對待,以防止惡意歧視。大數據的預測功能已為廣泛驗證,但研究者指出,大數據的預測功能不僅被用于預測疾病、風險與事故,也容易被用于預測人的身份。例如,研究表明,通過對大數據的算法分析,人們的飲食、音樂等各種偏好可以很容易被用來預測個體的種族屬性。如果算法的掌控者是一位種族主義者,很可能會利用此種算法進行惡意歧視,例如因對方是黑人而拒絕發放貸款。
       
        其次,研究者也指出,應盡可能消除數據中的身份偏見,以反對非惡意歧視或無意識歧視。根據這種理解,歧視并非都是有意為之,更多的歧視是基于無意識或錯誤而產生的。在基于數據的運算中,這種情況尤其明顯。大數據與算法的結合很可能會產生錯誤與偏見。一種算法模型可能“會發現關聯,并根據網上搜索做出不公平與歧視性的數據推論,對產品、銀行貸款、醫療保障產生影響”。[48]
       
        1.可行性
       
        在可行性方面,以身份中立為目標的反算法歧視會遭遇若干難題。首先,在算法中禁止運用身份因素,不一定就能實現身份平等。離開了算法決策或輔助決策,在現實社會中這些群體可能仍然遭受差別性對待與歧視,而且此類歧視可能要比利用算法進行決策或輔助決策更為普遍。以美國網約車的算法歧視為例,Uber的算法曾被很多人批評為隱含歧視,因為Uber的算法一度很容易讓司機猜測乘客的種族,這導致黑人乘客很難叫到車。但在沒有Uber算法的情況下,一般的私家車在網絡約車或搭載乘客時更容易拒載黑人等群體。究其原因,美國社會中的歧視問題根深蒂固,既包括有意識的偏見性歧視,也包括廣泛存在的無意識歧視。人們的認知過程普遍存在著類型化的心理機制,[49]即使在不存在明確動機的情況下,人的認知也會潛移默化和不知不覺地將人群歸類,并且在此過程中形成偏見和無意識的歧視。[50]因此,即使相關數據與算法隱含了對某些群體的歧視,也不能簡單地認為禁止在算法中運用身份因素可以更好地消除偏見與歧視。沒有機器算法決策或機器算法輔助決策,相關群體可能遭受法律與社會規范中隱藏得更為普遍和嚴重的歧視。[51]
       
        其次,期待在算法中實現徹底的身份中立,這本身就是一個不可能實現的目標。現實社會中的種種經驗已經驗證了這一點,很多“看上去中立、不關注個人的制度性不作為、已經確立的結構和社會政治規范”,盡管看上去是理性的,但綜合考慮卻“制造和強化了種族隔離和不平等”。[52]以美國社會中的黑人與白人的關系為例,“黑人更少進入大學,被大學錄取的更少畢業。黑人在專業領域、學術領域和聯邦政府中更少被代表。”[53]在這樣的背景下,當美國社會仍然沿用歷史上的規則,此類規則就構成了對黑人的身份性歧視。另一方面,如果改變此類規則,在相關就業招生等政策中對黑人進行優待或行使平權行動(affirmative action),很多人又會認為此類政策存在對白人的逆向歧視。[54]可以預見的是,無論如何設計,一種算法必然會更有利于擁有某些身份的群體,不利于另一些群體。
       
        2.可欲性
       
        從可欲性的層面看,以身份中立為目標的反算法歧視首先會遭到信息與統計理論的質疑。反算法歧視的觀點認為,很多算法中隱含著歧視,必須通過法律予以矯正,但在有些研究者看來,很多類型的“歧視”僅是一種信息與統計區分,是社會克服信息不對稱的必要手段。以勞動力市場中存在的歧視為例,市場中廣泛存在的歧視和對身份的要求是信息匱乏條件下的一種理性篩選。[55]對前來應聘的個人,雇主不可能在短時間內進行全面考察,只能依賴一些群體特征對個體進行預測。[56]
       
        根據群體身份辨別個人能力的行為當然會造成不公平的現象,例如造成對某些群體的刻板印象(stereotype)。[57]但從信息與統計的視角看,這種群體區分對市場正常運行與社會規范建構具有一定意義。群體印象是信息不對稱條件下無法避免的行為。社會總會盡可能地基于某個群體的平均表現對其進行評價,這種評價雖然可能無法完全公正反映這個群體中個體的情況,但是比起信息不對稱產生的抓瞎式篩選所帶來的不公,數據和統計至少為相關決策者提供了參考。而且,社會自身也會對不合理的數據與統計進行修正,不斷消除數據與算法中可能存在的歧視。[58]以身份中立為目標的反算法歧視還可能面臨正義理論與倫理價值的質疑。如果反算法歧視的目標僅僅是追求和實現身份性的中立,那么此類反算法歧視只不過接受或默認了現存社會制度的合理性,放棄了利用算法來改善社會不公的機會。
       
        四、算法規制的場景化原理
       
        在算法規制中,算法公開、個人數據賦權、算法反歧視的方式面臨困境最根本的原因在于,機械運用這些方式都不符合算法規制的原理。算法可能會因為使用主體、針對對象、所涉問題的不同而有很大差異。一旦場景不同,算法的性質就會非常不同,對其所采用的規制原則也應當不同。機械性地采用任何一種方法,其實都將算法看作相對孤立的規制對象,都沒有結合具體場景進行思考。
       
        就算法主體而言,如果算法的使用者是公權力機構,則算法可能成為一種公共決策機制。特別是如果相關算法決策是由代表性不足的某些規制機構所做出,而此類決策又對公民權益具有重大影響時,則此時算法公開就具有更多的必要性,因為此時算法更具有公共性,更接近于一種正當程序。[59]如果算法的使用者是一般企業,則算法可能成為企業的內部決策程序,此時算法就更類似企業的自主經營權;當算法具有商業價值與保密性特征時,此時算法還可能成為企業的商業秘密。在此類情形中,算法的公開就不應成為一種強制性法律要求。
       
        此外,很多算法的運用者兼具公共性特征與私主體特征。在大型企業與網絡平臺企業興起的今天,很多機構的公共性屬性與商業性屬性已經變得很難區分。對于類似Google、Amazon、Facebook、阿里、騰訊、百度這樣的超級網絡平臺來說,仍然以純粹的市場私主體看待它們,已經與實際情況不符。從數據、資源、算法到服務,這些企業已經日益嵌入人們的日常生活,具有準公權力的性質或者公權力的一些屬性。[60]對于此類主體,算法既具有公共決策的性質,也具有企業自主決策權的性質。對于此類情形的算法公開,應當進一步結合算法的公共屬性而進行判斷。例如運用算法配備外賣騎手,由于關涉外賣人員的人身安全風險,此時應當更多以公共屬性看待企業的算法,要求企業承擔相應的安全保障義務。
       
        就算法針對的人群而言,如果算法針對的是具有高度可識別性的個體,其數據的收集與算法的運用都是以識別特定個體為目標。那么在這種情形下,算法的性質就與個人權利密切相連,從個人數據權利立法的角度規制算法更為合理。例如《一般數據保護條例》第15條規定,當“存在自動化的決策”,數據主體有權知曉“在此類情形下,對于相關邏輯、包括此類處理對于數據主體的預期后果的有效信息”。第21條規定,當數據控制者或處理者“因為直接營銷目的而處理個人數據,數據主體有權隨時反對為了此類營銷而處理相關個人數據,包括反對和此類直接營銷相關的用戶畫像”。對于高度追蹤和針對個體的算法,此類個人數據賦權能夠提供個人權益的合理保護。
       
        但在其他情形中,如果數據的收集主要是為了分析某個群體或不能直接識別個體的對象提供服務,則此類情形中的算法和個人數據權利的關系并不密切。在此類情形中,強化個體對于數據的各種權利,可能會影響數據發揮流通性價值與公共性價值。同時,離開了數據的匯集與共享,此類個人數據賦權還可能影響算法本身的有效運行。
       
        如果算法涉及的是純粹商業化的決策,則此類情形中的算法就更接近于統計區分,算法就更多是一種信息匱乏手段下的信息甄別機制。但在其他很多涉及弱勢群體保護的例子中,算法可能演化為可能加劇社會不公的助推器。在此類情形中,理應對算法進行更多的干預,將扶助弱勢群體的倫理嵌入算法。
       
        總之,就算法規制的一般原理而言,算法規制應當建立在場景化思維的基礎上。算法并不像一般的有形物或某些無形物,后者具有相對穩定的法律屬性,因而適用統一的法律框架。例如對于動產和不動產,法律一般對其適用統一的物權、合同或侵權法的框架。算法并不是一種標準化的物,而是一種人機交互的決策,因此,算法的法律屬性會因為具體場景的不同而有所不同,算法法律規制的原理必須建立在場景化的基礎上。
       
        以分類場景的原則規制算法,與當前算法規制的前沿研究具有內在一致性。例如海倫·尼森鮑姆(Helen Nissenbaum)發展出場景公正(contextual integrity)理論,將其首先使用在個人數據的收集問題上,[61]提出對個人數據的收集要考慮場景的類型、行為者的身份、數據的類別以及個人數據傳輸原則等因素,不同的場景具有不同的個人數據保護規則。[62]近年來,一些學者又將場景理論使用在算法規制問題上,認為算法規制也應當結合不同場景設置不同規則。[63]
       
        此外,還有一些前沿研究提出負責任的算法(accountable algorithm)、[64]可信賴的算法(trustable algorithm)的主張,使得算法決策能夠贏得個體或群體的信任。[65]盡管這些主張使用的概念各異,但它們都認為,算法規制不能機械性地采取算法公開、個人數據賦權或反算法歧視的方式,而是應當根據具體場景,綜合運用透明性原則、正當程序原則、市場機制與反歧視框架進行判斷。算法規制的具體手段應當幫助個體或群體作出更為正當合理的決策。
       
        五、算法規制的制度建構
       
        通過分析傳統算法規制方式的困境以及算法規制的場景化原理,可以對算法規制的制度進行建構。通過合理的制度建構,算法公開、個人數據賦權與反算法歧視可以重新發揮其合理的功能。
       
        (一)算法公開的制度建構
       
        就算法公開而言,算法公開制度首先應當是有意義和有特定指向的決策體系的公開,而非一般性的算法架構或源代碼的公開與解釋。如果機械地對算法架構或源代碼進行公開,或者機械地對算法進行“解釋”,那么此種公開或解釋不但難以做到,而且即使做到了,相關解釋也可能沒什么意義,因為此類解釋無法給相關主體提供有意義的決策參考。
       
        對于此種有針對性的決策解釋與一般性算法解釋的區別,研究者曾經在一定程度上涉及。在討論算法黑箱與算法解釋權時,愛德華茲(Lilian Edwards)和維勒(Michael Veale)分析了什么樣的解釋才是真正有意義的。[66]他們區分了以模型為中心的解釋和以主體為中心的解釋兩種解釋方式。所謂以模型為中心的解釋,就是對算法的整體進行理解,包括理解算法所設定的信息、用來訓練算法的數據組、算法模型的性能指標、算法架構設置的全局邏輯、被處理信息等。而所謂以主體為中心的解釋,指的是某些相關算法與數據對主體會帶來哪些影響,例如有關數據主體的相關數據的變化會對其決策產生哪些方向性變化,哪些被用于訓練的數據記錄與數據主體的數據最為相似,數據主體被歸納為某種類別的主要特征是什么,系統對數據主體進行分類的信任區間多大。[67]兩位學者指出,應當拋棄前一種算法解釋方式,因為它不但可能威脅商業主體的知識產權或商業秘密,也無法為相應的主體提供有意義的解釋。相較而言,后一種解釋方式不但不會威脅知識產權,也為相關主體提供了有意義的決策參考。[68]
       
        其次,算法公開應當區分不同的算法擁有者,對不同主體施加不同責任。對于公權力機構所使用的算法,應當以公開為原則,以非公開為例外,因為公權力機構具有權力壟斷性質,而且其所使用的算法可能對不特定的個體產生重大影響。如果基于算法或算法輔助決策的公權力決策體系維持黑箱性質,那么算法就可能帶來本文所涉的不公、歧視、偏見等種種問題,甚至帶來腐敗,而公民個體一旦遭遇到算法不公與腐敗,也很難知曉或很難進行救濟。[69]就這一點而言,商業機構所使用的算法規制原則和非商業機構非常不同。對于純粹商業性的非壟斷機構所使用的算法,算法公開一般不應當成為強制要求。除了上文提到的算計算法和知識產權問題之外,另一個原因在于,非壟斷的商業機構往往有動力優化自身的算法,算法的合理性可以通過市場競爭的方式改善。[70]例如,消費者發現某家網站的評分機制非常不合理不公正,他們就可能會選擇另外評分較為公正合理的同類網站,而該網站也會有很大的動力來改進自身的算法。如果市場能夠擁有更好的機制來促進商業性算法優化,那么此類商業性算法就無需過多的法律介入。[71]
       
        最后,算法公開應當根據不同情形采取不同范圍不同程度的公開。在有些情形下,算法應當盡可能地公開。當公權力主體使用算法進行決策或輔助決策,而公開算法又不存在侵犯知識產權與算計算法問題時,決策主體應當盡量采取普通人可理解的方式公開與解釋算法。因為在此種情形下,算法的公開與透明可以構建良好的法律議論方式,[72]構建可視正義,[73]從而更好地監督算法與改進算法。
       
        在有些情形下,算法應當部分公開或小范圍公開。當算法黑箱問題已經引起相關主體疑慮,而公開算法又存在侵犯知識產權與算計問題時,此時可以考慮算法的部分公開或小范圍公開。所謂部分公開,指的是有關主體可以對引起疑慮的算法決策體系進行解釋和說明,以消除有關主體的疑慮。[74]所謂小范圍公開,指的是算法可以對決策者內部或外部的部分人員公開算法。在決策者內部,可以鼓勵企業等其他主體設立關于算法的法律與倫理委員會,通過決策主體內部的專業委員會來保證算法的正當性與合理性。[75]在決策者外部,可以通過設置專門機構或同行評議等方法審查與評估算法。[76]上文提到的外賣算法系統,執法機構可以對美團、餓了么等企業算法進行專家內部審查,檢查這些企業的算法是否滿足了對勞動者的安全保障義務。
       
        在有些情形下,算法不僅不應公開,而且應當善于通過算法黑箱實現有關社會政策。在一些情形下,信息公開會帶來種種問題,利用具有黑箱性質的算法決策體系完成相關任務,反而會產生意想不到的效果。[77]一個例證是利用算法黑箱進行扶貧助學。在當前高校的扶貧助學政策中,很多高校對貧困生評定與資助采取公開評議等方式,但公開評議對貧困生的心理造成傷害,甚至使得很多真正的貧困生不愿申請資助。對此,中國科學技術大學創設了基于算法決策的貧困生隱形資助政策。通過相關算法設計,當某位同學的校園卡在食堂的月消費金額低于某個金額,學校就會自動向卡內打入生活補助。[78]相比傳統的扶貧助學政策,這項具有黑箱性質的算法實際上設計了一種更好的決策體制。
       
        (二)個人數據賦權的制度建構
       
        個人數據賦權制度首先要區分場景與對象,賦權的類型與強度要因場景與對象的不同而不同。如果相關個人數據的收集與使用有利于相關個體或者有利于公共利益,就應當更多允許相關主體收集和處理個人數據。比如,在扶貧助學或者精準扶貧實踐中,個人數據的合理收集與使用應當為法律所允許,相關扶貧主體甚至應當積極運用個人數據與算法來實現精準扶貧。再如,在純粹商業性的活動中,法律也應當允許消費者選擇個性化推薦,因為此類推薦可以節省消費者的搜尋成本,有利于消費者福利和有效決策。[79]
       
        相反,當個人數據的使用不是為了促進個人或公共利益,而是被用于支配個體,那么此時法律應當嚴格規制個人數據的收集與處理。比如,某些網絡平臺不斷地向個體推送各類低俗信息,以增強平臺的用戶黏性,對于此類行為,應當更嚴格地進行規制,以避免個體陷入算法的信息宰制。再如,有些網絡平臺利用個性化推薦進行“殺熟”或差異化定價,針對不同個體的需求設置不同價格,對于此類行為,法律應設置更高的個人數據賦權標準。在此情形下,商家的行為已經超越了傳統的商業行為,構成了對消費者的“一級價格歧視”。面對此類行為,消費者的知情權與選擇權已受到很大威脅,面臨商家的定向支配的風險。
       
        其次,個人數據賦權應當更注重數據的動態規制與倫理化規制,為算法的有效運轉提供可能。在過去幾十年,算法本身其實并沒有任何突破,算法準確率的提升依賴于數據的海量積累。[80]而大數據的本質特征恰是數據的全體性、混雜性和相關性。因此,有的數據隱私法所規定的原則,例如目的限制原則(即對個人數據的處理不應當違反初始目的)、限期儲存原則(即對于能夠識別數據主體的個人數據,其儲存時間不得超過實現其處理目的所必需的時間),并不符合大數據時代算法運行的一般原理。在大數據時代,通過算法跨界處理數據特別是沉淀數據,為消費者提供不同目的的服務,已經非常普遍,[81]例如相關的物流類數據可能被用于電商與制造,曾經的餐飲娛樂類的沉淀類數據可能被用于網約車服務。對于企業收集與處理此類個人數據,應當注重此類數據處理是否符合相關倫理與人格保護,而非一般性禁止數據的流通共享。[82]
       
        最后,個人數據賦權應當更注重數據與算法的合作治理,而非個人控制。[83]正如上文所述,面對大數據時代的算法,個體很難有效行使自身的若干數據權利。在這種背景下,法律應當更多對數據控制者與處理者施加治理責任,而非僅僅依賴個人的數據控制。單純依賴個人對其數據的控制,個體可能陷入沒有時間、興趣和能力維護自身合法權益的悖論,數據收集者與處理者也沒有動力對數據與算法進行有效治理。只有將責任倫理嵌入數據收集、流通與處理的每一個環節,以此倒逼算法治理,通過個人數據實現算法治理才能真正起到實效。
       
        (三)反算法歧視的制度建構
       
        就反算法歧視制度而言,應首先警醒算法中隱藏的歧視、偏見與不公。大數據時代的算法早已不是數學意義上的算法或實驗室中的算法,對基于算法的決策或輔助決策,不能盲目偏信其科學性或價值中立性。[84]相反,必須時刻警惕算法中可能存在的歧視與不公,警惕某些主體利用算法來實現其不正當的目的。[85]對于算法中可能存在的此類惡意偏見與不公,應當結合算法公開與個人數據賦權消除此類歧視與偏見。一方面,通過合理的算法公開,公眾或內部專家可以對算法本身與算法決策結果進行監督,防止算法黑箱中隱藏的歧視與機器自我學習帶來的歧視。[86]另一方面,通過合理的個人數據賦權,法律可以防止相關主體對用戶的個人數據進行數據處理和用戶畫像,避免對個體進行歧視性對待。[87]
       
        其次,反算法歧視應當超越身份中立,根據身份與弱勢群體之間的關系規制和利用算法中的身份因素。反歧視的最終目的是實現更為公正合理的社會目標,而不是形式上對各類身份平等對待。因此,在算法中進行反歧視,應當深刻理解哪些群體在歷史上與社會中遭受不公平對待,然后在相關算法中應用平權行動和差別性影響等方式扶助這些群體。例如就差別性影響來說,應盡可能避免某項算法對某些身份的群體造成更多傷害,當某項算法對某類弱勢身份性群體造成顯著負面影響,就應對此類算法進行反歧視審查。[88]就算法平權行動來說,算法的參數設置應考慮對具有某些身份的群體傾斜,保證此類群體有更多的平等機會。[89]
       
        在中國語境下,反算法歧視尤其應當注意這一點。對于反歧視的目標與價值導向,中國和美國等西方國家有區別。在美國,反歧視法律制度主要是針對身份性的歧視與不公,特別是針對黑人的種族歧視。從國情看,這種制度設計有其合理之處,因為在美國,從建國后到南北戰爭廢除奴隸制,到布朗案廢除種族隔離,種族問題一直是美國社會最大的不平等。如今,種族不平等的現狀并未得到根本性改變。在美國的大部分地區,黑人區依然和白人區在事實上隔離,黑人在社會各個方面都處于落后的狀態。[90]但在中國,身份并非導致歧視的直接原因,很多歧視其實源自市場的區分行為,[91]或者是市場以某些不太合理的個人特征提高企業的競爭力。[92]在這樣的背景下,如果反算法歧視過多關注身份性的歧視與不公,而不注重對弱勢階層的保護,那就只關注到次要矛盾,忽略了主要矛盾。[93]要使反算法歧視在中國發揮更重要的作用,應當將反算法歧視與精準扶貧等扶助弱勢群體結合起來。在人機交互決策中,應當盡可能將扶助弱勢群體的倫理嵌入各類算法決策機制。
       
        結論
       
        在大數據時代,算法對于人類生活的影響已經越來越明顯,面對越來越多的自動化決策或輔助化決策,人工智能法學與未來法治領域的研究者越來越關注由算法崛起所帶來的挑戰,并試圖從算法公開、個人數據賦權、反算法歧視等方式來規制算法。本文指出,現代社會算法的本質是一種人機交互決策,應當戳穿算法的面紗與價值中立性,對算法進行規制。
       
        在界定算法定義與闡述其可規制性的基礎上,本文對幾種傳統算法規制方式進行了反思。無論是算法公開、個人數據賦權還是反算法歧視,機械地采取任何一種方式可能都面臨可行性與可欲性的難題。從深層原理看,機械地適用幾種算法規制的方式之所以存在問題,主要是它們沒有采取場景化的規制思路,仍然將算法視為孤立不變的對象。但事實上,作為人機交互決策,算法可能因為運用算法主體的不同、算法針對對象的不同以及算法所涉及問題的不同而具有非常不同的性質。[94]因此,算法規制應當采取場景化的規制方式,根據不同場景類型而對算法采取不同的規制方式。
       
        從場景化規制的原理出發,可以對算法規制進行進一步的制度建構。對于算法公開,算法公開應當是有意義和有特定指向的決策體系的公開,而非一般性的算法架構或源代碼的公開與解釋;算法公開應對公權力使用的算法與市場主體的算法施加不同責任;算法應當根據不同情況而決定完全公開、小范圍公開或不公開。對于個人數據賦權,個人數據賦權的程度應當根據是否有利于個人或公共利益而進行不同程度保護;個人數據賦權應當注重數據的動態化與倫理化規制,而非數據的形式主義規制。對于反算法歧視,應當警惕算法中的歧視與偏見,但應當超越身份中立,根據具體場景在相關算法中合理地運用身份性因素;在中國,反算法歧視更應注重弱勢群體保護,注重身份因素與弱勢群體保護之間的關聯。
       
        總之,算法作為一種新型的人機交互決策,常常被不同的主體運用、內嵌于不同的場景和處理不同的問題。對于人工智能與未來法治研究而言,應當準確把握算法規制的場景化特征與原理,根據不同場景與情形對算法進行規制,以實現可信賴與負責任的算法決策。[95]無論是算法公開、個人數據賦權還是反算法歧視,算法規制的具體制度建構都必須以此為指引,超越形式主義的法律規制。唯此,算法才能避免成為異化的決策體系,[96]算法才有可能真正造福社會。

      【作者簡介】
      丁曉東,中國人民大學法學院副教授,博士生導師。
      【注釋】
      [1]例如在外賣送餐行業,算法被美團、餓了么等企業廣為應用,用于提高送餐效率和壓縮送餐時間;在新聞資訊與娛樂領域,抖音、快手、今日頭條等利用算法進行個性化推薦與分發,以提高新聞與娛樂資訊的傳播效率;在電商領域,淘寶、京東等購物網站利用算法對個體進行個性化推薦,以大幅促進銷量;在搜索領域,百度等搜索引擎廣泛運用以算法為核心的信息檢索;在評級網站中,豆瓣、大眾點評等利用算法實現對相關主體與對象的評級,為消費者提供引導。
      [2]參見張文顯:《構建智能社會的法律秩序》,《東方法學》2020年第5期。
      [3]參見賴祐萱:《外賣騎手,困在系統里》,《人物》2020年第8期。
      [4]Michal S. Gal, “Algorithmic Challenges to Autonomous Choice,” Michigan Technology Law Review, vol.25,no.1,2017,p.60.
      [5]Jeremy Kun, Big Data Algorithms Can Discriminate, and It’s Not Clear What to Do About It, The Conversation, Aug.13,2015,http://theconversation.com/big-data-algorithms-can-discriminate-and-its-not-clear-what-to-do-about-it-45849,June 6,2018;Ramona Pringle, When Technology Discriminates: How Algorithmic Bias Can Makean Impact, CBC, Aug.10,2017,http://www.cbc.ca/news/technology/algorithms-hiring-bias-ramona-pringle-1.4241031,June 16,2018.
      [6]Clare Garvie and Jonathan Frankle, Facial-Recognition Software Might Have a Racial Bias Problem, The Atlantic, April 7,2016,https://www.theatlantic.com/technology/archive/2016/04/the-underlying-bias-of-facial-recognition-systems/476991/,June 18,2018.
      [7]Jean-Luc Chabert ed.,A History of Algorithms: From the Pebble to the Microchip, New York: Springer, 1999,p.1.
      [8]以科技的視角看待算法,可參見Christopher W. Clifton, Dierdre K. Mulligan and Raghu Ramakrishnan, “Data Mining and Privacy: An Overview,” in Katherine J.Strand burg and Daniela Stan Raicu eds.,Privacy and Technologies of Identity: A Cross-Disciplinary Conversation, New York: Springer, 2006,pp.191-208.
      [9]Tarleton Gillespie, “The Relevance of Algorithms,” in Tarleton Gillespie, Pablo J. Boczkowski and Kirsten A. Foot eds.,Media Technologies: Essays on Communication, Materiality, and Society, Cambridge: The MIT Press, 2014,p.167.
      [10]Danielle Keats Citron, “Technological Due Process,” Washington University Law Review, vol.85,no.6,2007,pp.1249-1313;Oscar H. Gandy, Jr.,“Engaging Rational Discrimination: Exploring Reasons for Placing Regulatory Constraints on Decision Support Systems,” Ethics and Information Technology, vol.12,no.1,2010,pp.29-42.
      [11]David Beer, “Power Through the Algorithm?Participatory Web Cultures and the Technological Unconscious,” New Media &Society, vol.11,no.6,2009,pp.985-1002;David Lyon, “Surveillance as Social Sorting: Computer Codes and Mobile Bodies,” in David Lyon ed.,Surveillance as Social Sorting: Privacy, Risk, and Digital Discrimination, New York: Routledge, 2003,pp.13-30.
      [12]Joshua A. Kroll, et al.,“Accountable Algorithms,” University of Pennsylvania Law Review, vol.165,no.3,2017,pp.633,640.
      [13]不同人設想的算法所包括的代碼、數據或生態系統常有差異。參見Algorithmic Accountability: Applying the Concept to Different Country Contexts, July, 2017,p.5,http://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf, May 3,2018.
      [14]因此,算法在法律上常被認為具有多重性質。相關探討參見陳景輝:《算法的法律性質:言論、商業秘密還是正當程序?》,《比較法研究》2020年第2期;左亦魯:《算法與言論——美國的理論與實踐》,《環球法律評論》2018年第5期。
      [15]宣言:《不能讓算法決定內容》,《人民日報》2017年10月5日,第4版。
      [16]手機也存在價值立場問題,例如手機是否考慮了對盲人等殘障人士的需求。因此從廣義上看,任何技術都不是中立的,都存在價值倫理的問題。相關討論參見Jack Balkin, “The Path of Robotics Law,” California Law Review Circuilt, vol.16,no.45,2015,pp.45-60;鄭玉雙:《破解技術中立難題——法律與科技之關系的法理學再思》,《華東政法大學學報》2018年第1期。
      [17]Danielle Keats Citron and Frank Pasquale, “The Scored Society: Due Process for Automated Predictions,” Washington Law Review, vol.89,no.1,2014,p.1.
      [18]Danielle Keats Citron and Frank Pasquale, “The Scored Society: Due Process for Automated Predictions,” p.25.
      [19]在這個意義上,算法公開更多是程序性要求,以正當程序原則規制算法的分析,參見Danielle Keats Citron, “Technological Due Process,” p.1256.
      [20]David Gunning, Explainable Artificial Intelligence(XAI),U. S. Defense Advanced Research Projects Agency, https://www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf, Aug.6,2018.
      [21]參見沈偉偉:《算法透明原則的迷思——算法規制理論的批判》,《環球法律評論》2019年第6期。
      [22]Max Kuhn and Kjell Johnson, Applied Predictive Modeling, New York: Springer-Verlag, 2013,p.50.
      [23]Curt Levey and Ryan Hagemann, “Algorithms with Minds of Their Own,” The Wall Street Journal, November 12,2017,https://www.wsj.com/articles/algorithms-with-minds-of-their-own-1510521093,July 30,2018.
      [24]Christian Sandvig et al.,“Auditing Algorithms: Research Methods for Detecting Discrimination on Internet Platforms,” http://www-personal.umich.edu/~csandvig/research/Auditing%20Algorithms%20--%20Sandvig%20--%20ICA%202014%20Data%20and%20Discrimination%20Preconference.pdf, July 30,2018.
      [25]參見維克托·邁爾-舍恩伯格、肯尼思·庫克耶:《大數據時代:生活、工作與思維的大變革》,盛楊燕、周濤譯,杭州:浙江人民出版社,2013年,第67—94頁。
      [26]維克托·邁爾-舍恩伯格、肯尼思·庫克耶:《大數據時代:生活、工作與思維的大變革》,第84頁。
      [27]因果關系是一個非常復雜的哲學問題,人類的許多認知過程其實也受相關關系的影響,參見Amos Tversky and Daniel Kahneman, “Availability: A Heuristic for Judging Frequency and Probability,” Cognitive Psychology, vol.5,no.2,1973,pp.207-232.
      [28]John Faber, “How to Future-Proof Your Search Ranking,” Chapter Three, April 2,2018,https://www.chapterthree.com/blog/how-to-future-proof-your-search-ranking, July 31,2018.
      [29]Danny Sullivan, “Google Uses Rank Brain for Every Search, Impacts Rankings of‘Lots’of Them,” Search Engine Land, June 23,2016,https://searchengineland.com/google-loves-rankbrain-uses-for-every-search-252526,July 31,2018.
      [30]例如利用貝葉斯模型識別和剔除水軍。參見張艷梅等:《基于貝葉斯模型的微博網絡水軍識別算法研究》,《通信學報》2017年第1期。
      [31]參見Frank Pasquale, The Black Box Society: The Secret Algorithms That Control Money and Information, Cambridge, MA: Harvard University Press, 2015,p.10.
      [32]根據TRIPS協議第39條,當一項信息滿足三項條件即為商業秘密:(1)該信息不為公眾所知;(2)因為該信息不為公眾所知,為其所有者帶來了經濟利益;(3)該信息所有者為了保持其秘密性需要做出一定的努力。
      [33]參見梁志文:《論算法排他權:破除算法偏見的路徑選擇》,《政治與法律》2020年第8期;狄曉斐:《人工智能算法可專利性探析——從知識生產角度區分抽象概念與具體應用》,《知識產權》2020年第6期。
      [34]參見汪慶華:《人工智能的法律規制路徑:一個框架性討論》,《現代法學》2019年第2期;孫建麗:《算法自動化決策風險的法律規制研究》,《法治研究》2019年第4期。
      [35]參見丁曉東:《論個人信息法律保護的思想淵源與基本原理——基于“公平信息實踐”的分析》,《現代法學》2019年第3期。
      [36]參見《民法典》第1035—1039條。對我國民法典的個人信息保護制度的解讀,參見張新寶:《〈民法總則〉個人信息保護條文研究》,《中外法學》2019年第1期;王成:《個人信息民法保護的模式選擇》,《中國社會科學》2019年第6期。
      [37]參見《網絡安全法》第41—45條;全國信息安全標準化技術委員會:《信息安全技術個人信息安全規范》,2018年1月24日,https://www.tc260.org.cn/front/postDetail.html?id=20180124211617,2018年7月24日。
      [38]Richard H. Thaler and Cass R. Sunstein, Nudge: Improving Decisions About Health, Wealth, and Happiness, New Haven, CT: Yale University Press, 2008,p.9.
      [39]以Facebook的隱私政策為例,其篇幅甚至長于美國憲法。參見Bianca Bosker, “Facebook Privacy Policy Explained: It’s Longer than the Constitution,” Huffington Post, April 8,2014,https://www.huffingtonpost.com/2010/05/12/facebook-privacy-policy-s_n_574389.html, Aug.5,2018.
      [40]有的法律注意到這一點,例如《一般數據保護條例》第7條規定,隱私政策“應當使用一種容易理解的形式,使用清晰和平白的語言”。但即使這一規定也不可能完全簡化相關主體的隱私政策,因為后者本身就是非常復雜的。
      [41]一項研究估算,一個美國公民,如果要閱讀所有訪問網站的隱私公告,那么他一年可能需要花費244小時。參見Lorrie Faith Cranor, “Necessary But Not Sufficient: Standardized Mechanisms for Privacy Notice and Choice,” Journal on Telecommunications &High Technology Law, vol.10,no.2,2012,p.274.
      [42]一項調查發現,在美國的相關互聯網使用者中,只有20%的人們在“大多數情況下會閱讀隱私公告”。參見Helen Nissenbaum, Privacy in Context: Technology, Policy, and the Integrity of Social Life, Stanford, CA: Stanford University Press, 2009,p.105.
      [43]James Q. Whitman, “The Two Western Cultures of Privacy: Dignity Versus Liberty,” Yale Law Journal, vol.113,no.6,2004,p.1204;Lawrence M. Friedman, “Name Robbers: Privacy, Blackmail, and Assorted Matters in Legal History,” Hofstra Law Review, vol.30,no.4,2002,p.1125.
      [44]以主體性為基礎對算法進行規制的思路,參見蘇宇:《算法規制的譜系》,《中國法學》2020年第3期;陳姿含:《人工智能算法中的法律主體性危機》,《法律科學》2019年第4期;李文靜、欒群:《人工智能時代算法的法律規制:現實、理論與進路》,《福建師范大學學報》2020年第4期。
      [45]Richard T. Ford, “Save the Robots: Cyber Profiling and Your So-Called Life,” Stanford Law Review, vol.52,no.5,2000,pp.1573-1584.
      [46]由外界助推而提高個人有效選擇和自主性的理念,可參見Richard H. Thaler and Cass R. Sunstein, Nudge: Improving Decisions About Health, Wealth, and Happiness, pp.6-8.
      [47]Randall Bezanson, “The Developing Law of Editorial Judgment,” Nebraska Law Review, vol.78,no.4,1999,p.756.
      [48]Steve Lohr, “The Age of Big Data,” The New York Times, February 11,2012,https://wolfweb.unr.edu/homepage/ania/NYTFeb12.pdf, August 6,2018.
      [49]Linda Hamilton Krieger, “The Content of Our Categories: A Cognitive Bias Approach to Discrimination and Equal Employment Opportunity,” Stanford Law Review, vol. 47,no.6,1995,p.1164.
      [50]Charles R. Lawrence III, “The Id, the Ego, and Equal Protection: Reckoning with Unconscious Racism,” Stanford Law Review, vol.39,no.2,1987,p.317.
      [51]在這個意義上,法律可被視為另一種非機器的人為算法,參見John O. McGinnis and Steven Wasick, “Law’s Algorithm,” Florida Law Review, vol.66,no.3,2014,p. 991;鄭戈:《算法的法律與法律的算法》,《中國法律評論》2018年第2期;丁曉東:《算法與歧視?——從美國教育平權案看算法倫理與法律解釋》,《中外法學》2018年第3期;蔣舸:《作為算法的法律》,《清華法學》2019年第1期。
      [52]Erica Frankenberg and Chinh Q. Le, “The Post-Parents Involved Challenge: Confronting Extralegal Obstacles to Integration,” Ohio State Law Journal, vol.69,no.5,2008,p.1016.對結構性的種族不平等的分析,參見Richard Thompson Ford, “The Boundaries of Race: Political Geography in Legal Analysis,” Harvard Law Review, vol.107,no.8,1994,p.1843.
      [53]T. Alexander Aleinikoff, “A Case for Race-Consciousness,” Columbia Law Review, vol.91,no.5,1991,p.1060.
      [54]James E. Jones, Jr.,“Reverse Discrimination in Employment: Judicial Treatment of Affirmative Action Programs in the United States,” Howard Law Journal, vol.25,no.2,1982,pp.218-223.
      [55]Edmund S. Phelps, “The Statistical Theory of Racism and Sexism,” The American Economic Review, vol.62,no.4,1972,p.659.
      [56]Dennis J. Aigner and Glen G. Cain, “Statistical Theories of Discrimination in Labor Markets,” Industrial and Labor Relations Review, vol.30,no.2,1977,p.175.
      [57]Regents of University of Calif v. Bakke, 438U. S.265(1978).
      [58]Gerald S. Oettinger, “Statistical Discrimination and the Early Career Evolution of the Black-White Wage Gap,” Journal of Labor Economics, vol.14,no.1,1996,p.52.
      [59]將算法視為正當程序的論證,參見陳景輝:《算法的法律性質:言論、商業秘密還是正當程序?》,《比較法研究》2020年第2期。
      [60]參見齊延平:《論人工智能時代法律場景的變遷》,《法律科學》2018年第4期;劉權:《網絡平臺的公共性及其實現——以電商平臺的法律規制為視角》,《法學研究》2020年第2期。
      [61]Helen Nissenbaum, Privacy in Context: Technology, Policy, and the Integrity of Social Life, pp.140-160.
      [62]Helen Nissenbaum, Privacy in Context: Technology, Policy, and the Integrity of Social Life, p.141.
      [63]Richard Warner and Robert H. Sloans, “The Ethics of the Algorithm: Autonomous Systems and the Wrapper of Human Control,” Cumberland Law Review, vol.48,no.1,2017,pp.37-66;Doaa Abu-Elyounes, “Contextual Fairness: A Legal and Policy Analysis of Algorithmic Fairness,” Journal of Law, Technology &Policy, vol.2020,no.1,2020,pp.1-54.
      [64]Joshua A. Kroll et al.,“Accountable Algorithms,” pp.633,640.
      [65]Deven R. Desai and Joshua A. Kroll, “Trust But Verify: A Guide to Algorithms andthe Law,” Harvard Journal of Law &Technology, vol.31,no.1,2017,p.1.
      [66]Lilian Edwards and Michael Veale, “Slave to the Algorithm?Why a‘Right to an Explanation’is Probably Not the Remedy You are Looking For,” Duke Law & Technology Review, vol.16,no.1,2017,p.18.
      [67]Lilian Edwards and Michael Veale, “Slave to the Algorithm?Why a‘Right to an Explanation’is Probably Not the Remedy You are Looking For,” pp.55-56,58.
      [68]Lilian Edwards and Michael Veale, “Slave to the Algorithm?Why a‘Right to an Explanation’is Probably Not the Remedy You are Looking For,” pp.58-59.
      [69]參見Cary Coglianese, “Regulating by Robot: Administrative Decision Making in the Machine-Learning Era,” Georgetown Law Journal, vol.105,no.5,2017;查云飛:《人工智能時代全自動具體行政行為研究》,《比較法研究》2018年第5期;馬顏昕:《自動化行政方式下的行政處罰:挑戰與回應》,《政治與法律》2020年第4期。
      [70]參見Joshua New and Daniel Castro, How Policymakers Can Foster Algorithmic Accountability, Center for Data Innovation, May 21,2018,pp.17-19,http://www2.datainnovation.org/2018-algorithmic-accountability.pdf, July 31,2018;張吉豫:《智能社會法律的算法實施及其規制的法理基礎——以著作權領域在線內容分享平臺的自動侵權檢測為例》,《法制與社會發展》2019年第6期。
      [71]對于平臺評分機制的市場意義與治理意義,參見胡凌:《數字社會權力的來源:評分、算法與規范的再生產》,《交大法學》2019年第1期。
      [72]參見季衛東:《人工智能時代的法律議論》,《法學研究》2019年第6期。
      [73]參見馬長山:《司法人工智能的重塑效應及其限度》,《法學研究》2020年第4期。
      [74]一個范例是對算法的反設事實解釋(unconditional counterfactual explanation),即對在解釋算法時反設事實,告知相關主體在反設事實情況下會得出什么樣的不同結論。反設事實解釋不僅避免了對復雜專業的算法的完全公開,而且便于數據主體理解自動化決策、對決策進行抗辯,以及改變未來的做法以達到預期目的。參見Sandra Wachter, Brent Mittelstadt and Chris Russell, “Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR,” Harvard Journal of Law &Technology, vol.31,no.2,2018,pp.1-52.
      [75]參見《互聯網巨頭應設立倫理委員會》,2018年1月12日,http://opinion.caixin.com/2018-01-12/101196908.html, 2018年8月2日。
      [76]參見張恩典:《人工智能算法決策對行政法治的挑戰及制度因應》,《行政法學研究》2020年第4期。
      [77]參見季衛東:《人工智能開發的理念、法律以及政策》,《東方法學》2019年第5期。
      [78]參見《暖心高校偷偷給貧困生打錢中科大用“黑科技”實現隱形資助》,2017年7月13日,http://www.takefoto.cn/viewnews-1205834.html, 2018年8月2日。
      [79]學者還指出,互聯網帶來的搜尋成本的降低會促進商品價格的降低和價格的區別定價。參見Pedro Pereira, “Do Lower Search Costs Reduce Prices and Price Dispersion?” ,Information Economics and Policy, vol.17,no.1,2005,pp.61-72.
      [80]對于隱私保護與大數據有效運行之間的張力,參見季衛東:《數據、隱私以及人工智能時代的憲法創新》,《南大法學》2020年第1期。
      [81]正如舍恩伯格所言:“大數據的價值不再單純來源于它的基本用途,而更多源于它的二次利用”,維克托·邁爾-舍恩伯格、肯尼思·庫克耶:《大數據時代:生活、工作與思維的大變革》,第197頁。
      [82]對于人格權保護與數據流通共享的分析,參見王利明:《數據共享與個人信息保護》,《現代法學》2019年第1期;程嘯:《論大數據時代的個人數據權利》,《中國社會科學》2018年第3期。
      [83]參見Margot Kaminski and Binary Governance, “Binary Governance: Lessons from the GDPR’s Approach to Algorithmic Accountability,” South California Law Review, vol.92,no.6,2019,p.1529;高富平:《個人信息保護:從個人控制到社會控制》,《法學研究》2018年第3期;梅夏英:《數據的法律屬性及其民法定位》,《中國社會科學》2016年第9期;丁曉東:《個人信息私法保護的困境與出路》,《法學研究》2018年第6期。
      [84]參見Batya Friedman and Helen Nissenbaum, “Bias in Computer Systems,” ACM Transactions on Information Systems, vol.14,no.3,1996,p.330.
      [85]參見鄭智航、徐昭曦:《大數據時代算法歧視的法律規制與司法審查——以美國法律實踐為例》,《比較法研究》2019年第4期;劉友華:《算法偏見及其規制路徑研究》,《法學雜志》2019年第6期;徐琳:《人工智能推算技術中的平等權問題之探討》,《法學評論》2019年第3期。
      [86]在算法導致的歧視中,有的歧視可能人為有意嵌入算法,例如有的搜索引擎和評級標準的調整。參見Eric Goldman, “Search Engine Bias and the Demise of Search Engine Utopianism,” Yale Journal of Law &Technology, vol.8,no.1,2006,pp.188-200.有的歧視可能是無意的,例如機器學習中出現的歧視,參見Nicholas Diakopoulos, “Algorithmic Accountability: Journalistic Investigation of Computational Power Structures,” Digital Journalism, vol.3,no.3,2015,pp.398-415.
      [87]用戶畫像是產生算法歧視的重要途徑,參見Tal Z. Zarsky, “Transparent Predictions,” University of Illinois Law Review, vol.2013,no.4,2013,p.1503;Mireille Hildebrandt and Bert-Jaap Koops, “The Challenges of Ambient Law and Legal Protection in the Profiling Era,” The Modern Law Review, vol.73,no.3,2010,pp.428-460.
      [88]Solon Barocas and Andrew D. Selbst, “Big Data’s Disparate Impact,” California Law Review, vol.104,no.3,2016,p.671.
      [89]Anupam Chander, “The Racist Algorithm?” ,Michigan Law Review, vol.115,no.6,2017,pp.1035-1045.
      [90]Owen M. Fiss, A Way Out:America’s Ghettos and the Legacy of Racism, Princeton, NJ: Princeton University Press, 2003,p.3.
      [91]例如當前就業市場中普遍存在的學歷要求,用人單位之所以對學歷進行要求,很大程度上是為了滿足職業擇優錄取的需求,從而提高企業的效率。
      [92]例如很多服務型行業對身高、長相的歧視,在很大程度上是因為員工的相貌形象雖然與某項具體工作沒有直接相關的關系,但可通過這種手段取悅和招攬顧客,或者提高企業形象。這種形式是否合理,仍然值得探討。
      [93]沒有此類平等倫理的介入,算法可能加劇社會的不平等。參見於興中:《算法社會與人的秉性》,《中國法律評論》2018年第2期。
      [94]以“過程—結果”對人工智能進行雙重規制,參見馬長山:《人工智能的社會風險及其法律規制》,《法律科學》2018年第6期。
      [95]Joshua A. Kroll et al.,“Accountable Algorithms,” pp.695-705.
      [96]參見季衛東:《人工智能時代的司法權之變》,《東方法學》2018年第1期;張欣:《算法解釋權與算法治理路徑研究》,《中外法學》2019年第6期;周輝:《算法權力及其規制》,《法制與社會發展》2019年第6期;張凌寒:《算法權力的興起、異化及法律規制》,《法商研究》2019年第4期。

      本網站文章僅代表作者個人觀點,不代表本網站的觀點與看法。
      轉載請注明出自北大法律信息網
    0
    北大法律信息網
    www.chinalawinfo.com
    法律動態
    網站簡介
    合作意向
    網站地圖
    隱私政策
    版權聲明
    北大法寶
    www.pkulaw.cn
    法寶動態
    法寶優勢
    經典客戶
    免費試用
    產品服務
    專業定制
    購買指南
    郵件訂閱
    法律會刊
    北大英華
    www.pkulaw.com
    英華簡介
    主要業務
    產品列表
    英華網站
    聯系我們
    用戶反饋
    返回頂部
    二維碼
    不要添了,我高潮了视频