<output id="5zixi"></output>
<output id="5zixi"><legend id="5zixi"></legend></output>
<p id="5zixi"><del id="5zixi"><div id="5zixi"></div></del></p>

<tr id="5zixi"><label id="5zixi"></label></tr>
<p id="5zixi"></p>
  • <tr id="5zixi"><label id="5zixi"></label></tr><td id="5zixi"><ruby id="5zixi"></ruby></td><acronym id="5zixi"><meter id="5zixi"></meter></acronym><object id="5zixi"><strong id="5zixi"><address id="5zixi"></address></strong></object>
    算法權力的興起、異化及法律規制
    2020/1/22 8:41:47  點擊率[1769]  評論[0]
    【法寶引證碼】
      【學科類別】科技法學
      【出處】《法商研究》2019年第4期
      【寫作時間】2019年
      【中文摘要】在人工智能時代,具有自主學習與決策功能的智能算法與人的行為分離并超越了工具化范疇。算法基于海量數據運算配置社會資源,直接作為行為規范影響人的行為,輔助甚至取代公權力決策,從而發展為一支新興的技術權力。算法權力以處理海量數據的機器優勢、基于復雜算法生態的架構優勢與對社會權力運行的嵌入優勢為基礎,形成了跨越性與隔離性的特征。由于缺乏有效規制,算法權力在商業領域形成與消費者的不公平交易,催生了監視資本主義;在公權力領域嵌入公權力運行的各個環節,甚至成為獨立的決策者,嚴重挑戰正當程序制度和權力專屬原則。防范算法權力異化,應建立限權與賦權的制度體系。限權制度包括明確算法的應用范圍與限制條件,建立正當程序制度和算法問責機制;賦權制度包括賦予公民個人數據權利,建立事后救濟制度,加強行業自律以及引入第三方參與合作治理。
      【中文關鍵字】人工智能;算法;權力異化;法律規制
      【全文】

        一、問題的提出
       
        進入人工智能時代,智能算法超越了以計算機程序為主的形式,[1]以大數據和機器深度學習為基礎,具備越來越強的自主學習與決策功能。以“阿法零”(Alpha Zero)、自動駕駛汽車、犯罪風險預測系統為代表,兩千多年前亞里士多德暢想的根據人類需求自行工作的工具逐漸成為現實。[2]如今,算法已經深度嵌入社會生活,從新聞推送到手機導航,從預測治安風險到輔助法官量刑,算法逐漸在教育、執法、金融、社會保障等領域接管人類讓渡的決策權。
       
        然而,智能算法基于其不透明性和自主性逐漸脫離了工具化的范疇。長久以來,工具化的算法如信用評價算法和保險精算算法等,它們由人設計應用并可以提供具體決策解釋。而智能算法通過數據自主學習生成決策,在應用中反客為主,甚至成為“算法權威”指導人類行為和決定信息真實性。[3]進而,其在不透明的決策過程中形成算法黑箱,形成了算法與人類之間的技術支配關系。普通民眾被算法技術統治卻渾然不知也無力抵抗,如被算法解雇的中學教師、被犯罪預警系統過度執法的有色公民、被基金模型盤剝的底層民眾等,這些算法被數據科學家稱為數學毀滅武器。[4]
       
        智能算法因不透明性和自主性產生的規制問題引起了學界的關切。規制的目的既包括促進算法的合理應用以增進人類福祉,也包括避免算法的濫用向惡的方向發展。目前,實務界和學術界提出了增強算法透明度、配置算法解釋權、設立專門監管機構等方案。[5]這些方案具有一定針對性,但其隱含的假設仍是將智能算法作為“工具”進行規制。實際上,當今的智能算法已經從單純的技術工具逐步升級為復雜的自主性體系,并通過嵌入社會權力結構發揮作用。因此,算法的合理規制必然要求對智能算法的地位和本質予以深入理解,警惕算法濫用的風險,以應對算法對公民權利和政治權力體系造成的沖擊。
       
        二、算法權力的興起與基礎
       
        在人工智能時代,萬事萬物皆可數據化生存,數據即是信息與社會利益的載體。由于海量數據所需的算力超出人工計算能力,社會資源的分配權力不得不逐漸讓位于算法。這使得算法逐漸脫離數學工具的角色,并與數據資源結合成為重要的新興社會力量。這種力量如何從法律上進行界定,又以何種方式運行并產生效力,成為討論算法規制的前提。
       
        (一)智能算法的本質與權力化趨勢
       
        若從技術角度定義算法,其是通過一系列步驟,用輸入的數據得到輸出的結果。[6]一份食譜,一項招生政策,甚至人根據天氣決定穿什么衣服的思維過程,都是具備輸入、輸出、明確性、有限性和有效性要素的算法。[7]現代算法的應用以計算機為載體,以二進制為運算機制,發展出了排序算法、傅里葉算法、哈希算法等,被廣泛應用于排序、匹配、加密等多種途徑。[8]智能算法作為本文討論的對象,不僅包括源代碼,也包括算法運行的計算網絡以及算法賴以決策的大數據,它們共同通過算法決策產生社會影響。
       
        算法主要通過兩個步驟層次對社會和個人產生影響:第一層是算法設計,指設計者編寫算法決策代碼,并輸入數據使算法自主學習,優化決策流程的行為;第二層是算法部署應用,企業在其平臺上部署應用算法的行為。這兩個層次可能合一,也可能分離。例如,電商平臺既設計算法也部署和應用算法,通過個性化推薦算法為用戶推薦商品,兩個層次同一。又如,科技企業設計算法(如門診系統),醫院部署應用算法,通過兩個分離的步驟層次提高醫院門診效率。第一層的設計者和第二層的部署應用者對算法都具有較強的控制力,能夠預測算法決策結果并作出算法決策的解釋。相應的,對算法造成的不利后果,法律評價對象為人在算法的開發或部署行為中是否存在過錯,以確定算法開發者或部署者的責任。
       
        智能算法的技術發展催生了算法發揮效力的第三個步驟層次:算法的自主決策。智能算法根據大數據進行自主學習生成決策規則,其不透明性和自主性導致人類無法窺知算法決策的具體過程,從而使算法成為調配社會資源的新興力量。這主要體現在:
       
        第一,算法通過對數據的占有、處理與結果輸出,演化為資源、商品、財產、中介甚至社會建構力量。[9]在人工智能時代,數據同時具有自然屬性和社會屬性,這表現為數據既是算法計算和運行的對象,又是社會利益的載體。有學者將數據承載的信息視為社會權力的基礎,認為一方主體通過占有信息并控制另一方主體獲取信息的渠道和程度,同樣可以構成權力來源。[10]
       
        第二,算法直接變為行為規范,影響甚至控制個體的行為。正如美國學者萊斯格在《代碼即法律》中指出的那樣,代碼是互聯網體系的基石,它有能力通過技術手段規范個人行為。[11]例如,淘寶平臺的算法可以對用戶的支付寶賬戶采取取消收款、資金止付等強制措施,用戶推翻算法決策需要舉證。[12]再以滴滴平臺為例,這種看似松散的連接乘客與汽車租賃、駕駛服務的平臺,卻實質上擁有比傳統出租車公司更強的權力——訂單的分配和接受、行駛路線的指定、費用的支付與收取、司機與乘客的評分等活動,均要按照算法規定的程序進行。
       
        第三,算法輔助甚至代替公權力,做出具有法律效力的算法決策。公權力或高度依賴算法的事實認定功能(如人臉識別、交通監控),或依賴算法輔助決策和法律適用。[13]在某些領域,算法已經可以直接作為決策者做出具體行政行為。例如,在我國智慧交通體系的建設中,算法可以直接對監控查獲的交通違法行為處以罰款,[14]美國聯邦尋親處使用的算法曾誤將某公民認定為“拒付撫養費的父母”,并對其開出20.6萬美元的罰單。[15]
       
        基于此,智能算法調配資源的力量使其形成了一種事實上的技術權力。權力是社會學和哲學領域的重要概念,凡是特定主體擁有的足以支配他人或影響他人的資源均可稱之為權力。[16]技術作為一種征服自然和改造自然的力量,本身沒有價值取向,也不具有權力的屬性。[17]但是,如果技術對人的利益能夠直接形成影響和控制,技術便失去純粹性而具有權力屬性。[18]算法權力對數據、人的行為和公權力資源的調動能力,使得其屬性和實現形式具有區別于其他權力的獨特之處。正如法國哲學家福柯提出的“無所不在”的現代權力范式,算法權力區別于政治學中自上而下的操縱和支配,強調的是權力在實際運作中的網絡結構化和彌散性。[19]
       
        更重要的是,算法的權力化源于其在技術上擺脫了“工具”地位。在技術上,算法的不透明性產生了不可控性。例如,搜索引擎的網頁排名算法提供信息的過程無法被人觀測,而其提供的信息一定程度上決定了人對具體問題的認知;[20]微軟的人工智能聊天機器人在推特(Twitter)上進行交互學習后,竟發表了同情納粹的言論。[21]算法技術的失控趨勢被學者稱為“算法未知”,[22]即機器自主學習意味著算法對人類來說太復雜而難于理解。這種技術上的不可控性使得算法與人的行為分離,導致人的行為與引發的責任的分離,[23]傳統法律中“行為-責任”的邏輯鏈條被算法的自動決策切斷,從而使傳統的規制手段無法有效作用于算法系統。由此,算法擺脫了被人類控制的“工具”的地位而產生權力化趨勢。
       
        (二)算法權力的基礎與特征
       
        算法權力來自算法的機器優勢、架構優勢和嵌入優勢。基于機器優勢,算法可以掌控調配大數據并進行深度自主學習;基于架構優勢,算法通過搭建復雜生態系統架構來控制人的行為;基于嵌入優勢,算法借助資本與公權力的力量直接影響社會權力的運行。基于這些優勢,算法權力呈現出跨越性與隔離性的特征。
       
        1.算法權力的基礎
       
        算法權力的基礎之一是機器優勢。機器優勢首先體現在算法對大數據資源的計算能力,迫使人類因無法應對海量數據計算任務而逐漸交出決策權。機器優勢也包括深度自主學習能力,使得算法可以從既往數據中自主測試和自我改善,甚至可以“生產”知識。[24]新興的社會以互聯網為中心,社會最基礎層面流動的不是物質生產而是信息。算法作為確定信息流動的力量,操縱了人類獲取的知識。
       
        算法權力的基礎之二是架構優勢。架構優勢指算法通過搭建復雜生態系統而獲得的對人類行為的支配力量。系統架構可以產生權力。技術性的系統架構本質是政治性的,能夠產生驅動人類行動的權力,對此恩格斯曾指出紡紗工廠的機器比任何資本家更為專制。[25]算法技術搭建的系統架構對人產生權力的路徑可用亞馬遜公司的“混沌存儲算法管理倉庫”來描述。在這種倉庫中,算法將物品按照貨架空間和物品體積的匹配程度進行分配,工人只能依靠算法定位物品,行為受到算法支配。[26]人工智能時代,算法構建了諸如電商平臺、社交媒體等不同的系統架構,用戶通過“通知-同意”進入系統架構后,行為即受到算法支配。同時,算法系統架構可以內在生發和延伸,進一步通過架構收集用戶數據,并可在多個生態系統之間共享數據以持續對用戶產生影響。[27]
       
        算法權力的基礎之三是嵌入優勢。嵌入優勢指算法結構性嵌入社會權力運行系統,借助經濟與政治權力實時干預人的行為,從而對社會進行無孔不入地構建、干預、引導和改造。在經濟領域,算法嵌入平臺重構了消費者、平臺與服務提供者之間的關系。算法下探至每筆交易貫徹平臺交易規則,并對違約者予以即時處罰;[28]在政治領域,算法可實時收集數據并持續運行,與公權力的實施具有高度契合性,并極大地增強了公權力運行的廣度、深度和效率。基于此,算法可以為治理對象量身定制并設置難以計數的場景化規則,并以極小的執法成本應用于任何規模的監管對象。例如,在自動駕駛技術中嵌入代碼,就可以事前禁止酒駕、超速等違法行為。可以預見,算法權力通過嵌入社會權力運行體系,將以“持續控制形式”滲入日常社會互動中的微觀層面。[29]
       
        概言之,算法通過機器優勢爭奪人類的決策權力,基于架構優勢框定了人的認知和行為模式,并借助嵌入優勢指數級的擴張其影響,從而反過來塑造社會運行方式。
       
        2.算法權力的特征
       
        基于機器、架構與嵌入優勢,算法權力具有了以下特征:一是跨越性,包括跨越網絡和物理空間、跨越公私兩個領域;二是隔離性,即算法權力與民眾理解和現有法律體系的隔離。
       
        首先,算法權力具有跨越性。這表現為:(1)算法權力橫跨了制度化權力與非制度化權力。[30]制度化權力普遍存在于公權力體系中,但非制度化權力也隨著網絡的發展而興起。例如,網絡平臺憑借其占有的生產要素、技術形成某種權力,并以此為圓心輻射出多重非制度化的社會關系。在非制度化的權力領域,算法借助算力和架構成了控制資本流動和網絡言論的非制度化權威。在制度化權力領域,算法權力因算法在公共部門中的應用被公權力收編,成為權力圓心的一部分。算法權力在社會權力版圖的擴張隨著智能算法的迭代而加快。(2)算法權力跨越網絡空間與物理空間。電子屏幕和終端設備劃分了網絡空間和物理空間的界限,即在線與離線的二分。算法決策的影響則跨越空間的二分性,其作用不僅局限于網絡空間,還直接作用于征信、財產、教育等現實領域從而延伸至物理空間。
       
        其次,算法權力借由技術壁壘形成隔離性特征。這種隔離性既包括算法權力與普通公眾的隔離,也包括算法權力與現有法律制度的隔離。具體而言:(1)算法權力技術化統治與普通公眾的隔離。雖然行政自由裁量、法官的自由心證在某種程度上也是黑箱,但其作為人類決策并不神秘,普通公眾容易理解,法律也便于建立相應制度予以規制。但是,由于算法權力對數據資源和專業技術知識的壟斷,其決策機理難以為普通公眾所理解,算法權力借由技術屏障達成了技術化統治。(2)算法權力與現有法律制度的隔離。現有的法律制度圍繞著現有的經濟、政治權力結構而建立,而這種權力結構受到了算法權力的巨大沖擊,導致現有法律制度出現了種種不敷適用之處。例如,民事侵權責任中至關重要的主觀過錯與因果關系要件,無法適用于算法自主決策造成的損害。又如,面對自動駕駛交通事故對侵權責任、產品質量責任和交通事故責任等諸多制度提出的挑戰,各國不得不對自動駕駛交通事故的法律責任界定及分配問題進行專門立法。[31]這種制度上的隔離使得為算法專門創設具有自身特征和內涵的權利義務及責任承擔制度成為未來法律的發展方向。[32]
       
        算法權力的跨越性和隔離性使其產生經濟政治領域的巨大影響力,并借由技術面紗逃逸現有法律制度的規制,在無形中又進一步鞏固了算法權力。
       
        三、算法權力的異化風險
       
        雖然算法權力在社會權力結構體系中舉足輕重,但現有法律制度卻對其缺乏規制,從而導致算法權力在商業領域和公權力領域產生異化風險。
       
        (一)算法權力在商業領域的異化風險
       
        首先,算法權力借助機器優勢與架構優勢,擠壓用戶意思自治的空間,并通過算法壟斷攫取高額利潤,卻能有效規避現有法律體系的規制。消費者信息一直是商業公司獲取商業利潤的關鍵因素。早在20世紀70年代就有商業監視的概念,意指商業公司通過對消費者個人資料的收集掌握其消費模式,以精準投放廣告提高企業利潤,早期通過郵件系統發送的直郵廣告即屬此列。[33]進入人工智能時代,算法借由機器優勢對海量數據進行分析,其得到的信息可以創造出驚人的商業價值。消費者瀏覽網頁或者購買行為所留下的龐大“數據廢氣”,[34]不再是無人問津的垃圾,而是成為極具價值的商業資源,可以改善商業組織的生產流程和服務模式。以“用戶畫像”為例,算法通過數據分析描述用戶的各類行為信息和性格特點,對不同群體進行分類與身份建構,從而量身定制反映其支付意愿的價格,實施“一人一價”的價格歧視。例如,在線旅游平臺多次被爆出“大數據殺熟”,針對使用不同手機、不同消費習慣的用戶實施差異化定價。[35]平臺利用算法的機器優勢,與消費者形成嚴重的信息不對稱。這種信息不對稱影響了用戶在商業活動中意思表示的真實性,使得處于信息弱勢的一方無法做出正確判斷而引發不公平和低效率。此外,算法還被用來進行價格共謀以榨取消費者剩余,即同一行業的商家可以使用同一種動態定價算法使市場價格趨同,形成“中心式輻射的共謀場景”。[36]如此不僅可以攫取高額利潤,還可以有效躲避競爭法的規制。[37]例如,2015年,優步公司被訴利用算法實現司機之間的價格共謀,使得原本具有價格競爭關系的司機通過算法實現價格一致,損害了用戶的利益。[38]
       
        然而,現有的法律制度無法充分應對商業領域算法應用帶來的損害用戶利益的問題。這主要由以下兩個原因造成:其一,用戶進入平臺的系統架構需要點擊同意用戶協議,而這種所謂的“知情同意”使得算法收集和利用數據的行為合法化。平臺可以主張用戶已經通過用戶協議知曉和同意算法決策,因此無須為用戶受到的算法的不利決策承擔法律責任。[39]其二,算法造成的用戶利益損害的情形不符合現有法律責任的認定規則。算法的“用戶畫像”與“個性化價格歧視”是否合法仍有較大爭議。即使這種行為被認定為違法,算法使用者也可以保護商業秘密為由拒絕披露算法內容。在支持算法使用者對用戶有一定信息披露義務的歐洲,也尚未出現支持用戶獲得算法相關信息的判例。盡管定價算法有妨害競爭之嫌,但執法機構難以通過算法的代碼找到企業價格共謀的證據,而按照市場份額和市場支配地位等標準又無法認定壟斷行為的存在。[40]
       
        其次,算法權力驅動了監視資本主義的興起。商業領域的算法權力不僅通過大規模收集和分析用戶數據來規避法律約束以攫取高額利潤,而且與商業資本結合形成監視資本主義,將用戶被嵌入數據生產鏈條,變成被算法支配調控的客體。
       
        監視資本主義是新型的信息資本主義,它的運行方式是通過對用戶數據的萃取、分析,以及個性化、持續性的實驗對用戶個人實施難以辨別的單向監視,產生巨大商業監視效能,繼而由算法預測和調整人類行為,獲取收益并控制市場。[41]監視資本主義的興起是算法機器優勢和架構優勢的必然產物。在消費者信息帶來的巨大商業利益的驅動下,商業平臺借助算法更加深入全面地收集用戶數據,形成無孔不入的商業監視。各種平臺公司爭相推出以交換個人數據為前提的免費便利服務,通過這些服務收集包括行動數據、個人偏好、位置信息等一切數據。這使得平臺通過算法對用戶的商業監視相比政府的監控而言,具有更強的持續性、普遍性、反復性。
       
        平臺并不止步于通過商業監視獲得的用戶數據,還利用算法的架構優勢,針對用戶行為構建出評分規則和賞罰機制,來調整用戶行為進而獲得利潤。用戶的各種生活足跡都會經過算法的演算,成為定價的根據,從而成為交易市場中極具價值的預測性商品。在利潤的驅動下,算法使用者除了通過算法對用戶進行助推、[42]說服以影響其購買某項商品和服務外,還通過算法對用戶使用持續性、即時性、反復的調控模式,以獎賞、懲罰或者其他更難以察覺的方法,影響用戶的行為,以確保其行為軌跡與自身利益相符合。[43]以谷歌公司為例,雖然其提供的服務是免費的,但利潤卻十分豐厚。原因在于,用戶免費使用谷歌服務留下的各種行為軌跡都使得谷歌可以積累用戶的使用習慣數據,并通過算法投放定向廣告。而谷歌的廣告系統又可通過用戶的點擊行為,進一步分析用戶的行為邏輯,從而更好地預測和引導用戶行為。換句話說,平臺商業監視的目的是獲取算法生產的、可以對用戶未來行為進行精準預測的商品。如此,平臺可以通過算法高效率地對用戶進行持續性的行為調控。有時算法對用戶行為的調控的確是為了回應用戶本身的需求,但最終仍導向行為調控而獲取利潤。因此,監視資本主義是一種全新的“系統連貫積累”,是算法權力和商業力量的結合,是一種新的經濟變種。[44]在監視資本主義下,算法與人類的主客體關系發生了異化。20世紀初的工業革命中,大規模的生產和作為消費者或工人的人類是相互依存的。而在監視資本主義下,人既不是消費者也不是員工,人的價值在于生產數據和累積行為剩余。[45]用戶處于平臺的監控與算法的計算下,產生延綿不絕的行為數據剩余價值,成為監視資本主義所構建的新的生產體系的重要原料和商品。[46]
       
        (二)算法權力嵌入公權力的異化風險
       
        算法權力從不同層面嵌入公權力的運行,借助架構優勢搭建監管體系,甚至在某些領域成為獨立的決策者而取代公權力。然而,適用于公權力控制的權力專屬、正當程序等法律原則無法適用于算法權力,從而造成算法權力異化的風險指數級放大,并與公權力合謀形成權力濫用。
       
        首先,算法決策系統成為公權力的輔助工具。這主要表現為:其一,算法嵌入事實認定層面。算法借助機器優勢裹挾大數據資源,通過視頻監控、人群分析、DNA采集等技術協助進行事實認定。例如,我國公安機關DNA數據庫應用系統已收錄近4000萬條DNA信息。算法在發現最新錄入的DNA符合陳案時會自動預警。這一技術因2016年我國“白銀連環殺人案”[47]偵破中的應用而為公眾所熟知。其二,算法嵌入法律適用層面。2018年美國加州公布在全美首次嘗試用算法評估取代現金保釋;[48]在我國,北京法院新一代審判智能輔助系統“睿法官”也能梳理法律關系、提出裁判建議、生成裁判文書。[49]在可見的未來,算法深度參與公權力運行已經成為必然趨勢,為此國務院辦公廳于2019年1月提出要全面在法律與行政法規的適用層面加強人工智能的作用。[50]
       
        雖然算法極大地提高了公權力的運行效率,但由于算法的機器優勢和架構優勢,其逐漸超越工具化屬性,開始實質性調配資源作出決策。例如,北京市懷柔區公安部門建立了針對盜竊類案件的犯罪預測系統,江蘇省蘇州市的犯罪預測系統2015年就已經覆蓋91種違法犯罪行為,[51]犯罪治理活動從事后打擊轉為事前預防。然而,算法的執法決策會不斷自我肯定與強化,形成相對獨立的認知,如當算法預測一個地區犯罪風險較高時,會相應投入更多警力。而警察人手的增加可能會使該地區的犯罪更容易被查到,從而進一步提高該地區的犯罪記錄,反過來使警方投入更多警力,最終形成一個失真甚至有害的回路。
       
        退一步講,即使算法只是在法律適用層面輔助行政與司法機關的工作人員,其也具有獨立的影響力。據研究,算法決策系統使用“超級推理”,能夠以微妙而有效的方式塑造用戶的感受和行為,破壞個人的獨立判斷力。[52]行政決策中人類形式上的參與無法掩蓋算法作出實質決策的真相。有研究指出,人類極易受到“自動化偏見”的影響,即使認識到可能另有選擇,其也更傾向于服從計算機的判斷。[53]
       
        其次,算法權力借助架構優勢搭建的監管體系在某些領域逐步取代公權力,成為直接的決策者和執法者。算法權力具有即時執行、自我實現的特點,相比公權力的行使需要國家暴力的強制,算法權力的執行不需要任何人為的干預,也沒有滯后與延期。算法權力的執行程序簡單如“輸入密碼錯誤-禁止訪問系統”的算法系統,此類決定即時生效后須經過一定程序方可被人工操作修改。例如,我國行政部門的自動稅收系統與行政許可領域的“秒批”系統,都是由算法作出的即時生效的具體行政行為。隨著復雜算法生態的搭建,算法可勝任更復雜的行政行為,將公民的身份數據化和動態化,建立以社會信用為基礎的公共管理模式。[54]
       
        算法權力借助公權力體系野蠻生長,卻缺乏相應的規制與救濟路徑,從而產生了權力異化的風險。這體現在:(1)傳統限制公權力的正當程序制度對算法權力無效。例如,犯罪預測系統的算法對公民進行挑選、甄別與行為預測,卻并不需要遵循正當程序原則。從理論上講,即使算法的犯罪預測結果未被采納,也不應對公民任意行使調查和監視的權力。這種對公民的特殊調查和監視對待雖然不是有罪判決,但同樣構成一種不利對待。[55](2)算法權力隱含于公權力運行中,嚴重缺乏透明性。算法基于數據的相關性來識別和預測人類行為,這一過程不會被人類甚至普通計算技術所察覺,公眾也無從對其錯誤提出質疑。[56](3)由于算法所作決策的理由與程序并不需要對相對人公開,目前為止尚無救濟渠道。如果具體行政行為的內容包含算法決策,那么相對人對該行政行為發起的行政復議、行政訴訟或申請政府公開的信息之中應該也包含算法決策的相關信息。但是,算法是否屬于可以公開的信息尚不明確,行政機關可能以算法涉及國家秘密、商業秘密、個人隱私或屬于內部信息為由,[57]而拒絕行政相對人的申請。(4)因算法決策系統的技術需要,公共部門須尋求外部技術資源支持,易造成權力行使的失誤并違反權力專屬原則。例如,2007年4月,來自私營公司的程序員將900多條規則植入美國科羅拉多州的公共福利系統,但由于程序員誤讀法律,把“無家可歸”編寫為“行乞為生”,導致流落街頭的申請人遭到算法決策系統的多次拒絕。[58]更令人擔憂的是,這種外部技術支持可能違反權力專屬原則。大量非司法或行政主體如公司、網絡平臺、個人等均可收集監控數據向特定算法提供,由算法進行不確定數據來源的分析,作為司法行為和行政行為的依據。這種權力的“外包”在我國多體現為公私合作的形式,如浙江省高級人民法院與阿里巴巴合作,法院利用算法和阿里平臺的海量數據對涉訴人員繪制“畫像”,包括身份信息、聯系信息、消費數據、金融數據等,以協助法院查詢、送達、凍結資產等。[59]由于算法決策的廣泛使用,傳統上由司法和行政主體行使的監控、追查等公權力向不特定社會群體轉移,但其限度尚無法律規定。在此背景下,公權力借助算法擴展權力版圖和提高行政效率的同時,也極易形成公權力與算法權力的合謀。普通公眾則因缺乏對抗的技術資源,而在權力結構中處于更加弱勢的地位。即使算法權力的運行出現錯誤,決策的成本和后果也不由其部署應用者(政府部門)承擔,公權力既無監管動機也缺乏制度約束。
       
        目前,算法權力異化所產生的消費者權益受損、公權力運行失范、公民權利受到侵害等問題已經引發社會關切。盡管現有法律與行業自律起到了一定作用,但現有規制體系并不足以防止算法權力異化帶來的危害,亟待更新規制思路并建立相應的制度體系。
       
        四、算法權力的法律規制
       
        (一)算法權力規制的基本思路
       
        算法權力異化帶來的挑戰,要求及時調整傳統法律制度的規制理念。在規制思路上,體現為:其一,從偏重數據保護轉向注重算法規制;其二,從單純的技術規制轉變為權力制約;其三,突破公私二元界限進行整體性制度設計。
       
        1.從數據保護到算法規制
       
        傳統法律制度過于偏重數據保護而忽視了對算法的規制,但在人工智能時代,我們面臨的是截然不同的數據生產與流通方式,以及數據利用所產生的龐大價值與風險。這種變革是由算法權力的興起而產生的。商業平臺與公共部門均借由算法的力量擴張各自的權力版圖,產生新的知識生產與治理模式。這使得傳統的數據保護路徑失靈,個人數據保護的知情同意原則已經基本被架空,對個人敏感數據的劃分標準也由于算法的分析而幾乎失去意義。數據是算法的養分,算法借由數據生產知識產生利潤和控制人類行為。因此,政策制定者不能僅關注數據產生的效益,還應防范由于算法對數據的使用而造成的社會負外部性。
       
        對算法的規制,就意味著對數據利用層面的規制,而非過去的偏重數據收集的規制。[60]對此,2014年美國總統科學與科技顧問委員會提出,應將政策“更多聚焦于數據的實際使用”上。[61]因為,數據必須借由算法的邏輯與運算,才會產生價值或者風險。個人權利遭受損害的來源,不是單純來自數據或算法,而是來自兩者的結合。[62]因此,應將個人數據保護的重點轉向對數據控制者數據使用行為的監督,建立數據處理活動的風險評估機制,以避免決策錯誤。[63]
       
        從偏重個人數據保護到偏重算法規制的思路轉變,會引發一系列制度設計思路的變化。首先,偏重算法對數據利用層面的規制,應注重設計利用過程中的相關制度,如算法的正當程序原則。其次,偏重算法對數據利用層面的規制,應關注技術理性中隱藏的人為因素,注重算法的道德倫理評價,建立算法問責機制。最后,如果說數據保護制度注重的是個人隱私、安全等價值的保護,那么算法規制的思路應更注重人類尊嚴、公民權利、社會公平等價值的保護。
       
        2.從技術規制到權力制約
       
        法律應避免將算法作為純粹的“技術”進行規制,否則會忽視算法有別于其他技術的權力屬性,以及算法權力對社會權力結構的深刻影響。將算法作為純粹技術進行規制的思路,可能導致規制路徑出現兩種偏差:其一,規制重點的偏離,即過于偏重技術解決方案而忽視算法權力對公民權利、社會運行的深遠影響。有學者認為,算法帶來的危害來自其不透明性,進而主張披露算法源代碼這樣的技術解決路徑。[64]然而,由于公眾和規制機構缺乏識別源代碼的技術能力,過度的信息披露可能會增加用戶的認知負擔而達不到制度目的。實際上,保持算法一定的不透明性既可以保護知識產權以促進企業投資算法開發,又可避免算法被惡意利用導致錯誤運算結果。其二,規制層次的單一。算法應用的不同領域、架構與場景需要不同層次的規制力度與個性化的制度設計。如自動駕駛算法關系到城市交通與公民人身安全,需要嚴格的規范;而一般的商品與新聞推薦算法的規制則可以相對寬松。缺乏層次的規制可能導致社會組織為了避免過度規制而犧牲效率,從而使用人工決策而放棄算法決策。[65]
       
        相對而言,權力制約的思路則具有以下優勢:其一,充分利用既有資源。各國政府的管理部門已經較為完備,每個政府機構都應隨著算法決策的廣泛應用而更新管理功能。例如,交通管理部門應及時適應無人駕駛汽車帶來的各項挑戰,衛生監督部門也應對人工智能在疾病診斷和手術領域方面的發展做出及時調整。以權力制約作為指導思想可以免除為了對技術做出回應,而設立專門的政府部門甚至重構整個政府規制體系的浪費。同時,現有公權力監督體系也可以用來規范算法融入公權力部門后引發的問題。其二,保證制度的整體性和相關性。各個領域大規模使用算法決策后,新的算法常搭載于某個已經存在的算法系統中,編織出越來越復雜的算法生態系統。算法在越來越廣的范圍內搭建系統架構,人類的認知和行為將嵌入得更深,算法對人之行為的驅動力日益增加。[66]因此,將算法作為純粹的技術進行規制的措施不可避免具有局限性,而以權力制約的理念進行制度設計,則能夠有效保證制度之間的內在統一。其三,權力制約下的責任主體更加合理。將算法作為技術而規制的理念不可避免地偏重于算法設計者的設計責任。設計責任固然重要,但算法權力的運行才是造成異化風險的直接原因。例如,研發人員能夠糾正算法設計中的偏見,但無法解決算法的濫用問題。[67]對此,算法權力的限制理念能夠督促算法使用者切實對算法的部署和應用負起責任。[68]
       
        3.從公私二元劃分到整體制度設計
       
        在人工智能時代,借由算法權力的連接,商業領域與公共部門的權力很難再簡單地劃分為公私二元。在充分利用公私不同領域的法律資源的前提下,也要考慮對算法權力整體性規制的制度設計。這是由算法權力引起的公私二元界限模糊造成的。算法權力使得公民在商業領域與政治生活中的身份逐漸重合。算法身份指基于商業平臺的監視和公權力的治理需要,將個人歸屬于特定群體之中。這種身份的建構不完全取決于個人的物理外觀或自我選擇,而是主要根據個人的行為軌跡數據由算法演算出個人區別于群體的屬性。[69]算法身份的共享來源于數據的共享、算法的共享、決策結果的共享。[70]例如,我國浙江地方法院使用當事人的淘寶網提供收貨地址進行文書送達,[71]互聯網法院的區塊鏈取證有賴于大型平臺企業的技術支持,[72]而芝麻信用這類商業算法的應用更是延伸至申領護照、身份認證等公共服務場景。[73]平臺出于商業利益,積極地通過各種方式協助政府的大規模數據收集與處理,通過法律授權、后門、買賣與外包等方式,[74]算法與數據在公私主體之間自由流動,公私界限日益模糊。
       
        從公私二元轉向整體制度設計思路將導向以下制度變遷:其一,應對公私部門的算法權力交織,對商業平臺的某些行為適用公權力運行的相關規則,從而設定算法權力運行的界限,并突破私法領域法無禁止即可為的原則。其二,在公私領域借由算法交織而成復雜權力架構下,個人處于權力結構的最末端。因此,對算法的規制需要引入第三方治理,以更好地監督算法權力的濫用。
       
        (二)算法權力的規制路徑
       
        算法權力的具體規制路徑包括對算法應用范圍的限制、建立正當程序制度和問責機制對算法權力運行進行合理制約,也包括賦予個人數據權利和獲得救濟的權利對抗算法權力的侵害,以及加強行業自律和引入第三方規制力量。
       
        1.算法權力運行的合理限制
       
        算法權力異化的風險主要來自缺乏權力制約。對此,需要從權力范圍、正當程序、問責機制等方面共同約束。
       
        第一,明確算法的應用范圍與限制條件。這包括:(1)限制算法決策的適用領域。類似于限制人身自由的處罰只能由法律設定的法律保留原則,算法應用的范圍也應有一定保留。例如,《歐盟通用數據保護條例》第22條(1)規定,如果算法決策對數據主體有法律效力或者重大影響,那么這種決策不應純粹由算法作出。又如,美國威斯康辛州要求法院使用算法量刑時需要保證人類參與實質決策。[75](2)限制預測性算法決策的適用范圍。人工智能社會是一個風險社會,預測性算法可根據過去的數據來預測個人未來的行為,并根據預測結果允許或剝奪個體的行為選擇,如用來排除潛在恐怖分子的機場禁飛名單系統即是如此。[76]預測性算法的決策過程依賴數據與推斷結果之間的相關性。這種相關性本身就是一種人為構建的認知模式,其僅是一種認知的方法,而非唯一的認知方法。這個過程可能忽略其他眾多社會、文化及偶然性的因素,而犯下以實然推斷應然,以過去判斷未來的謬誤。[77]例如,在假釋和量刑中采用的風險預測算法,以相關性而非因果性進行推理,無疑是否定了無罪推定原則的程序性保障。因此,在具有法律效力與重大影響的算法決策中,應嚴格限定預測性算法決策的適用范圍,并對算法決策的數據來源、范圍和質量進行嚴格限制,審核數據的正當性、準確性,以避免公民權利受損。
       
        第二,建立算法權力運行的正當程序制度。正當程序原則源自司法上的自然公正。事實上,法院的判決與算法自動化決策的過程非常相近,兩者都依賴大量、分散、無關聯的資料累積而作出決定。算法對個人的預測、分類、調控可能出現錯誤、歧視。在法律規范不足的情況下,算法權力并沒有受到合理的監督。算法權力的正當程序制度設計應關注以下3個方面:(1)建立算法運行正當程序的前提是增強公私領域的算法的可見性。算法決策的可見性是指當事人有權知曉算法決策的存在,以及算法決策影響自身權利的方式與程度。然而現有的商業算法決策掩蓋于用戶協議的知情同意條款下無法被察覺,公權力領域的算法決策則隱含于政府的具體行政行為中,公眾無從知曉。在算法可見的前提下,當事人方有可能在正當程序制度保護下進一步陳述申辯和尋求救濟。[78](2)商業算法運行的正當程序應引入中立仲裁者進行監督與裁判。多數算法權力無法區分設計者、執行者、仲裁者的角色。大多數情況下,平臺扮演了三者合一的角色。這都使得算法決策可能陷入錯誤、濫用和違反法律的風險,并且不斷自我回饋與增強。雖然平臺設置了內部的申訴和處理機制,但有關規則和程序由算法單方設定,用戶處于被裁決的弱勢地位,無法進行實質性的交涉。[79]正當程序制度要求權力的分離,以及賦予個人受到“公正審判”的權利。[80]平臺內部應引入“中立仲裁者”,具有獨立行使職權的權利,其必須獨立于商業利益以外,進行符合社會利益的仲裁。[81]這樣既可以節省外部的行政執法成本,也可以在企業內部隨時檢查算法自動化決策系統可能的瑕疵或者偏誤。如《歐盟通用數據保護條例》第37條第5款要求建立數據保護官制度,要求由獨立的具有專業素養的數據保護官監管企業內部的數據處理活動。(3)提高公權力領域算法運行的正當程序要求。算法決策應用于犯罪量刑等司法活動時,關系公民重大的人身權利,因此其程序要求應作出專門的嚴格規定。例如,犯罪風險預測算法造成了犯罪治理活動啟動時點前移,對啟動偵查前數據證據的采用應作出嚴格限制。[82]正如不同的案件審理具有不同的程序,不同的算法權力應用場景也應當遵循不同的程序原則。因此重點不在于一致的程序設計,而在于各種程序應當遵循相同的價值理念:如可預測性、透明性、公眾參與等。[83]
       
        第三,建立算法權力的問責機制。問責機制要求算法權力通過規范的方式行使,否則應承擔相應的法律責任。算法權力問責機制的基本框架為:(1)明確算法問責的主體,以算法使用規模、涉及主體的多少、所涉公共利益的類型等確定被問責的主體。例如,美國參議員在2019年4月提出的《算法問責法案》要求美國聯邦貿易委員會對企業進行算法審查,適用的對象包括年收入超過5000萬美元的公司,以及擁有超過100萬消費者數據的數據代理商和企業。[84](2)明晰算法問責的標準。為避免歧視性、不公平、有害的算法決策結果產生,應當對算法系統采用各種控制措施,以驗證它是否符合運營者的意圖,并且應能夠識別和糾正有害結果。[85]事實上,軟件開發人員經常通過測試軟件的方法確保算法運行符合設計意圖,此類技術方法也可用于算法問責機制的設計。
       
        2.配置個人權利以對抗算法權力
       
        規制算法權力不僅應對算法權力運行進行合理限制,也應通過配置權利以對抗權力的濫用。算法權力與普通公眾力量對比懸殊,應從制度設計角度賦予公民個人及其他主體以權利,以增加其與算法權力博弈的資本,使其免受算法權力的侵害。
       
        第一,個人數據權利賦權的路徑。具體而言:(1)個人應享有一定數據權利以獲得博弈的資本。法律應明確個人數據權利的范圍,使算法的使用者需要與個人協商方能獲取算法決策所需要的數據。為此,算法的使用者需要支付一定對價,而這種對價的形式并不一定是金錢。使個人獲得博弈資本是設立數據財產權的目的:財產權所界定的是,凡是想要取得某些東西的人,就必須在取得之前先進行協商。[86](2)在行政和司法領域,個人收集數據、獲取數據、分析數據的權能應得到加強。應考慮由公權力提供援助以平衡個人在數據和算法技術能力上的嚴重弱勢,這樣個人方有可能應對在偵查、審判、量刑中算法權力與公權力的合謀。
       
        第二,保證個人事后獲得救濟的權利。其中包括獲得算法解釋的權利、[87]更正或修改數據的權利、退出算法決策的權利,等等。有權獲得救濟的主體應為受到算法不利影響的個人,如經過算法評估不被雇傭的候選人,受到歧視性算法量刑的犯罪嫌疑人等。具體而言,首先,應為請求救濟的個人提供算法決策的理由,即提供算法決策的解釋。其次,如果發現不利決策由于錯誤數據造成,應賦予個人更正或修改數據的權利。最后,如果仍無法得到合理的算法決策,應允許個人退出算法決策并尋求人工決策。在這方面,《歐盟通用數據保護條例》第22條即賦予個人不受純粹的算法決策支配的權利,以及獲得人為干預的權利。盡管上述權利的行使存在諸多限制,[88]但不失為有益嘗試。
       
        3.加強自律機制與引入第三方治理
       
        第一,應加強平臺的自律機制。對算法權力的自我規制,可以借鑒企業社會責任的實現路徑,因為平臺的經營活動影響的不僅是企業,還涉及整體的社會福祉。因此,企業社會責任強調在創造利潤以外,還需要兼顧社會各利害關系人的需求。傳統的企業社會責任關注環保、慈善、社區發展等利益。在算法權力盛行的時代,平臺的社會利益擴展至用戶的隱私、尊嚴、公民權利等方面。現有的主要做法是各大平臺定期發布透明度報告,但由于透明度報告純粹是自律措施,所以標準并不統一,內容也大多避重就輕。這些透明度報告的主要內容包括政府、團體組織和個人提起的內容撤回請求及回應情況,但很少揭示平臺在算法設計、部署、應用和數據安全方面存在的缺陷。對此,行業自律組織可考慮統一制定透明度報告的標準,其內容至少應包括算法決策的類型、格式、數量、結果、影響等要素。
       
        第二,引入第三方力量參與合作治理。應對算法權力異化的風險,還可以考慮在算法規制中引入第三方力量。所有的利益相關者都可以作為規制算法權力的主體,這其中既包括個人,也包括開展數據收集、利用、加工、傳輸活動的數據業者;既包括算法的設計者,也包括具有算法審查能力和評估資質的第三方組織;既包括本國政府,也包括其他主權國家和國際組織,等等。第三方力量在規制算法中扮演不可或缺的角色,如作為第三方的非營利組織“為了人民”(Pro Publica)發現了量刑算法的系統性歧視問題,[89]商業平臺和政府部門內部的“吹哨人”可以揭發權力濫用,[90]平臺公司通過法院判決對抗政府監管活動,[91]等等。
       
        五、結語
       
        新興的算法權力打破了社會權力結構的平衡,對現行法律制度提出諸多挑戰,法律的場景化規制、行為模式和責任后果等邏輯均面臨著算法權力的沖擊。極單邊化的算法權力如無合理的制衡和限制,不僅將使個人權利面臨嚴重侵害的風險,還可能將人類導向不可預知的未來。算法權力的法律應對是人工智能時代的重大議題。對此,一方面應充分利用現有法律資源,使算法更好地為人類服務;另一方面,也應充分意識到算法的自主性及異化風險。通過算法權力清單的設置、正當程序的實施、算法問責機制的設計,打造體系化的算法規制架構。

      【作者簡介】
      張凌寒,北京航空航天大學博士后研究人員。
      【注釋】
      [1]算法與程序、應用、軟件等詞匯經常被混淆,三者既有區別又有聯系:首先,算法的步驟是有限的,目的是解決問題,而程序可以無限循環。其次,算法用計算機語言描述后成為程序,程序是算法在計算機上的實現。一個或多個程序的集合就成了軟件。例如,字數統計的算法用程序的形式體現在Word軟件里,而Office軟件又是Word、Excel等多個軟件的集合。因此從技術意義上講,算法描述更為準確和接近本質。參見[美]克里斯托弗·斯坦納:《算法帝國》,李筱瑩譯,人民郵電出版社2014年版,第45頁。
      [2]參見顏一:《亞里士多德選集》(政治學卷),中國人民大學出版社1999年版,第5頁。
      [3] See Lustig and B. Nardi, Algorithmic Authority: The Case of Bitcoin, 201548th Hawaii International Conference on System Sci-ences, Kauai, HI, 2015,pp.743-752.
      [4] See O'Neil C, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Broadway Books, 2016,p.134.
      [5] See Treleaven P, Barnett J, Koshiyama A. Algorithms: Law and Regulation, 52Computer, 32-40(2019).
      [6] See Gillespie T, The relevance of Algorithms, Pablo J. Boczkowski, Media Technologies: Essays on Communication, Materiality, and Society, MIT Press, 2014,p.167.
      [7]參見[美]克里斯托弗·斯坦納:《算法帝國》,李筱瑩譯,人民郵電出版社2014年版,第78頁。
      [8]參見[美]克里斯托弗·斯坦納:《算法帝國》,李筱瑩譯,人民郵電出版社2014年版,第132頁。
      [9] See Sandra Barman, Change of State: Information, Policy, and Power, The MIT Press, 2006,p.11-12.
      [10] See B. H. Raven, Power and Social Influence, Ivan Dale Steiner& Martin Fishbein(eds.),Current Studies in Social Psychology, Holt, Rinehart and Winston, 1968,pp.127-145.
      [11]參見[美]勞倫斯·萊斯格:《代碼:塑造網絡空間的法律》,李旭等譯,中信出版社2004年版,第14頁。
      [12]例如,《淘寶平臺服務協議》(2016年10月)第6.1條規定:“淘寶可在淘寶平臺規則中約定違約認定的程序和標準。如:淘寶可依據您的用戶數據與海量用戶數據的關系來認定您是否構成違約;您有義務對您的數據異常現象進行充分舉證和合理解釋,否則將被認定為違約”。http://b2b.toocle.com/detail--6361764.html, 2017-11-23。
      [13]司法部在《“數字法治、智慧司法”信息化體系建設指導意見》中提出,2019年年底要基本建成“數字法治、智慧司法”信息化體系,形成“大平臺共享、大系統共治、大數據慧治”的信息化新格局。參見王麗:《站在全面依法治國的高度全力推進智慧司法建設》,http://wwwl.egalinfo.gov.cn/index/content/2018-10/30/content_7680145.htm, 2018-11-03。
      [14]例如,智慧交通體系中,高清監控系統、遠程控制系統是輔助性的算法系統,而車內人臉對比系統和機動車查緝布控系統則具有直接開具罰單的能力。參見佚名:《賦能大數據構建智慧交通生態體系》,http://www.rmjtxw.com/news/dsj/40968.html, 2019-04-22。
      [15]參見[美]盧克·多梅爾:《算法時代:新經濟的新引擎》,胡小銳、鐘毅譯,中信出版集團2016年版,第56頁。
      [16]參見[德]尤爾根·哈貝馬斯:《作為“意識形態”的技術和科學》,李黎、郭官譯,學林出版社1999年版,第76頁。
      [17]參見劉永謀:《機器與統治——馬克思科學技術論的權力之維》,《科學技術哲學研究》2012年第1期。
      [18]參見梅夏英、楊曉娜:《自媒體平臺網絡權力的形成及規范路徑——基于對網絡言論自由影響的分析》,《河北法學》2017年第1期。
      [19]參見陳炳輝:《福柯的權力觀》,《廈門大學學報》(哲學社會科學版)2002年第4期。
      [20] See Galloway R. Protocol: How Control Exists after Decentralization, 13(3-4)Rethinking Marxism, 81-88(2001).
      [21] See Daniel Zwerdling, Internet Trolls Turn A Computer Into A Nazi, https://www.wnyc.org/story/internet-trolls-turn-a-computer-into-a-nazi/,2018-06-04.
      [22] See Tufekci Z. Algorithmic harms beyond Facebook and Google: Emergent challenges of computational agency, 13Journal on Tel-ecommunications and High Technology Law, 203(2015).
      [23] See Gillespie T.,Gillespie: Algorithm for Biochemical Reaction Simulation, http://www.docin.com/p-1358567873.html, 2017-11-20.
      [24] See Deleuze G, Guattari F, Anti-Oedipus: Capitalism and Schizophrenia, 37Telos, 242-248(1978).
      [25]參見中共中央馬克思恩格斯列寧斯大林著作編譯局:《馬克思恩格斯選集》,人民出版社2012年版,第97頁。
      [26] See Tufekci Z.,Algorithmic Harms Beyond Facebook and Google: Emergent Challenges of Computational Agency, 13Journal on Telecommunications and High Technology Law, 203(2015).
      [27]參見胡凌:《論賽博空間的架構及其法律意蘊》,《東方法學》2018年第3期。
      [28]參見戴昕、申欣旺:《規范如何“落地”——法律實施的未來與互聯網平臺治理的現實》,《中國法律評論》2016年第4期。
      [29]參見余成峰:《法律的“死亡”:人工智能時代的法律功能危機》,《華東政法大學學報》2018年第2期。
      [30]參見秦亞青:《權力·制度·文化——國際政治學的三種體系理論》,《世界經濟與政治》2002年第6期。
      [31]參見張韜略、蔣瑤瑤:《德國智能汽車立法及道路交通法修訂之評介》,《德國研究》2017年第3期。
      [32]參見[美]佩德羅·多明戈斯:《終極算法:機器學習和人工智能如何重塑世界》,黃芳萍譯,中信出版集團2017年版,第39頁。
      [33] See Lyon, David, The Electronic Eye: The Rise of Surveillance Society, University of Minnesota Press, 1994,p.12.
      [34]數據廢氣(data exhaust),包括用戶網絡瀏覽行為留下的足跡、用戶點擊行為、打字錯誤后更正的詞語等等。See Harford, T. Big data: A big mistake?11Significance, 14-19(2014).
      [35]參見王林、李晨赫:《大數據殺熟?揭秘爭議背后的真問題》,《中國青年報》2018年3月27日。
      [36]參見[英]阿里爾·扎拉奇、莫里斯·斯圖克:《算法的陷阱:超級平臺、算法壟斷與場景欺騙》,余瀟譯,中信出版社2018年版,第142頁。
      [37]例如,我國著名的“個推”公司與新浪微博、墨跡天氣、飛豬、攜程等數十個常用的應用程序(APP)合作,進行數據共享,使得用戶在不同旅游平臺上獲得的機票報價基本相同。參見個推公司首頁對公司業務的介紹,https://www.getui.com/cn/,2019-01-03;又如,美國的回力鏢(Boomerang)公司為數十家大型零售企業提供定價算法,See Boomerang Commerce, What’s Worse Than An 800-Poungd Goril-la Undercutting Your Price?http://www. Boomerangcommerce.com/resources/whats-worse-than-an-800-pound-gorrila-under-cuting-your-prices/,2019-01-05.
      [38] See Meyer v. Uber Technologies, Inc.,No.16-2750(2dCir.2017).
      [39]例如,《淘寶平臺服務協議》(2016年10月)第6.1條規定:“淘寶可在淘寶平臺規則中約定違約認定的程序和標準。如:淘寶可依據您的用戶數據與海量用戶數據的關系來認定您是否構成違約;您有義務對您的數據異常現象進行充分舉證和合理解釋,否則將被認定為違約”。http://b2b.toocle.com/detail--6361764.html, 2017-11-23。
      [40] See A. Ezrachi & M. E. Stucke: Algorithmic Collusion: Problems and Counter-Measures, https://www.oecd.org/competition/algorithms-and-collusion.htm, 2019-01-04.
      [41] See Zuboff S, Big Other: Surveillance Capitalism and the Prospects of an Informal Civilization, 30Journal of Information Technol-ogy, 75-89(2015).
      [42]所謂“助推”,是指以提供決策架構的方法使人的行為以預測的方式進行,而這個過程中并不禁止也沒有明顯的經濟刺激的改變。助推中的干預必須是人可以輕易并低廉的避免的。例如,命令不是助推,但把水果放在貨架上眼睛的高度是助推。See Thaler, RichardH.,and Cass R. Sunstein. Nudge: Improving Decisions about Health, Wealth, and Happiness, Penguin, 2009,p.3.
      [43] See Acquisti A, Brandimarte L, Lowenstein G, Privacy and Human Behavior in the Age of Information, 347Science, 509-514(2015).
      [44] See Zuboff S, Big Other: Surveillance Capitalism and the Prospects of an Informal Civilization, 30Journal of Information Technol-ogy, 75-89(2015).
      [45] See Zuboff S, Big Other: Surveillance Capitalism and the Prospects of an Informal Civilization, 30Journal of Information Technol-ogy, 75-89(2015).
      [46] See Julie E. Cohen, What Privacy is for, 126Harvard Law Review, 1904-1905(2013).
      [47]參見姜偉超:《警方詳解白銀“8·05”系列強奸殺人案偵破始末》,《中國青年報》2016年11月25日。
      [48] See Megan Flynn: California Abolishes Money Bail with a Landmark Law. But Some Reformers Think it Creates New Problems.https://www.washingtonpost.com/news/morningmix/wp/2018/08/29/california-abolishes-money-bail-with-a-landmark-law-but-some-reformers-think-it-creates-new-problems/?noredirect=on, 2019-04-23.
      [49]參見張昊:《智慧法院像網店一樣方便》,《法制日報》2018年5月2日。
      [50]參見《國務院辦公廳關于全面推行行政執法公示制度執法全過程記錄制度重大執法決定法制審核制度的指導意見》[國辦發(2018)118號]第17條。
      [51]參見馬德林:《互聯網技術帶給中國社會治安“全新可能性”》,《中國新聞》2016年10月13日。
      [52] See Yeung K.,Hypernudge: Big Data as a Mode of Regulation by Design, 20Information Communication &Society, 118-136(2017).
      [53] See Carr N.,The Glass Cage: Where Automation is Taking Us, Random House, 2015,p.43.
      [54]參見王瑞雪:《政府規制中的信用工具研究》,《中國法學》2017年第4期。
      [55] See Citron D. K, Technological Due Process, 6Washington University Law Review, 1249-1331(2008).
      [56] See Ekbia H, Mattioli M, Kouper I, et al, Big Data, Bigger Dilemmas: A Critical Review, 66Journal of the Association for Infor-mation Science &Technology, 1523-1545(2016).
      [57]參見葉必豐:《具體行政行為框架下的政府信息公開——基于已有爭議的觀察》,《中國法學》2009年第5期。
      [58] See Pasquale F.,The Black Box Society: The Secret Algorithms that Control Money and Information, Harvard University Press, 2015,p.165.
      [59]參見余建華、孟煥良:《浙江高院聯手阿里巴巴打造“智慧法院”》,《人民法院報》2015年11月25日。
      [60] See Cate, F. H.,&Mayer-Sch?nberger, V. Notice and Consent in a World of Big Data, 3International Data Privacy Law, 67-73(2013).
      [61] Jain, P.,Gyanchandani, M.,&Khare, N. Big Data Privacy: A Technological Perspective and Review, 3Journal of Big Data, 25(2016).
      [62] See Sugimoto, C. R.,Ekbia, H. R.,&Mattioli, M.:Big Data, Consent, and the Future of Data Protection, https://ieeexplore.ieee.org/abstract/document/7862532,2019-06-10.
      [63] See Jain, P.,Gyanchandani, M.,&Khare, N. Big Data Privacy: A Technological Perspective and Review.3Journal of Big Data, 25(2016).
      [64] See Adam Segal: Germany Wants Greater Algorithmic Transparency to Fight Disinformation, But Its Approach is Half-Baked, Council on Foreign Relations, https://www.cfr.org/blog/germany-wantsgreater-algorithmic-transparency-fight-disinformation-its-approach-halfbaked, 2018-06-30.
      [65] See Joshua New and Daniel Castro: How Policymakers Can Foster Algorithmic Accountability, https://www.datainnovation.org/2018/05/how-policymakers-can-foster-algorithmic-accountability/,2018-07-10.
      [66]參見胡凌:《論賽博空間的架構及其法律意蘊》,《東方法學》2018年第3期。
      [67] See U. S. Federal Trade Commission: Keynote Remarks of Commissioner Terrell Mc Sweeny, https://www.ftc.gov/system/files/documents/public_statements/800981/150909googletechroundtable.pdf, 2018-06-18.
      [68] See Daniel Castro: How Congress Can Fix‘Internet of Things’Security, https://itif.org/publications/2016/10/28/how-con-gress-can-fix-internet-things-security, 2018-07-14.
      [69] See John Cheney-Lippold, A New Algorithmic Identity: Soft Biopolitics and the Modulation of Control, 28Theory, Culture &Society, 164-168(2011).
      [70] See John Cheney-Lippold, A New Algorithmic Identity: Soft Biopolitics and the Modulation of Control, 28Theory, Culture &Society, 164-168(2011).
      [71]參見余建華、孟煥良:《浙江高院聯手阿里巴巴打造“智慧法院”》,《人民法院報》2015年11月25日。
      [72]參見許偉佳:《杭州互聯網法院又出“首創”全國首個司法區塊鏈系統正式上線》,http://ori.hangzhou.com.cn/ornews/content/2018-09/18/content_7070009.htm, 2019-04-02。
      [73] See IRCC: Visitor Visa Applications from Chinese Nationals Made More Efficient, https://www.canada.ca/en/immigration-ref-ugees-citizenship/news/2018/11/visitor-visa-applications-from-chinese-nationals-made-more-efficient.html, 2019-06-01.
      [74] See Jack M. Balkin, The Constitution in the National Surveillance State, 93Minnesota Law Review, 1-11(2008).
      [75] See Ellora Thadaney Israni: When an Algorithm Helps Send You to Prison, https://www.nytimes.com/2017/10/26/opinion/al-gorithm-compas-sentencing-bias.html, 2018-04-12.
      [76] See Ian Kerr &Jessica Earle, Prediction, Preemption, Presumption: How Big Data Threatens Big Picture Privacy, 66StanfordLaw Review. Online, 65-67(2013).
      [77] See Mayer-Sch?nberger V, Cukier K. Big Data, A Revolution that will Transform How We Live, Work, and Think, HoughtonMifflin Harcourt, 2013,pp.73-77.
      [78]參見周佑勇:《行政法的正當程序原則》,《中國社會科學》2004年第4期。
      [79]參見胡平仁、楊夏女:《以交涉為核心的糾紛解決過程——基于法律接受的法社會學分析》,《湘潭大學學報》(哲學社會科學版)2010年第1期。
      [80]參見何海波:《司法判決中的正當程序原則》,《法學研究》2009年第1期。
      [81] See Citron, D. K.,&Pasquale, F.,The Scored Society: Due Process for Automated Predictions, 89Washington Law Review, 14-16(2014).
      [82]參見裴煒:《個人信息大數據與刑事正當程序的沖突及其調和》,《法學研究》2018年第2期。
      [83] See Neil Richards &Jonathan H. King, Big Data Ethics, 49Wake Forest Law Review, 393-409(2014).
      [84] See H. R.2231- Algorithmic Accountability Act of 2019,https://www.congress.gov/bill/116th-congress/house-bill/2231,2019-05-22.
      [85] See Joshua New and Daniel Castro: How Policymakers Can Foster Algorithmic Accountability, http://www2.datainnovation.org/2018-algorithmic-accountability.pdf, 2018-05-30.
      [86] See Paul M. Schwartz, Beyond Lessing’s Code for Internet Privacy: Cyberspace Filter, Privacy—Control, and Fair InformationPractices, 2000Wisconsin Law Review, 746(2000).
      [87]參見張凌寒:《商業自動化決策的算法解釋權研究》,《法律科學(西北政法大學學報)》2018年第3期。
      [88]根據《歐盟通用數據保護條例》第22條(1),對適用此條款的機器決策存在以下限定條件:第一,該機器決策對數據主體有法律效力或重大影響;第二,該機器決策中沒有人的參與,是一個純粹的自動化決策。
      [89] See Kirchner, Julia Angwin Surya Mattu, Jeff Larson, Lauren, Machine Bias: There’s Software Used Across the Country to Pre-dict Future Criminals. And It’s Biased Against Blacks, https://www.propublica.org/article/machine-bias-risk-assessments-in-crimi-nal-sentencing, 2017-11-01.
      [90]吹哨人(whistleblower)是指揭露一個組織非法的、不誠實的或者不正當的行為的內部人。
      [91]例如,微軟公司在2014年向紐約地方法院申請廢棄美國司法部因偵辦毒品案件向其索要用戶數據的搜查令,因為該資料并非存儲于美國境內。紐約地方法院駁回了微軟公司的申請,后微軟公司上訴至美國聯邦第二巡回上訴法院,法院判決微軟公司獲勝。See Mi-crosoft Corporation v. United States of America, No.14-2985(2dCir.2016).

      本網站文章僅代表作者個人觀點,不代表本網站的觀點與看法。
      轉載請注明出自北大法律信息網
    0
    北大法律信息網
    www.chinalawinfo.com
    法律動態
    網站簡介
    合作意向
    網站地圖
    隱私政策
    版權聲明
    北大法寶
    www.pkulaw.cn
    法寶動態
    法寶優勢
    經典客戶
    免費試用
    產品服務
    專業定制
    購買指南
    郵件訂閱
    法律會刊
    北大英華
    www.pkulaw.com
    英華簡介
    主要業務
    產品列表
    英華網站
    聯系我們
    用戶反饋
    返回頂部
    二維碼
    不要添了,我高潮了视频