• <output id="qgjlo"><strong id="qgjlo"><xmp id="qgjlo"></xmp></strong></output>

      1. <p id="qgjlo"></p>

        <object id="qgjlo"></object>
        <table id="qgjlo"><strike id="qgjlo"><b id="qgjlo"></b></strike></table>
      2. 算法評估制度如何在平臺問責中發揮作用
        2021/7/22 9:04:34  點擊率[269]  評論[0]
        【法寶引證碼】
          【學科類別】科技法學
          【出處】《上海政法學院學報》2021年第3期
          【寫作時間】2021年
          【中文摘要】算法評估制度脫胎于歐盟的隱私影響評估制度,以風險預防為目標,治理時點前移,主張共同治理。但我國《個人信息保護法(草案)》中的算法評估制度與其他制度關系不明,評估后果不清晰,存在與平臺責任追究的銜接失調問題。應圍繞建立平臺問責體系發揮算法評估制度的作用,具體包括:擴張算法評估標準,將涵蓋法律規定、技術倫理與平臺承諾的標準作為平臺主觀過錯的認定標準;協調評估制度與算法透明和算法解釋的關系,設置覆蓋算法自動化決策全生命周期的問責點;明確算法評估與不同監管強度以及平臺責任的關系,并賦予算法評估結果實質性意義,盡量避免算法評估制度“軟化”與“泛化”的趨勢,發揮其在平臺問責體系中的核心作用。
          【中文關鍵字】算法影響評估;平臺責任;算法問責;個人信息保護法
          【全文】

            2021年4月末,《中華人民共和國個人信息保護法(草案)》(以下簡稱“《草案》”)征求意見,其中第55條明確提出:個人信息處理者應當對個人信息處理活動在事前進行風險評估。這一制度借鑒了其他國家的個人信息保護司法實踐,尤其是《歐盟通用數據保護條例》(以下簡稱“GDPR”)第35條規定的“數據保護影響評估”(Data Protection Impact Assessment,以下簡稱“DPIA”)制度。近年內,世界主要國家均確立了數據處理活動(或稱算法自動化決策)評估的相關制度,評估已經在數據與算法治理框架中占據重要位置。
           
            算法是數據處理的工具,算法自動化決策是算法對大數據處理的結果。數據處理(data processing)是對數據的采集、存儲、檢索、加工、變換和傳輸的統稱。數據體量的指數級增長使得數據處理的環節只有算法能夠勝任,而數據處理者的算法能力決定了其數據處理水平能力。因此,數據處理活動的評估與算法自動化決策評估雖然略有制度范圍、廣度的差別,但在大多數語境下指向內涵相同。
           
            那么,算法評估制度在平臺問責中應起到何種作用?近年來學者們提出的算法治理解決方案要么側重于技術,如區塊鏈技術可無篡改地記載[1];要么側重于提高算法系統的透明度,使得權利個體和監管部門更易理解算法的決策過程,以防止或者檢測不公平自動化決策的結果[2];要么側重于自動化決策不當結果的說明和救濟。[3]然而,這些都僅側重于算法自動化決策過程的某個特定方面。基于算法自動化決策主體的復雜性、過程的長期性,以及參與因素的多樣性,有必要將“負責任”的算法制度設計目標置于一個覆蓋整個算法自動化決策生命周期的框架內。即從設計、部署、運行到結果輸出的整個算法自動化決策流程中,均應對相關責任主體的權利與義務予以一定的法律控制。然而,在現有的制度中,算法評估與平臺算法問責銜接失調,對于其認定和追究平臺責任的制度優勢未能被充分發揮。
           
            在構建算法治理時代的合理平臺責任體系中,算法評估制度應占據核心地位。本文圍繞算法評估制度應在平臺問責中如何發揮作用的問題展開,梳理現有算法評估制度在平臺治理中的作用,探討算法評估制度面臨的“軟化”與“泛化”問題,并提出應從算法評估標準、制度之間協調與事后追責銜接等方面發揮算法評估制度在平臺治理中的重要作用。
           
            一、算法評估制度的演進及確立
           
            算法影響評估制度起源于20世紀90年代的隱私影響評估制度。算法影響評估制度是以風險預防為目的,意在解決智能科技帶來的事后問責的滯后性,以事前評估來避免損害事后的彌散化。
           
            (一)算法評估制度的演進
           
            DPIA 從20世紀90年代隱私影響評估制度發展而來,經歷了三個主要階段成為世界通行做法,并被《草案》所采納。個人數據保護影響評估制度適應了數據處理風險預防對治理時點前移的需求,制度價值在于解決了數據處理活動事后追責滯后的困境。數據保護影響評估制度來源于歐盟的隱私影響評估制度,經過20余年的發展,成為了 GDPR 第35條規定的數據保護影響評估制度,并被世界多個國家的立法采納。數據保護影響評估制度的發展可大致分為三個階段。
           
            第一,DPIA 的前身是20世紀90年代隱私影響評估制度。隱私影響評估是一種評估信息系統和收集的數據隱私的實用方法,主要要求系統開發人員和信息處理者記錄并充分解決隱私保護問題。1998年,加拿大的不列顛哥倫比亞省率先廣泛采用隱私影響評估制度指南;1999年,加拿大安大略省內閣通過信息技術項目的隱私影響評估制度指南。隨后,新西蘭、澳大利亞、英國、美國等多個國家和地區相繼推動各國(地區)建立起適合本地的隱私影響評估制度。2002年,美國頒布的《電子政務法案》第208節規定了各機構對電子信息系統和收集的數據進行隱私影響評估制度的要求。[4]該流程旨在指導 SEC 系統所有者和開發人員在開發的早期階段和整個系統開發生命周期中評估隱私,以確定其項目將如何影響個人隱私以及是否可以在滿足項目目標的同時保護隱私。[5]
           
            第二,進入21世紀第2個10年,歐盟等國進一步細化了隱私影響評估制度,并將主體從信息處理者擴展至利益相關者。2011年1月12日,歐盟出臺了一個針對無線射頻識別技術(RFID)的隱私影響評估制度框架文件,其將隱私影響評估制度定義為:通過設計系統化程序以評估特定 RFID 應用對隱私和數據處理產生的影響,并采取適當的行動以防止或至少最小化這些影響。[6]2013年英國信息委員辦公室(Information Commissioner's Office,以下簡稱“ICO”)發布的《隱私影響評估制度操作指南》[7]中稱,隱私影響評估是一種工具,可以幫助數據控制者[8]確定最有效的方式來遵守其數據處理義務并滿足個人對隱私的期望。2014年澳大利亞信息專員辦公室(the Office of the Australian Information Commissioner,OAIC)編寫了《隱私影響評估制度指南》,其認為隱私影響評估是對項目的系統評估,用于確定項目對個人隱私可能產生的影響,并提出管理、最小化或消除影響的建議。[9]
           
            隨后,設計信息處理信息系統需隱私影響評估,并且應將評估貫徹整個處理流程成為共識并被廣泛接受。世界標準組織(International Organization for Standardization,ISO)在2015年發布的《隱私影響評估制度指南》中稱,隱私影響評估制度是評估信息系統,程序或流程,軟件模塊,設備或處理個人身份信息的其他計劃對隱私的潛在影響的工具,包括與利益相關方協商,采取應對隱私風險的必要行動。[10]隱私影響評估制度不僅是信息處理過程不可或缺的工具,還是一個過程:只要仍有機會影響其結果,就仍保持通過設計確保隱私的理念,從提議的最早階段開始持續到項目部署甚至之后。
           
            第三,2018年頒布實施的 GDPR 第35條正式確立了 DPIA,并通過一系列指南性文件將個人數據處理影響評估作為數據處理者合規的必經程序。如歐盟第29條工作組的指導方針將其描述為“建立和證明合規的過程”,并強調這是“一個持續的過程,而不是一次性的實踐”。數據保護影響評估制度鼓勵對數據處理活動進行結構化評估,以識別活動中固有的數據處理風險,并確定其是否符合法律規定。組織可以采取適當的措施來減輕和管理所識別的風險。[11]數據保護影響評估制度(DPIA)是第一個被納入歐盟數據處理法的風險管理工具,旨在描述數據處理行為,評估其必要性和適當性,并通過評估內容確定這些問題的應對措施,幫助管理個人數據處理活動對自然人帶來的威脅和風險。 DPIA 作為歐盟數據處理框架中的核心內容,受到國內外企業和監管機構的廣泛關注,為各國應對日益增長的數據安全風險問題提供了理想的立法范本。
           
            (二)算法評估制度的確立
           
            隨著人工智能時代算法在社會資源分配和權力運行中逐漸占據主導地位,學界提出了應進一步發展數據保護影響評估制度為算法影響評估制度(Algorithm Impact Assessment),并逐漸得到了世界各國立法與實踐的響應。
           
            算法評估制度是要求在算法設計、部署與運行期間,算法治理的相關利益主體如政府、平臺、社會公眾與第三方力量,對算法可能造成的風險及其對社會的影響進行充分的評估。算法是一種結構化的決策過程,它將計算程序自動化,根據數據輸入生成決策結果。[12]對于算法系統的設計、部署或者采購者來說,算法評估制度可以使其了解和減輕算法系統可能造成的風險或者負面影響;同時有利于建立公眾對于算法自動化決策系統的信任和信心。
           
            數據保護影響評估在某些國家如加拿大[13]、美國[14]發展為專門的算法影響評估制度,主要緣起于算法廣泛嵌入政府、公共部門甚至司法機關[15],直接影響甚至決定了公民福利、財產甚至人身自由等權利。嵌入算法的監管部門行政活動匯總,算法通過收集規制環境中各類主體產生的實時數據,計算并分析相關行為以及可能產生的風險,為達到預定監管目標形成算法自動化決策,甚至可以實時動態調整政策執行方式。算法已經可以對個人或群體產生重大影響,并為政府規制的決定提供實質性信息的操作。政府公權力的行政公開原則、權力監督原則,從本質上要求嵌入行政活動的算法向公眾披露并受到公眾監督。正如法國數字事務部長表示:“如果政府不能解釋其決定,政府就不應該使用算法。”[16]因此,域外率先開展的算法規制活動多圍繞政府公共部門的算法展開。2017年年底,紐約市政府開展了世界首次算法監管,成立了紐約市算法監管工作組。[17]2018年,新西蘭政府出具報告,對政府14個機構算法開發和使用的情況進行分析,在整個政府數據系統中提高政府算法使用的透明度和問責制。
           
            因此,相比數據保護影響評估,算法評估制度有了更進一步的價值意蘊。首先,算法評估通常超越了對隱私或個人數據保護的考慮,而轉向更廣泛的社會考慮。從制度目標上來說,算法影響評估關注權力運行對公民從財產到人身等更為廣泛的權利的影響,并關注算法運行對社會公共利益的影響。其次,算法評估制度不僅是傳統的政策或技術影響評估(如環境保護評估與立法評估),而且是因算法嵌入的政府、公共部門以及數字平臺所涉利益的廣泛性,具有了比數據保護影響評估更廣泛的影響、更深入的價值。
           
            在算法系統的開發與部署中,政府公共部門與平臺私營部門之間的界限往往模糊不清。平臺作為私營部門不僅自身是算法系統的主要開發者和使用者,同時是政府公共部門使用算法時的主要采購對象。平臺設計、開發和運行的算法系統,也可能關系到公民財產、人身等多項權利,以及社會公共利益。如網約車平臺的算法直接關系到一個城市的交通運輸資源調度,而社交媒體的推薦算法又具有制定社會輿論議程的重要功能。因此,算法評估制度雖緣起于對公共部門算法的公眾監督,但基于平臺算法所涉利益的廣泛性,也被適用于平臺等私營部門設計、開發與部署算法的活動。如德國數據倫理委員會提出的算法風險評估方案,主張對數字服務企業使用的算法進行五級的風險評級制度,對不同級別的算法采取不同強度的監管。[18]我國法律規則將某些算法應用定義為“具有輿論屬性或社會動員能力的互聯網信息服務”,并要求其進行自行安全評估。
           
            二、算法評估制度與平臺問責的銜接不暢
           
            算法評估制度的制度優勢面臨著智能科技時代的挑戰,首要的問題是其在數據治理框架中究竟定位如何?《草案》中也明確規定了數據處理者在進行數據處理活動前應進行評估,各國也有著不同的立法實踐。面對技術日益成為主宰社會權力與經濟運行的核心力量,算法評估制度的局限性也日益顯現,而這些局限也均導致了與技術問責的銜接失調。《草案》中的算法評估制度可能面臨著“軟化”與“泛化”風險。“軟化”是指法律并未規定評估制度的法律后果,可能由于第三方服務的提供者與評估對象的妥協而流于形式。“泛化”則是指由于我國未明確規定算法評估制度的適用范圍與等級,普遍要求開展的算法評估制度可能既造成資源浪費提高企業合規成本,又沒有發揮應有的效用“好鋼用在刀刃上”。
           
            (一)地位不明:算法評估可能的“泛化”
           
            《草案》中的算法評估制度并未明確應被評估算法的范圍。而實際上,根據不同風險等級來確立不同的監管制度已經成為世界通行的做法。
           
            算法應用極為廣泛,對所有的算法進行監管既無必要也不現實。算法系統的多樣性、復雜性和動態性給監管帶來了主要挑戰,必須根據系統的關鍵性,在不同的監管級別上實施非常不同的糾正和控制手段以實現監管目標。各國制度中有多重劃分不同算法風險等級的標準,最常見和最簡單的劃分標準是形式標準,將“完全的自動化決策”與“對當事人有法律效力及重大影響”作為高風險算法。例如 GDPR 第22條規定“完全的自動化決策”,但由于此條廣為詬病,各成員國則進行了不同的界定。德國聯邦法院采用了限制性解釋,認為任何最低限度的人為干預都會排除 GDPR 第22條的適用性。相反,英國的數據保護的權威(ICO)則采取了擴大性解釋:如果涉及不相關的人為干預,第22條應該適用。即使在 GDPR 第22條所涉的算法中也有不同的風險等級劃分。如 GDPR 第22條中對數據主體產生“實質性影響(substantially affects)”的算法系統。歐盟第29條工作組指南中列舉了示例,對個人的評分算法和具有重大影響及法律效力的算法,直接被認為是風險算法,需要接受較為嚴格的監管。此外,還可根據算法處理對象的敏感程度確定算法的風險程度。如歐盟和美國均把兒童數據的算法列為敏感類算法進行特殊規制。
           
            對所有算法系統進行評估既不現實也無必要,各個算法系統所涉的個人權利和公共利益并不相同。例如,支付寶的芝麻信用評級算法可能會對個人產生潛在的財產影響(如申領護照或貸款)。但是同為推薦算法,頭條的新聞推薦可能影響新聞議程而落入監管視野,QQ 音樂的推薦算法則并不敏感。同理,用戶手機進行人臉識別可能只是為了解鎖,而公共部門進行人臉識別則有可能為了抓捕逃犯,相同的技術在不同的應用領域也意味著不同的風險等級。
           
            不區分風險等級的算法評估勢必走向評估機制的“泛化”。我國已經存在多種個人信息保護的評估制度,僅僅2020年影響較大的就有三類:其一,較為權威的是2020年3月國家標準化管理委員會制定的《個人信息安全規范》,要求企業進行個人信息安全影響評估制度;隨后2020年11月全國信息安全標準化委員會正式發布《信息安全技術個人信息安全影響評估指南》。其二,近幾年中央網信辦、工信部、公安部、國家市場監管總局持續性聯合開展 App 違法違規收集使用個人信息專項治理工作,組織 App 隱私政策和個人信息收集使用情況評估。其三,2020年工信部印發《關于做好2020年電信和互聯網行業網絡數據安全管理工作的通知》,提出深入開展網絡數據安全合規性評估。除此之外,還有2020年網信辦頒布的《個人信息出境評估指南》、2020年中國電子技術標準化研究院開發上線了為企業提供服務的個人信息保護合規評估工具、2017年網信辦頒布的《具有輿論屬性或社會動員能力的互聯網信息服務》,并要求其進行自行安全評估等。種類繁多、效力層級不清的評估不僅容易造成企業沉重的合規負擔,也造成了治理效用的低下。
           
            《草案》規定的數據保護影響評估制度與已有的評估制度如何銜接?評估如何成為治理機制中的一環而不被濫用?這些都成為該草案頒布后相關實施細則亟待厘清的問題。
           
            (二)效力不清:算法評估制度可能的“軟化”
           
            無論是數據評估制度還是算法評估制度,在各國范圍內都屬于自我監督與外部強制性監督結合的治理機制。評估制度本身源于隱私設計理念,其作為數據控制者構建“隱私友好系統”的一種方式,通常是以自愿而非強制的方式提出要求。這一制度就源自治理者認識到監管機構無法通過自上而下的控制來完成所有工作,但數據處理者從設計階段就應設計較少侵犯隱私的系統。
           
            以歐盟的 GDPR 為例,GDPR 第35條規定的評估制度僅具有一定意義上的法律強制性。首先,GDPR 第25條規定數據控制者在制定算法系統時以及在實際處理數據時,必須實施“適當的技術和組織措施”。其次,當某種新的算法系統可能“導致數據主體權利的高風險”時,必須先進行 DPIA。同時,DIPA 制度明確公司的報告義務和監管機構的監管權力,這種監管是帶有公法強制性的監管手段,是長期性的監管方式。
           
            當算法評估成為平臺部署算法前的必經程序時,社會第三方提供的評估服務就有可能流于形式,走向“軟化”。社會第三方的服務機構提供評估、認證等服務,并以此作為主要收入來源。因此,當平臺設計和部署算法違反相關評估規則時,很難得到實質性的部署阻礙。因此,現有機構為數據安全評估需求的企業做正式評估之前,先進行“預評估”與提供改進方案,即是對此種服務作為主要收入來源現狀的妥協。
           
            如何避免算法評估主體與對象為合規作出妥協,而導致的算法評估制度“軟化”呢?2015年愛爾蘭關于美國-歐盟安全港協議被司法廢除的案件則提供了前車之鑒。[19]美國并沒有與歐盟同水平的個人數據保護制度,因此,依照歐盟法律規定,個人數據無法出口到美國。但在美國-歐盟安全港協議之中規定,如果美國的公司加入信托印章就獲得了符合歐盟隱私標準的資格認證 [20]。提供信托印章的信托基金被披露一直忽視美國成員的重大數據泄露事件,或者只是實施象征性的制裁。在2015年的案件中,由于斯諾登披露的美國國家監視問題,該協議被司法廢除。
           
            算法評估制度一旦“軟化”,在沒有更加嚴格的監管作為成本時,平臺很難有動力投入巨額資金到算法設計部署中以保護個體隱私、數據安全與社會公共利益。《草案》中并未明確提出平臺未進行算法評估的法律后果與處罰力度,缺乏法律強制性的規制措施難以得到平臺的重視與合規投入。
           
            (三)關系不順:算法評估與平臺責任“失聯”
           
            算法與數據治理的最終目標是建立“負責任”的數據和算法體系。在算法問責的制度框架中,算法評估應居于何種地位呢?現階段關于算法問責的建議都集中在通過算法的透明度和可解釋性來解決算法深度學習和實時數據帶來的復雜性問題。這些技術治理措施雖然是必要的,但是對于解決算法系統可能帶來潛在的社會危害風險并不充分。在如何使得政府、企業能夠在預防、監督、問責方面承擔更多實質性責任方面,現有的治理措施在問責框架中均存在不足。
           
            第一,算法透明度及其問責難題。追求算法的透明度是現有算法治理的一種重要工具。透明度是指由算法的設計使用者披露有關算法如何部署、如何工作以及如何使用等相關信息,以期由監管部門或第三方進行監管的制度。算法透明度可能包含著以下信息:算法開發的原因和情況,算法模型或者權重邏輯,算法設計過程的基本假設,算法可能發生的實時變化,以及算法運行的有關因素等。在對算法透明的追求中,比較難以確定的是算法與人類互動過程對最終法律責任的影響。
           
            第二,區塊鏈技術及其問題。區塊鏈是一種記錄交易的開放式分布式賬本系統,被認為是可解決平臺責任認定的技術工具。區塊鏈現在被用來調節分布在組織內部和組織之間的各種實體的交易。這種現有的跟蹤項目和特定金融交易的能力,可能會被調整和應用于整個算法決策過程中特定數據點的記錄。例如,區塊鏈可用于跟蹤數據出處,并通過驗證數據是否被訪問、使用和轉移,提高數據使用的問責效率。區塊鏈的追溯功能可能被用來記載算法獲得的數據信息,以及其決策的權重。
           
            如果只關注技術上的修正問題,就會忽略一個重要的算法治理目標,即如何對平臺算法問責。而算法治理的根本目標是為了讓人類負責。早期的學術研究提出來的一系列問責措施,雖然看似針對算法,但實質上是為了讓設計、部署和運行算法的人類組織負起責任。正如凱特·克勞福德呼吁的那樣,應超越“作為迷信對象的算法”,而將制度設計的目光投向“一個系統,其中不僅僅是代碼和數據,而是人類和非人類行為的集合體”。應避免將算法評估制度作為另一種信息披露制度,而應確立算法評估與后續追究平臺責任相關的機制。
           
            三、以平臺問責為中心構建算法評估制度
           
            《草案》在我國立法中首次明確了算法風險評估制度。《草案》第55條第1款規定,“個人信息處理者應當對下列個人信息處理活動在事前進行風險評估,并對處理情況進行記錄:……(二)利用個人信息進行自動化決策”;第2款、第3款規定,“風險評估的內容應當包括:(一)個人信息的處理目的、處理方式等是否合法、正當、必要;(二)對個人的影響及風險程度;(三)所采取的安全保護措施是否合法、有效并與風險程度相適應。風險評估報告和處理情況記錄應當至少保存三年”。圍繞平臺問責為中心構建的算法評估制度,應從平臺主觀過錯、平臺考察周期、平臺責任主體認定多方面進行構建。
           
            (一)算法評估標準:涵蓋平臺主觀過錯
           
            《草案》規定的是算法風險評估制度,即主要評估的內容是算法等數據處理活動可能帶來的風險。評估內容及標準在平臺問責中的根本意義是考察平臺在設計部署算法過程中是否盡到了“負責任”的態度,并采取一切可能的措施避免可能給個人權利和社會公共利益帶來的不當影響。《草案》確立的算法風險評估制度在確定平臺主觀過錯的方面可能存在如下問題。
           
            第一,風險一詞因其主觀建構性存在模糊性,評估標準涵蓋范圍過于狹窄。風險本身即存在主客觀的雙重屬性,即它既具有客觀存在性,又具有主觀建構性。客觀存在性的風險評估標準偏向科學的“理性-工具”范式,而主觀構建的風險則偏向“商談-建構”范式。以環境決策風險評估為例,它所對應的往往是對噪音、污染物排放、化學物質危險性等科學問題的評估。而具體到算法評估標準,往往涉及復雜的、社會的、甚至是涉及政治意識形態與價值觀的難題。例如,算法影響可能包括對失業率、對貧富差距、對不同群體平等、甚至對人權影響的判斷。
           
            第二,《草案》中評估標準主要集中于隱私與個人信息保護事項,對社會公共利益等關注不足。算法由于深度嵌入行政活動與社會經濟運行,可能對社會經濟、公民權利、社會秩序有深度影響。國際上一向主張應從更為廣泛的角度來關注算法給社會帶來的影響。例如,2019年8月,聯合國教科文組織發布的《北京共識——人工智能與教育》指出,要致力于開發不帶性別偏見的人工智能應用程序,并確保人工智能開發所使用的數據具有性別敏感性。[21]面對算法所涉利益的廣泛性,有學者甚至提出算法設計部署者應提供“社會影響聲明”“歧視影響評估”[22]甚至“人類影響聲明”[23]等。
           
            要求平臺依據主觀過錯承擔法律責任,是平臺算法走向“負責任”(accountability)的必由之路。在平臺治理中,歸因和歸責發揮著“托底”的作用。平臺是由人與機器(算法)合作運行的,人負擔的責任越大,對惡意使用的威懾作用就越大,有效治理的可能性就越大。因此,應以設置平臺問責的主觀過錯的標準,來設置算法評估的標準,構建涵蓋多層次、多元價值觀的算法影響評估標準。具體而言,應包括以下幾個方面。
           
            第一,平臺評估標準必然包含現行法律法規的相關規定。無論是既有的針對人類行為的法律規定,還是為算法專門設置的條款,都當然成為平臺算法問責的注意義務。法律應對新技術帶來挑戰的方式,或直接沿用照搬,或另起爐灶重建。如美國把既有的對于金融服務公司的法律要求應用于算法自動化決策系統的信用擔保與評分系統,1970年頒布的《公平信用報告法》(FCRA)和1974年頒布的《平等信用機會法》(ECOA)均被適用于算法。此外,美國 FTC 法案授權中禁止不公平和欺騙性做法,也用以解決因使用算法自動化決策而造成的消費者損害。為了應對新的挑戰,法律也有為算法應用量身定制的相關規定,如在我國《電子商務法》中,直接確立了電商平臺搜索類算法的明示義務,個性化推薦算法的自然結果提供義務和消費者保護義務。[24]2019年《數據安全管理辦法(征求意見稿)》[25]、2020年3月實施的《網絡信息內容生態治理規定》[26]均針對個性化推薦算法作出了相關規定。可以預見,未來平臺算法的注意義務將呈現擴大化、明確化的趨勢。
           
            第二,平臺算法評估標準應吸納不得對用戶行為操縱、保障用戶自治等技術倫理內容。雖然國際組織、各國與企業提出了不同的人工倫理規范,但其中的一些已經成為共識。例如,人工智能和算法設計的價值導向必須以人為本,并與核心主流社會價值觀相契合。正如德國倫理委員會提出的那樣,法律部門和合規工作人員必須將倫理融入全流程中,所有的利益相關方必須將在人工智能中融入參與性、公平、平等作為自己的責任。[27]我國工業信息化部編撰的《人工智能倫理與道德標準》,也可作為平臺算法問責主觀過錯的參考標準。
           
            第三,應鼓勵平臺通過對用戶主動承諾的形式,擴大自評估的內容。以美國聯邦貿易委員會對 Facebook 的5億美元罰款事件為例,其罰款的依據是 Facebook 于2012年自身作出的企業隱私政策。當企業自己主動提供了隱私政策和承諾之后,FTC方有理由對其違背隱私政策的行為以“欺騙性貿易”的名義予以處罰。世界著名通信商沃達豐(Vodafone)的 AI 框架提供了其人工智能的具體細節,例如遵守其行為準則和隱私承諾。[28]IBM 的 AI 日常道德規范為員工提供了一系列建議的行動和問題。[29]這些平臺公司對用戶或員工的承諾,均可成為監管部門的依據,用以檢查其是否遵守了承諾的守則以及遵守的程度。
           
            第四,高風險的算法系統需由監管部門制定通用評估標準,技術標準也應作為平臺算法問責的依據。例如,在醫療領域中使用的算法,首先必須符合醫療質量要求的技術標準,保證評估與診斷的準確性。使用于敏感領域的高風險算法也應由監管部門制定相應的技術標準。世界范圍內的算法與人工智能標準制定工作已經展開。2016年,美國電氣與電子工程師協會(IEEE)發起了 IEEE 全球自治與智能系統倫理倡議,以應對人們對算法系統意外后果的關注。這項舉措的一部分是啟動開發 IEEE P7000系列基于道德的標準,例如 P7001自治系統,P7003算法偏差考慮。我國應及時制定符合國際標準的國內標準。違反技術標準的算法應被認定是平臺未盡到應盡的注意義務。
           
            將以上內容作為算法影響評估的標準范疇,既可以考察算法對個人權利的作用,也涵蓋了算法系統對社會、經濟、人權、乃至生態環境等多方面的影響。尤其是可以直接為日后的平臺問責提供認定主觀過錯的依據。
           
            (二)算法評估對象:全周期問責點設置
           
            《草案》確立的算法風險評估制度是事前機制,而算法評估作為平臺問責的核心制度,可以在算法設計、部署、運行和結果輸出全生命周期進行評估,以設置平臺的問責點。
           
            僅進行事前評估無法滿足平臺問責的緊迫需要。首先,無論是個人數據權利保護還是公共利益保護,并不是靜態的發展過程,而是存在各種風險的動態演變。以前對于個人數據的治理與保護更強調數據主體的權利義務,如數據控制者必須經用戶同意才能對數據進行使用以及各種當用戶個人數據被損害后的救濟途徑。其次,算法系統帶來的影響多來源于其二次使用,并非僅個人信息的收集與使用。個人數據保護的制度價值已經從私法角度向公共性范疇轉化,在數據分享、二次利用中應考慮到社會公共利益與平臺問責的需要。再次,對算法進行事前評估可能將評估對象僅局限于已獲取和即將獲取的數據主體的權利,忽略了算法可能對未獲取數據主體的權利也產生重要影響。以外賣騎手導航算法為例,外賣騎手導航算法不僅涉及外賣買賣雙方的利益,也涉及到交通行人的安全,而行人的數據根本不會有機會參與到算法的數據處理中。
           
            考慮到平臺問責的需求,必須考慮到對算法整個生命周期進行評估,作為事后問責的問責點。首先,算法設計和測試階段,平臺應事前對算法進行充分的測試才可以上線使用。正如聯合國國際治理論壇專家報告所言,平臺應采取“持續性、前瞻性和反應性”的步驟來保證相關技術滿足其風險評估的技術需求。[30]例如,微軟的 AI 聊天算法 Tay 在推特(Twitter)上運行了幾個小時后,就發表了同情納粹的言論。[31]微軟顯然并沒有設計這一結果出現,但是其作為設計部署者應該能夠預見到將一個機器人暴露在推特這個不乏騷擾和仇恨言論平臺上的危險,在事前應做充分的測試才能允許其在平臺上運行。
           
            其次,算法運行階段,平臺應保證算法的運行符合設計者和部署者的意圖,避免出現意外不可控的結果。為考察平臺對算法風險與過程控制能力而設置的問責點,應包括處理可能發生風險的預案與措施。具體包括相關技術信息的留存措施、處理相關風險的技術措施、與相關部門溝通與協助的措施等。德國倫理委員會建議為算法建立質量密封制度,鼓勵平臺自愿或強制留存算法運行的證據,以方便日后責任的回溯。平臺企業內部專門負責與監管部門合作通信的“算法管理人”也被作為一項制度主張提出,其職責為監督算法的運行并向平臺提出建議。
           
            最后,算法結果輸出階段,平臺應及時評估算法運行的結果。以2020年4月份判決的“螞蟻金服訴企查查案”為例,企查查推送的涉及螞蟻微貸的清算信息,因算法運行推送方式的設置問題,引發公眾將歷史清算信息誤認為即時信息,發布了“螞蟻金服破產清算”的算法錯誤結果。這一案例顯示,即使算法自動抓取數據得出結果,平臺仍應負有審查算法結果的注意義務。正如判決書所言“大數據企業對于收集、發布的數據信息仍具有基本的注意義務,對于發布的重大負面敏感信息,應當通過數據過濾、交叉檢驗等數據處理,確保數據質量”。由此可見,平臺算法評估應設置于算法運行的多個階段,例如,通過進行敏感性分析、有效性檢查和糾錯過程,敦促平臺仔細調查錯誤和不確定的領域,并在需要的情況下啟動第三方的算法審計。
           
            (三)算法評估結果:問責強度確定劃分
           
            《草案》中并未明確指出需要進行評估的算法范疇、算法評估的主體、算法評估結果信息披露的對象與公布的范疇。對于不同風險等級的算法,評估的主體、評估的結果、以及行政機關的監管處罰跟進措施應有所區別。制度相關內容的缺失,使得算法評估制度并未對平臺問責起到應有的支撐作用。
           
            第一,需明確算法風險等級,不同級別評估制度對應不同風險等級算法問責需求。世界范圍內,算法的分級評估制度逐漸成為算法規制的前提。歐盟、德國、加拿大、美國分別建立了不同名稱的算法分級評估制度。應盡快統一我國現階段各部門和行業協會、第三方機構進行的評估,應對不同風險級別的算法系統。
           
            算法評估制度目的是建立風險適應型的算法監管,使得監管嚴格程度基于算法可能造成損害的可能性以及損害的嚴重性,針對不同算法系統的關鍵模型構建不同監管體系。風險評估的判定要素取決于受到法律保護的權益的重要性。包括但不限于:用戶的生命權、健康權、人格權和隱私權、名譽權、財產權等受到潛在侵害的程度;算法使用數據的特定敏感性(如兒童數據,敏感個人信息);對個人或群體的潛在危害程度(不能以資產規模作為衡量標準);受影響的個人數量(用戶規模)和潛在可能受到損害的用戶總數;以及對整個社會公共利益的損害等。在此類算法風險類型的判斷標準中可以貫徹社會主義核心價值觀,將法律底線、道德底線、技術倫理以及算法設計者和應用者對用戶的承諾包括在風險評估的標準之中。
           
            第二,需確定不同評估結果對應的不同監管強度體系。低風險的算法評估結果,導向寬松監管與過錯責任的追責原則;而高風險的算法評估結果,對應著嚴格的全流程監管、甚至是無過錯責任。
           
            以德國倫理委員會對五個不同風險等級算法系統的監管級別為例,對于低風險第一、二級算法系統,以事后問責作為主要機制。而對于第三級及以上的、具有一般或明顯危害的系統,應考慮以發放許可證的方式,促使審批、監管常規化。另外,由于許多算法系統都是高度動態的,因此,在授予許可證的情況下將需要定期審查。例如,導航算法的提供商可以訪問使用所有車輛和移動性數據生成的數據池。如果這些數據僅用于預測交通擁堵,則關鍵級別應歸類為第一等級的“可忽略”。但是,如果使用算法來匹配用戶和車輛,可能影響消費者權益,則應為第二等級。如果使用智能算法來控制流量。例如,如果算法可以基于由使用車輛實時確定的道路、鐵路、水路和航空運輸組成的移動系統的總體使用情況,則可能應適用第三等級。
           
            對于更高等級的、具有相當潛在風險的系統,如在信用評估方面具有準壟斷地位的公司,應公布其算法細節,包括計算所參考的因素及其權重,算法所使用的數據,以及對算法模型的內在邏輯進行解釋;對于自動化武器等具有潛在不合理危險的系統,則“完全或者部分”禁止。
           
            由此可見,算法評估制度所提倡的分級監管替代了傳統平臺問責路徑中“全有全無”的判斷,利用風險等級的量化,既可以提升數據處理的可操作性,也可以減少企業的合規壓力,并促進數據的合理使用。[32]歐盟相關文件認為,評估制度將關注點由數據處理行為的統一監管轉變為針對特定數據處理行為的動態風險管理,并貫穿于項目規劃和執行過程中,以盡早地發現、評估、應對有關數據處理、個人權利和自由的顯著風險。[33]同時也要注意,對算法的風險應符合相對安全觀,即承認將風險降低到零是不切實際的。因此,評估制度的主要任務是識別風險、并將特定數據處理行為的風險等級降至數據控制者能夠承擔的水平。[34]
           
            四、結語
           
            平臺通過算法設計、部署和運行,將可能對社會造成危害的“行為”外包給了算法。世界上沒有不出故障的技術,正如世界上沒有完美的人。當平臺造成了損害結果時,不能穿透“技術面紗”,直指人(平臺)的主觀過錯,就會存在潛在的責任缺口。如果放任平臺以“技術中立”和“算法黑箱”繼續逃避法律責任,則意味著人類將終審權拱手交給了機器。[35]
           
            因此,平臺問責的最佳方案應聚焦于損害發生之前的防控措施而非事后的補救方法。算法評估制度重新建立并拓展了傳統的數據處理模式,側重于事前的預防方法,強調“風險分析”“影響評估”和“生命周期管理”等理念的引入和運用,通過對數據處理風險的評估和管理,促使數據處理的傳統監管模式轉向以風險管理為路徑的新型數據處理模式。[36]針對數據控制者,有利于降低其合規風險、獲得市場美譽;針對數據主體,有利于保障個人數據處理權益;針對數據監管機構,有利于實施有效監管。
           
            對于人工智能時代平臺問責體系的構建,算法評估制度具有核心支柱功能。算法評估的標準提供了平臺問責主觀過錯的認定機制,算法評估覆蓋算法運行生命周期,使得問責點設置遍布平臺運行事前、事中、事后,不同算法評估結果則可以對接不同算法的監管強度。從事前標準、過程評估和評估結果三個環節來看,實行以風險為基礎的方式更有利于保護個人的權利和自由,同時更有利于減少新技術給經濟、社會等帶來的沖擊。

          【作者簡介】
          張凌寒,法學博士,北京科技大學文法學院副教授。
          【注釋】
          [1] 參見王延川:《“除魅”區塊鏈:去中心化、新中心化與再中心化》,《西安交通大學學報(社會科學版)》2020年第3期;蘇宇:《區塊鏈治理的政府責任》,《法商研究》2020年第4期。
          [2] 參見汪慶華:《算法透明的多重維度和算法問責》,《比較法研究》2020年第6期。
          [3] 參見張凌寒:《商業自動化決策的算法解釋權研究》,《法律科學(西北政法大學學報)》2018年第3期。
          [4] H.R.2458- E-Government Act of 2002, https://www.congress.gov/bill/107th-congress/house-bill/2458/text/enr. (Last visited by Apr.1,2020).
          [5] Privacy Impact Assessment (PIA) Guide, https://www.sec.gov/about/privacy/piaguide.pdf.(Last visited by Dec.03,2020).
          [6] Privacy and Data Protection Impact Assessment Framework for RFID Applications. http://ec.europa.eu/justice/data-protection/article-29/documentation/opinion-recommendation/files/2011/wp180_annex_en.pdf.(Last visited by Mar.01,2021).
          [7] Draft: Conducting Privacy Impact Assessment Code of Practice, https://ico.org.uk/media/about-the-ico/consultations/2052/draft-conducting-privacy-impact-assessments-code-of-practice.pdf.(Last visited by Feb.11,2020).
          [8] 原本為組織(organizations),不同國家和地區的叫法不同,但基于大數據時代的背景下,應當用“數據控制者”或“個人信息控制者”(我國)取代“組織”的叫法。
          [9] Guide to undertaking privacy impact assessments, https://www.oaic.gov.au/agencies-and-organisations/guides/guide-to-undertaking-privacy-impact-assessments. (Last visited by Jan.31,2020).
          [10] ISO/IEC 29134:2017 Preview Information technology -- Security techniques -- Guidelines for privacy impact assessment. https://www.iso.org/standard/62289.html.(Last visited by Dec.03,2020).
          [11] Peter Carey. Data Protection: A Practical Guide to UK and EU Law, Oxford University Press,2015, p.285.
          [12] See Thomas Cormen, Charles Leiserson, Ronald Rivest and Clifford Stein, Introduction to algorithms, MIT press.2009, p.5.
          [13] See Government of Canada, Directive on Automated Decision-Making, https://www.tbs-sct.gc.ca/pol/doc-eng.aspx?id=32592.(Last visited May 12,2020).
          [14] See Washington House Bill 1655, https://legiscan.com/WA/bill/HB1655/2019.2020-04-13,(Last visited May 28,2020).
          [15] 參見張勇:《人工智能輔助辦案與量刑規范化的實現路徑》,《上海政法學院學報(法治論叢)》2019年第2期。
          [16] See Joshua New and Daniel Castro: How Policymakers Can Foster Algorithmic Accountability, http://www2.datainnovation.org/2018algorithmic-accountability.pdf 2019-05-12. (Last visited June 27,2020).
          [17] 參見張凌寒、李榮:《紐約算法監管遇挫啟示錄》,《法治周末》2020年1月16日。
          [18] See Opinion of the Data Ethics Commission,159(2018), https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).
          [19] Schrems v. Data Protection Commissioner, C-362/14(2015).
          [20] 這種方式最常見的就是 TRUSTe 公司,我國小米等互聯網公司進入歐盟市場也依賴其進行隱私認證。
          [21] 參見《聯合國教科文組織正式發布國際人工智能與教育大會成果文件<北京共識——人工智能與教育>》,http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/s5987/201908/t20190828_396185.html,2020年11月26日訪問。
          [22] Barocas Solon and Andrew Selbst. Big data's disparate impact.671. Calif. L. Rev.169(2016).
          [23] Marc L. Roark, Human Impact Statements,54 WASHBURN L.J.649(2015).
          [24] 參見張凌寒:《〈電子商務法〉中的算法責任及其完善》,《北京航空航天大學學報(社會科學版)》2018年第6期。
          [25] 參見《數據安全管理辦法(征求意見稿)》(2019年)第23條擬規定,網絡運營者利用用戶數據和算法推送新聞信息、商業廣告等(以下簡稱“定向推送”),應當以明顯方式標明“定推”字樣,為用戶提供停止接收定向推送信息的功能;用戶選擇停止接收定向推送信息時,應當停止推送,并刪除已經收集的設備識別碼等用戶數據和個人信息。第24條擬規定,網絡運營者利用大數據、人工智能等技術自動合成新聞、博文、帖子、評論等信息,應以明顯方式標明“合成”字樣;不得以謀取利益或損害他人利益為目的自動合成信息。
          [26] 參見《網絡信息內容生態治理規定》(2020年)第12條規定:“網絡信息內容服務平臺采用個性化算法推薦技術推送信息的,應當設置符合本規定第十條、第十一條規定要求的推薦模型,建立健全人工干預和用戶自主選擇機制。”其中第10條、第11條對個性化推薦算法結果的場景作出了詳細列舉。
          [27] See Opinion of the Data Ethics Commission,159.(2018),https://www.bmjv.de/SharedDocs/Downloads/DE/Ministerium/ForschungUndWissenschaft/DEK_Empfehlungen_englisch.html;jsessionid=C4CE6C88B9310034A97B42CD67553FC7.2_cid289?nn=11678512,(Last visited by Apr.20,2020).
          [28] Vodafone Group Plc, Vodafone’s AI Framework, Technical report, Vodafone, Newbury, United Kingdom, (June 2019).
          [29] IBM, Everyday Ethics for Artificial Intelligence, Technical report, IBM, New York, NY, (September 2018).
          [30] As part of fulfilling this responsibility, private actors should take on-going, proactive and reactive steps to ensure that they do not cause or contribute to human rights abuses and that their innovation processes are human-rights friendly… The scale and complexity of the means through which they meet their responsibilities may vary, however, taking into account their means and the severity of potential impact on human rights by their services and systems. See Draft Recommendation of the Committee of Ministers to member States on human rights impacts of algorithmic systems, Committee of experts on human rights dimensions of automated data processing and different forms of artificial intelligence (MSI-AUT), Council of Europe,10(2018). https://www.intgovforum.org/multilingual/sites/default/files/webform/msi-aut201806_eng_draft_recommendation_12_november_2018.docx__0.pdf.(Last visited by Apr.10,2020).
          [31] See Daniel Zwerdling: Internet Trolls Turn A Computer Into A Nazi, https://www.wnyc.org/story/internet-trolls-turn-a-computer-into-a-nazi/.(Last visited by Apr.21,2020).
          [32] 參見范為:《大數據時代個人信息保護的路徑重構》,《環球法律評論》2016年第5期。
          [33] Article 29 Data Protection Working Party: Statement on the role of a risk based approach in data protection legal frameworks, May 302014. http://ec.europa.eu/justice/data-protection/index_en.htm.(Last visited by Feb.21,2021).
          [34] Gellert Rapha?l. Data protection: a risk regulation? Between the risk management of everything and the precautionary alternative,5 International Data Privacy Law,3, (2015).
          [35] Jeremy Kun, Big Data Algorithms Can Discriminate, and It's Not Clear What to Do About It, CONVERSATION, http://theconversation.com/big-dataalgorithms-can-discriminate-and-its-not-clear-what-to-do-about-it-45849. (Last visited by Mar.22,2020).
          [36] 參見崔聰聰、許智鑫:《數據保護影響評估制度:歐盟立法與中國方案》,《圖書情報工作》2020年第5期。

          本網站文章僅代表作者個人觀點,不代表本網站的觀點與看法。
          轉載請注明出自北大法律信息網
        0
        北大法律信息網
        www.chinalawinfo.com
        法律動態
        網站簡介
        合作意向
        網站地圖
        隱私政策
        版權聲明
        北大法寶
        www.pkulaw.cn
        法寶動態
        法寶優勢
        經典客戶
        免費試用
        產品服務
        專業定制
        購買指南
        郵件訂閱
        法律會刊
        北大英華
        www.pkulaw.com
        英華簡介
        主要業務
        產品列表
        英華網站
        聯系我們
        用戶反饋
        返回頂部
        二維碼
        不要添了,我高潮了视频