前沿观察
自动化决策:立法现状、关键概念和重点问题
2023-04-28

自动化决策的立法现状

我国《个人信息保护法》第24条对自动化决策进行了专门规定,并在第73条中对自动化决策作了明确定义,即自动化决策是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等,并进行决策的活动。根据立法思路,可对自动化决策做如下类别划分:


自动化决策

(总体原则:透明度原则、公平公正原则)

推送/营销类决策

结果生成类决策

进行信息推送

进行商业营销

作出对个人权益有重大影响的决定【前提】

(1)提供不针对个人特征的选项;或

(2)向个人提供便携的拒绝方式【拒绝权】

个人有权要求个人信息处理者予以说明【解释权】

个人有权拒绝个人信息处理者仅通过自动化决策

的方式作出决定【拒绝权】


就推送/营销类决策而言:


数据主体有权要求获得非个性化的推送/营销内容,即对于针对个人的定向广告有权拒绝,但并不妨碍获得一般性广告的推送。


例如,在微信产品的“个性化广告管理”模块中,就提供了“广告个性化”的关闭模块,用户可通过“设置”—“个人信息与权限”—“个性化广告管理”—“广告个性化”四步操作选择管理并关闭该模块。


我国《个人信息安全规范》第7.5条也对“个性化展示的使用”做了更细致的规范,要求个人信息控制者应当:(i)显著区分个性化展示内容和非个性化展示内容;(ii)在提供电子商务服务的过程中,提供不针对消费者个人特征的选项;(iii)在推送新闻信息服务的过程中,提供直观的退出或关闭个性化展示模式的选项;(iv)保障信息主体调控个性化展示相关性程度的能力。


这其中也有几个重点问题有待明确:其一是什么是“个人特征”?目前尚无规范化的解释。根据杨立新教授的观点,个人特征是有关特定自然人的、具体真实而非抽象的、具有可识别性的身份特征。个人特征与个人信息密切相关,个人信息包含着部分个人特征。个人信息数量越多,对个人特征的刻画也就更清晰;其二是数据处理者的以上两项义务之间是“或”的关系,即只要数据处理者提供了不针对个人特征的选项,即应当视为履行了《个人信息保护法》第24条规定的上述义务;其三是如何理解“便捷的”拒绝方式?便捷从语义上理解应为方便之意,而并未当然包含显著的含义,尽管用户可以通过短短几步完成定向广告的关闭,但却可能需要花费较多的精力去寻找关闭入口,事实上也会导致数据主体的权利无法有效行使。


就结果生成类决策而言:


决策的结果导向性质为数据主体行使权利的前提,即在依据自动化决策所作出的决定对个人权益有重大影响的情形下,数据主体方有权行使自动化决策的解释权和拒绝权;且就数据主体行使拒绝权而言:(i)并不意味着数据主体和个人信息处理者之间的服务关系终结,数据主体仍可以通过非自动化决策或自动化决策+非自动化决策的方式获得服务;(ii)并不妨碍数据主体之后仍再次接受仅通过自动化决策获得服务的可能性


但不论是对于推送/营销类决策还是结果生成类决策:


都必须遵守算法透明度原则和公平公正原则,即算法透明度原则应当适用于所有的自动化决策行为,不得进行大数据杀熟之类的算法歧视行为。此外,自动化决策的算法透明度原则和公平公正原则乃个人信息处理者的义务,而针对相应类别的数据主体的解释权和拒绝权均属数据主体的权利。


关键概念的厘清

自动化决策的事先同意权


我国《个人信息保护法》并未单独规定数据主体就个人信息处理者通过自动化决策处理个人信息的事先同意权,就数据主体对自动化决策的事先同意应包含在《个人信息保护法》第13条的个人信息处理者处理个人信息的合法性基础中,即以获得数据主体的同意为其处理个人信息的合法性基础,一旦数据主体同意个人信息处理者处理个人信息,其中原则上则包含通过自动化决策方式处理个人信息,但个人信息处理者应当对自动化决策相关的个人信息处理内容履行必要的告知义务(包括《个人信息保护法》第17条规定的相关事项),而不得自然将自动化决策笼统地包含在模糊的个人信息处理的同意内容中


例如,在微信产品的《腾讯隐私政策》中就专门设置了“广告”章节,其中就个性化广告服务的内容作了专门表述:为了提供更丰富的广告体验,我们可能向您提供个性化广告服务,您在腾讯及合作第三方的网站、应用及其他渠道中可以接收到相关广告内容。您可以查阅具体产品的隐私保护指引了解更多。如您不希望接收个性化广告,也可以根据具体产品中的指引进行关闭。


自动化决策的【解释权】和一般性的个人信息解释说明权的关系


我国《个人信息保护法》第48条对个人信息处理的解释说明权作了一般性规定,即“个人有权要求个人信息处理者对其个人信息处理规则进行解释说明”。但对于一般性的个人信息解释说明权而言,其应当仅限于个人信息处理规则的原则性解释说明,目的是使得数据主体能够简单清晰地了解相关个人信息处理的一般性运行原理,且适用主体为所有使用服务的普遍性的用户主体。


例如,同样在微信产品的“个性化广告管理”模块中,就微信个性化广告的工作原理就作了说明:广告个性化推荐技术是一种常见、通行、安全的广告兴趣度适度匹配技术。在广告投放过程中,微信广告可能会基于你注册腾讯服务时填写的信息及你使用腾讯服务时产生的行为数据等信息,推测你可能感兴趣的内容。广告主提供广告内容并选定希望触达的目标群体类型,由微信广告系统自动化地将广告投放给该类型的人群。


而就自动化决策的解释权而言,如前所述,其适用以“依据自动化决策所作出的决定对个人权益有重大影响”为前提,只有在此前提满足的情形下,数据主体方可要求行使自动化决策的解释权;而就解释内容而言,则应当赋予数据主体更为丰富的信息,不应当仅局限于对于一般性运行原理的解释说明,而应当包含自动化决策所依据的个人信息的具体内容和类型、依据相关个人信息生成结果的机制和标准、对于个人权益的具体影响情况等。


但是,从实践角度来看,对于自动化决策的解释却存在着理想与现实的鸿沟。尤其是随着作为其核心的算法技术的不断进化,自动化决策已不再是简单的基于数据回归分析的经验性反馈,近年来深度学习和神经网络的广泛适用、学习模型的日益复杂也使得若要以通俗明了且易于理解的语句解释自动化决策的运行机制变得十分困难,或使得解释权的行使最终落入形式主义的陷阱,并且这还并未考虑数据处理者可能因此需要面临的额外合规成本。


自动化决策的【拒绝权】和一般性的个人信息拒绝权的关系


我国《个人信息保护法》第44条对个人信息处理的拒绝权作了一般性规定,即“个人对其个人信息的处理享有知情权、决定权,有权限制或者拒绝他人对其个人信息进行处理;法律、行政法规另有规定的除外”。


还是以微信产品的《腾讯隐私政策》为例,在该政策的“您如何管理自己的信息”章节对于上述规定的表述为:您在使用我们服务的过程中,可以通过查阅、复制、更正、补充、删除等方式来管理您的信息。当您使用我们的具体产品和服务时,您可以查阅其独立的隐私保护指引,我们在这些指引中具体描述了您管理自己的个人信息的途径和方式,以帮助您更好的保护您的个人信息。


在适用前提方面,一般性的个人信息拒绝权为数据主体的一般性权利,并无特定的适用前提,而自动化决策的拒绝权则以“依据自动化决策所作出的决定对个人权益有重大影响”为前提;而在适用后果方面,一般性的个人信息拒绝权的适用后果为个人信息处理者将不得处理个人信息,而自动化决策拒绝权的适用后果并不妨碍个人信息处理者处理个人信息,只是排除个人信息处理者仅通过自动化决策方式处理个人信息的行为,数据主体仍有获得以非完全自动化决策的方式处理个人信息的服务的权利。


尚待明确的几点问题


数据主体权利的行使前提


相较于GDPR22条规定仅限于“完全依靠自动化处理的决策”,数据主体有权拒绝或脱离该等决策,我国《个人信息保护法》的表述则相对克制,仅表述为“通过自动化决策方式”,但不论是哪种方式,均存在其适用层面的弊端或需要澄清的问题


鉴于GDPR对于自动化决策的设置要求过高,即相关决策需完全依赖于自动化处理开展,因此若数据处理行为涉及少量的人工干预,则并非完全的自动化决策,可以帮助数据处理者规避数据主体拒绝权的适用,因此在GDPR项下数据主体对于自动化决策的拒绝权也往往处于沉睡状态。我国法律中虽未明确作此要求,但却也可作不同理解,其一与GDPR的规定相同,即只有对于完全通过自动化决策方式的数据处理行为,数据主体方可以行使诸如解释权和拒绝权在内的全部相关权利;其二则可以理解为,只要决策方式中包含自动化决策的处理机制且满足相关的条件,则数据主体就可以行使相关的数据主体权利,只不过只有对于完全依靠自动化决策方式的数据处理行为,数据主体才可以行使拒绝权。只有在以上数据主体行使相关权利的前提明确之后,方可对相关权利的内容作进一步讨论。


对于“重大影响”的判断标准


首先,“重大影响”的情形仅适用于结果生成类自动化决策,因为通常认为诸如个性化广告之类的信息推送或商业营销并不会对个人权益造成重大影响。但事实也并非如此,例如对于经济拮据的穷人如果被经常性地推送赌博广告,则长此以往也可能会接受这类服务从而使得自己陷入更加窘迫的境地,这一场景下即使是信息推送或商业营销,亦可能对用户的个人权益造成重大影响。


因此,即使是对于推送/营销类的自动化决策,在对用户个人权益造成重大影响的情形下亦应受到相类似的约束,对此20223月生效的《互联网信息服务算法推荐管理规定》第17条中已采纳了相关的思路,根据该规定,算法推荐服务提供者应用算法对用户权益造成重大影响的,应当依法予以说明并承担相应责任。


其次,“重大影响”的认定主体并未明确。对于是否存在“重大影响”,可存在两种认定方式,一种系由数据主体依其主观认定对其构成“重大影响”,另一种系由个人信息处理者结合客观情况认定是否对数据主体构成“重大影响”并由数据主体就此承担举证责任,而在此情形下,个人信息处理者可以以各种理由认定不存在“重大影响”从而拒绝数据主体行使权利,容易导致数据主体的解释权和拒绝权落入真空状态。


再次,“重大影响”尚无具体判断标准。清华大学程啸老师在其近期文章《应当尽快制定个保法司法解释》一文中表达了对于相关个人信息处理规则亟需完善的建议,就《个人信息保护法》第24条对于“对个人权益有重大影响”的认定,程啸老师认为可以参考《民法典》第496-497条对格式条款中限制排除权利的规定的基础上,结合个人的法律上的权利、义务、责任的角度作出相应的判断标准。具有以下情形之一的,应当认定为对个人权益有重大影响:(i)排除或者限制个人的主要权利;(ii)加重个人的义务或者法律责任;(iii)导致个人的经济、社会地位发生了不合理的变化;(iv)对于个人权益产生法律效力或造成重大影响的其他情形。


但即使是上述判断标准中,亦存在诸多待明确的概念和标准。例如,什么是“不合理的变化”或可以被认为是属于“合理的变化”。对于影响是否“重大”,可能因判断角度的不同而成为各方的主要争议点,若无具体的标准细则和示例,对于“重大影响”的判断标准缺失亦可能使得数据主体的权利行使受到阻隔。对此亦可参考GDPR的规定,GDPR22条设置了数据主体行使拒绝权的两种情形,分别为legal effects concerning him or her(对个体产生相关法律后果)和similarly significantly affects him or her(对个体产生类似重大影响),我国《个人信息保护法》仅设置了“重大影响”一项,且尚未有具体的标准或示例供各方参考。


行使拒绝权后的权利救济机制


对于推送/营销类决策而言,用户行使拒绝权的后果通常是不再接收到相关的推送信息,此类个性化广告功能的关闭往往不会实质性影响个人的实际利益,但对于结果生成类的自动化决策,用户行使拒绝权的后果则可能是无法获得相应的服务或产品,并可能会实质性影响个人的实际利益或者获得潜在利益的机会。


对于结果生成类的自动化决策,我国目前法律中仅规定“个人有权拒绝个人信息处理者仅通过自动化决策的方式作出决定”,但却并未进一步规定个人行使拒绝权后,是否存在可能的救济路径或权利。该问题可从两种规制路径考虑,一是在用户行使拒绝权后,个人信息处理者是否有义务以人工干预的形式,重新判定用户是否可以继续获得相应的服务或产品,但若设定为个人信息处理者的义务,则可能使得个人信息处理者背负较大的运营成本,且部分用户在行使拒绝权后往往选择用脚投票的方式放弃相应的服务或产品,并不需要获得后续人工介入的帮助;二是将用户申请获得人工介入的救济设定为一项权利,即用户在行使拒绝权后有权要求个人信息处理者是否应当通过人工介入或自动化决策与人工介入相结合的方式获得后续救济,将决定是否获得人工介入的救济途径交由用户判断,能够平衡保护数据主体获得救济的权利和保持商业活动效率之间的关系。


虽然自动化决策在效率上拥有明显优势,且其基于算法(或更为先进的深度学习或神经网络)的决策过程相较于人工决策在某种程度上可能也更为客观和公平,但对于涉及个人权益的事宜,往往并非通过算法机制的设定能够在个案的微观层面保持公正。其本质是因为算法所基于的底层技术乃对数据的回归分析,而人工决策则包含个体认知层面对于事务及其本质的综合分析,以及不可避免地融入个体的情感因素。例如,对于信贷权益的获得,自动化决策所依赖的算法可能会基于对借款主体的各项指标分析来判定是否同意授予信贷额度以及额度的高低,但借款主体的某些指标可能系基于特定的背景产生,且得以通过补充材料的形式消除相关指标的风险系数,如果得以通过人工决策的方式沟通并审核相关材料,可能得出与仅通过自动化决策所不同的结论。


自动化决策拒绝权的除外适用情形


有学者指出,自动化决策乃是个人信息处理的高阶形态。对于自动化决策拒绝权的除外适用情形,其含义可以理解为:在特定情形下,数据主体不得拒绝个人信息处理者以自动化决策的方式处理个人信息。


我国《个人信息保护法》第13条规定了个人信息处理者可以处理个人信息的情形,除依法取得个人同意之事由外,还包括为订立合同所必需、为履行法定职责或法定义务所必需、为应对突发公共卫生事件所必需等情形。依常理之解释,第13条所规定的个人信息处理者可以处理个人信息的情形亦应当包含个人信息处理者(以自动化决策方式)来处理个人信息的行为。


相比之下,GDPR22条则明确设定了数据主体拒绝权适用的除外情形,可以概括为前提条件+保障措施。其中前提条件包含:(i)决策对于履行数据主体与数据控制者之间的合同是必需的;或(ii)决策是基于欧盟或成员国法律所授权的;或(iii)决策是建立在数据主体的明确同意之上的。保障措施则要求数据控制者应当采取适当的措施,保障数据主体的权利、自由和正当利益,且数据主体至少应当有权要求数据控制者进行人工干预、表达其观点并对决策结果提出异议。


此外,对于特殊类别的个人信息(special categories of personal data),即GDPR9(1)条规定的涉及种族或民族背景、政治观念、宗教或哲学信仰、工会成员的个人数据、基因数据、指向特定自然人的生物性识别数据、自然人健康和性生活取向数据,则不适用于上述数据主体拒绝权的除外情形,即对于特殊类别的个人信息,原则上不得妨碍数据主体拒绝自动化决策的权利,除非是符合GDPR9(2)条的第(a)(g)项的情形(即基于数据主体的同意或实现社会公共利益),并且采取了能够保护数据主体权利、自由和正当利益的措施。


参考GDPR规定的自动化决策拒绝权的除外适用情形,至少有几方面问题需要重点考虑:首先,就“履行合同所必需”的判断,应当明确为自动化决策在相关合同的履行中发挥了主导和本质作用;其次,对于数据主体的明确同意,由于我国《个人信息保护法》仅对一揽子数据处理行为将获得数据的主体同意作为其合法性要件,并未要求针对自动化决策的数据处理行为需获得数据主体的单独同意,因此若要基于数据主体的同意而排除适用自动化决策的拒绝权,则应当就自动化决策行为以显著的方式单独告知数据主体,向数据主体明确告知其决策机制和后果(可能类似于风险警示)并就此获得数据主体单独同意,而不得自然将其包含在一揽子数据处理行为的同意中(尽管数据处理者可能在一揽子数据处理行为中告知数据主体其将采用自动化决策的数据处理方式);再次,对于数据处理者应采取的保障措施,应当与常规的数据处理行为的保障措施予以区别,针对自动化决策可能对数据主体合法权益造成侵害的核心方面,提供相应的救济机制,且如GDPR所规定的,数据主体应当至少享有要求数据控制者进行人工干预和对决策结果提出异议的权利;最后,对于特别敏感或特殊类别的个人信息,因可能对个人权益造成重大不利影响,在数据主体拒绝权的适用除外情形方面应当予以特别考虑。


总结和期待


随着近年来大数据和人工智能技术的快速发展,自动化决策也逐渐从基础的基于数据库编码运行的重复性自动化程序,向着基于深度学习和神经网络的智能自动化决策方向迈进,自动化决策的作用也不再局限于代替人类完成那些重复性和低价值的基础性工作,而越来越多地通过规律总结和深度学习的方式完成更为高阶的价值判断性工作,其可能在某些方面极大地提升了社会运行的效率,且甚至可能比人工决策的方式更为公正和考虑周全,从另一方面来看,这种自动化决策技术的发展也将使得其不可避免地且更深层次地参与到对个体权益的影响更为深入和广泛的社会经济事务之中。目前我国正在对自动化决策的具体解释和相关的标准进行紧锣密鼓的讨论并逐步完善针对自动化决策的事前、事中和事后的救济机制,这将为我国抢占大数据、人工智能等领域的制高点提供有力的理论和法律铺垫。