随着人工智能技术日益成为科技和产业发展的主流，人工智能及相关技术已对全球社会产生影响并渗透入人们的日常生活。商业和政府组织正在迅速接受各种各样的人工智能应用程序、自动化活动以更有效地运行，个性化购物建议、信贷审批、图像处理、交通情况预测等。与此同时，关于人工智能安全性的讨论引起越来越大范围的关注，一些的潜在风险引起学者及制度制定者的担忧，诸如基于大数据作出的自动化决策可能引起的歧视行为，人工智能和人类介入环节交互的复杂性等，现有技术开发与应用已对全球监管工作提出极大挑战。近日欧盟、美国均更新了这一领域的相关管理文件。

欧洲议会联席报告员于2月6日对《人工智能法》(AI Act)提出了折中修正案，关于该法案的讨论有望在未来几天结束。值得注意的是，由于人工智能生成的文本可能被误认为是人为所致，因此增加了一项高风险类别以涵盖诸如ChatGPT生成性人工智能系统。本次修正案值得关注的主要问题包含高风险用途清单、禁止行为和关键概念定义。

1.高风险用途清单

在2月6日发布的《人工智能法》附件三列出了关键领域中具有高风险的特定使用案例。高风险使用案例主要包含情况如下：

(1)由于联席报告员希望完全禁止在公共场所进行活体生物识别，因此高风险使用案例仅限于事后识别。对于私人可进入的空间，已将现场和事后标识添加到列表中。

(2)包括公共空间和情感识别系统中的远程生物特征分类。

(3)对于关键基础设施，道路、铁路和道路交通的任何安全组件都已包含在内。然而，旨在确保供水、燃气、供暖、能源和电力安全的系统只有在系统故障极有可能对此类供应造成迫在眉睫的威胁的情况下才符合这一类别要求。

(4)在教育领域，包含基于学生个人数据分配个性化学习任务的系统。

(5)在就业领域，高风险类别被扩大到包括做出或协助与雇佣关系的开始、建立、实施或终止相关的决策的算法，特别是用于分配个性化任务或监测工作场所规则的遵守情况。

(6)在关于公共服务方面，具体说明了该条款所指的公共援助类型，即住房、电力、供暖和制冷以及互联网。对小型供应商设计的用于评估个人信誉系统的豁免已经被取消。

(7)人工智能模型旨在评估健康和人寿保险的资格，以及对紧急呼叫进行分类的模型，例如执法或紧急医疗患者分诊也包含在内。

(8)新增了一个风险领域，即为弱势群体使用的系统，特别是可能严重影响儿童个人发展的人工智能系统。

(9)立法者扩大了执法、移民和边境管制管理的表述，以避免在实际中出现使用承包商规避高风险分类的情形。

(10)任何可能影响人们在地方、国家或欧洲投票中投票决定的人工智能应用程序，以及任何支持计票等民主进程的系统，都被视为存在风险。

(11)修正案引入了一个类别以涵盖像ChatGPT这样的生成AI系统。任何人工智能生成的文本可能被误认为是人工生成的，除非经过人工审核，并且个人或组织对其承担法律责任，否则将被视为存在风险。人工智能生成的深度赝品，即代表一个人在做或说一些从未发生过的事情的视听内容，除非是明显的艺术作品，否则属于高风险类别。

(12)人工智能驱动的用于科学研究和治疗目的的潜意识技术属于高风险类别。

2.禁止行为

人工智能监管规则的另一个重要部分是完全禁止的应用程序类型。具体而言：

(1)除非其用途被批准用于治疗目的，并获得接触其的个人的明确同意，使用超出人类意识的潜意识技术人工智能模型将被禁止。

(2)故意操纵或旨在利用人的脆弱性，如心理健康或经济状况的人工智能应用程序也被禁止。

(3)报告员建议扩大对社会评分的禁止范围，其中不仅包括针对个人的评分，还包括针对过度推断个人特征可能导致优待结果的群体评分。

(4)对人工智能驱动的预测警务模型的禁止得以保留。

3.关键概念定义

(1)人工智能的定义是一个敏感话题，因为其决定了监管的范围。根据第三份文件的评论，这部分内容暂时被“搁置”。

(2)风险的概念被定义为“造成伤害的危险发生的概率和危害的严重程度的结合”。

(3)增加了更多关于数据、特征分析、深度伪造、生物特征识别和分类、潜意识技术和敏感数据的定义，使这些概念更加清晰，并与欧盟的《通用数据保护条例》保持一致。

1月26日，美国商务部国家标准与技术研究所(NIST)发布了《人工智能(AI)风险管理框架1.0》(Artificial Intelligence Risk Management Framework 1.0)，以更好指导行业内主体使用人工智能并管理相关风险。该框架根据2020年《国家人工智能法案》(the National AI Initiative Act)要求，NIST组织多次公众评论、研讨会及征求利益相关者意见，历时15个月形成。该框架的初稿以NIST于2021年12月发布的概念文件为基础。

框架旨在帮助相关主体部署人工智能系统，增强其可信度，减少偏见并保护个人隐私。尽管AI-RMF属自愿性质，该框架旨在应用于广泛的行业和技术领域，并普遍适用于人工智能技术，将帮助诸多行业及组织将AI风险管理原则转化为实践。NIST希望人工智能风险管理框架基于人工智能系统与其他领域的风险差异描述之上，并期望助力人工智能领域中各个利益相关者有目的地应对这些风险。NIST提出，现有法规、法律或其他强制性指南可用于映射框架中涉及的合规性考量。NIST同时发布了框架行动手册，预计将每六个月进行一次更新作为框架指引的最佳实践。

AI-RMF 1.0分为两部分，第一部分概述人工智能系统的风险和可信赖人工智能系统的特征；第二部分着重解决实践中存在的风险，具体包括四项核心功能，即治理、映射、评估和管理。

在第一部分中，AI-RMF 1.0首先讨论了AI风险管理系统需要解决的伤害风险，包括以下3项：

1. 对人的伤害，比如对公民个人自由、安全或经济机会的伤害；以歧视受保护群体的形式对不同人群或群体造成的伤害；对社会的损害，包括对民主参与或受教育机会的损害.

2. 对组织的业务运营、安全或声誉的伤害.

3. 对生态系统的伤害，如对全球金融系统、供应链、自然资源、环境和地球的危害。

在这一部分，AI-RMF 1.0列出了可信赖AI系统具备七个特征：

在创建、实施、部署和监控算法的整个生命周期中，映射、风险管理应是持续并及时执行的，行业主体应结合其具体业务模式实施前述核心功能。

1.欧美或将围绕其合作形成联合监管布局

NIST的风险管理框架是世界各国政府试图推广可靠可用的人工智能系统最新案例，同时也将降低机器学习算法的潜在负面影响。欧盟拟议的《人工智能法案》如获得通过，也将是一个高度规范性的框架，届时将结合认证计划和监管监督制约共同对人工智能进行规范。

前述两份文件的进度更新时间并非巧合。2022年12月5日在第三届TTC部长级会议上通过的《欧盟-美国TTC可信人工智能和风险管理联合路线图》旨在推进双方共享术语和分类法，并为大西洋两岸的人工智能风险管理和可信人工智能提供信息。具体活动包括：1）共享术语和分类法；2）领导和合作国际技术标准制定活动，分析和收集可信人工智能和风险管理工具；以及3）监测和衡量现有和新出现的人工智能风险。

在此背景下，《人工智能法案》及美国NIST的风险管理框架将具有高度影响力，并可能通欧盟立法的布鲁塞尔效应在多个监管方面形成国际标准。更为重要的是，NIST的AI-RMF可能被视为实现欧盟《人工智能法案》中所要求自评估的一种形式。

2.人工智能伦理规范原则具有一致性

2017年7月中国国务院发布《新一代人工智能发展规划》提出，为应对人工智能可能带来的挑战，应建立保障人工智能健康发展的法律法规和伦理道德框架。

2021年新一代人工智能治理专业委员会发布《新一代人工智能伦理规范》，提出人工智能各类活动应遵循增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养六项基本伦理规范。欧盟委员会人工智能高级专家组2019年发布《可信人工智能伦理指南》(Ethics Guidelines for Trustworthy AI)阐述了可信人工智能的七方面内容，即：1.人的能动性与监督；2.技术稳健性与安全性；3.隐私与数据管理；4.社会与环境福祉；5.多样性、非歧视性与公平性；6.透明性；7.问责制。从上述原则对照情况可以看出，当前在人工智能伦理规范方面，监管主要关注点均在于人类共同利益、隐私保护、可控性、公平性以及算法可解释性等方面。

3.对企业的建议

(1)关注相关立法进度及适用范围

根据AI-RMF 1.0所援引的2019年经合组织(OECD)发布的《人工智能建议》(Recommendation on Artificial Intelligence)，“人工智能系统是一种基于机器的系统，其可以针对给定的一组人类所定义的目标，做出影响真实或虚拟环境的预测、建议或决策。人工智能系统被设计为具有不同程度的自主性。”欧盟《人工智能法案》的定义目前尚未形成各国监督机构的普遍共识。考虑到不排除后续各国在立法过程中出于平衡创新与保障利益的角度考虑，进而形成同时存在多种方法界定适用范围的情况。因而行业内主体应对立法进度及监管趋势保持关注，并针对即将生效文件的监管范围及生效时间提前进行合规评估，分析差异性并及时形成调整计划。

(2)开展技术伦理相关合规风险管理

企业应盘点人工智能所涉业务及产品，重点排查是否存在禁止类业务，例如提供危害用户人身或者财产安全、侵害个人隐私或者个人信息权益的产品和服务；利用算法技术实施价格歧视或者消费欺诈等侵害消费者权益的行为，实施垄断或者不正当竞争的行为等。布局建立人工智能伦理风险评估机制，制定对应风险处理机制，对涉及生命健康、公共安全等重点领域人工智能应用的潜在风险开展评估。对于数据使用、算法技术应用进行全流程管控。同时加强人员对于技术伦理和风险管理相关培训，普及人工智能伦理知识，推动人工智能伦理治理实践，提升全员伦理素养和应对能力。