将人工智能(AI)整合到企业流程中的进程正在跨行业加速推进,同时,市场上针对不同应用领域所提供的AI工具的数量和质量也在迅速增长。AI系统的使用为企业带来了巨大的机会,尤其是在自动化、效率提升和创新方面。然而,引入AI技术不仅在技术和组织层面构成挑战,从法律角度来看也绝非易事。为了预防相应风险并避免严重的法律制裁,有关法律问题应当在AI使用的构思阶段、相应AI应用选择阶段、其后的实施阶段,尤其是在AI应用的实际使用过程中得到充分考虑。下文旨在为作为AI系统使用者的企业提供进入AI合规的初步指引,并概述企业在使用AI应用时所需关注的主要法律方面。
- AI 与数据保护
在使用AI应用时,最重要的法律方面之一是对可能作为输入数据的数据进行保护。输入数据是指被输入AI系统或由系统直接获取的数据,系统基于这些数据生成输出(参见《AI法案》(VO (EU) 2024/1689)第3条第33款的定义)。
在此背景下,尤其需要关注两类数据:个人数据,即能够识别或可识别自然人的信息(参见《通用数据保护条例》(GDPR,VO (EU) 2016/679)第4条第1款);商业秘密,包括企业自身与第三方的机密信息。
(1)个人数据
在实践中,判断拟使用的数据是否属于个人数据——尤其是在较大的数据集情境下——往往并不容易,且通常需要根据数据集的结构才能得出结论。因此,在AI应用的构思阶段,就必须谨慎确定输入数据的选择与范围,并分析其是否涉及个人数据。
若使用或处理个人数据,企业必须确保遵守适用的数据保护法规。除根据处理目的可能适用的特别法定规定外,主要适用 GDPR 的要求,尤其包括以下几点:
- 处理个人数据的法律依据:仅在存在充分法律依据的情况下方可处理个人数据。这意味着数据处理或使用必须基于法定许可(特别是 GDPR 第6条第1款)或基于数据主体的明确同意。
- 数据最小化与目的限制:仅可处理为实现相应法律依据所涵盖目的所必需的数据(数据最小化原则)。此外,数据仅可用于明确界定且受法律依据覆盖的目的,而不得另作他用。
- 数据安全:企业必须确保在处理个人数据时实施组织和尤其是技术措施,以保证与处理风险相适应的安全水平。特别需要关注向第三方(系统供应商、IT服务提供商)传输数据的情形,尤其是在传输至欧洲经济区(EWR)以外的国家时。由于欧盟立法者通常认为这些第三国不具备充分的数据保护水平,因此必须采取额外措施以确保数据的安全。
- 文档、透明度与告知义务:若处理个人数据,企业须根据 GDPR 的特定要求进行记录。此外,需提前以透明方式告知涉及其个人数据被处理的个人,例如通过隐私声明等。
(2)其他数据 / 商业秘密
除个人数据外,企业还需确保作为输入数据使用的机密信息的保密性。这既包括AI系统使用方自身的商业秘密,尤其包括第三方的机密数据,这些数据可能受法律保护或受保密协议(NDA)约束,因此可能只能在有限范围内或根本不能用于AI应用。
因此,在AI使用的构思阶段,需要对输入数据的选择与范围进行谨慎分析。
- 《AI法案》的要求
《欧洲人工智能法案》(VO (EU) 2024/1689),简称《AI法案》,首次为欧盟范围内AI系统的开发、投放市场和使用设立统一法律框架。
《AI法案》采用风险导向的方法,根据AI系统在使用中的风险程度将其划分为四类。根据分类的不同,法案为系统提供者和使用者(在《AI法案》中称“运营者”)规定了不同的义务。
风险类别如下:
(1)涉及禁止性实践的系统
《AI法案》第5条规定了禁止性AI应用,主要指针对公共领域而非企业领域的应用,例如用于“社会评分”(Social Scoring)或基于画像的犯罪预测的AI系统。此类系统不得投放市场或使用。
(2)高风险AI系统(严格监管)
高风险AI系统定义见《AI法案》第6条与附件III,例如用于关键数字基础设施、道路交通、水、气、热、电供应等安全部件的AI系统,以及生物特征远程识别系统或协助就业决策的AI系统。
适用于使用者的义务载于第26条,特别包括:
- 采取技术和组织措施,确保系统按照提供者规定的方式使用。
- 确保具有资质的自然人对系统进行人工监督,并能监控或纠正系统决策。
- 根据提供者的要求持续监控系统表现,并在出现异常时通知提供者。
- 自动生成的日志必须保留适当期限(至少六个月)。
- 一旦知悉系统的严重事件或故障,使用者必须立即通知提供者和主管机关。
- 若使用者可控制输入数据,其必须确保输入数据的相关性和代表性,以减少错误结果。
(3)有限风险的系统
对于有限风险的AI系统,尤其是与人直接交互的AI系统或生成音频、图像、视频、文本内容的系统,适用透明度义务(第50条),例如:在聊天机器人中提示AI身份、标识合成内容或深度伪造内容等。
(4)最低风险(无强制性要求或自愿性要求)
最低风险AI系统占当前AI系统的绝大多数,如翻译工具、检索系统、排序与过滤系统、文本与沟通辅助工具等。此类系统不受《AI法案》强制规定的约束,但建议遵守自愿性行为准则与最佳实践(第95条)。
- AI 与知识产权
在企业使用AI系统时,知识产权问题尤其是著作权问题具有重要意义,相关问题会在不同环节与不同背景下出现。
(1)AI生成内容与知识产权)
AI系统为使用者生成的内容可能包含受第三方权利保护的材料,尤其是受著作权保护的文本或图片,从而可能侵犯第三方权利。因此,在使用生成式AI系统时,应在企业流程设计阶段就考虑对输出内容实施适当的内容控制机制。
另一方面,使用者通常无法对通过AI系统生成的内容主张自身的著作权。除涉及输入或训练数据本身已侵犯第三方权利的特殊情况外,由AI系统生成的内容通常不构成著作权意义上的“个人精神创作”,因其缺乏自然人的创作参与。因此,AI生成内容本身通常不受著作权保护,企业也无法基于著作权禁止第三方使用这些内容。
(2)作为输入数据的受保护材料)
企业在选择AI输入数据时应注意,某些材料作为输入数据使用可能触及第三方权利,尤其是著作权。因此在使用前应审查材料来源及权利状态。
企业还应通过内部规则明确可用于输入的数据的种类与结构,并在既定流程中监督其遵守情况。
- 劳动法相关问题
根据不同AI应用的类型与使用领域,在企业使用AI系统时可能出现劳动法层面的影响。
除员工数据保护(如员工数据在AI辅助流程中处理的合法性、就业背景下AI自动化决策的允许性、是否需要进行数据保护影响评估等)问题外,从劳动法视角来看,实施AI系统时还需特别关注企业委员会的共同决定权问题。
(1)知情权与咨询权
根据《企业组织法》(BetrVG)§90 Abs. 1 Nr. 3,企业在引入AI系统前必须提前向企业委员会提供相关计划和必要文件。§90 Abs. 2 进一步规定了企业委员会的咨询权,即必须就拟采取的措施及其对员工的影响,尤其是工作内容与技能要求的变化,与企业委员会进行及时讨论,使其意见得以纳入决策。
(2)共同决定权
根据《企业组织法》§87 Abs. 1 Nr. 6,一旦AI系统适用于监控员工的行为或绩效,即触发企业委员会的共同决定权。此处并不需要证明雇主具有监控意图,只要AI系统客观上能够实现监控即可。
根据 Nr. 7,当AI系统可能对员工的身心健康造成风险时,也适用共同决定权。不过若AI系统仅作为工作辅助工具(如生成式AI),通常不易触发此条款。
在招聘使用AI系统的情况下,§94 和 §95 的共同决定权规定也可能相关。
- 使用AI系统时的责任与义务
在使用AI系统的过程中,另一个重要的法律方面是对于因使用AI系统而在第三方处造成的损害所承担的责任问题。
从AI系统的使用者或运营者的角度来看,尤其相关的是那些情形:即使用者在向客户提供服务或履行合同过程中使用AI系统。可设想的应用场景非常广泛——从在产品与服务开发中作为辅助工具的使用,到在物流、金融服务及支付处理、市场营销、IT服务、客户沟通或医疗服务(仅举若干例子)中的使用。
若客户的损害可归因于AI系统本身的错误,AI系统的使用者将首先面临客户的责任主张。这可能包括源自使用者与其客户之间合同关系的合同性赔偿请求,以及法定的损害赔偿请求,尤其是侵权请求。另一方面,对于使用者而言,在此类情形下也涉及是否可向有缺陷的AI系统的销售商和/或提供者追偿的问题,以及是否可能由相关保险承担损失的问题。
因此,从使用者的角度出发,在采购AI系统时即应特别重视在合同中对责任与追偿进行适当约定。同理,在企业向客户提供服务且使用AI系统的情况下,与客户签订的合同也应相应考虑上述因素。特别是,合同中的责任规定应与使用者对AI系统提供者的追偿可能性保持一致,或在采购保险服务时将相关损害纳入考量。
此外,通过制定相应的企业内部规定和指引来规范AI系统的使用,对于降低企业在使用AI系统过程中的风险亦具有重要意义。
- 合规管理
为确保企业在使用AI系统时遵守适用的法律要求,相应流程应从一开始就纳入企业的内部合规管理体系。
这包括AI项目三个阶段的措施:(1)AI驱动流程的构思与AI系统选择;(2)AI系统的实施;(3)AI系统的使用。
合规措施除流程定义与文档化外,还应包括引入内部规定,如员工指引与执行机制。其他措施还包括围绕特定主题与应用开展员工培训(对于高风险AI系统可能依法强制要求),并定期更新。
结论
企业使用人工智能具有巨大潜力,但——根据使用领域与AI系统类型的不同——也伴随着复杂的法律要求。若能及时采取相应的合规措施,这些挑战与风险是可以有效控制的。