行稳致远，以稳步前行为发展战略
跬步千里，以匠心传承铸品质服务
AI深度合成技术滥用的法律风险及其防范对策
实务 研究 | 新法 速览 | 热点 解读 | 案例 分析 |
文章导读
随着人工智能技术的快速发展，AI深度合成技术以其强大的数据处理和模拟能力，在多个领域展现了巨大的应用潜力。然而，当这一技术被滥用于制作和传播虚假信息时，其潜在的法律风险不容忽视。
本文海润天睿合伙人姜向阳律师，潘永寿律师旨在通过具体案例，深入分析AI深度合成技术滥用的法律风险，并提出相应的防范对策，以期为相关政策制定者、技术开发者和社会公众提供参考。
文章关键词：AI深度合成技术、法律风险、著作权侵权、人格权侵权、刑事犯罪、防范对策
开始阅读
AI深度合成技术，作为人工智能领域的一项前沿技术，具有强大的数据处理和模拟能力。尽管技术本身是中立且无害的，不应直接受到法律的负面评价，但技术的开发者和应用者的价值观并非中立，深度合成的参与者应受到法律和道德伦理的约束。近年来，国内外已发生多起利用AI深度合成技术实施违法行为的案例，这些案例为我们提供了深刻的教训。本文将对AI深度合成技术滥用的法律风险进行深入分析，并提出相应的防范对策。
一、AI深度合成技术的主要应用场景与潜在风险
AI深度合成技术的主要应用场景包括人脸替换（换脸）、人脸再现、人脸合成以及语音合成等，这些技术在娱乐、广告、教育等领域具有广泛的应用前景。然而，当这些技术被滥用时，将带来一系列潜在风险。一方面，该技术可能被用于制作和传播虚假信息，侵犯他人的知识产权和人格权。另一方面，该技术还可能被用于网络诈骗、谣言传播等犯罪行为，对受害人的财产和精神造成极大的伤害。
（一）著作权侵权
AI深度合成技术的滥用可能构成知识产权侵权。在陈某诉上海某网络科技公司侵害作品信息网络传播权纠纷案中，被告公司未经授权，通过AI换脸技术将原告陈某的古风短视频合成并展示，构成侵权。法院认定涉案视频与原始视频实质性相似，判决被告赔偿7500元。
（二）人格权侵权
AI深度合成技术的滥用可能侵犯他人的姓名权、名誉权、隐私权、肖像权等人格权。
1.侵犯姓名权、肖像权和一般人格权
在何某诉上海自某人工智能科技有限公司网络侵权责任纠纷案【案号：（2021）京04民终777号】中，自某公司未经何某授权，在其运营的“某记账”软件中使用何某的姓名和肖像创建AI陪伴者角色，并进行商业化利用。法院认定，该行为不仅侵犯了何某的姓名权和肖像权，还通过算法规则和互动设计，侵犯了其一般人格权，具体表现为对人格自由和人格尊严的侵害。最终，法院判决自某公司公开赔礼道歉，并赔偿经济损失及精神损害抚慰金。
2.侵犯肖像权
AI深度合成技术（如换脸技术）未经授权处理他人肖像，构成对个人信息权益的侵害。在重庆市江北区人民法院审理的一起肖像权纠纷案【案号：（2023）渝0105民初36081号】中，被告重庆米某有限公司未经原告张某萍（网红博主）授权，使用其肖像制作换脸视频进行商业宣传。法院认定被告行为构成侵权，判决其书面道歉并赔偿2000元。
（三）侵害个人信息权益与社会公共利益
在杭州市萧山区人民检察院、虞某某网络公益诉讼案【案号：（2023）浙0192民初4563号】中，被告虞某某利用换脸软件非法处理并传播他人人脸信息，制作并传播高度逼真的伪造视频、图片。其行为通过网络社交群组向2000余名成员发布，侵害了百余人的个人信息权益，并威胁到社会公共利益。
虞某某侵害的人脸信息属于高度敏感的生物识别信息，滥用此类信息将对个人的人格尊严、人身安全和财产安全构成严重威胁。此外，其行为涉及淫秽色情内容，进一步加剧了社会危害性。
根据《中华人民共和国个人信息保护法》，虞某某的行为符合提起公益诉讼的条件。法院支持公益诉讼起诉人的主张，判决虞某某承担停止侵权、赔礼道歉、消除影响及支付公益损害赔偿金等民事责任。
（四）刑事犯罪
AI深度合成技术的滥用还会构成刑事犯罪。
1.编造、故意传播虚假信息罪
在（2023）浙0604刑初735号案件中，被告人张某伟、陈某宇利用AI技术生成虚假视频及文案，并在网络平台发布，涉及多地虚假灾情、警情，累计阅读量超百万次，严重扰乱社会秩序。法院认定其行为构成编造、故意传播虚假信息罪，判处有期徒刑一年一个月，缓刑一年六个月。
2.电信诈骗罪
在重庆某舞蹈公司与姚某、周某、陈某、郑某劳动争议案中，犯罪分子利用AI“换脸”“变声”技术，冒充公司董事长要求员工加入虚假QQ群，并指示会计转账895万元。法院认定四名员工因重大过失导致公司损失，判决其各自承担10%的赔偿责任。二审维持原判。
二、为应对这些风险，我国已出台多项法律法规，对AI深度合成技术的开发、使用进行规范
《互联网信息服务深度合成管理规定》对深度合成服务提供者和技术支持者提出了具体的要求，如不得从事违法活动、不得制作、复制、发布、传播虚假新闻信息。应当加强深度合成内容管理，采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。还应当建立健全用于识别违法和不良信息的特征库，如果发现违法和不良信息的，应当依法采取处置措施，保存有关记录，及时向网信部门和有关主管部门报告；对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。应当建立健全辟谣机制，发现利用深度合成服务制作、复制、发布、传播虚假信息的，应当及时采取辟谣措施，保存有关记录，并向网信部门和有关主管部门报告等。
《互联网广告可识别性执法指南》鼓励互联网广告发布者在显著标明“广告”的同时标明广告发布者身份。对于使用人工智能（AI）技术生成或者深度合成技术制作的广告，鼓励广告发布者作出“本广告使用AI技术”“本广告使用深度合成技术”“本广告由AI技术生成”等提示。
《关于警惕利用AI新型技术实施诈骗的风险提示》《关于防范新型电信网络诈骗的风险提示》提示大家警惕“AI换脸拟声”类诈骗。不法分子以“网店客服”“营销推广”“招聘兼职”“婚恋交友”等为借口，采集发音、语句或面部信息等。利用“换脸”“拟声”等技术合成消费者虚假音频、视频或图像，还可能对明星、专家、执法人员等音视频进行人工合成，假借其身份传播虚假消息，从而实现诈骗目的。
《网络音视频信息服务管理规定》明确要求，网络音视频信息服务提供者和使用者不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。利用AI深度合成技术制作、发布、传播虚假信息的，将依法承担相应责任。
三、AI深度合成技术滥用法律风险的防范对策
（一）加强立法和监管
为了有效防范AI深度合成技术滥用的法律风险，需要加强立法和监管力度。一方面，应尽快出台针对AI深度合成技术的专门法律法规，明确其法律地位和监管要求。另一方面，应加强对相关应用的上架审查和定期检查，及时屏蔽和下架违法违规的应用服务。同时，建立举报和投诉机制，鼓励公众积极举报利用AI深度合成技术制作和传播虚假信息的行为。
在湖南省长沙市开福区人民法院审理的一起全国首例利用人工智能提供盗版影视作品链接的案件中，某信息技术公司起诉某科技公司侵害其信息网络传播权，因后者的人工智能产品在用户输入想看某影视剧后，会优先展示指向盗版资源网站的链接。长沙市开福区人民法院马栏山法庭通过多方征询专家学者意见，并与各方沟通协调，最终推动各方达成共识，案件以撤诉结案。但法院并未止步，而是针对此案向某科技公司发出了全国首份涉“AI”知识产权司法建议书，强调需加强对人工智能产品所生成内容中可能存在的著作权等知识产权侵权风险的审查与管理，并要求建立健全有效的投诉与举报机制。某科技公司收到建议书后迅速复函整改。
此案不仅维护了原告的合法权益，更在业界树立了司法权威。随着生成式人工智能技术的飞速发展，人民法院的这一举措提醒整个AI行业，在追求技术创新的同时，不能忽视法律和道德的底线。
（二）提升技术手段
技术手段的提升是防范AI深度合成技术滥用法律风险的重要途径。具体措施包括：
1.开发先进识别技术：加大对图像、视频和音频识别技术的研发投入，利用深度学习算法识别AI生成内容，提升对虚假信息的检测能力。
2.建立技术标准：与科技公司合作，制定AI深度合成技术的行业标准，明确技术开发和使用中的伦理与法律边界。
3.强化内容审核：平台方应利用AI技术对用户生成内容进行实时审核，自动过滤虚假信息和违法内容，并建立人工复核机制。
（三）强化平台责任
平台方应承担更多的责任，防止AI深度合成技术的滥用。具体措施包括：
1.明确审核义务：平台方应对AI生成内容进行严格审核，确保其符合法律法规和平台规则。
2.建立用户举报机制：为用户提供便捷的举报渠道，及时处理违法违规内容，并对举报者给予奖励。
3.加强技术合作：平台方应与技术公司合作，开发更高效的内容识别和过滤工具，提升对AI生成内容的监管能力。
（四）加强普法宣传和教育
加强普法宣传和教育也是防范AI深度合成技术滥用法律风险的重要手段。一方面，可以通过各种媒体渠道进行普法宣传，提高公众对AI深度合成技术滥用法律风险的认识和警惕性。另一方面，组织相关的培训和讲座活动，引导技术提供者、内容制作者、网络传播者、终端接收者等各方依法合理审慎地开发、鉴别、使用AI工具。
（五）推动国际合作与交流
鉴于AI深度合成技术的全球性和跨国性特点，推动国际合作与交流是防范其滥用法律风险的重要途径。国际上，许多国家和地区已开始制定相关法律法规，以应对AI技术带来的挑战。
1.欧盟的《人工智能法案》（AI Act）
欧盟于2021年提出了《人工智能法案》，旨在对AI技术进行分级监管，明确高风险AI系统的使用限制。该法案特别关注深度合成技术的滥用，要求对AI生成的内容进行透明标识，并禁止利用AI技术进行社会信用评分、大规模监控等高风险行为。欧盟的这一立法为全球AI监管提供了重要参考。
2.美国的立法与实践
美国在联邦和州层面均对AI技术进行了规制。例如，加利福尼亚州通过了《深度伪造法案》（Deepfake Law），要求政治竞选广告中使用的深度合成内容必须明确标注，以防止误导选民。此外，美国国会也在推动《2023年AI责任法案》，旨在明确AI技术开发者和使用者的法律责任，特别是针对深度合成技术的滥用行为。
3.其他国家的实践
加拿大、澳大利亚等国也在积极探索AI技术的法律规制。例如，加拿大《数字宪章实施法案》提出对AI技术的透明性和问责性要求，澳大利亚则通过《在线安全法案》加强对深度合成内容的监管，防止其被用于网络欺凌和虚假信息传播。
AI深度合成技术的滥用往往具有跨国性，单一国家的监管难以有效应对。因此，加强国际间的法律法规协调与合作至关重要。例如，通过联合国、世界知识产权组织（WIPO）等国际组织，推动制定全球统一的AI技术使用标准，建立跨国执法合作机制，共同打击利用AI技术实施的跨境犯罪行为。
四、理论探讨：AI深度合成技术滥用的法律与伦理挑战
AI深度合成技术的滥用不仅带来了具体的法律风险，还对法律体系和伦理秩序构成了深层次的挑战。从法理学和伦理学的角度，可以进一步探讨其对社会秩序和法律原则的冲击。
（一）法理学视角：法律原则的适应性挑战
AI深度合成技术的快速发展对传统法律原则提出了新的挑战。例如，传统的“过错责任”原则在AI技术滥用案件中可能难以适用，因为技术的复杂性和隐蔽性使得责任主体难以明确。此外，AI生成内容的“真实性”问题也对证据规则提出了挑战，如何认定AI生成内容的证据效力成为司法实践中的难题。因此，法律体系需要与时俱进，调整现有原则以适应新技术带来的变化。
（二）伦理学视角：技术滥用对社会信任的冲击
从伦理学角度看，AI深度合成技术的滥用严重破坏了社会信任。例如，利用AI技术生成的虚假信息可能导致公众对媒体、政府甚至亲友的信任度下降，进而引发社会恐慌和秩序混乱。此外，AI技术对个人隐私的侵犯也引发了伦理争议，如何在技术进步与隐私保护之间找到平衡，成为亟待解决的伦理难题。
（三）社会秩序视角：技术滥用对公共安全的威胁
AI深度合成技术的滥用还可能对公共安全构成威胁。例如，利用AI技术伪造政府官员的讲话视频或制造虚假的灾难信息，可能引发社会动荡。这种技术滥用不仅挑战了现有的法律框架，也对社会治理能力提出了更高要求。
（四）法律与伦理的协同应对
面对AI深度合成技术滥用带来的法律与伦理挑战，需要法律与伦理的协同应对。一方面，法律应加强对技术滥用的规制，明确责任主体和追责机制；另一方面，伦理教育应引导技术开发者和使用者遵守道德规范，避免技术滥用对社会造成负面影响。
小结
通过具体案例的分析，我们可以清晰地看到AI深度合成技术滥用的法律风险。为了有效防范这些风险，我们需要从立法、监管、技术手段、对参与者的普法宣传和教育以及国际合作与交流等多个方面入手，形成综合性的防范措施。只有这样，我们才能确保AI深度合成技术在合法、安全、可控的轨道上健康发展，为社会创造更多的价值和福祉。同时，我们也应认识到，技术的快速发展往往伴随着新的挑战和问题。因此，我们需要持续关注AI深度合成技术的发展动态和潜在风险，不断调整和完善相关政策和法规，以适应时代发展的需要。
总之，AI深度合成技术是一把双刃剑，在享受其带来便利的同时，也要警惕其潜在风险。通过完善法律法规、加强技术监管、强化平台责任、提升公众意识等多方面努力，才能有效防范AI深度合成技术滥用，促进其健康发展。
