人工智能生成合成内容带来的挑战与应对 ——视听内容平台可持续发展维度的探索和思考

  近年来，生成式人工智能技术的突破性进展，正在重塑全球视听内容的生产与传播范式。以Chat-GPT 4o、Sora、Midjourney、即梦、可灵等国内外大模型为代表，生成式人工智能技术工具已实现文生图、文生视频、图生视频、音乐创作等多种创作辅助手段，大大降低了视听内容生产的门槛。相关机构预测，到2028年全球生成式人工智能市场规模将占AI市场投资总规模的35%[1]；中国的生成式人工智能市场投资规模将超300亿美元，占AI市场投资总规模的30.6%[2]。

  在视听行业，人工智能（后续也用“AI”指代）生成、合成内容正广泛应用于内容策划、拍摄制作、运营推广、产业拓展等业务场景中。内容方面，央视及各地卫视纷纷推出虚拟主播播报新闻，腾讯、爱奇艺等平台推出AI生成的短剧或动画片，抖音、小红书等平台上的AI生成短视频更是覆盖美妆、时尚、生活多个垂类；生产流程方面， AI技术参与完成的虚拟角色和特效场景已经十分普遍，不少媒体平台也开发了AI技术支撑的智媒生产平台，以提升从生产、审核到分发、运营的全链路效率（如澎湃新闻“派生万物”AI开放平台、百视通“文心雕龙”内容辅助创作平台等）。可见，生成式人工智能技术正成为视听行业降本增效、产业生态多元化发展的有力“助攻”。

  但AI技术在提高生产力的同时，也催生了不少内容乱象。这些乱象有些源自AI技术本身的数据黑箱和AI幻觉（指大语言模型编造它认为是真实存在的甚至看起来合理或可信的信息）[3]，有些是人为的恶意操作。对此，监管部门正在加紧立法立规的步伐。本文试图梳理目前的AI生成合成内容乱象，并从视听内容行业的视角出发，讨论应对策略，探讨可持续发展的措施。

一、视听领域AI生成合成内容的问题及其风险

  在互联网信息传播和视听内容领域，AI生成合成内容正在不断产生诸多安全问题。虚假新闻引发公众恐慌，伪造视频扰乱市场秩序，隐私侵犯和数据泄露危及企业与个人安全等问题时有发生。典型的案例类型有：

  （一）AI生成虚假信息问题

  AI幻觉是该技术诞生以来一直就存在的问题。一些聊天机器人编造事实、虚构信息的几率高达30%[4]。在算法大数据和AI技术的介入下，虚假信息的编造和传播变得更加“易如反掌”，对信息真伪的鉴别也变得愈加困难。

  如2024年8月新疆库车5.0级地震发生后，部分自媒体账号为博眼球、蹭流量，利用AI技术手段生成与此次地震不符的图片，在网上发布“库车市地震导致多处房屋倒塌”的图文、音视频等虚假信息，严重误导公众认知[5]。2025年2月，有网民为了吸引流量、赚取利益，利用AI洗稿，编造了“国内首例智能驾驶致死案宣判”的谣言[6]。据新华网等媒体报道，利用AI造谣甚至已经形成了灰色产业链。

  （二）AI生成合成内容侵权问题

  AI大模型训练过程中使用的各类原始语料数据是否应当充分获得原所有者的授权，这件事本来就在全球范围内存在争议。在视听领域等应用端，AI技术在文生图、文生视频、虚拟形象、AI生成声音、AI换脸等多个方面的产出已经引发了诸多实际性的侵权案例。

  如在一起入选“2023中国法治实施十大事件”的AI侵权案例中，原告运用AIGC软件生成图片并发布在小红书等平台后，被告未经授权去掉了原图署名水印并用在了自己的公众号文章中，让公众误以为图片为被告制作，被判侵犯了原告的信息网络传播权与署名权。[7]

  短视频领域也是AI侵权的“重灾区”。如2024年底，某网络公司通过其开发的“AI一键成片”功能，在未经授权的情况下，将某热播剧内容切成3到7秒的短视频，并进行传播以及提供给用户作素材，最终被判侵犯了该片版权方的信息网络传播权[8]。同年底，国家广播电视总局曾发布管理提示，指出AI“魔改”视频以假乱真、“魔改”经典现象频发，如《甄嬛传》枪战版、“孙悟空骑摩托车”、《红楼梦》爆改“武打戏”等，不仅涉嫌对原作侵权的问题，其在毫无边界地亵渎经典IP、冲击传统文化知识的同时也散播了不正确的价值导向[9]。

  除此以外，近年来国内外发生的AIGC侵犯肖像权、名誉权、隐私权等案例也层出不穷。这些问题都凸显了AI生成合成内容管理的紧迫性。

  （三）滥用AI进行虚假营销和商业欺诈

  在电商带货等营销领域，滥用AI生成合成技术误导或欺骗消费者的行为不断出现。部分无良商家通过AI换脸、合成人声等手段，将专家、明星等知名人士面容和声音移花接木用于直播带货，不仅侵犯知名人士肖像权，也欺骗了消费者。如2024年12月，有商家发布的视频中，“张文宏医生”正在推荐一款蛋白棒，但经过核实，该视频为未经授权的AI合成品[10]。部分商家，以AI生成虚假图片吸引消费者买单，实际商品与图片差距巨大。2025年3月，淘宝就进行过一次平台AI假图治理，拦截AI造假或过度加工的商品图片近10万张。

  （四）同质化严重及内容低质问题

  批量生产的同时也催生了内容的低质化。许多低质的自媒体运营者利用AI生成合成技术低成本快速、批量复制内容，甚至多个账号使用相同的提示词、相同的AI工具生成内容，导致网文平台、短视频平台、社媒平台内容同质化愈趋严重。

  此外，一些AIGC工具性平台对产出内容的安全性缺乏审查和监管，在用户引导下生成了包含色情、暴力、歧视等违背主流价值导向甚至涉嫌违法违规的内容，导致不良信息在网络上传播。

二、视听平台内容运营面对的挑战

  作为AI生成合成技术的重要应用场景，视听行业也是上述安全问题最为显著的领域。各视听内容平台作为AI生成合成内容传播的关键枢纽，在享受技术带来的创新与便利的同时，也面临着前所未有的监管压力和责任。如何在遵循监管要求的前提下，实现内容安全与创新发展的平衡，成为行业亟待解决的重要课题。

  （一）数据安全与版权管理的困境

  目前，用于AIGC（人工智能生成内容）训练数据的版权归属界定仍然模糊，国内外均未有明确的定论或法律条款，但这不代表AI训练过程中抓取的数据没有侵权风险。视听内容平台通常为AIGC工具的应用者，也存在进行AI数据训练的情况。不过，平台上更为海量的是采购和用户生成的内容，而非平台自己生产的。这些内容生成时使用的训练素材是否合规，作为传播平台其实非常难于判断。一方面，内容标识技术尚未完全成熟，另一方面，尽管已经有内容平台采取了技术手段加以鉴别，但由于AI模型自身安全风险的存在、用户恶意使用的内容量级较大，部分AI生成合成的“深度伪造”内容仍难以通过现有算法精准识别。

  （二）内容把关难度提升

  多模态组合生成技术的复杂性使得传统人工审核团队面临新的压力。新型的内容违规和低质量问题可能层出不穷。例如用户利用AI生成各种专业领域的虚假信息内容，平台审核人员可能因为缺乏专业类知识，加上“深度伪造”展示出的“一本正经瞎说”的能力，而最终导致审核疏漏；再如某长视频平台创作人员在用AI进行文生图的过程中，出现了“文化乱用”的现象，将日本传统文化的元素嫁接在了中国传统文化语境的构图中，这对创制和审核团队的文化认知敏感性也提出了高度挑战。此外，用户上传内容中更易出现用AI生成合成技术批量生成的低俗、暴力内容，平台的内容审核压力也随之提升。

  （三）政策管理更新快带来的管理成本提升

  《人工智能生成合成内容标识办法》及配套的强制性国家标准2025年9月开始正式施行，按规定，企业在开发和提供生成式AI服务时，必须在产品中内置隐性标识，如元文件中加入相应字段；同时在已生成的内容上添加显性标识，如图片、视频画面上要压制水印角标，音频文件中要有声纹水印。对于已经在线的内容，平台可能需要增加大量生产成本制作显性角标（如视频需要重新按时长1:1压制）；隐性标识方面，则可能存在技术实现的复杂性因素。又如《互联网信息服务深度合成管理规定》中提到，企业提供的相关AI产品如具有舆论属性或者社会动员能力的，需要按照《互联网信息服务算法推荐管理规定》进行备案和变更、注销等手续。但对于什么是“具有舆论属性或社会动员能力”，没有明确的界定，需要产品运营方自行判断。

  此类问题加上AI技术迭代速度远超监管政策更新频率，平台在应对新兴应用场景时缺乏明确指引，容易导致监管执行难以落地。

三、共融共生：视听平台的应对策略及基于未来发展的“风险共治”

  探究AI生成合成内容监管的困境以及应对策略，不仅关乎行业的健康发展，更是维护信息社会和网络空间秩序、保障公众合法权益的现实需求。当前，我国通过逐步制定完善人工智能相关的监管体系框架，规范技术和行业发展。然而，发展与管理的博弈是复杂的、动态的。技术迭代的指数级速度与法律制度的渐进式更新之间的矛盾，机构资本的趋利属性与社会公众的利益冲突，在每一次技术创新和产业跃迁的过程中都存在。也正因此，管理的核心不能仅仅是“风险控制”，而是需要真正转化为技术发展与行业生态都认可的“风险共治”，人工智能技术应用中的各利益相关方需要在不断探索和协同中取得一致的价值取向，才能形成治标也治本的管理成效。

  从我国互联网视听平台二十年的发展经验来看，平台要跳脱被动监管的思维，成为主动治理的参与者，行业才能真正实现向上向善的可持续发展。如何与AI共融共生，将是视听平台需要长期探索的命题。目前，针对各种AIGC乱象和发展中的问题，各平台也从利益相关者视角采取了一系列“风险共治”的探索。

  （一）规范人工智能大模型的使用，以技术手段强化内容安全审核

  视听内容平台上的内容来源大致可划分为平台自有内容（包括版权采购和自制）和他人上传内容（包括机构上传或个人用户上传）。其中易产生风险、增加审核难度的主要集中于他人上传的AI生成合成类内容。对以上内容的安全管理，平台需要通过建立一定的技术规范，提升AI大模型工具使用中的有害内容防范能力。

  一是要构建敏感词和关键信息过滤系统，用户在输入或输出内容时，通过系统匹配和识别，对敏感信息进行拦截、过滤。如东方明珠新媒体旗下东方购物的AI客服功能就建立了自己的网安数据库敏感信息过滤系统，输入和输出信息数据均会经过该系统，保证最终内容安全可控；如果用户诱导AI生成违规内容，系统也会增加风险提示词预警中断对话或转为人工服务。

  二是要设置一定的预警机制，对高危内容和不确定的信息增加人工复核环节。目前，爱奇艺、哔哩哔哩、抖音、小红书等均有自研的AI内容审核系统，结合图像识别、语音分析、语义理解、动态水印追踪等多种技术手段，快速识别AI生成合成类内容，结合人工审核对不符合管理规定的内容进行处理。但对于新闻、金融财经、法律资讯、医疗健康等容易产生极大公众影响的内容类别，为避免机器过滤产生疏漏，应当增加人工审核，确保内容安全闭环。

  三是对于平台自有内容，在内容作品创制过程中，就要提升创制人员内容安全敏感度，对AI生成的不符合内容安全要求的元素提前把关，降低作品完稿后的问题率。如东方明珠新媒体旗下播出平台百视通，除了配备有完善的三审流程外，也注重提升内容策划人员发现敏感问题的能力，在AI生成合成类内容创制阶段就发现不少AI幻觉产生的内容质量问题，保证出品质量。

  四是针对版权归属问题，我国目前对AIGC版权归属采取的核心原则是强调AI生成物是人类智力投入的成果转化；因此在实际应用中，平台要注意从语料输入到机器学习再到成果输出各阶段都遵循此原则。首先要注意使用的第三方AIGC工具本身对于版权问题的细则条款，特别是境内外工具在版权规定上的区别，其次在训练模型及生成内容时，尽量优先选择版权合规的素材，避免使用未经授权的作品作为训练底图，最后对自创的AI生成物，也要做好原创性记录，保护自身合法权益。如腾讯视频在利用AI生成合成技术为用户提供个性化影视推荐时，所使用的数据均来自获得合法授权的影视库，避免了因数据侵权引发的法律风险。

  （二）完善用户教育与引导，通过优化制度推进落实内容标识管理规则，推动内容安全治理

  平台应通过多种渠道（如首页指引、用户协议、弹窗提示等）向用户普及AI生成合成技术的基本原理和应用场景，帮助用户更好地理解和辨别AI生成合成类内容，并告知用户内容标识责任。通过批量附加显性水印的方式向用户提示内容由AI生成，强化用户内容标识的概念；对用户要求去水印的内容，要通过明显的责任义务告知页面教育用户知晓安全风险责任，同时也要通过技术方式对数据元文件添加隐性标识确保内容可溯源。对于AI客服、AI互动等功能性产品，要在页面合适位置加注声明（如在问答段落结尾提示该回答由AI生成），提醒用户注意确认内容准确性。同时，平台可以通过建立违规内容举报通道和积分奖励等方式，鼓励用户积极参与内容管理。

  目前，一些视听平台已通过发布公告、新增用户协议等方式来明确内容使用规范和用户隐私保护协议，引导用户进行自律，同时保护企业自身利益。如：抖音在其安全中心发布有《关于人工智能生成内容的平台规范暨行业倡议》《关于人工智能生成内容标识的水印与元数据规范》等公告，规定了生成人工智能内容要进行显著标识、严禁传播虚假信息等。小红书在2023年已启动针对生成式AI内容的治理体系建设，平台会对识别为疑似AI生成合成的内容进行显著标识，提醒用户注意甄别内容真实性。平台还设置了机器识别+人工识别的双重屏障，以减少AI生成的低质内容的曝光，针对其中侵权、假冒、诱导等内容第一时间下架处理。随着《人工智能生成合成内容标识办法》的发布，据媒体调查，小红书、微博、微信公众号（含视频号）、抖音、快手、B站、豆瓣、知乎等社交平台已为用户上传AI生成合成内容提供了主动声明功能[11]。

  一些拥有内容创制能力的视听企业，则在内容生产端也建立了完善的人工智能使用管理制度规定，从内容标识、训练模型的语料数据归属权、内容审核、数据保密及知识产权等方面来确保生产过程中的安全和产出的内容合法合规。

  （三）加强与监管部门信息沟通，推进行业协作和标准共建

  各视听内容平台可以互相联合，共同推动建立如AIGC管理联盟、版权共享数据库，研发AIGC安全管理体系、内容识别技术，建立违规内容数据库等，分享管理经验与技术成果，促进AIGC质量和内容安全性的提升。2024年8月，在成都举办的2024年中国网络文明大会上，已经发布了《生成式人工智能行业自律倡议》，由包含部分视听平台在内的70余家单位参与编写。《倡议》从保障数据和算法模型安全合规、促进内容生态建设、追求技术创新与质量提升、遵循价值观与伦理道德标准、促进交流合作与开放共建等方面提出倡议。[12]

  与此同时，平台也可加强与监管部门沟通，从政策实际落地的角度进行交流与研讨，了解最新的政策监管动态，以便快速调整平台管理策略，确保能按照最新标准要求执行。长期来看，行业的共享互动和共治，可助力平台参与安全治理规则的共建，形成行业治理合力，推动平台AI生成合成内容生态可持续发展。

四、结语

  技术的合理性就是控制的合理性。生成式人工智能技术带来的不仅是内容生产方式的颠覆，更是对人类文明在社会历史进程中的一次“灵魂叩问”。科幻作品中对人工智能技术发展威胁的担忧似乎正在成为眼前的现实，这对监管智慧、技术伦理、商业道德、公众利益都是不小的挑战。当前，监管部门和各利益相关者对AI生成合成内容安全治理的探索，已经为视听平台对AI技术深入应用、与之共融共生提供了初步保障。

  技术迭代仍在继续，合规管理也要持续进行。从可持续发展的角度来看，这是一个各方协作、共同推进的过程。监管的终极目标并非简单的风险管控，而是一种探索技术可持续发展的必要手段，最终目标是实现技术与社会的和谐发展，这在人工智能技术领域尤为突出。也正是在这个意义上，包括视听内容平台在内的市场主体的主观作为显得至关重要。AI技术本身也将会应用到管理能力的提升当中来，以“AI治理AI”并不是一场悖论，而是通过可控的流程、可解释的算法、可操作的规则，从源头上完善生成式人工智能技术的内容安全机制，从而推动技术给产业带来的福利向纵深发展。

（作者简介：李兆丰，东方明珠新媒体股份有限公司总编室主任；

姚菲菲，东方明珠新媒体股份有限公司总编室宣传管理经理）

注释

【1】朱雨蒙.IDC：预计到2028年中国人工智能总投资规模将突破1000亿美元.证券时报网，2025:4-7

【2】汪淼.IDC：2028年中国AI总投资规模将突破1000亿美元，五年复合增长率达35.2%.IT之家，2025:4-7

【3】百度百科 https://baike.baidu.com/item/AI%E5%B9%BB%E8%A7%89/64539328

【4】刘霞.生成式AI“幻觉”困境如何破解.科技日报，2025:1-28

【5】利用AI造谣扰乱视听 联动整治维护网络清朗——中国互联网联合辟谣平台2025年2月辟谣榜综述.中国网信网，2025:3-13

【6】张笛扬,徐勉,王诗堃.假的假的假的！AI造谣越来越猛，该怎么办？.南方+客户端，2025:3-10

【7】林平.2023中国法治实施十大事件：首例AI生成图片著作侵权案入选.澎湃新闻，2023:12-30

【8】刘希平.全国首例！《庆余年》遭“AI一键成片”侵权，法院判了.法治周末，2025:2-28

【9】广电总局要求规范AI“魔改”短视频.国家广电总局官网，2024:12-10

【10】张吉豫.名人“被AI带货”警示内容治理须跟上.法治日报-法治网，2025:1-2

【11】杨柳,樊文.AI内容标识纳入强监管，实测23款主流平台落地现状.南方都市报，2025:3-18

【12】保障数据安全与隐私《生成式人工智能行业自律倡议》发布.央视新闻客户端,2024:8-29.https://content-static.cctvnews.cctv.com/snow-book/index.html?item_id=5450832666180353041&toc_style_id=feeds_default