近年来,人工智能技术快速发展,为生成合成文字、图片、音频、视频等信息提供了便利工具,海量信息得以快速生成合成并在网络平台传播,在促进经济社会发展的同时,也产生了生成合成技术滥用、虚假信息传播扩散加剧等问题。

面对人工智能安全治理这一世界性难题,国家网信办等四部门适时出台《人工智能生成合成内容标识办法》(以下简称《标识办法》),在全球率先提出保障人工智能安全可信的中国方案,具有里程碑式的重要意义。
《标识办法》聚焦人工智能生成合成内容标识关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,以合理成本提高安全性,促进人工智能在文本对话、内容制作、辅助设计等各应用场景加快落地,同时减轻人工智能生成合成技术滥用危害,防范利用人工智能技术制作传播虚假信息等风险行为,推动人工智能健康有序发展。
人工智能生成合成内容的定义与范围
根据《标识办法》,人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。这一定义包含两类技术,一是人工智能生成技术;二是人工智能深度合成技术。
人工智能生成技术,是一种基于算法、模型和规则,能够生成文本、图片、声音、视频等多元内容的技术。不同于传统的人工智能仅对输入数据进行处理和分析,生成式人工智能可以学习并模拟事物的内在规律,根据用户的输入资料生成具有逻辑性和连贯性的新内容。
人工智能深度合成(Deep Synthesis)技术,也被称为深度伪造(Deepfake),是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术。深度合成技术包括但不限于:篇章生成、文本风格转换、问答对话等生成或者编辑文本内容的技术;文本转语音、语音转换、语音属性编辑等生成或者编辑语音内容的技术;音乐生成、场景声编辑等生成或者编辑非语音内容的技术;人脸生成、人脸替换、人物属性编辑、人脸操控、姿态操控等生成或者编辑图像、视频内容中生物特征的技术;图像生成、图像增强、图像修复等生成或者编辑图像、视频内容中非生物特征的技术;三维重建、数字仿真等生成或者编辑数字人物、虚拟场景的技术。
标识形式与具体要求
《标识办法》明确了人工智能生成合成内容标识的两种形式:一是显式标识,二是隐式标识。
显式标识是指在生成合成内容或者交互场景界面中添加的,以文字、声音、图形等方式呈现并可以被用户明显感知到的标识。根据《标识办法》第四条的规定,服务提供者提供生成合成服务属于智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务,应当按照下列要求履行对生成合成内容添加显式标识的义务:
在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识,或者在交互场景界面、文字周边添加显著的提示标识;
在音频的起始、末尾或者中间适当位置添加语音提示或者音频节奏提示等标识,或者在交互场景界面中添加显著的提示标识;
在图片的适当位置添加显著的提示标识;
在视频起始画面和视频播放周边的适当位置添加显著的提示标识,可以在视频末尾和中间适当位置添加显著的提示标识;
呈现虚拟场景时,在起始画面的适当位置添加显著的提示标识,可以在虚拟场景持续服务过程中的适当位置添加显著的提示标识;
其他生成合成服务场景根据自身应用特点添加显著的提示标识。
《标识办法》强调,服务提供者提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识。
隐式标识是指采取技术措施在生成合成内容文件数据中添加的,不易被用户明显感知到的标识。根据《标识办法》第五条的规定,服务提供者应当按照《互联网信息服务深度合成管理规定》第十六条的规定,在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。鼓励服务提供者在生成合成内容中添加数字水印等形式的隐式标识。
文件元数据是指按照特定编码格式嵌入到文件头部的描述性信息,用于记录文件来源、属性、用途等信息内容。
各主体的标识义务与责任边界
《标识办法》明确界定了服务提供者、传播平台、互联网应用程序分发平台和用户的相关标识义务。
服务提供者的标识义务:服务提供者应当对文本、图片、音频、视频、虚拟场景等生成合成内容添加显式标识,在提供生成合成内容下载、复制、导出等功能时,应当确保文件中含有满足要求的显式标识;应当在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息;应当在用户服务协议中明确说明生成合成内容标识的方法、样式等规范内容,并提示用户仔细阅读并理解相关的标识管理要求。
传播平台的核验义务:提供网络信息内容传播服务的服务提供者应当采取下列措施,规范生成合成内容传播活动:
核验文件元数据中是否含有隐式标识,文件元数据明确标明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,明确提醒公众该内容属于生成合成内容;
文件元数据中未核验到隐式标识,但用户声明为生成合成内容的,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容可能为生成合成内容;
文件元数据中未核验到隐式标识,用户也未声明为生成合成内容,但提供网络信息内容传播服务的服务提供者检测到显式标识或者其他生成合成痕迹的,识别为疑似生成合成内容,采取适当方式在发布内容周边添加显著的提示标识,提醒公众该内容疑似生成合成内容;
提供必要的标识功能,并提醒用户主动声明发布内容中是否包含生成合成内容。
有前款第一项至第三项情形的,应当在文件元数据中添加生成合成内容属性信息、传播平台名称或者编码、内容编号等传播要素信息。
互联网应用程序分发平台的审核义务:互联网应用程序分发平台在应用程序上架或者上线审核时,应当要求互联网应用程序服务提供者说明是否提供人工智能生成合成服务。互联网应用程序服务提供者提供人工智能生成合成服务的,互联网应用程序分发平台应当核验其生成合成内容标识相关材料。
用户的标识义务:用户使用网络信息内容传播服务发布生成合成内容的,应当主动声明并使用服务提供者提供的标识功能进行标识。如果用户申请服务提供者提供没有添加显式标识的生成合成内容的,服务提供者可以在通过用户协议明确用户的标识义务和使用责任后,提供不含显式标识的生成合成内容,并依法留存提供对象信息等相关日志不少于六个月。
主要平台的响应与实施情况
随着《标识办法》9月1日正式实施,各大平台纷纷响应,推出相应的标识措施。
抖音平台近期公布了一项关于人工智能生成内容(AI内容)管理的重要更新,旨在提升平台内容的透明度与用户体验。据悉,抖音平台已推出两大核心功能,以应对日益增长的AI内容。第一项功能为AI内容标识,它鼓励内容创作者为使用AI技术生成的内容主动添加明确标识,使用户能够轻松区分此类内容。第二项功能则是AI内容元数据标识读写,该功能能够识别并记录AI内容的元数据,为内容的追踪与验证提供技术支持。
抖音强调,所有在平台上制作和发布AI内容的账户,必须使用平台提供的标识功能进行声明。对于未主动标识的AI内容,抖音将采用技术手段进行检测,并对疑似由AIGC技术生成的内容补充添加提示标识。抖音还会为所有发布的AI内容添加隐式标识,包含关键传播信息,以强化全链路管理。
对于未主动添加标识的创作者,抖音将采取辅助措施。平台会检测疑似使用AIGC技术生成的内容,并为其添加”疑似使用了AI生成技术,请谨慎甄别”的标识。同时,如果AIGC技术服务提供者在生成AI内容时已在元数据中添加隐式标识,抖音在核验出该信息后,将在作品页面添加”作品含AI生成内容”的标识。
DeepSeek于9月1日公告称,为贯彻落实《人工智能生成合成内容标识办法》及《网络安全技术人工智能生成合成内容标识方法》等国家标准的相关要求,防止AI生成内容可能引发的公众混淆、误认以及信息失实的风险,DeepSeek已在平台内对AI生成合成内容添加标识,并明确提醒用户相关内容由AI生成。
小红书、哔哩哔哩、Soul等平台已基本完成显式标识规范上线,加快开发上线隐式标识和传播链互认验证,小红书牵头编制图片模态元数据标识实践指南,上海标识工作取得阶段性成效。
实施初期的主要成效
《标识办法》的实施已经在多个方面取得了初步成效:
首先,提升了内容的可追溯性。通过显式和隐式双标识系统,内容从生成到传播的全链条都能被有效追踪。
其次,提高了监管效率。标识制度的实施可以让监管部门更便捷地识别AI生成内容,追溯内容的来源和传播轨迹,以合理成本提高安全性。以往对于生成式人工智能的监管需要按个案判断,难度较大,而现在通过标识可以实现大规模、高可靠性和低成本的监管。
第三,促进了产业合规发展。《标识办法》和《标识标准》通过细化生成合成内容管理规则,推动了人工智能产业标准化进程,构建了一个更加公平、透明且高效的市场环境,不仅增强了市场主体参与产业的积极性,助力传统产业转型升级,还促进了产业链上下游的协同创新,为产业规模化发展提供了内生动力,从而助力国产生成式人工智能生态的健康发展。
第四,增强了公众对AI内容的辨识能力。通过显式标识,用户能够更加清晰地辨别AI生成内容,从而避免被虚假信息误导。
第五,规范了内容传播秩序。通过对传播平台设置核验义务,《标识办法》有效规范了AI生成内容在网络空间的传播,防止了虚假信息的扩散。
实施过程中面临的挑战
尽管《标识办法》的实施取得了积极成效,但在实际操作过程中仍面临一些挑战:
首先,技术执行层面的挑战。隐式标识的元数据标准虽然具有创新性,但在实际执行中,可能面临被规避和移除的风险。各平台需要继续探索技术上可行的统一路线,确保隐式标识的稳定性和可靠性。同时,对于不同内容形态的显式标识,也需要进一步优化标识方案,提高标识的可识别性和用户接受度。
其次,用户体验与商业利益的平衡。严格执行标识规定可能会对用户体验和商业利益产生一定影响。例如,某短视频平台数据显示,严格执行视频起始3秒标识将导致用户完播率下降19%。这就需要探索如动态弱化技术(如透明度渐变)等方式,在满足合规要求的同时,尽量减少对用户体验和商业运营的负面影响。
第三,误判率问题。由于算法存在数据偏差和场景适配不足等问题,可能会出现原创内容被误判为AI生成的情况,导致创作者权益受损。因此,需要建立相应的保障机制,如完善复核机制,建立便捷、有效的申诉渠道,以解决误判问题,保护创作者的合法权益。
第四,标识统一性和互操作性问题。不同平台和服务提供者在标识实施上可能存在差异,这可能导致标识的不一致性和互操作性问题。如何建立统一的标识标准和互操作机制,是需要进一步解决的问题。
第五,技术成本问题。对于一些小型企业和开发者来说,实施复杂的标识技术可能会增加成本和技术负担。如何降低技术实施门槛,让更多的市场主体能够合规运营,是需要考虑的问题。
未来发展趋势与建议
随着AI技术的不断发展,AI生成合成内容标识技术也将面临新的机遇和挑战。以下是几个可能的技术发展趋势及应对策略:
首先,标识技术的智能化与自动化将成为重要趋势。未来的标识技术将更加智能化和自动化,能够自动识别和标记AI生成内容,减少人工干预的需求。例如,基于深度学习的AI检测模型将更加精准和高效,能够快速识别各种类型的AI生成内容。某头部企业开发的DeepTrack系统,对生成文本的检测准确率达91.2%,响应时间优化至0.4秒。
应对策略:建议加大对AI标识技术研发的投入,推动跨行业、跨领域的技术合作,共同开发更加先进、高效的AI标识技术。同时,建立健全技术标准和规范,确保不同系统之间的互操作性和兼容性。
其次,多模态标识技术将得到广泛应用。随着AI技术的发展,未来的AI生成内容将更加多样化和复杂化,单一模态的标识技术将难以满足需求。因此,多模态标识技术将成为未来的发展趋势,能够同时对文本、图像、音频、视频等多种模态的内容进行标识和追踪。
应对策略:建议加强多模态标识技术的研发和应用,建立多模态标识的统一标准和规范,推动多模态标识技术在各个领域的应用和普及。
第三,区块链技术在标识中的应用将进一步深化。区块链技术具有不可篡改、可追溯等特点,能够有效保障标识信息的安全性和可靠性。未来,区块链技术将与AI标识技术深度融合,为AI生成内容提供更加安全、可靠的标识和追溯服务。
应对策略:建议探索区块链技术在AI标识中的应用模式和场景,推动区块链技术与AI标识技术的融合创新,建立基于区块链的AI内容标识和追溯系统。
第四,AI标识技术的国际化将成为必然趋势。随着全球化的深入发展,AI标识技术也需要在国际范围内实现标准化和互认,以应对跨国传播的AI生成内容带来的挑战。
应对策略:建议积极参与国际标准的制定和协调,推动中国AI标识技术与国际标准的对接和互认,提升中国在全球AI治理中的话语权和影响力。
结论与展望
《人工智能生成合成内容标识办法》的实施,是中国在人工智能治理领域迈出的重要一步,标志着中国在规范AI生成合成内容方面进入了法治化、标准化的新阶段。
《标识办法》的实施,对于规范人工智能生成合成内容的传播、保护公众权益、维护网络生态具有重要意义。它不仅有助于遏制虚假信息传播、保护用户权益,还能提升公众对AI技术的信任度,为人工智能产业的创新与发展营造健康环境。同时,它体现了中国在科技治理中平衡创新发展与规范管理的理念,为全球人工智能治理提供了中国方案。
然而,《标识办法》的实施仍面临一些挑战,如技术执行层面的挑战、用户体验与商业利益的平衡、误判率问题等。这些挑战需要政府、企业、社会组织、学术机构、公众等多方共同努力,通过技术创新、政策优化、行业自律、公众参与等多种途径,逐步加以解决。
展望未来,随着AI技术的不断发展和应用,AI生成合成内容将更加多样化和复杂化,对标识工作也将提出更高的要求。因此,需要不断完善《标识办法》的实施细则和配套措施,加强技术创新和应用,推动多元主体协同参与,构建更加完善的AI生成合成内容标识和治理体系。
同时,还需要加强国际合作与交流,积极参与全球AI治理规则的制定和协调,推动中国在AI生成合成内容标识方面的经验和做法与国际接轨,共同应对全球性挑战,推动构建人类命运共同体。