12月11日，国家互联网信息办公室、产业和信息化部、公安部联合发布《互联网信息服务深度合成治理划定》（简称《划定》），夸大不得利用深度合成服务从事法律、行政法规禁止的流动，要求深度合成服务提供者落实信息安全主体责任，该《划定》将于2023年1月10日起施行。
所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的天生合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐天生、人脸天生、人脸替代、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。
近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《划定》的落地利于避免技术滥用于诈骗等不法行为。
深度合成技术已广泛落地生活
自2019年11月起，我国先后出台《网络音视频信息服务治理划定》《网络信息内容生态管理划定》《互联网信息服务算法推荐治理划定》等文件，对天生合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室宣布《互联网信息服务深度合成治理划定（征求意见稿）》，向社会公然征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出详细划定。
中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理题目，应展开有系统性、前瞻性的跨学科研究，对其可能泛起的高风险应用场景进行有针对性的管理与监管。
2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势呈文（2022）》（简称《呈文》）。《呈文》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数目较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。
2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画殊效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，联系关系笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”流动，用户上传照片可一键天生专属异次元形象，但天生结果参差，有的二次元结果符合原图，有的则“谬以千里”。
国泰君安研报预计未来5年，AI绘画在图像内容天生领域的渗透率将达到10%—30%，跟着AI绘画将下一代互联网作为枢纽着力点，该市场规模超600亿元。
除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《呈文》开篇写道：“与其他技术不同，因为人工智能的安全性题目主要来源于算法本身的不安全，它更轻易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。
《划定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法职员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会不乱。出台划定是防范化解安全风险的需要，也是促进深度合成服务健康发展、晋升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公家产生不良影响等较为严峻的结果。
避免技术滥用于不法行为
此次出台的《划定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公然治理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容治理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务天生或编纂的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸天生、沉醉式拟真场景等天生或者明显改变信息内容功能的服务的，应当进行明显标识，避免公家搅浑或者误认。
对于《划定》的出台，人工智能技术行业人士对记者表示，《划定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继承运行，犹如行业实行的手机号实名制一样，对普通人影响不大。
易观聪明院分析师陈一墨对记者表示，《划定》无疑是保证深度合成技术可以得到准确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪流动的本钱小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出步履。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。因为深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营本钱，且《划定》第十七条中所述的明显标识定义较为恍惚，而明显标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性本钱。
上海大邦律师事务所游云庭律师对第一财经表示，新划定主要是对与深度合成有关的人工智能进行监管，涉及的工业包括人工智能元宇宙，发布的部分包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。
而《划定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《划定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在练习人工智能时，假如练习数据包含个人信息时，应遵守《个人信息保护》相关划定，假如使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了划定，重点划定了对深度合成服务天生的内容应当进行显著性的标识，对服务者还要求按现有互联网治理划定进行存案由主管部门进行监管。
游云庭以为，对普通人来说，这个划定要求用户需要正当遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的题目，还要给人工智能设置伦理，这个挑战实在很大。
段伟文对记者表示，《划定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。详细落地过程中，毕竟哪些技术层面需要进行安全评估、谁来进行等题目，均需要磨合探索。因此长远来看，《划定》对行业的影响也需结合详细过程来观察。
磨合过程中，段伟文以为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现题目，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公家人工智能素养、数字素养的晋升。
至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《划定（意见稿）》到《划定》终极落地，过程中已有许多企业介入其中，未来仍需让消费者也介入进来，尽量减少对企业立异效率产生负面影响。
12月11日，国家互联网信息办公室、产业和信息化部、公安部联合发布《互联网信息服务深度合成治理划定》（简称《划定》），夸大不得利用深度合成服务从事法律、行政法规禁止的流动，要求深度合成服务提供者落实信息安全主体责任，该《划定》将于2023年1月10日起施行。
所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的天生合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐天生、人脸天生、人脸替代、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。
近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《划定》的落地利于避免技术滥用于诈骗等不法行为。
深度合成技术已广泛落地生活
自2019年11月起，我国先后出台《网络音视频信息服务治理划定》《网络信息内容生态管理划定》《互联网信息服务算法推荐治理划定》等文件，对天生合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室宣布《互联网信息服务深度合成治理划定（征求意见稿）》，向社会公然征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出详细划定。
中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理题目，应展开有系统性、前瞻性的跨学科研究，对其可能泛起的高风险应用场景进行有针对性的管理与监管。
2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势呈文（2022）》（简称《呈文》）。《呈文》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数目较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。
2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画殊效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，联系关系笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”流动，用户上传照片可一键天生专属异次元形象，但天生结果参差，有的二次元结果符合原图，有的则“谬以千里”。
国泰君安研报预计未来5年，AI绘画在图像内容天生领域的渗透率将达到10%—30%，跟着AI绘画将下一代互联网作为枢纽着力点，该市场规模超600亿元。
除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《呈文》开篇写道：“与其他技术不同，因为人工智能的安全性题目主要来源于算法本身的不安全，它更轻易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。
《划定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法职员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会不乱。出台划定是防范化解安全风险的需要，也是促进深度合成服务健康发展、晋升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公家产生不良影响等较为严峻的结果。
避免技术滥用于不法行为
此次出台的《划定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公然治理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容治理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务天生或编纂的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸天生、沉醉式拟真场景等天生或者明显改变信息内容功能的服务的，应当进行明显标识，避免公家搅浑或者误认。
对于《划定》的出台，人工智能技术行业人士对记者表示，《划定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继承运行，犹如行业实行的手机号实名制一样，对普通人影响不大。
易观聪明院分析师陈一墨对记者表示，《划定》无疑是保证深度合成技术可以得到准确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪流动的本钱小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出步履。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。因为深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营本钱，且《划定》第十七条中所述的明显标识定义较为恍惚，而明显标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性本钱。
上海大邦律师事务所游云庭律师对第一财经表示，新划定主要是对与深度合成有关的人工智能进行监管，涉及的工业包括人工智能元宇宙，发布的部分包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。
而《划定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《划定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在练习人工智能时，假如练习数据包含个人信息时，应遵守《个人信息保护》相关划定，假如使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了划定，重点划定了对深度合成服务天生的内容应当进行显著性的标识，对服务者还要求按现有互联网治理划定进行存案由主管部门进行监管。
游云庭以为，对普通人来说，这个划定要求用户需要正当遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的题目，还要给人工智能设置伦理，这个挑战实在很大。
段伟文对记者表示，《划定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。详细落地过程中，毕竟哪些技术层面需要进行安全评估、谁来进行等题目，均需要磨合探索。因此长远来看，《划定》对行业的影响也需结合详细过程来观察。
磨合过程中，段伟文以为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现题目，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公家人工智能素养、数字素养的晋升。
至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《划定（意见稿）》到《划定》终极落地，过程中已有许多企业介入其中，未来仍需让消费者也介入进来，尽量减少对企业立异效率产生负面影响。
12月11日，国家互联网信息办公室、产业和信息化部、公安部联合发布《互联网信息服务深度合成治理划定》（简称《划定》），夸大不得利用深度合成服务从事法律、行政法规禁止的流动，要求深度合成服务提供者落实信息安全主体责任，该《划定》将于2023年1月10日起施行。
所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的天生合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐天生、人脸天生、人脸替代、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。
近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《划定》的落地利于避免技术滥用于诈骗等不法行为。
深度合成技术已广泛落地生活
自2019年11月起，我国先后出台《网络音视频信息服务治理划定》《网络信息内容生态管理划定》《互联网信息服务算法推荐治理划定》等文件，对天生合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室宣布《互联网信息服务深度合成治理划定（征求意见稿）》，向社会公然征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出详细划定。
中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理题目，应展开有系统性、前瞻性的跨学科研究，对其可能泛起的高风险应用场景进行有针对性的管理与监管。
2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势呈文（2022）》（简称《呈文》）。《呈文》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数目较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。
2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画殊效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，联系关系笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”流动，用户上传照片可一键天生专属异次元形象，但天生结果参差，有的二次元结果符合原图，有的则“谬以千里”。
国泰君安研报预计未来5年，AI绘画在图像内容天生领域的渗透率将达到10%—30%，跟着AI绘画将下一代互联网作为枢纽着力点，该市场规模超600亿元。
除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《呈文》开篇写道：“与其他技术不同，因为人工智能的安全性题目主要来源于算法本身的不安全，它更轻易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。
《划定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法职员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会不乱。出台划定是防范化解安全风险的需要，也是促进深度合成服务健康发展、晋升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公家产生不良影响等较为严峻的结果。
避免技术滥用于不法行为
此次出台的《划定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公然治理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容治理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务天生或编纂的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸天生、沉醉式拟真场景等天生或者明显改变信息内容功能的服务的，应当进行明显标识，避免公家搅浑或者误认。
对于《划定》的出台，人工智能技术行业人士对记者表示，《划定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继承运行，犹如行业实行的手机号实名制一样，对普通人影响不大。
易观聪明院分析师陈一墨对记者表示，《划定》无疑是保证深度合成技术可以得到准确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪流动的本钱小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出步履。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。因为深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营本钱，且《划定》第十七条中所述的明显标识定义较为恍惚，而明显标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性本钱。
上海大邦律师事务所游云庭律师对第一财经表示，新划定主要是对与深度合成有关的人工智能进行监管，涉及的工业包括人工智能元宇宙，发布的部分包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。
而《划定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《划定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在练习人工智能时，假如练习数据包含个人信息时，应遵守《个人信息保护》相关划定，假如使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了划定，重点划定了对深度合成服务天生的内容应当进行显著性的标识，对服务者还要求按现有互联网治理划定进行存案由主管部门进行监管。
游云庭以为，对普通人来说，这个划定要求用户需要正当遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的题目，还要给人工智能设置伦理，这个挑战实在很大。
段伟文对记者表示，《划定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。详细落地过程中，毕竟哪些技术层面需要进行安全评估、谁来进行等题目，均需要磨合探索。因此长远来看，《划定》对行业的影响也需结合详细过程来观察。
磨合过程中，段伟文以为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现题目，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公家人工智能素养、数字素养的晋升。
至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《划定（意见稿）》到《划定》终极落地，过程中已有许多企业介入其中，未来仍需让消费者也介入进来，尽量减少对企业立异效率产生负面影响。
12月11日，国家互联网信息办公室、产业和信息化部、公安部联合发布《互联网信息服务深度合成治理划定》（简称《划定》），夸大不得利用深度合成服务从事法律、行政法规禁止的流动，要求深度合成服务提供者落实信息安全主体责任，该《划定》将于2023年1月10日起施行。
所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的天生合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐天生、人脸天生、人脸替代、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。
近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《划定》的落地利于避免技术滥用于诈骗等不法行为。
深度合成技术已广泛落地生活
自2019年11月起，我国先后出台《网络音视频信息服务治理划定》《网络信息内容生态管理划定》《互联网信息服务算法推荐治理划定》等文件，对天生合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室宣布《互联网信息服务深度合成治理划定（征求意见稿）》，向社会公然征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出详细划定。
中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理题目，应展开有系统性、前瞻性的跨学科研究，对其可能泛起的高风险应用场景进行有针对性的管理与监管。
2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势呈文（2022）》（简称《呈文》）。《呈文》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数目较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。
2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画殊效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，联系关系笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”流动，用户上传照片可一键天生专属异次元形象，但天生结果参差，有的二次元结果符合原图，有的则“谬以千里”。
国泰君安研报预计未来5年，AI绘画在图像内容天生领域的渗透率将达到10%—30%，跟着AI绘画将下一代互联网作为枢纽着力点，该市场规模超600亿元。
除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《呈文》开篇写道：“与其他技术不同，因为人工智能的安全性题目主要来源于算法本身的不安全，它更轻易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。
《划定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法职员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会不乱。出台划定是防范化解安全风险的需要，也是促进深度合成服务健康发展、晋升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公家产生不良影响等较为严峻的结果。
避免技术滥用于不法行为
此次出台的《划定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公然治理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容治理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务天生或编纂的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸天生、沉醉式拟真场景等天生或者明显改变信息内容功能的服务的，应当进行明显标识，避免公家搅浑或者误认。
对于《划定》的出台，人工智能技术行业人士对记者表示，《划定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继承运行，犹如行业实行的手机号实名制一样，对普通人影响不大。
易观聪明院分析师陈一墨对记者表示，《划定》无疑是保证深度合成技术可以得到准确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪流动的本钱小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出步履。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。因为深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营本钱，且《划定》第十七条中所述的明显标识定义较为恍惚，而明显标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性本钱。
上海大邦律师事务所游云庭律师对第一财经表示，新划定主要是对与深度合成有关的人工智能进行监管，涉及的工业包括人工智能元宇宙，发布的部分包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。
而《划定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《划定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在练习人工智能时，假如练习数据包含个人信息时，应遵守《个人信息保护》相关划定，假如使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了划定，重点划定了对深度合成服务天生的内容应当进行显著性的标识，对服务者还要求按现有互联网治理划定进行存案由主管部门进行监管。
游云庭以为，对普通人来说，这个划定要求用户需要正当遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的题目，还要给人工智能设置伦理，这个挑战实在很大。
段伟文对记者表示，《划定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。详细落地过程中，毕竟哪些技术层面需要进行安全评估、谁来进行等题目，均需要磨合探索。因此长远来看，《划定》对行业的影响也需结合详细过程来观察。
磨合过程中，段伟文以为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现题目，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公家人工智能素养、数字素养的晋升。
至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《划定（意见稿）》到《划定》终极落地，过程中已有许多企业介入其中，未来仍需让消费者也介入进来，尽量减少对企业立异效率产生负面影响。
12月11日，国家互联网信息办公室、产业和信息化部、公安部联合发布《互联网信息服务深度合成治理划定》（简称《划定》），夸大不得利用深度合成服务从事法律、行政法规禁止的流动，要求深度合成服务提供者落实信息安全主体责任，该《划定》将于2023年1月10日起施行。
所谓“深度合成技术”，是指利用以深度学习、虚拟现实为代表的天生合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术，包括文本转语音、音乐天生、人脸天生、人脸替代、图像增强等技术。目前该技术已应用于传媒、影视制作、社交娱乐、教育以及电子商务等行业，如AI合成主播、虚拟偶像、修复历史老照片等。
近年来，伴随技术的广泛落地，以及一二级市场对相关赛道关注热度的持续升温，深度合成技术的滥用也随之产生。在业界人士看来，《划定》的落地利于避免技术滥用于诈骗等不法行为。
深度合成技术已广泛落地生活
自2019年11月起，我国先后出台《网络音视频信息服务治理划定》《网络信息内容生态管理划定》《互联网信息服务算法推荐治理划定》等文件，对天生合成类内容提出不同程度的监管要求。2022年1月28日，国家互联网信息办公室宣布《互联网信息服务深度合成治理划定（征求意见稿）》，向社会公然征求意见，对深度合成内容的用途、标记、使用范围以及滥用处罚作出详细划定。
中国社科院哲学所科技哲学研究室主任段伟文表示，对深度合成技术引发的社会、法律和伦理题目，应展开有系统性、前瞻性的跨学科研究，对其可能泛起的高风险应用场景进行有针对性的管理与监管。
2022年2月，清华大学人工智能研究院与多家机构联合发布《深度合成十大趋势呈文（2022）》（简称《呈文》）。《呈文》显示，在国内外主流音视频网站、社交媒体平台上，2021年新发布的深度合成视频的数目较2017年已增长超过十倍。此外，深度合成内容关注度也呈指数级增长，通过对互动数据进行统计，2021年新发布的深度合成视频的点赞数已超过3亿。
2022年深度合成技术落地也甚为火热。截至发稿，抖音AI绘画殊效已有2568.1万人使用；小红书上，据灰豚数据，“AI绘画”关键词热度值8.1万，联系关系笔记互动量76.1万；腾讯近日也上线了“QQ小世界AI画匠”流动，用户上传照片可一键天生专属异次元形象，但天生结果参差，有的二次元结果符合原图，有的则“谬以千里”。
国泰君安研报预计未来5年，AI绘画在图像内容天生领域的渗透率将达到10%—30%，跟着AI绘画将下一代互联网作为枢纽着力点，该市场规模超600亿元。
除了AI绘画，近期火热的聊天机器人ChatGPT，二级市场热炒的数字人、虚拟主播、AIGC、元宇宙等，均属于深度合成技术领域。但需注意的是，中国科学院院士、清华大学人工智能研究院创始院长张钹在《呈文》开篇写道：“与其他技术不同，因为人工智能的安全性题目主要来源于算法本身的不安全，它更轻易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大的威胁。”如伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为。
《划定》称，近年来，深度合成技术快速发展，在服务用户需求、改进用户体验的同时，也被一些不法职员用于制作、复制、发布、传播违法和不良信息，诋毁、贬损他人名誉、荣誉，仿冒他人身份实施诈骗等，影响传播秩序和社会秩序，损害人民群众合法权益，危害国家安全和社会不乱。出台划定是防范化解安全风险的需要，也是促进深度合成服务健康发展、晋升监管能力水平的需要。段伟文对记者表示，深度合成技术落地应用中，AI换脸是较为典型的代表，如在短视频中进行虚假视频的传播，可能引发谣言、对公家产生不良影响等较为严峻的结果。
避免技术滥用于不法行为
此次出台的《划定》要求，深度合成服务提供者建立健全管理制度和技术保障措施，制定公然治理规则、平台公约，对使用者进行真实身份信息认证，加强深度合成内容治理，建立健全辟谣机制和申诉、投诉、举报机制。同时明确深度合成服务提供者对使用其服务天生或编纂的信息内容，应当添加不影响使用的标识。提供智能对话、合成人声、人脸天生、沉醉式拟真场景等天生或者明显改变信息内容功能的服务的，应当进行明显标识，避免公家搅浑或者误认。
对于《划定》的出台，人工智能技术行业人士对记者表示，《划定》对AIGC领域有规范作用，但主要是为了避免技术滥用于诈骗，平台可能会加上水印技术后继承运行，犹如行业实行的手机号实名制一样，对普通人影响不大。
易观聪明院分析师陈一墨对记者表示，《划定》无疑是保证深度合成技术可以得到准确应用与推广的保障，但总得来说利用深度合成技术进行违法犯罪流动的本钱小，执法难度大，因此需要各参与方均有相关法律与风险意识并做出步履。而这必然对各参与方存在不同程度的影响。影响最大的应该是相关服务的供应商。因为深度合成内容涵盖范围广，供应商需要加大力度进行相关审核，这会推高供应商的运营本钱，且《划定》第十七条中所述的明显标识定义较为恍惚，而明显标识也有可能影响相关服务的体验。对于个人用户来说，也需要加强自我审查，增加了应用相关技术的隐性本钱。
上海大邦律师事务所游云庭律师对第一财经表示，新划定主要是对与深度合成有关的人工智能进行监管，涉及的工业包括人工智能元宇宙，发布的部分包括电信公安和网信。主要的监管目的是为了防止这些新生事物对现有的社会秩序产生太大的冲击。
而《划定》监管的对象其中之一是深度合成人工智能的使用者。游云庭称，《划定》要求其使用这些工具时不得用于违法的目的，另一个对象是深度合成服务提供者，也就是平台的主体责任，要求其提供服务时，对使用者实名制登记，对合成的内容进行监管和审核，并且要建立违法和不良信息特征库。同时对平台要求在练习人工智能时，假如练习数据包含个人信息时，应遵守《个人信息保护》相关划定，假如使用生物识别信息的应当取得数据提供者单独同意，对算法的伦理机制也进行了划定，重点划定了对深度合成服务天生的内容应当进行显著性的标识，对服务者还要求按现有互联网治理划定进行存案由主管部门进行监管。
游云庭以为，对普通人来说，这个划定要求用户需要正当遵守伦理道德的使用人工智能。对平台而言，不仅仅是监管的题目，还要给人工智能设置伦理，这个挑战实在很大。
段伟文对记者表示，《划定》将在短期内促进相关企业加大在安全合规、伦理等方面的投入，以及相关经验的积累。详细落地过程中，毕竟哪些技术层面需要进行安全评估、谁来进行等题目，均需要磨合探索。因此长远来看，《划定》对行业的影响也需结合详细过程来观察。
磨合过程中，段伟文以为，需有三点需要明确：第一是监管部门在不同阶段，应对企业提出相对明确的要求；其次，企业作为技术主体，应加强技术自律，及时发现题目，并进行复盘，将相关风险降到最低；作为用户或消费者环节，全社会应该创造条件，加强人工智能与数字技术的社会法律伦理影响方面的教育传播，促进公家人工智能素养、数字素养的晋升。
至于深度合成技术落地行业过程中如何进行精准鉴别，段伟文称，需要监管部门、企业与消费者三方努力，构建协同共治的机制。从《划定（意见稿）》到《划定》终极落地，过程中已有许多企业介入其中，未来仍需让消费者也介入进来，尽量减少对企业立异效率产生负面影响。
