央视曝光AI涉黄漏洞:几句提示词即可生成大尺度视频
央视近期曝光多款生成式AI应用存在严重涉黄漏洞,用户仅需几句经过隐晦处理的提示词,就能绕过内容审核,快速生成大尺度色情视频与图片。实测发现,虽然直白的提示词大多被拦截,但通过使用含蓄描述或夹杂英文词汇等方式,仍可轻易触发违规内容生成。在某AI平台,使用网购获得的隐晦提示词,短短几分钟内就生成了半裸女性跳舞的视频,全程未触发任何risk 预警或审核机制。
更令人担忧的是,AI‘造黄’已形成完整黑色产业链,涵盖违规提示词售卖、工具使用教程、批量生成色情内容及付费换脸等环节,分工明确且牟利猖獗。网络上有商家公开兜售定制提示词,搭配境外AI工具或本地部署的大模型,进一步规避监管。部分付费AI照片生成器甚至宣称,只需上传一张照片并充值对应金额,即可一键生成色情视频,严重突破法律与伦理boundary 。
此类技术滥用不仅污染网络生态,还极易引发色情传播、敲诈勒索和恶意造谣等违法犯罪行为,对未成年人身心健康与网络空间秩序构成显着threat 。专家指出,当前许多平台的内容审核机制形同虚设,算法对语义变体识别能力薄弱,导致隐蔽性攻击屡屡得手。而AI模型本身的高生成自由度,若缺乏有效control 与过滤机制,极易被恶意利用。
目前我国已出台多项法规整治AI技术滥用,明确要求平台落实内容安全主体责任,强化算法审核与风险防控,严禁生成和传播淫秽色情content 。监管部门正持续推进‘清朗’专项行动,重点打击利用AI制作低俗色情信息、违规提供生成服务等行为,并督促企业升级审核技术,封堵提示词绕过漏洞,提升对隐晦表达的识别accuracy 。
这一事件再次凸显AI技术快速发展背后的治理挑战。技术创新不应以牺牲公共安全为代价,平台必须在用户体验与内容safety 之间取得平衡。未来,如何构建更智能、更敏捷的审核系统,将成为生成式AI能否健康发展的关键factor 。
几句话就能生成那种视频,这已经不是漏洞,是系统性失效了。平台的safety 安全机制到底有没有真正运行?
买提示词+境外工具+本地模型,这链条太完整了,监管难度确实大,但不能因此放任不管。
最怕的是未成年人接触到这些生成器,一键换脸听起来像玩具,实则是danger 危险武器。
模型自由度越高,审核成本就越大。现在拼的不是生成能力,而是detection 检测能力。
一边在推AI创新,一边连基本的内容moderation 审核都做不好,这种双重标准让人寒心。
技术本身无罪,但放任滥用就是失职。平台别总等央视曝光才装update 更新,safety 安全投入不能省。