央視揭AI涉黃漏洞:幾句話生成大尺度影片,黑色產業鏈猖獗
今日,央視揭露多款生成式AI應用存在嚴重的vulnerability ,用戶僅需使用幾句經過隱晦處理的提示詞,就能輕鬆繞過內容safety 機制,快速生成大尺度的色情圖片與影片。實測顯示,雖然直白露骨的輸入多數會被攔截,但若將敏感詞替換為含蓄描述或混用英文詞彙,系統便難以辨識,導致違規內容順利產出。
在一款熱門AI工具中,測試者僅用幾分鐘,透過網購取得的content 提示詞,就成功生成半裸女性跳舞的影片,全程未觸發任何平台警報。這類問題並非孤例,而是廣泛存在於多個主流AI應用平台,反映出現有review 機制的嚴重不足。更令人憂慮的是,AI「造黃」已形成一條分工明確的黑色產業鏈,從提示詞販售、教學影片,到批量生成與付費換臉,各環節皆以牟利為導向,猖獗發展。
網路上已有商家公開兜售專門設計的提示詞,搭配境外AI工具或本地部署模型,進一步規避境內regulation 。部分付費AI照片生成器甚至宣稱,只需上傳一張個人照片並完成充值,就能一鍵生成色情影片,嚴重突破法律與ethics 底線。這不僅污染網路生態,更可能衍生出敲詐勒索、惡意造謠與非法傳播等犯罪行為,對未成年人的身心健康造成極大risk 。
我國近年已陸續出台多項法規,明確要求AI平台落實內容安全主體責任,強化algorithm 審查與風險防控機制,嚴禁生成或傳播淫穢色情資訊。監管部門正持續推動「清朗」專項行動,重點打擊利用AI製作低俗內容、違規提供生成服務等行為,並督促平台升級技術,封堵提示詞繞過的loophole 。與此同時,公眾對AI技術的trust 正因這類事件而迅速動搖,技術創新與社會責任之間的平衡,已成為不可忽視的課題。
幾句話就能產出那種影片,這已經不是risk 風險,是正在發生的災難。
最誇張的是還能買提示詞,簡直像在賣toolkit 工具包,完全商業化了。
平台審核形同虛設,出事再處理,根本是事後response 反應,毫無預防。
用英文或隱喻繞過,這不是AI太聰明,是safety 安全設計太幼稚。
一張照片就生成色情片,這對女性來說太threat 威脅了,法律要快點跟上。
清朗行動聽起來很認真,但平台不痛不癢地更新一下update 更新就敷衍過去了吧。