|
最近幾天，AI新騙局在全國炸開了鍋。
前有AI論文造假和新聞造假，后有疑似AI換臉的楊冪、迪麗熱巴出現在直播間賣貨。昨日內蒙古包頭的一起“AI電信詐騙10分鐘騙走430萬”登上微博熱搜，引起全民關注。
就在昨天，一組引起美股大跌的五角大樓爆炸圖片被官方證實為假，疑似由AI合成。
隨著AI技術掀起新一波落地潮，AI深度偽造（DeepFake）內容在全球范圍內病毒式傳播，引起產業的強烈擔憂。
早在2019年，智東西就調查報道過深度偽造AI換臉黑產。近年來，深度偽造技術與反深度偽造技術的博弈持續不斷，相關部門也逐步完善監管法律法規。當下，隨著以GPT-4為代表的AI大模型技術迭代進化，深度偽造內容正卷土重來，從而在全球掀起更大的風浪。
從文章到圖片，從人聲到視頻的動態效果都能被最大程度還原，瞞天過海騙過公眾，更有各種詐騙套路層出不窮、防不勝防。這些AI偽造內容對很多年輕人來說都真假難辨，老人、小孩則更容易上當受騙。而一旦他們的信任被不法分子用來違法犯罪，后果不堪設想。
有AI技術專家告訴智東西，對于目前這些AI深度偽造技術生成的音視頻等內容，普通人用肉眼來鑒別的難度非常之大。
傳統騙局換上了一件由AI包裹的“新外衣”，更為隱蔽也更加讓人防不勝防。這些AI新騙局是如何騙人的？難辨真假的AI偽造內容需要怎么去識破？產業亂象又有什么樣的解法？通過對市面上各種AI新騙術進行梳理分析，本文對這些問題進行了深入探討。
01.10分鐘換臉視頻騙走430萬，這四大AI新騙局要警惕今年3月，一份名為《暫停大型人工智能研究》的公開信在未來生命研究所官網上發布，包括特斯拉CEO埃隆·馬斯克（Elon Musk）、蘋果公司聯合創始人史蒂夫•沃茲尼亞克（Steve Wozniak）等人在內的千名科學家、企業高管簽字呼吁暫緩GPT-4以上版本的研發，他們矛頭所指都是強大AI技術可能的負面用途。
AI負面用途的爆發遠快于我們的想象。隨著AI技術能力加速迭代和落地，AI偽造變得更加容易、內容也更為逼真，隨之而來的是假新聞、假圖片絡繹不絕，變聲、換臉造成的惡性事件引發社會擔憂。很多人感到，“有圖有真相”、“眼見為實”的常識似乎受到了有史以來最猛烈的沖擊。
1、換臉視頻：10分鐘騙走430萬
或許我們的身邊已經發生了不少由AI換臉引發的惡性事件，只是我們尚未察覺。
近日，內蒙古包頭市自治區公安局網偵部門偵破一起利用AI進行電信詐騙的案件，罪犯假借好友名義稱自己急需用錢，并撥打微信視頻聯系這位受害者郭先生。
出于對于好友的信任，再加上已經視頻聊天核實了對方的身份，郭先生放松了警惕，分兩筆匯款將430萬打到了罪犯的銀行卡上，但他萬萬沒想到所謂的微信視頻通話中的“好友”是由AI換臉技術制作而成的。罪犯利用AI換臉技術，佯裝成好友對他進行電信詐騙。目前在警方攔截下，已追回336.84萬元，仍有93.16萬元已被轉移走。
AI換臉是最容易獲取對方信任的一類詐騙手段，詐騙者往往利用AI技術換臉成受害者熟悉的人，并撥打電話和對方確認信息。
面對這類新型詐騙方式，一是需要保護好個人信息，不輕易提供任何涉及個人隱私的信息給他人，不隨意點進陌生鏈接、下載陌生軟件；二是要通過各種渠道核驗對方身份，對潛在風險保持警惕。
和“AI換臉”功能極為相似的是“AI脫衣”。早在今年3月，一則“女子地鐵照被AI一鍵脫衣傳播”的新聞沖上了熱搜，一名女性搭乘地鐵時的一張照片被人用AI軟件“一鍵脫衣”，遭到惡意傳播，罪犯還廣泛散布不實信息對該女子進行污蔑。
這樣的“一鍵脫衣”技術早在2019年時就已在國外出現，但因廣泛的輿論爭議和聲討，項目迅速關閉下架。這股不良之風在今年的AI熱中再次吹到國內，在網絡上以“AI”、“換裝”、“軟件”等關鍵詞組合搜索時仍能出現不少隱藏極深的相關軟件，有心者甚至用此來制作、傳播色情淫穢視頻，AI視頻變裝服務已成為一門鏈條完整的黑色產業。
“AI換臉”在此前已被大量使用到影視劇二度創作、趣味惡搞視頻、表情包制作當中，但其中隱藏的法律風險和侵權糾紛依舊不容忽視。近期，據企查查官網信息顯示，上海魚腥草信息科技有限公司就因旗下一款換臉手機APP而遭多位網紅博主起訴。
App Store中有近百款“AI換臉”應用程序
早些時候，一位名為“特效合成師洪亮”的視頻博主在自己的視頻中，將電視劇《你是我的榮耀》中男主演楊洋的臉，通過AI換臉技術換成了自己的臉，最終遭到主演粉絲的追打，從而引起了不少網友的注意。
“特效合成師洪亮”賬號中上傳的部分AI合成換臉視頻
這位視頻博主以換臉男明星為噱頭，實則是給自己的影視特效制作付費課程引流，但行為上已經給出演電視劇的演員迪麗熱巴、楊洋等人造成了侵權。《狂飆》爆火之后，也有不少粉絲將劇情片段與電視劇版《西游記》換臉進行二度創作，在傳播度和話題討論上為電視劇又貢獻了一波熱度，但卻對出演電視的演員造成了一定困擾。
蹭流量的行為，無論是對被換臉的明星，還是對技術充滿好奇的公眾，都產生了不良的影響和困擾，娛樂和技術之間的界限不應模糊至此。
2、聲音合成：復刻人聲瞞天過海
前有“AI孫燕姿”爆火，后有AI人聲克隆闖入配音圈，AI的聲音合成技術被炒得火熱，也衍生出不少的惡性事件和相關受害者。
一位網友用美國知名歌手弗蘭克·奧什（Frank Ocean）的歌曲片段訓練出來仿冒其音樂風格的歌曲，并在地下音樂論壇上發布了這些“音樂作品”，還將這些歌曲偽造成是在錄音時不小心泄露的版本，最終蒙混過關，賣出了近970美元（折合為6700元人民幣）的價格。
不久之前，西班牙的一家電影制作公司Peabody Films也遭受了AI電話的詐騙，詐騙者偽裝成著名演員“卷福”本尼迪克特•康伯巴奇（Benedict Cumberbatch）向公司稱對公司的電影很感興趣，有合作意向，但需要公司先轉20萬英鎊（折合約170萬人民幣）的定金，之后再談具體的合作細節。
電影公司意識到了事情的不對勁，向該演員的經紀公司進行求證才發現從頭到尾就是一場AI騙局。
海外還有不少利用AI克隆聲音進行詐騙勒索的新聞，部分案件涉案金額令人咋舌，高達百萬美金。這類詐騙者往往通過電話錄音等素材提取某人的聲音進行聲音合成，再利用偽造后的聲音來騙過熟人，就這需要公眾對陌生電話保持警惕，即使是熟人也可能被偽造聲音。
美國CBS電視臺的電視新聞雜志節目60 Minutes在5月22日的最新一期節目中，現場展示了黑客是怎樣克隆聲音來騙過同事，并成功竊取護照信息的。
60 Minutes在推特中上傳了完整視頻
僅用了5分鐘時間，黑客就通過AI克隆復制了Sharyn的聲音，并通過工具替換了手機上來電顯示的名稱，成功騙過了她的同事，輕而易舉地得到了她的姓名、護照號碼等私人信息。
3、偽造照片：特朗普“被捕”，教皇穿羽絨服走秀
在AI換臉視頻鋪天蓋地傳播的情況下，AI假照片更是泛濫成災。
美東時間5月22日，一張五角大樓附近地區發生爆炸的圖片在社交媒體上瘋傳。這張虛假照片的廣泛流傳，甚至導致標普500指數短線下跌約0.3%至盤中低點，由漲轉跌。
隨后美國國防部發言人立即證實，這同樣是一張由AI生成的虛假圖片，這張圖具有明顯的AI生成特征，比如路燈有些歪，圍欄長在了人行道上等。
Midjourney生成的90年代情侶寫真已經讓網友真假難辨，3月時幾張前美國總統特朗普被捕的組圖在推特上瘋傳。
照片中的特朗普被警察包圍，又按倒在地，看上去狼狽又慌亂。在聽證會上，他掩面痛哭，還在潮濕陰暗的囚房中穿上了獄服。這些圖片由公民記者網站Bellingcat的創始人艾略特·希金斯（Eliot Higgins）用Midjounrney制作而成。組圖發出后，他的賬號也隨之被封查。
一組由Midjounrney生成的特朗普“被捕”圖
“特朗普被捕圖”發出不久之后，教皇方濟各穿著巴黎世界羽絨服走秀的照片在網上引起軒然大波，發出不久后便有了2800多萬的點擊量，讓不少網友都信以為真。
教皇身著巴黎世家羽絨服走秀
創作者巴勃羅·澤維爾（Pablo Xavier）稱，自己完全沒想到這組圖片居然會走紅，自己只是突然想到了巴黎世家的羽絨服、巴黎或者羅馬的街道等。
Reddit論壇上的Midjourney板塊中，一組“2001年卡斯卡迪亞9.1級大地震，引發的海嘯摧毀了俄勒岡州”被大面積傳播，照片當中的受災現場一片混亂，救災人員、新聞記者、政府官員等人相繼出現，人們面帶憂慮、驚恐和慌張。但實際上這完全是一場AI引發的“災難”，歷史上并不存在。而這些要素齊全、顏色真實的圖片場景讓人看上去難辨真偽。
4、編撰新聞：AI成為謠言炮制機
5月7日，甘肅省平涼市公安局網安大隊偵破了一起AI炮制虛假信息的案件。
據悉，犯罪利用ChatGPT將自己從全網中搜集而來的社會熱點新聞修改編輯，編撰出一條“今晨甘肅一火車撞上修路工人致9人死亡”的虛假新聞，借此來獲取網絡流量和關注度來變現。
此條新聞一經發布后便獲得了超1.5萬點擊量，好在警方在輿論進一步發酵前介入調查，證實是犯罪嫌疑人利用AI技術進行的新聞造假。
不光是讀者們需要鑒別釣魚網站中的AI假新聞，老牌媒體有時也會被AI虛假新聞蒙騙。
英國《每日郵報》（The DailyMail）曾在4月24日刊登過一則新聞，稱“一位22歲的加拿大男子為在韓國以偶像身份出道而整容12次，最終喪命”。
報道稱，為了在即將上映的美劇中扮演韓流明星BTS組合中的Jimin，22歲的加拿大演員花了2.2萬美元做了12次整形手術，最終不幸身亡
該新聞引起全球多家媒體關注，韓國YTN新聞頻道等電視臺迅速跟進報道，網友們對此也表示了自己的同情與惋惜。
網友對其離世的消息表示惋惜
然而事情在一位駐韓記者以及美國廣播電臺iHeartRadio提出質疑后全面反轉：該男子可能壓根就不存在。網友將其照片拿去AI內容檢測網站查證后發現，照片有75%的可能性是AI生成的，韓國MBC電視臺求證警方后也得到了“未收到類似死亡案例報告”的回復，這則新聞立刻被證實為“AI造假新聞”。
但是事情還未結束，本月初，該男子的家人決定起訴報道過“假新聞”的媒體以及男子所屬的經紀公司，還有第一位宣稱男子已死亡的記者。言下之意就是，照片并非是AI生成的，男子的確因整容過度而引發的手術并發癥而喪命。
多家媒體在未經核實身份，也沒手握實質性證據的情況下，稱該男子的身份和信息都是編纂的，讓一場由AI引發的鬧劇徹底變為了一場慘痛的悲劇。
這些由AI編篡出的新聞不僅混淆了大眾的視聽，更是讓本就沒有時間和耐心看清事情全貌的路人們失去了分辨真相的能力。
| 
發表于 2023-5-24 10:01:52
QQ好友和群
QQ空間
