視頻通話“揮揮手”鑒別AI詐騙,為何不靈了?
訂閱已訂閱已收藏
收藏“揮揮手”鑒別AI詐騙,為何不靈了?
最近,上海市公安局浦東分局披露一起網戀交友詐騙案件:50歲的吳女士在網上結識一名自稱“李振鋒”的“軍官”,她特意鑒別確認對方身份為“真”后,才與對方網戀並進行投資,但仍被騙近80萬元。
該案件與大部分網戀交友詐騙案件類似,但“AI含量”不低。尤其讓人納悶的是,吳女士與嫌疑人交往時,多次根據網傳AI鑒別方法確認對方身份。究竟哪個環節出了問題?
記者從上海市公安局“803反詐”宣傳團隊了解到,隨著AI技術發展,詐騙分子使用AI進行詐騙的現象逐漸增多,迷惑性也越來越強。
揮手辨別AI造假失效?
據浦東警方介紹,吳女士在今年5月通過網絡相親平台認識了一名叫“李振鋒”的男子。對方自稱1972年出生,是某部隊即將退役的團長。為博取吳女士信任,對方向她發送了身份証、軍官証等証件照片。
同時,對方主動與吳女士視頻通話,並在視頻通話中告訴她,可以通過“用手在臉部揮動,畫面正常”的方式,鑒別視頻是否為AI生成或AI換臉,他還當場演示了用手遮擋面部等動作。
吳女士是一家企業高管,並非沒有警惕性。她為了驗証“李振鋒”的身份,專門上網搜索“如何鑒別AI生成視頻”,發現確實如對方所說,可以通過揮手等動作區分真偽。
至此,吳女士開始相信“李振鋒”。隨著兩人交往深入,對方稱認識“中國黃金集團”高管,掌握內部理財推算數據,投資可穩賺不賠。受高額回報誘惑,吳女士在對方提供的虛假投資平台開設賬戶,先后投入近80萬元。之后,賬戶余額增值至140余萬元。
其實,吳女士在虛假投資平台操作時,反詐系統已經發現並發出預警,所在地派出所民警多次上門提醒和勸阻。可她當時已深陷騙局,刻意隱瞞自己與嫌疑人有溝通,甚至使用兩部手機,把含有聊天和投資記錄的手機藏起來,沒有聽從民警勸阻。
后來,吳女士偶然在網絡上看到有人被名叫“李振鋒”的“軍官”詐騙,經歷與自己頗為相似,隨即質疑對方身份。嫌疑人見狀,假意安撫。可當吳女士嘗試提取賬戶資金時,發現錢款無法提現,這才確認自己被騙,隨即報警。目前,案件仍在偵辦中。
此前,很多專業人員提醒公眾,可以通過“擋臉”“揮手”“捏鼻子”等動作鑒別視頻是否為AI生成或對方用了AI換臉。在吳女士的案例中,為什麼嫌疑人在“擋臉”“揮手”時,視頻沒有出現破綻?
浦東公安分局刑偵支隊反詐中心副隊長胡佔軍指出,之前生成視頻的大模型還不成熟。當人臉被手遮擋時,大模型無法快速生成與這個動作相匹配的畫面,導致人臉變形或模糊。但隨著AI生成技術的進步,部分大模型在應對小范圍遮擋等情況時,已經能生成較為流暢自然的畫面,從而讓觀看者誤以為視頻裡的是真人。
AI造假成為詐騙新手段
從已經發生的詐騙案件看,越來越多的陷阱都用上了AI。上海市公安局“803反詐”宣傳團隊成員、刑偵總隊民警顏晨超介紹,目前常見的與AI相關的詐騙案件有三類。
第一類案件是打著“免費學習AI技術、AI全自動運營”的噱頭,誘導受害人開設所謂的海外電商店鋪。
在這類騙局中,詐騙分子利用受害人渴望跟上技術發展的心理,宣稱學會相應的AI技術后,能開設無需本人操作的海外網店。該網店由AI智能系統自動經營、自動接單、自動發貨,受害人隻需墊付貨款即可坐等盈利。
為証明收益可觀,詐騙分子會搭建一個仿冒的電商運營頁面,包括店鋪后台、收益流水、訂單金額、盈利數額等。但這些內容都是虛構的,可隨意篡改。若受害人想提取本金和盈利,詐騙分子會用賬號異常、風控攔截、店鋪凍結等理由,要求受害人充值解凍、繳納保証金、刷流水等,然后才能提現。受害人如果轉賬解凍,不僅無法提現,還將同時被騙走前期墊付的貨款和解凍資金。
第二類案件是不法分子利用AI修圖、AI生成、AI合成等技術,偽造身份証、工作証、客服資質、官方通知文件等,逐步誘導受害人投資理財、合伙做生意、私下轉賬等。
第三類案件是AI詐騙的潛在風險:詐騙分子通過短視頻平台、社交動態、社交平台評論區、通話錄音等渠道,搜集受害人親友的日常語音片段,將幾十秒的短句素材通過AI技術克隆出親友的聲音,然后以受害人親友身份行騙,借口包括緊急借錢、急事繳費、臨時周轉等。“目前,上海暫無查實的同類警情,但依靠十幾秒語音素材完成聲音克隆,技術上已基本沒有問題。若在冒充親友借錢的騙局中,詐騙分子運用AI語音作案,欺騙性將大幅上升,公眾務必提高警惕。”顏晨超說。
普通人如何防范?
既然AI詐騙時有發生,普通人該如何防范呢?
顏晨超表示,如果親朋好友通過電話、語音通話等求助,包括借款、轉賬等,首先要有“是否為AI生成”的求証意識,然后加以鑒別:AI克隆語音雖然聲線相似,但存在明顯缺陷,包括無法復刻個人說話習慣、口頭禪和情緒細節。AI對話通常邏輯生硬、語速均勻無波動,無法靈活應答隨機問題。
所以,可以隨機向對方提出私密問題、過往專屬回憶等。一旦打亂對話節奏,AI很難靈活應答,從而露出造假痕跡。
同時,對有資金往來需求的通話,務必進行二次身份核實,可以通過線下見面或先挂斷電話,再換一種方式主動聯系對方等。
在鑒別視頻通話中是否存在AI生成內容時,可關注畫面流暢度:AI換臉視頻普遍存在畫面卡頓、眼神呆滯、面部光影僵硬、嘴型輕微對不上等問題。同時,務必記得使用隨機指令,即不要等對方說“我要做什麼”,而是隨機要求對方完成多個指定動作。此時,普通的生成式大模型處理速度很難跟上,視頻畫面就會露餡。
胡佔軍舉例介紹了可以採用的“隨機指令”——
可以讓對方做大幅度的動作,包括快速轉身、左右搖擺身體等。“大幅度”和“速度快”非常重要。若想在這些指令下生成沒有破綻的視頻,需要技術成熟的大模型,成本比較高。
或者要求對方做精細動作,包括眨眼、挑眉毛、伸出舌頭等,然后觀察視頻中的人物面部是否有不自然的地方。因為AI大模型對精細化動作的處理能力相對較弱。
“但大家要知道,隨著AI技術發展,不論哪種鑒別方法,都有局限性。不輕信陌生網友、謹慎參與陌生平台投資﹔接到96110反詐預警或是民警上門勸阻時,如實告知自身情況,切勿隱瞞……這些才是防范騙局的根本。”胡佔軍提醒。
(來源:解放日報 記者 任翀)
分享讓更多人看到
- 評論
- 關注
































第一時間為您推送權威資訊
報道全球 傳播中國
關注人民網,傳播正能量