OpenAI 的 Sora 凸顯深度偽造日益加劇的威脅

Sora by OpenAI ranks first on App Store free app chart

(SeaPRwire) –   當 OpenAI 在九月發佈其 AI 影片生成應用程式 Sora 時,它承諾「您能全程掌控自己的肖像權」。該應用程式允許用戶透過一個名為「cameos」(客串)的功能將自己和朋友加入影片中——該應用程式會掃描用戶的面部並進行活體檢測,提供數據以生成用戶的影片並驗證他們同意朋友在應用程式上使用其肖像權。

但專門識別深度偽造內容的公司 Reality Defender 表示,它在 24 小時內就能夠繞過 Sora 的反冒充安全措施。Reality Defender 執行長 Ben Colman 表示,像 Sora 這樣的平台給人一種「貌似安全的感覺」,儘管「任何人都可以使用市面上現成的工具」來冒充他人通過驗證。

Reality Defender 的研究人員使用了可公開獲取的知名人士的影片片段,包括來自財報電話會議和媒體採訪的執行長和藝人。該公司成功地以他們試圖冒充的每一位知名人士突破了安全措施。Colman 認為,「任何聰明的十年級學生」都能找出他公司使用的工具。

OpenAI 的一位發言人在給 TIME 的電子郵件聲明中表示:「研究人員建立了一個複雜的執行長和藝人深度偽造系統,試圖繞過這些保護措施,我們正在持續強化 Sora,使其更能抵抗此類濫用行為。」

Sora 的發佈,以及其身份驗證機制被迅速規避,提醒人們社會尚未為下一波日益真實化、個性化的深度偽造內容做好準備。先進技術與滯後法規之間的差距,讓個人獨自應對不確定的資訊環境——並保護自己免受可能的詐欺和騷擾。

Colman 表示:「平台絕對知道這種情況正在發生,也絕對知道如果他們願意就可以解決。但在法規跟上之前——我們在所有社交媒體平台上都看到了同樣的情況——他們不會採取任何行動。」

據 OpenAI 的 Sora 負責人 Bill Peebles 稱,Sora 在不到五天的時間內達到了 100 萬次下載量,比當時增長最快的消費應用程式 ChatGPT 還快,儘管它需要用戶獲得邀請。OpenAI 的發佈之前,Meta 也推出了一個類似的產品 Vibes,該產品已整合到 Meta AI 應用程式中。

日益普及的逼真深度偽造內容引起了一些觀察者的警惕。中情局前數位創新副局長 Jennifer Ewbank 在一封電子郵件中告訴 TIME:「事實是,鑑於文字轉圖像、文字轉影片和音訊複製能力的快速進步,肉眼識別 [深度偽造內容] 幾乎變得不可能。」

自 2019 年以來,監管機構一直在努力解決深度偽造問題,當時美國總統 Trump 簽署了一項法律,要求國家情報總監調查外國政府使用深度偽造內容的情況。然而,隨著深度偽造內容的可近性增加,立法重點已轉向國內。2025 年 5 月,《Take It Down Act》被簽署成為聯邦法律,禁止在網上發佈未成年人及未經同意的成年人的「私密視覺描繪」,並要求平台在收到請求後 48 小時內下架違規內容——但執法將於 2026 年 5 月才開始實施。

禁止深度偽造內容的立法可能充滿挑戰。「這實際上在技術上和法律上都非常複雜,因為存在關於言論自由的《First Amendment》問題,」未來隱私論壇美國政策副主任 Jameson Spivack 說道。去年八月,一名聯邦法官駁回了加州的深度偽造法律,該法律旨在限制選舉期間 AI 生成的深度偽造內容,此前 Elon Musk 的 X 公司以該法律違反《First Amendment》保護為由起訴了該州。因此,Spivack 表示,要求標示 AI 生成內容的要求比徹底禁止更為常見。

哈佛大學國防、新興技術與戰略計畫的研究員 Fred Heiding 表示,另一種有前景的方法是平台採用更好的「了解你的客戶」(know-your-customer)方案。了解你的客戶方案要求像 Sora 這樣的平台用戶使用經過驗證的身份登入,從而增加問責制並允許當局追查非法行為。但這裡也有權衡。「問題是我們在西方非常重視匿名性,」Heiding 說。「這很好,但匿名性是有代價的,而這個代價就是這些事情很難執行。」

當立法者努力應對日益普遍和逼真的深度偽造內容時,個人和組織可以採取措施保護自己。Spivack 建議使用身份驗證軟體,例如由 Coalition for Content Provenance and Authenticity 開發的軟體,它會將來源元數據附加到圖像和影片上。來自 Leica 和 Nikon 的相機以及 Adobe Photoshop 都支持這種浮水印。使用此類身份驗證增加了對真實圖像的信任,並削弱了偽造品。

隨著線上資訊環境的變化,越來越難以相信我們在網上看到和聽到的內容,立法者和個人都必須建立社會對假媒體的韌性。Ewbank 說:「我們越是培養這種韌性,任何人都越難壟斷我們的注意力並操控我們的信任。」

本文由第三方廠商內容提供者提供。SeaPRwire (https://www.seaprwire.com/)對此不作任何保證或陳述。

分類: 頭條新聞,日常新聞

SeaPRwire為公司和機構提供全球新聞稿發佈,覆蓋超過6,500個媒體庫、86,000名編輯和記者,以及350萬以上終端桌面和手機App。SeaPRwire支持英、日、德、韓、法、俄、印尼、馬來、越南、中文等多種語言新聞稿發佈。