偽造視頻危害有多大？這位首席安全官拿本公司CEO作示范
Jenn Brice
2024-12-16
Qualtrics首席安全官阿薩夫·克倫（Assaf Keren）期望同事們能更深刻地認識到深度偽造技術的質量正不斷提升，其危險性日益加劇。為此，他制作了一段視頻，在該視頻中，公司首席執行官被塑造成一個從未來穿越而來的邪惡人工智能角色，警告員工視頻和語音模仿的威脅迫在眉睫。
他僅花費20美元便完成了這項實驗。在上周于舊金山舉辦的《財富》人工智能頭腦風暴大會上，克倫表示：“這并非因為我無法免費完成這項實驗，而是因為我偷懶。”
他承認，在線調查提供商Qualtrics可能不是網絡攻擊的主要目標，而像他的前雇主貝寶（PayPal）這樣的知名金融公司則可能成為攻擊目標。益博睿集團（Experian）的首席創新官凱瑟琳·彼得斯（Kathleen Peters）指出，她確實認為深度偽造技術對企業聲譽構成了真正威脅，可能會削弱人們對領導層的信任。
如今，克隆首席執行官和普通人的視頻和語音已司空見慣。克倫說："我們經常在現實生活中看到這種情況。”在一個例子中，攻擊者利用未經確認公司的財報電話會議記錄來訓練人工智能，進而對該公司的財務人員實施網絡釣魚攻擊，這樣就可以更準確地模仿高管的講話方式。
克倫提到，兩年前的情形與現在大不相同。他回憶道，當時人們對于深度偽造技術的討論還停留在：“技術上雖然能夠實現這一點，但我們在現實生活中還未發現實例。”
克倫補充說：“這是一種持續演進中的攻擊手段，”只是黑客工具箱中眾多人工智能工具之一。
安全軟件公司Okta的客戶身份云業務總裁希夫·拉姆吉（Shiv Ramji）預測，在不久的將來，人類將難以區分深度偽造內容與真實內容。而且，機器將比人類更擅于發現偽造內容。
盡管不受控制的人工智能會帶來風險，但信息安全領域的領導者仍希望員工嘗試新技術，但在嘗試的過程中需要保持謹慎。
彼得斯建議公司成立風險委員會，或由擁有安全措施執行權限的高管組成的小組，以促使領導層在考慮收入增長的同時，給予安全問題同等重視。
拉姆吉指出，隨著部分企業開始使用人工智能代理來替代人類員工執行工作任務，團隊應考慮授權這些代理處理的數據和任務范疇。他說，人類仍應在整個流程中驗證代理的活動，并且預見到未來代理之間的互動將呈現“爆炸式”的增長態勢。
拉姆吉說：“這是機器與機器之間的對話，它們將全年不間斷地進行這樣的交流，且不受人類輸入模式和交互模式的限制。"（財富中文網）
譯者：中慧言-王芳
Qualtrics首席安全官阿薩夫·克倫（Assaf Keren）期望同事們能更深刻地認識到深度偽造技術的質量正不斷提升，其危險性日益加劇。為此，他制作了一段視頻，在該視頻中，公司首席執行官被塑造成一個從未來穿越而來的邪惡人工智能角色，警告員工視頻和語音模仿的威脅迫在眉睫。
他僅花費20美元便完成了這項實驗。在上周于舊金山舉辦的《財富》人工智能頭腦風暴大會上，克倫表示：“這并非因為我無法免費完成這項實驗，而是因為我偷懶。”
他承認，在線調查提供商Qualtrics可能不是網絡攻擊的主要目標，而像他的前雇主貝寶（PayPal）這樣的知名金融公司則可能成為攻擊目標。益博睿集團（Experian）的首席創新官凱瑟琳·彼得斯（Kathleen Peters）指出，她確實認為深度偽造技術對企業聲譽構成了真正威脅，可能會削弱人們對領導層的信任。
如今，克隆首席執行官和普通人的視頻和語音已司空見慣。克倫說："我們經常在現實生活中看到這種情況。”在一個例子中，攻擊者利用未經確認公司的財報電話會議記錄來訓練人工智能，進而對該公司的財務人員實施網絡釣魚攻擊，這樣就可以更準確地模仿高管的講話方式。
克倫提到，兩年前的情形與現在大不相同。他回憶道，當時人們對于深度偽造技術的討論還停留在：“技術上雖然能夠實現這一點，但我們在現實生活中還未發現實例。”
克倫補充說：“這是一種持續演進中的攻擊手段，”只是黑客工具箱中眾多人工智能工具之一。
安全軟件公司Okta的客戶身份云業務總裁希夫·拉姆吉（Shiv Ramji）預測，在不久的將來，人類將難以區分深度偽造內容與真實內容。而且，機器將比人類更擅于發現偽造內容。
盡管不受控制的人工智能會帶來風險，但信息安全領域的領導者仍希望員工嘗試新技術，但在嘗試的過程中需要保持謹慎。
彼得斯建議公司成立風險委員會，或由擁有安全措施執行權限的高管組成的小組，以促使領導層在考慮收入增長的同時，給予安全問題同等重視。
拉姆吉指出，隨著部分企業開始使用人工智能代理來替代人類員工執行工作任務，團隊應考慮授權這些代理處理的數據和任務范疇。他說，人類仍應在整個流程中驗證代理的活動，并且預見到未來代理之間的互動將呈現“爆炸式”的增長態勢。
拉姆吉說：“這是機器與機器之間的對話，它們將全年不間斷地進行這樣的交流，且不受人類輸入模式和交互模式的限制。"（財富中文網）
譯者：中慧言-王芳
Qualtrics chief security officer Assaf Keren wanted to make his colleagues more aware of the increasing quality and dangers of deepfakes. So he created a video that showed the company’s CEO as an evil AI persona who was sent from the future to warn workers about the looming threat of video and voice impersonations.
He spent just $20 on the experiment. “Because I was lazy, not because I couldn’t do it for free,” Keren said at Fortune’s Brainstorm AI in San Francisco this week.
He acknowledged that Qualtrics, a provider of online surveys, might not be a prime target for cyberattacks. But high-profile finance companies like his former employer, PayPal, might be. And Experian’s chief innovation officer, Kathleen Peters, said she does think of deepfakes as a real risk to corporate reputations that can erode trust in leaders.
Today, video and voice clones of CEOs and regular people alike are common. “We’re seeing it in the wild all the time,” Keren said. In one example, the threat actor trained AI on transcripts of an unidentified company’s earnings calls to create a phishing attack targeting that organization’s finance employees, so that it would more accurately mimic how an executive speaks, he said.
Two years ago that wasn’t necessarily the case, Keren said. Back then, he recalled, the conversation about deepfakes was, “the technology can do this, but we’re not seeing it in the wild.”
“It’s an evolving attack vector,” Keren added, and just one of various AI-powered tools in a hackers’ toolbox.
Shiv Ramji, president of customer identity cloud at the security software company Okta, predicted that it won’t be long before humans are unable to distinguish deepfakes from authentic content. And machines will be better than humans at detecting the inauthentic stuff.
While unchecked AI is a risk, information security leaders still want their workers to experiment with new technology—but with caution.
Peters suggests that companies set up a risk council, or a group of senior executives with authority to enforce safety measures, that can push leadership to think about security just as much as they do about growing revenue.
And as some organizations start to play with agentic AI that carries out tasks on behalf of human workers, Ramji said teams should think about the data and tasks that those agents are authorized for. A human should still be in the loop to verify the agent’s activities, he said, foreseeing an “explosion” of inter-agent interactions.
“It’s machines talking to themselves, and they’ll be doing this 24/7, all year. They’re not limited by the human input model, interaction model,” Ramji said.
財富中文網所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
