人工智能模仿語音以假亂真，容易被詐騙分子利用
Steve Mollman
2023-03-07
圖片來源：GETTY
你近期可能會接到親友的來電，對方迫切需要幫助，希望你盡快為其匯款。你或許相信對方就是你的親友，因為你很熟悉對方的聲音。
人工智能改變了這一點。新的生成式人工智能工具可以根據簡單的提示文本輸出各種結果，包括以某位作者的特定風格書寫的論文，達到獲獎水平的圖片，甚至通過某個人的語音片段就能夠生成以假亂真的講話內容。
今年1月，微軟（Microsoft）的研究人員演示了一款文本轉語音人工智能工具。這款工具只需要一個人三秒鐘的音頻樣本，就可以逼真地模仿其聲音。他們并未對外公開其代碼；相反，他們警告這款名為VALL-E的工具“可能存在被濫用的風險……例如語音識別詐騙，或者模仿某人講話等?！?/p>
但類似的技術已經泛濫，并被詐騙分子利用。只要他們能夠在網上找到你的30秒語音，就很有可能克隆語音，然后生成任何內容。
加州大學伯克利分校（University of California at Berkeley）的數字取證專業教授哈尼·法里德對《華盛頓郵報》（Washington Post）表示：“兩年前，甚至一年前，克隆一個人的聲音需要大量語音?，F在……如果你有Facebook主頁……如果你拍攝過一段TikTok視頻并且有30秒語音，人們就可以克隆你的語音?！?/p>
“錢不翼而飛”
《華盛頓郵報》在上周末報道了這種技術的風險。該媒體介紹了加拿大一家人如何被詐騙分子利用人工智能語音克隆工具欺騙，并損失數千美元。這對年邁的父母被一名“律師”告知，他們的兒子因為在一場車禍中害死了一位美國外交官，已經被羈押，需要他們支付律師費。
然后，這名所謂的律師將電話交給他們的兒子，對方告訴他們他深愛并感激他們，但需要他們付錢。兒子本杰明·珀金告訴《華盛頓郵報》，克隆語音聽起來“非常逼真，足以令我的父母相信他們正在與我通話。”
他的父母通過一個比特幣（Bitcoin）網站支付了超過15,000美元，但這筆錢卻落入了詐騙分子的口袋，而不是像他們想象的那樣轉給了兒子。
珀金對《華盛頓郵報》表示：“錢不翼而飛。沒有保險，無法追回，錢就這樣消失了?！?/p>
一家提供生成式人工智能工具的公司ElevenLabs在1月30日發推文稱：“濫用克隆語音的案例越來越多?！贝稳眨摴拘?，其人工智能工具VoiceLab免費版的用戶將無法再使用語音克隆功能。
《財富》雜志向該公司發送了置評請求，但并未得到回復。
該公司寫道：“幾乎所有惡意內容都由免費的匿名賬戶生成。額外的身份驗證必不可少。因此，VoiceLab將僅供付費用戶使用?！保ㄓ嗛嗁M為每月5美元起。）
該公司承認，身份驗證無法阻止所有壞人，但能夠減少匿名用戶，并“迫使人們三思而行”。（財富中文網）
譯者：劉進龍
審校：汪皓
你近期可能會接到親友的來電，對方迫切需要幫助，希望你盡快為其匯款。你或許相信對方就是你的親友，因為你很熟悉對方的聲音。
人工智能改變了這一點。新的生成式人工智能工具可以根據簡單的提示文本輸出各種結果，包括以某位作者的特定風格書寫的論文，達到獲獎水平的圖片，甚至通過某個人的語音片段就能夠生成以假亂真的講話內容。
今年1月，微軟（Microsoft）的研究人員演示了一款文本轉語音人工智能工具。這款工具只需要一個人三秒鐘的音頻樣本，就可以逼真地模仿其聲音。他們并未對外公開其代碼；相反，他們警告這款名為VALL-E的工具“可能存在被濫用的風險……例如語音識別詐騙，或者模仿某人講話等?！?/p>
但類似的技術已經泛濫，并被詐騙分子利用。只要他們能夠在網上找到你的30秒語音，就很有可能克隆語音，然后生成任何內容。
加州大學伯克利分校（University of California at Berkeley）的數字取證專業教授哈尼·法里德對《華盛頓郵報》（Washington Post）表示：“兩年前，甚至一年前，克隆一個人的聲音需要大量語音?，F在……如果你有Facebook主頁……如果你拍攝過一段TikTok視頻并且有30秒語音，人們就可以克隆你的語音?！?/p>
“錢不翼而飛”
《華盛頓郵報》在上周末報道了這種技術的風險。該媒體介紹了加拿大一家人如何被詐騙分子利用人工智能語音克隆工具欺騙，并損失數千美元。這對年邁的父母被一名“律師”告知，他們的兒子因為在一場車禍中害死了一位美國外交官，已經被羈押，需要他們支付律師費。
然后，這名所謂的律師將電話交給他們的兒子，對方告訴他們他深愛并感激他們，但需要他們付錢。兒子本杰明·珀金告訴《華盛頓郵報》，克隆語音聽起來“非常逼真，足以令我的父母相信他們正在與我通話?！?/p>
他的父母通過一個比特幣（Bitcoin）網站支付了超過15,000美元，但這筆錢卻落入了詐騙分子的口袋，而不是像他們想象的那樣轉給了兒子。
珀金對《華盛頓郵報》表示：“錢不翼而飛。沒有保險，無法追回，錢就這樣消失了。”
一家提供生成式人工智能工具的公司ElevenLabs在1月30日發推文稱：“濫用克隆語音的案例越來越多?！贝稳?，該公司宣布，其人工智能工具VoiceLab免費版的用戶將無法再使用語音克隆功能。
《財富》雜志向該公司發送了置評請求，但并未得到回復。
該公司寫道：“幾乎所有惡意內容都由免費的匿名賬戶生成。額外的身份驗證必不可少。因此，VoiceLab將僅供付費用戶使用?！保ㄓ嗛嗁M為每月5美元起。）
該公司承認，身份驗證無法阻止所有壞人，但能夠減少匿名用戶，并“迫使人們三思而行”。（財富中文網）
譯者：劉進龍
審校：汪皓
You may very well get a call in the near future from a relative in dire need of help, asking you to send them money quickly. And you might be convinced it’s them because, well, you know their voice.
Artificial intelligence changes that. New generative A.I. tools can create all manner of output from simple text prompts, including essays written in a particular author’s style, images worthy of art prizes, and—with just a snippet of someone’s voice to work with—speech that sounds convincingly like a particular person.
In January, Microsoft researchers demonstrated a text-to-speech A.I. tool that, when given just a three-second audio sample, can closely simulate a person’s voice. They did not share the code for others to play around with; instead, they warned that the tool, called VALL-E, “may carry potential risks in misuse…such as spoofing voice identification or impersonating a specific speaker.”
But similar technology is already out in the wild—and scammers are taking advantage of it. If they can find 30 seconds of your voice somewhere online, there’s a good chance they can clone it—and make it say anything.
“Two years ago, even a year ago, you needed a lot of audio to clone a person’s voice. Now…if you have a Facebook page…or if you’ve recorded a TikTok and your voice is in there for 30 seconds, people can clone your voice,” Hany Farid, a digital forensics professor at the University of California at Berkeley, told the Washington Post.
“The money’s gone”
The Post reported last weekend on the peril, describing how one Canadian family fell victim to scammers using A.I. voice cloning—and lost thousand of dollars. Elderly parents were told by a “lawyer” that their son had killed an American diplomat in a car accident, was in jail, and needed money for legal fees.
The supposed attorney then purportedly handed the phone over to the son, who told the parents he loved and appreciated them and needed the money. The cloned voice sounded “close enough for my parents to truly believe they did speak with me,” the son, Benjamin Perkin, told the Post.
The parents sent more than $15,000 through a Bitcoin terminal to—well, to scammers, not to their son, as they thought.
“The money’s gone,” Perkin told the paper. “There’s no insurance. There’s no getting it back. It’s gone.”
One company that offers a generative A.I. voice tool, ElevenLabs, tweeted on Jan. 30 that it was seeing “an increasing number of voice cloning misuse cases.” The next day, it announced the voice cloning capability would no longer be available to users of the free version of its tool, VoiceLab.
Fortune reached out to the company for comment but did not receive an immediate reply.
“Almost all of the malicious content was generated by free, anonymous accounts,” it wrote. “Additional identity verification is necessary. For this reason, VoiceLab will only be available on paid tiers.” (Subscriptions start at $5 per month.)
Card verification won’t stop every bad actor, it acknowledged, but it would make users less anonymous and “force them to think twice.”
財富中文網所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
