高中老師用人工智能偽造校長聲音
BEN FINLEY，美聯社
2024-05-05
馬里蘭州當局在4月25日表示，該地一所高中的體育總監被指控利用人工智能，在一段包含種族主義和反猶太主義言論的錄音中冒充校長。
當局稱，這似乎是美國第一起類似的案件，并呼吁制定新法律來防范這種技術。專家還警告稱，人工智能變得越來越強大，但檢測人工智能的能力可能滯后，需要更多資源。
巴爾的摩縣警方表示，達佛恩·達里恩模仿派克斯維爾高中（Pikesville High School）校長的聲音，回應兩人有關達里恩工作表現不佳以及是否會續約合同的談話。
警方表示，事情的起因包括達里恩被指控謊稱為女子足球隊擔任教練，從學校資金中支付了1,900美元給他的室友。
警方的指控文件顯示，達里恩偽造了一段音頻，聽起來似乎是校長在對黑人學生和他們的考試能力表達不滿。警方稱，這段錄音還聲稱錄到了校長貶低猶太人和兩名教師的言論。
法庭文件指出，這段音頻迅速在社交媒體上傳播，產生了“深遠影響”，導致校長被暫時休假。當局稱，這段錄音導致校長及其家人面臨 “嚴重風險”，警方甚至在他家安排了警衛。
警方表示，這段錄音還導致社交媒體上出現了大量充滿仇恨的信息，并使學校的電話被打爆。學校的教學活動一度受到了干擾，一些員工感到不安。
指控文件稱：“老師們擔心，學校內錄音設備可能無處不在。”
法庭文件顯示，31歲的達里恩面臨的指控包括盜竊、干擾學校活動、跟蹤和報復證人等。
巴爾的摩縣的州檢察官斯科特·舍倫伯格表示，本案似乎是他的辦公室能夠找到的全美首起涉及人工智能的案件。他表示，馬里蘭州的立法機構可能需要更新本州法律，以及時防范這種新技術被惡意利用的可能性。
例如，舍倫伯格表示，干擾學校活動的指控“只有6個月的刑期”。
這位檢察官表示：“但我們也需要從更廣泛的視角，去研究這項技術可能如何被利用和濫用，從而傷害他人。”
對達里恩的指控文件顯示，巴爾的摩縣的警探已邀請專家對達里恩偽造的錄音進行分析。
法庭記錄顯示，科羅拉多大學丹佛分校（University of Colorado-Denver）的一名教授告訴警方，錄音“包含了由人工智能生成內容，然后經過人類編輯的痕跡，為達到逼真效果增加了背景噪音”。
法庭記錄稱，加州大學伯克利分校（University of California-Berkley）的另一位教授告訴警方，這段音頻“由多個錄音拼接而成”。
法庭文件稱，一名巴爾的摩縣的警探發現，達里恩使用了OpenAI和Bingchat等大語言模型，這些模型可以“告訴用戶應采取哪些步驟來創建合成媒體文件”。
關于達里恩的在線法庭記錄顯示，他于周四繳納了5,000美元保釋金。法庭記錄中并未列明他的代理律師。
巴爾的摩縣警察局局長羅伯特·麥卡洛稱，達里恩于4月24日晚上在巴爾的摩/華盛頓瑟古德·馬歇爾國際機場登機前被捕。麥卡洛表示，達里恩之所以被攔截，是因為他在乘坐飛機時攜帶了槍支，然后警方才了解到有一份關于他的逮捕令。
麥卡洛表示，當局于24日晚上在系統中登記了對達里恩的逮捕令，并計劃于25日早上執行。他表示，不清楚達里恩為什么要搭乘飛機前往休斯頓，而且他并沒有暗示他試圖逃跑。
巴爾的摩縣學校系統的主管米利亞姆·羅杰斯周四表示，該系統建議解雇達里恩。
與此同時，紐約州立大學水牛城分校（University at Buffalo）媒體取證實驗室主任呂思偉表示，人工智能變得越來越強大，同時“非常容易使用”。
呂思偉告訴美聯社：“你基本上可以將任何主體的聲音上傳到這個平臺，然后給它提供文本，就可以生成那個人的聲音。”
他表示，可以從社交媒體上提取某個人一兩分鐘的談話錄音，然后用來重現他的聲音，當然它做不到始終完美無瑕。
呂思偉的研究重點是識別由人工智能生成的聲音和圖像。他表示，大語言模型變得更加強大，而檢測方法仍在努力跟進。
他說道：“這就像是一場永無止境的貓鼠游戲。但如果按照當前的發展速度來預測，檢測手段將嚴重滯后，因為相比生成式人工智能，我們缺少資源，而且沒有獲得足夠多的關注。”（財富中文網）
翻譯：劉進龍
審校：汪皓
馬里蘭州當局在4月25日表示，該地一所高中的體育總監被指控利用人工智能，在一段包含種族主義和反猶太主義言論的錄音中冒充校長。
當局稱，這似乎是美國第一起類似的案件，并呼吁制定新法律來防范這種技術。專家還警告稱，人工智能變得越來越強大，但檢測人工智能的能力可能滯后，需要更多資源。
巴爾的摩縣警方表示，達佛恩·達里恩模仿派克斯維爾高中（Pikesville High School）校長的聲音，回應兩人有關達里恩工作表現不佳以及是否會續約合同的談話。
警方表示，事情的起因包括達里恩被指控謊稱為女子足球隊擔任教練，從學校資金中支付了1,900美元給他的室友。
警方的指控文件顯示，達里恩偽造了一段音頻，聽起來似乎是校長在對黑人學生和他們的考試能力表達不滿。警方稱，這段錄音還聲稱錄到了校長貶低猶太人和兩名教師的言論。
法庭文件指出，這段音頻迅速在社交媒體上傳播，產生了“深遠影響”，導致校長被暫時休假。當局稱，這段錄音導致校長及其家人面臨 “嚴重風險”，警方甚至在他家安排了警衛。
警方表示，這段錄音還導致社交媒體上出現了大量充滿仇恨的信息，并使學校的電話被打爆。學校的教學活動一度受到了干擾，一些員工感到不安。
指控文件稱：“老師們擔心，學校內錄音設備可能無處不在。”
法庭文件顯示，31歲的達里恩面臨的指控包括盜竊、干擾學校活動、跟蹤和報復證人等。
巴爾的摩縣的州檢察官斯科特·舍倫伯格表示，本案似乎是他的辦公室能夠找到的全美首起涉及人工智能的案件。他表示，馬里蘭州的立法機構可能需要更新本州法律，以及時防范這種新技術被惡意利用的可能性。
例如，舍倫伯格表示，干擾學校活動的指控“只有6個月的刑期”。
這位檢察官表示：“但我們也需要從更廣泛的視角，去研究這項技術可能如何被利用和濫用，從而傷害他人。”
對達里恩的指控文件顯示，巴爾的摩縣的警探已邀請專家對達里恩偽造的錄音進行分析。
法庭記錄顯示，科羅拉多大學丹佛分校（University of Colorado-Denver）的一名教授告訴警方，錄音“包含了由人工智能生成內容，然后經過人類編輯的痕跡，為達到逼真效果增加了背景噪音”。
法庭記錄稱，加州大學伯克利分校（University of California-Berkley）的另一位教授告訴警方，這段音頻“由多個錄音拼接而成”。
法庭文件稱，一名巴爾的摩縣的警探發現，達里恩使用了OpenAI和Bingchat等大語言模型，這些模型可以“告訴用戶應采取哪些步驟來創建合成媒體文件”。
關于達里恩的在線法庭記錄顯示，他于周四繳納了5,000美元保釋金。法庭記錄中并未列明他的代理律師。
巴爾的摩縣警察局局長羅伯特·麥卡洛稱，達里恩于4月24日晚上在巴爾的摩/華盛頓瑟古德·馬歇爾國際機場登機前被捕。麥卡洛表示，達里恩之所以被攔截，是因為他在乘坐飛機時攜帶了槍支，然后警方才了解到有一份關于他的逮捕令。
麥卡洛表示，當局于24日晚上在系統中登記了對達里恩的逮捕令，并計劃于25日早上執行。他表示，不清楚達里恩為什么要搭乘飛機前往休斯頓，而且他并沒有暗示他試圖逃跑。
巴爾的摩縣學校系統的主管米利亞姆·羅杰斯周四表示，該系統建議解雇達里恩。
與此同時，紐約州立大學水牛城分校（University at Buffalo）媒體取證實驗室主任呂思偉表示，人工智能變得越來越強大，同時“非常容易使用”。
呂思偉告訴美聯社：“你基本上可以將任何主體的聲音上傳到這個平臺，然后給它提供文本，就可以生成那個人的聲音。”
他表示，可以從社交媒體上提取某個人一兩分鐘的談話錄音，然后用來重現他的聲音，當然它做不到始終完美無瑕。
呂思偉的研究重點是識別由人工智能生成的聲音和圖像。他表示，大語言模型變得更加強大，而檢測方法仍在努力跟進。
他說道：“這就像是一場永無止境的貓鼠游戲。但如果按照當前的發展速度來預測，檢測手段將嚴重滯后，因為相比生成式人工智能，我們缺少資源，而且沒有獲得足夠多的關注。”（財富中文網）
翻譯：劉進龍
審校：汪皓
A high school athletic director in Maryland has been accused of using artificial intelligence to impersonate a principal on an audio recording that included racist and antisemitic comments, authorities said Thursday.
Authorities said the case appears to be among the first of its kind in the country and called for new laws to guard against the technology. Experts also warned that artificial intelligence is becoming increasingly powerful, while the ability to detect it may lag behind without more resources.
Dazhon Darien faked the voice of Pikesville High School’s principal in response to conversations the men had about Darien’s poor work performance and whether his contract would be renewed, Baltimore County police said.
Concerns included allegations that Darien paid his roommate $1,900 in school funds under the false pretense of coaching the girls soccer team, police said.
Darien forged an audio clip in which it sounded as if the principal was frustrated with Black students and their test-taking abilities, police wrote in charging documents. They said the recording also purported to capture the principal disparaging Jewish individuals and two teachers.
The audio clip quickly spread on social media and had “profound repercussions,” the court documents stated, with the principal being placed on leave. The recording put the principal and his family at “significant risk,” while police officers provided security at his house, according to authorities.
The recording also triggered a wave of hate-filled messages on social media and an inundation of phone calls to the school, police said. Activities were disrupted for a time, and some staff felt unsafe.
“Teachers have expressed fears that recording devices could have been planted in various places in the school,” the charging documents stated.
Darien, 31, faces charges that include theft, disrupting school activities, stalking and retaliating against a witness, according to court documents.
Scott Shellenberger, the Baltimore County state’s attorney, said the case appears to be one of the first of its kind nationwide involving artificial intelligence that his office was able to find. He said Maryland’s Legislature may need to update state laws to catch up with the nefarious possibilities of the new technology.
For example, the charge of disrupting school activities “only carries a 6-month sentence,” Shellenberger said.
“But we also need to take a broader look at how this technology can be used and abused to harm other people,” the prosecutor said.
Baltimore County detectives had asked experts to analyze the recording made by Darien, according to the charges against him.
A professor from the University of Colorado-Denver told police that it “contained traces of AI-generated content with human editing after the fact, which added background noises for realism,” court records stated.
A second opinion from a professor at the University of California-Berkley told police that “multiple recordings were spliced together,” according to the records.
A Baltimore County detective found that Darien had used Large Language Models, such as OpenAI and Bingchat, which can “tell users what steps to take to create synthetic media,” court documents stated.
Online court records for Darien show that he posted $5,000 bond on Thursday. The records did not list an attorney who might be able to speak on his behalf.
Darien was arrested Wednesday evening before he was to board a plane at Baltimore/Washington International Thurgood Marshall Airport, Baltimore County Police Chief Robert McCullough said. Darien was stopped because of how he had packaged his firearm for the flight, leading officers to learn he had a warrant for his arrest, according to McCullough.
McCullough said authorities had entered the warrant for Darien’s arrest into the system on Wednesday night with plans to serve it Thursday morning. The chief said he didn’t know why Darien was catching a flight to Houston and did not suggest that he was trying to escape.
The Baltimore County school system is recommending Darien’s termination, superintendent Myriam Rogers said Thursday.
Meanwhile, artificial intelligence is becoming increasingly powerful and yet “very easy to use,” said Siwei Lyu, director of a media forensics lab at the University at Buffalo.
“You can basically upload any subject’s voice up to this platform,” Lyu told The Associated Press on Thursday. “And then you can give it text and you can start creating voices of that person.”
A recording of someone talking for a minute or two can be gleaned from social media and used to recreate someone’s voice, Lyu said, noting that it’s not always perfect.
Lyu’s research focuses on identifying AI-generated voices and images. He said the models are becoming more powerful, while detection methods are trying to catch up.
“It’s kind of like a perpetual cat-and-mouse game,” Lyu said. “But if I project the speed of development based on today’s situation, detection will lag behind because we have less resources and are not getting as much attention as the generative side.”
財富中文網所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
