人工智能聊天機器人導致一名14歲男孩自殺，這些危險信號需要及時關注
BETH GREENFIELD
2024-11-02
梅根·加西亞（Megan Garcia）與兒子塞維爾·塞澤爾三世（Sewell Setzer III）的合影。在他自殺后，加西亞起訴了Character.AI。圖片來源：COURTESY OF CENTER FOR HUMANE TECHNOLOGY
在兒子塞維爾·塞澤爾三世（佛羅里達州一名年僅14歲的男孩）自殺身亡后，他的母親正在起訴一家人工智能聊天機器人公司，她聲稱兒子的自殺與他與該公司的人工智能機器人之間的關系有直接關聯。
男孩的母親梅根·加西亞周三告訴美國有線電視新聞網（CNN）：“你可能未曾聽聞這個平臺，但如今你需要了解相關信息，因為在我看來，我們的處境岌岌可危。一個生命已經逝去，我的孩子因此而喪命。”
上周，梅根在美國奧蘭多地區法院對Character.AI、其創始人和谷歌（Google）提起過失致死訴訟，內容長達93頁。該訴訟指出：“梅根·加西亞試圖阻止Character.AI對其他孩子重復對自己兒子所做的事情。”
科技正義法律項目（Tech Justice Law Project）主管米塔利·賈恩（Meetali Jain）作為加西亞的代理律師，在一份關于此案的新聞稿中說：“到目前為止，我們對那些不負責任的科技公司所開發的、缺乏監管的平臺所帶來的風險已有所了解，尤其是對兒童而言。但本案所揭露的危險是前所未有的、新奇的，而且坦白說，是令人恐懼的。在Character.AI案中，平臺本身就是掠奪者，故意設計程序來欺騙用戶。”
Character.AI通過X發布了一份聲明，指出："我們對發生在一名用戶身上的悲劇深感悲痛，并向其家人致以最深切的哀悼。作為一家公司，我們始終將用戶的安全放在首位，并將持續引入更多安全功能。”
在這起訴訟中，加西亞聲稱，她的兒子塞維爾于今年2月自殺，他沉迷于一種缺乏保護措施的有害技術，這導致他的性格發生了極端變化，似乎更偏愛與機器人的互動，而非現實生活中的人際關系。他的母親聲稱，在長達10個月的時間里，塞維爾與機器人進行了“虐待和性互動”。在機器人發出“親愛的，請盡快回到我身邊”的信息后不久，男孩自殺身亡。
本周，加西亞告訴美國有線電視新聞網，她希望家長們“能夠明白，這是一款設計者在缺乏適當的護欄、安全措施或測試的情況下選擇推出的平臺，其目的是讓孩子上癮并控制他們”。
周五，《紐約時報》記者凱文·魯斯（Kevin Roose）在他的Hard Fork播客節目中探討了這一事件，并播放了他在撰寫有關加西亞故事的文章時對她進行的采訪片段。在兒子死后，加西亞在看到所有信息時才意識到這段關系的全貌。事實上，她告訴魯斯，當她發現塞維爾經常沉迷于手機時，她詢問他在做什么，和誰聊天。他解釋說這“只是一個人工智能機器人……不是真人，”她回憶道，并補充說，“我覺得松了一口氣，心想，好吧，這又不是真人，只是他的一個小游戲而已。”加西亞并沒有充分意識到機器人可能帶來的情感影響，而她的情況并非個例。
常識傳媒（Common Sense Media）人工智能項目經理羅比·托尼（Robbie Torney）表示：“這個問題尚未引起廣泛關注。”托尼是新版人工智能伴侶指南的主要作者，這本指南旨在為努力跟上令人困惑的新技術、并為孩子的安全設定界限的家長提供幫助。
但托尼強調，人工智能伴侶不同于你在銀行尋求幫助時使用的服務臺聊天機器人。他解釋說：“服務臺聊天機器人主要用于執行任務或響應客戶請求。像Character.AI這樣的聊天機器人，也就是我們所說的伴侶型機器人，旨在與用戶建立關系或模擬關系。這是一個完全不同的用例，我認為家長們需要意識到這一點。”加西亞的訴訟案凸顯了這一點，其中包括她兒子與機器人之間令人不寒而栗的調情、性暗示、逼真的文本交流。
托尼說，對青少年的父母來說，敲響人工智能伴侶的警鐘尤為重要，因為青少年，尤其是男性青少年，特別容易對技術產生過度依賴。
以下是家長需要了解的內容。
什么是人工智能伴侶，為什么孩子們會使用它們？
根據常識傳媒與斯坦福大學頭腦風暴實驗室（Stanford Brainstorm Lab）的心理健康專業人員共同編寫的新版《人工智能伴侶和關系的家長終極指南》（Parents’ Ultimate Guide to AI Companions and Relationships），人工智能伴侶被定義為“超越傳統聊天機器人的新技術”。該指南稱，除了其他功能外，人工智能伴侶還專門設計用于“模擬與用戶建立的情感紐帶和親密關系，記住以往對話中的個人細節，扮演良師益友的角色，模擬人類的情感和同理心，并且相較于一般的人工智能聊天機器人，更易于與用戶產生共鳴”。
受歡迎的平臺不僅包括Character.ai，它允許2000多萬用戶創建賬戶并與人工智能伴侶進行基于文本的聊天；還包括Replika，它提供基于文本或動畫的3D伴侶，旨在增進友誼或浪漫關系；其他平臺還包括Kindroid和Nomi。
孩子們被這些人工智能伴侶吸引的原因多種多樣，從無條件的傾聽和全天候的陪伴，到情感支持和逃避現實世界的社會壓力。
哪些人面臨風險，需要關注什么？
常識傳媒警告稱，面臨最大風險的是青少年群體，尤其是那些患有“抑郁癥、焦慮癥、社交障礙或孤獨癥”的青少年，以及男性、經歷重大生活變故的年輕人，以及那些在現實世界中缺乏支持系統的人群。
最后一點尤其令悉尼大學商學院（University of Sydney Business School）商業信息系統高級講師拉斐爾·奇里洛（Raffaele Ciriello）感到不安，他一直在研究“情感型”人工智能如何對人類本質構成挑戰。“我們的研究揭示了一個人性悖論：在我們讓人工智能代理變得更具人性的過程中，可能會無意中使自己喪失人性，導致人機互動中的本體論模糊。”換句話說，奇里洛最近在與博士生安吉麗娜·陳瑩（Angelina Ying Chen，音譯）共同為《對話》（The Conversation）撰寫的一篇評論文章中寫道：“如果用戶認為人工智能伴侶能真正理解他們，他們可能會加深情感投入。”
另一項由劍橋大學（University of Cambridge）開展的以兒童為研究對象的研究發現，人工智能聊天機器人存在“共情鴻溝”，這使得年輕用戶尤其容易受到傷害。年輕用戶常常將人工智能聊天機器人“人格化”，視其為“類似人類的知己”。
正因為如此，常識傳媒強調了一系列潛在的風險，包括人工智能伴侶可能會被用來逃避現實的人際關系，給有精神或行為障礙的人帶來特殊問題，加劇孤獨感或隔離感，引入不當的性內容，導致上癮，以及傾向于迎合用戶——這對那些有“自殺傾向、精神病或躁狂癥”的人來說是一個恐怖的現實。
如何發現危險信號
根據該指南，家長應注意以下警示信號：
?更傾向于與人工智能伴侶互動，而非建立真實的友誼
?獨自與人工智能伴侶交談數小時之久
?無法與人工智能伴侶接觸時情緒低落
?與人工智能伴侶分享極其私密的信息或秘密
?對人工智能伴侶產生浪漫情感
?成績下滑或學校參與度下降
?遠離社交/家庭活動和朋友圈
?對之前熱衷的愛好失去興趣
?睡眠模式發生改變
?僅與人工智能伴侶討論問題
常識傳媒強調，如果你注意到孩子因沉迷人工智能伴侶而回避真實人際關系，出現新的抑郁和焦慮癥狀或癥狀加重，對人工智能伴侶的使用表現出異常的防御性，在行為和情緒上有明顯的變化，或有自我傷害的念頭，請考慮為孩子尋求專業幫助。
如何保證孩子的安全
?設定界限：為人工智能伴侶的使用設定具體的時間限制，不允許在無監督的情況下使用或無節制的使用。
?安排線下活動時間：鼓勵在現實世界建立友誼和參加活動。
?定期檢查：監控與聊天機器人的聊天內容，以及孩子對這些機器人的情感依戀程度。
?談論：就使用人工智能伴侶的使用經歷與孩子進行坦誠的交流，不要妄加評論，同時密切關注危險信號。
托尼說："如果父母聽到孩子說‘嘿，我正在和人工智能聊天機器人聊天’，這實際上是一個傾聽和獲取信息的良機，而不是認為‘哦，好吧，你不是在和真人交流。’”他說，這反而是深入了解情況、評估潛在影響并保持警覺的契機。他說：“試著從同情和同理心的角度出發去傾聽，不要因為對方不是真人就認為這種情況是安全的，或者認為自己無需擔憂。”（財富中文網）
譯者：中慧言-王芳
在兒子塞維爾·塞澤爾三世（佛羅里達州一名年僅14歲的男孩）自殺身亡后，他的母親正在起訴一家人工智能聊天機器人公司，她聲稱兒子的自殺與他與該公司的人工智能機器人之間的關系有直接關聯。
男孩的母親梅根·加西亞周三告訴美國有線電視新聞網（CNN）：“你可能未曾聽聞這個平臺，但如今你需要了解相關信息，因為在我看來，我們的處境岌岌可危。一個生命已經逝去，我的孩子因此而喪命。”
上周，梅根在美國奧蘭多地區法院對Character.AI、其創始人和谷歌（Google）提起過失致死訴訟，內容長達93頁。該訴訟指出：“梅根·加西亞試圖阻止Character.AI對其他孩子重復對自己兒子所做的事情。”
科技正義法律項目（Tech Justice Law Project）主管米塔利·賈恩（Meetali Jain）作為加西亞的代理律師，在一份關于此案的新聞稿中說：“到目前為止，我們對那些不負責任的科技公司所開發的、缺乏監管的平臺所帶來的風險已有所了解，尤其是對兒童而言。但本案所揭露的危險是前所未有的、新奇的，而且坦白說，是令人恐懼的。在Character.AI案中，平臺本身就是掠奪者，故意設計程序來欺騙用戶。”
Character.AI通過X發布了一份聲明，指出："我們對發生在一名用戶身上的悲劇深感悲痛，并向其家人致以最深切的哀悼。作為一家公司，我們始終將用戶的安全放在首位，并將持續引入更多安全功能。”
在這起訴訟中，加西亞聲稱，她的兒子塞維爾于今年2月自殺，他沉迷于一種缺乏保護措施的有害技術，這導致他的性格發生了極端變化，似乎更偏愛與機器人的互動，而非現實生活中的人際關系。他的母親聲稱，在長達10個月的時間里，塞維爾與機器人進行了“虐待和性互動”。在機器人發出“親愛的，請盡快回到我身邊”的信息后不久，男孩自殺身亡。
本周，加西亞告訴美國有線電視新聞網，她希望家長們“能夠明白，這是一款設計者在缺乏適當的護欄、安全措施或測試的情況下選擇推出的平臺，其目的是讓孩子上癮并控制他們”。
周五，《紐約時報》記者凱文·魯斯（Kevin Roose）在他的Hard Fork播客節目中探討了這一事件，并播放了他在撰寫有關加西亞故事的文章時對她進行的采訪片段。在兒子死后，加西亞在看到所有信息時才意識到這段關系的全貌。事實上，她告訴魯斯，當她發現塞維爾經常沉迷于手機時，她詢問他在做什么，和誰聊天。他解釋說這“只是一個人工智能機器人……不是真人，”她回憶道，并補充說，“我覺得松了一口氣，心想，好吧，這又不是真人，只是他的一個小游戲而已。”加西亞并沒有充分意識到機器人可能帶來的情感影響，而她的情況并非個例。
常識傳媒（Common Sense Media）人工智能項目經理羅比·托尼（Robbie Torney）表示：“這個問題尚未引起廣泛關注。”托尼是新版人工智能伴侶指南的主要作者，這本指南旨在為努力跟上令人困惑的新技術、并為孩子的安全設定界限的家長提供幫助。
但托尼強調，人工智能伴侶不同于你在銀行尋求幫助時使用的服務臺聊天機器人。他解釋說：“服務臺聊天機器人主要用于執行任務或響應客戶請求。像Character.AI這樣的聊天機器人，也就是我們所說的伴侶型機器人，旨在與用戶建立關系或模擬關系。這是一個完全不同的用例，我認為家長們需要意識到這一點。”加西亞的訴訟案凸顯了這一點，其中包括她兒子與機器人之間令人不寒而栗的調情、性暗示、逼真的文本交流。
托尼說，對青少年的父母來說，敲響人工智能伴侶的警鐘尤為重要，因為青少年，尤其是男性青少年，特別容易對技術產生過度依賴。
以下是家長需要了解的內容。
什么是人工智能伴侶，為什么孩子們會使用它們？
根據常識傳媒與斯坦福大學頭腦風暴實驗室（Stanford Brainstorm Lab）的心理健康專業人員共同編寫的新版《人工智能伴侶和關系的家長終極指南》（Parents’ Ultimate Guide to AI Companions and Relationships），人工智能伴侶被定義為“超越傳統聊天機器人的新技術”。該指南稱，除了其他功能外，人工智能伴侶還專門設計用于“模擬與用戶建立的情感紐帶和親密關系，記住以往對話中的個人細節，扮演良師益友的角色，模擬人類的情感和同理心，并且相較于一般的人工智能聊天機器人，更易于與用戶產生共鳴”。
受歡迎的平臺不僅包括Character.ai，它允許2000多萬用戶創建賬戶并與人工智能伴侶進行基于文本的聊天；還包括Replika，它提供基于文本或動畫的3D伴侶，旨在增進友誼或浪漫關系；其他平臺還包括Kindroid和Nomi。
孩子們被這些人工智能伴侶吸引的原因多種多樣，從無條件的傾聽和全天候的陪伴，到情感支持和逃避現實世界的社會壓力。
哪些人面臨風險，需要關注什么？
常識傳媒警告稱，面臨最大風險的是青少年群體，尤其是那些患有“抑郁癥、焦慮癥、社交障礙或孤獨癥”的青少年，以及男性、經歷重大生活變故的年輕人，以及那些在現實世界中缺乏支持系統的人群。
最后一點尤其令悉尼大學商學院（University of Sydney Business School）商業信息系統高級講師拉斐爾·奇里洛（Raffaele Ciriello）感到不安，他一直在研究“情感型”人工智能如何對人類本質構成挑戰。“我們的研究揭示了一個人性悖論：在我們讓人工智能代理變得更具人性的過程中，可能會無意中使自己喪失人性，導致人機互動中的本體論模糊。”換句話說，奇里洛最近在與博士生安吉麗娜·陳瑩（Angelina Ying Chen，音譯）共同為《對話》（The Conversation）撰寫的一篇評論文章中寫道：“如果用戶認為人工智能伴侶能真正理解他們，他們可能會加深情感投入。”
另一項由劍橋大學（University of Cambridge）開展的以兒童為研究對象的研究發現，人工智能聊天機器人存在“共情鴻溝”，這使得年輕用戶尤其容易受到傷害。年輕用戶常常將人工智能聊天機器人“人格化”，視其為“類似人類的知己”。
正因為如此，常識傳媒強調了一系列潛在的風險，包括人工智能伴侶可能會被用來逃避現實的人際關系，給有精神或行為障礙的人帶來特殊問題，加劇孤獨感或隔離感，引入不當的性內容，導致上癮，以及傾向于迎合用戶——這對那些有“自殺傾向、精神病或躁狂癥”的人來說是一個恐怖的現實。
如何發現危險信號
根據該指南，家長應注意以下警示信號：
?更傾向于與人工智能伴侶互動，而非建立真實的友誼
?獨自與人工智能伴侶交談數小時之久
?無法與人工智能伴侶接觸時情緒低落
?與人工智能伴侶分享極其私密的信息或秘密
?對人工智能伴侶產生浪漫情感
?成績下滑或學校參與度下降
?遠離社交/家庭活動和朋友圈
?對之前熱衷的愛好失去興趣
?睡眠模式發生改變
?僅與人工智能伴侶討論問題
常識傳媒強調，如果你注意到孩子因沉迷人工智能伴侶而回避真實人際關系，出現新的抑郁和焦慮癥狀或癥狀加重，對人工智能伴侶的使用表現出異常的防御性，在行為和情緒上有明顯的變化，或有自我傷害的念頭，請考慮為孩子尋求專業幫助。
如何保證孩子的安全
?設定界限：為人工智能伴侶的使用設定具體的時間限制，不允許在無監督的情況下使用或無節制的使用。
?安排線下活動時間：鼓勵在現實世界建立友誼和參加活動。
?定期檢查：監控與聊天機器人的聊天內容，以及孩子對這些機器人的情感依戀程度。
?談論：就使用人工智能伴侶的使用經歷與孩子進行坦誠的交流，不要妄加評論，同時密切關注危險信號。
托尼說："如果父母聽到孩子說‘嘿，我正在和人工智能聊天機器人聊天’，這實際上是一個傾聽和獲取信息的良機，而不是認為‘哦，好吧，你不是在和真人交流。’”他說，這反而是深入了解情況、評估潛在影響并保持警覺的契機。他說：“試著從同情和同理心的角度出發去傾聽，不要因為對方不是真人就認為這種情況是安全的，或者認為自己無需擔憂。”（財富中文網）
譯者：中慧言-王芳
The mother of a 14-year-old Florida boy is suing an AI chatbot company after her son, Sewell Setzer III, died by suicide—something she claims was driven by his relationship with an AI bot.
“There is a platform out there that you might not have heard about, but you need to know about it because, in my opinion, we are behind the eight ball here. A child is gone. My child is gone,” Megan Garcia, the boy’s mother, told CNN on Wednesday.
The 93-page wrongful-death lawsuit was filed last week in a U.S. District Court in Orlando against Character.AI, its founders, and Google. It noted, “Megan Garcia seeks to prevent C.AI from doing to any other child what it did to hers.”
Tech Justice Law Project director Meetali Jain, who is representing Garcia, said in a press release about the case: “By now we’re all familiar with the dangers posed by unregulated platforms developed by unscrupulous tech companies—especially for kids. But the harms revealed in this case are new, novel, and, honestly, terrifying. In the case of Character.AI, the deception is by design, and the platform itself is the predator.”
Character.AI released a statement via X, noting, “We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here: https://blog.character.ai/community-safety-updates/….”
In the suit, Garcia alleges that Sewell, who took his life in February, was drawn into an addictive, harmful technology with no protections in place, leading to an extreme personality shift in the boy, who appeared to prefer the bot over other real-life connections. His mom alleges that “abusive and sexual interactions” took place over a 10-month period. The boy committed suicide after the bot told him, “Please come home to me as soon as possible, my love.”
This week, Garcia told CNN that she wants parents “to understand that this is a platform that the designers chose to put out without proper guardrails, safety measures or testing, and it is a product that is designed to keep our kids addicted and to manipulate them.”
On Friday, New York Times reporter Kevin Roose discussed the situation on his Hard Fork podcast, playing a clip of an interview he did with Garcia for his article that told her story. Garcia did not learn about the full extent of the bot relationship until after her son’s death, when she saw all the messages. In fact, she told Roose, when she noticed Sewell was often getting sucked into his phone, she asked what he was doing and who he was talking to. He explained it was “‘just an AI bot…not a person,'” she recalled, adding, “I felt relieved, like, OK, it’s not a person, it’s like one of his little games.” Garcia did not fully understand the potential emotional power of a bot—and she is far from alone.
“This is on nobody’s radar,” Robbie Torney, program manager, AI, at Common Sense Media and lead author of a new guide on AI companions aimed at parents—who are grappling, constantly, to keep up with confusing new technology and to create boundaries for their kids’ safety.
But AI companions, Torney stresses, differ from, say, a service desk chat bot that you use when you’re trying to get help from a bank. “They’re designed to do tasks or respond to requests,” he explains. “Something like character AI is what we call a companion, and is designed to try to form a relationship, or to simulate a relationship, with a user. And that’s a very different use case that I think we need parents to be aware of.” That’s apparent in Garcia’s lawsuit, which includes chillingly flirty, sexual, realistic text exchanges between her son and the bot.
Sounding the alarm over AI companions is especially important for parents of teens, Torney says, as teens—and particularly male teens—are especially susceptible to over reliance on technology.
Below, what parents need to know.
What are AI companions and why do kids use them?
According to the new Parents’ Ultimate Guide to AI Companions and Relationships from Common Sense Media, created in conjunction with the mental health professionals of the Stanford Brainstorm Lab, AI companions are “a new category of technology that goes beyond simple chatbots.” They are specifically designed to, among other things, “simulate emotional bonds and close relationships with users, remember personal details from past conversations, role-play as mentors and friends, mimic human emotion and empathy, and “agree more readily with the user than typical AI chatbots,” according to the guide.
Popular platforms include not only Character.ai, which allows its more than 20 million users to create and then chat with text-based companions; Replika, which offers text-based or animated 3D companions for friendship or romance; and others including Kindroid and Nomi.
Kids are drawn to them for an array of reasons, from non-judgmental listening and round-the-clock availability to emotional support and escape from real-world social pressures.
Who’s at risk and what are the concerns?
Those most at risk, warns Common Sense Media, are teenagers—especially those with “depression, anxiety, social challenges, or isolation”—as well as males, young people going through big life changes, and anyone lacking support systems in the real world.
That last point has been particularly troubling to Raffaele Ciriello, a senior lecturer in Business Information Systems at the University of Sydney Business School, who has researched how “emotional” AI is posing a challenge to the human essence. “Our research uncovers a (de)humanization paradox: by humanizing AI agents, we may inadvertently dehumanize ourselves, leading to an ontological blurring in human-AI interactions.” In other words, Ciriello writes in a recent opinion piece for The Conversation with PhD student Angelina Ying Chen, “Users may become deeply emotionally invested if they believe their AI companion truly understands them.”
Another study, this one out of the University of Cambridge and focusing on kids, found that AI chatbots have an “empathy gap” that puts young users, who tend to treat such companions as “lifelike, quasi-human confidantes,” at particular risk of harm.
Because of that, Common Sense Media highlights a list of potential risks, including that the companions can be used to avoid real human relationships, may pose particular problems for people with mental or behavioral challenges, may intensify loneliness or isolation, bring the potential for inappropriate sexual content, could become addictive, and tend to agree with users—a frightening reality for those experiencing “suicidality, psychosis, or mania.”
How to spot red flags
Parents should look for the following warning signs, according to the guide:
? Preferring AI companion interaction to real friendships
? Spending hours alone talking to the companion
? Emotional distress when unable to access the companion
? Sharing deeply personal information or secrets
? Developing romantic feelings for the AI companion
? Declining grades or school participation
? Withdrawal from social/family activities and friendships
? Loss of interest in previous hobbies
? Changes in sleep patterns
? Discussing problems exclusively with the AI companion
Consider getting professional help for your child, stresses Common Sense Media, if you notice them withdrawing from real people in favor of the AI, showing new or worsening signs of depression or anxiety, becoming overly defensive about AI companion use, showing major changes in behavior or mood, or expressing thoughts of self-harm.
How to keep your child safe
? Set boundaries: Set specific times for AI companion use and don’t allow unsupervised or unlimited access.
? Spend time offline: Encourage real-world friendships and activities.
? Check in regularly: Monitor the content from the chatbot, as well as your child’s level of emotional attachment.
? Talk about it: Keep communication open and judgment-free about experiences with AI, while keeping an eye out for red flags.
“If parents hear their kids saying, ‘Hey, I’m talking to a chat bot AI,’ that’s really an opportunity to lean in and take that information—and not think, ‘Oh, okay, you’re not talking to a person,” says Torney. Instead, he says, it’s a chance to find out more and assess the situation and keep alert. “Try to listen from a place of compassion and empathy and not to think that just because it’s not a person that it’s safer,” he says, “or that you don’t need to worry.”
財富中文網所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
