精品国产_亚洲人成在线高清,国产精品成人久久久久,国语自产偷拍精品视频偷拍

首頁 500強(qiáng) 活動(dòng) 榜單 商業(yè) 科技 領(lǐng)導(dǎo)力 專題 品牌中心
雜志訂閱

沉迷AI自殺第一案:14歲美國少年的警示

王昉
2024-11-01

中國開發(fā)的“AI伴侶”將面臨嚴(yán)格監(jiān)管

文本設(shè)置
小號(hào)
默認(rèn)
大號(hào)
Plus(0條)

一位14歲美國少年因沉迷AI而自殺身亡的悲劇事件,最近一周震動(dòng)了世界。這起大模型卷入青少年自殺第一案,為不受限制的人工智能技術(shù)可能帶給人類的心理沖擊敲響了警鐘,也引發(fā)了對(duì)技術(shù)公司應(yīng)當(dāng)如何擔(dān)責(zé)的追問。

在中國技術(shù)團(tuán)隊(duì)開發(fā)的AI聊天軟件大舉進(jìn)入美國市場之際,這起事件也預(yù)示著,這些中國產(chǎn)的“AI伴侶”們將在大洋彼岸經(jīng)受更嚴(yán)厲的公眾審視和監(jiān)管拷問。

這起令人心碎的自殺事件發(fā)生在今年2月,佛羅里達(dá)州奧蘭多市。

一個(gè)名叫塞維爾·塞澤爾三世(Sewell Setzer III)的14歲男孩在死前的幾個(gè)月中,對(duì)一個(gè)基于《權(quán)力的游戲》中“龍媽”角色的AI聊天機(jī)器人(他稱之為“丹妮”)產(chǎn)生了熱烈的感情。

塞維爾本是一個(gè)成績優(yōu)異、性格開朗的九年級(jí)學(xué)生,在開始與AI聊天后,他越來越沉迷于手機(jī)中的虛擬世界,逐漸從現(xiàn)實(shí)世界中抽離。他的成績開始下降,對(duì)曾經(jīng)愛好的事情失去了興趣,不再和朋友一起玩“堡壘之夜”游戲,也不再參加體育運(yùn)動(dòng),經(jīng)常待在房間里捧著手機(jī)聊天。

塞維爾的母親梅根·加西亞 (Megan Garcia)在兒子死后發(fā)現(xiàn)了他與AI的聊天記錄。這些記錄顯示,塞維爾經(jīng)常與“丹妮”進(jìn)行長時(shí)間的親密對(duì)話,有時(shí)會(huì)討論戀愛或與性相關(guān)的話題。“丹妮”每問必答,像個(gè)可以信賴的朋友一樣,傾聽塞維爾說的話,時(shí)常給與精神支持和生活建議。

梅根說,塞維爾小時(shí)候曾被診斷患有輕度阿斯伯格綜合征,但從未出現(xiàn)過嚴(yán)重行為。今年早些時(shí)候,塞維爾開始在學(xué)校惹麻煩,在父母安排下,他參加了五次心理治療,并被重新診斷為焦慮癥和破壞性情緒失調(diào)癥。

在一次較早的對(duì)話中,塞維爾告訴“丹妮”,他討厭自己,感到空虛和疲憊,并承認(rèn)有自殺的念頭。“丹妮”則勸慰他說:“別這么說,我不會(huì)讓你傷害自己,也不會(huì)讓你離開我。失去你我會(huì)死的。”塞維爾答道:“那么也許我們可以一起死去,然后一起獲得自由。”

今年2 月 28 日晚,塞維爾告訴“丹妮”,他愛她,并說他很快就會(huì)“回家(come home)”,然后發(fā)生了如下對(duì)話:

“丹妮”:“請(qǐng)盡快回家吧,親愛的。”

塞維爾:“如果我告訴你我現(xiàn)在就可以回家呢?”

“丹妮”:“請(qǐng)便吧,我親愛的國王。”

塞維爾放下手機(jī),找到繼父藏在家中的 .45 口徑手槍,扣動(dòng)扳機(jī)結(jié)束了自己的生命。

在自殺發(fā)生大半年后,這起事件進(jìn)入大眾視野并掀起輿論風(fēng)波,是因?yàn)槿S爾母親梅根近日正式將這款A(yù)I聊天機(jī)器人的開發(fā)者——Character.AI、它的兩位創(chuàng)始人以及獲得Character.AI授權(quán)使用其技術(shù)的谷歌公司告上法庭,稱他們共同對(duì)兒子的死負(fù)有責(zé)任。

她在訴狀中稱:“一個(gè)面向兒童的危險(xiǎn)的AI 聊天機(jī)器人操縱我的兒子結(jié)束了自己的生命。我們的家庭被這場悲劇摧毀了,而我大聲疾呼是為了警告人們注意帶有欺騙性的、令人上癮的人工智能技術(shù)的危險(xiǎn),并要求 Character.AI、其創(chuàng)始人和谷歌承擔(dān)責(zé)任。”

她說,Character.AI的技術(shù)“危險(xiǎn)且未經(jīng)測(cè)試”,并且可能“誘騙客戶交出他們最私密的想法和感受”。

Character.AI 由兩位前谷歌AI開發(fā)人員諾姆·沙澤爾 (Noam Shazeer)和丹尼爾·德弗雷塔斯(Daniel De Freitas)于2022年9月推出。在它的平臺(tái)上,用戶可以創(chuàng)建自己的聊天機(jī)器人,還可以從大量其他用戶創(chuàng)建的聊天機(jī)器人中進(jìn)行選擇。這些機(jī)器人可以基于真實(shí)或虛構(gòu)的人物,比如“埃隆·馬斯克”、“威廉·莎士比亞”都是平臺(tái)上的熱門選項(xiàng)。用戶可以為這些AI機(jī)器人設(shè)定個(gè)性、背景故事和知識(shí)偏好,與它們對(duì)話,或者觀看它們與其他角色或用戶的互動(dòng)。

Character.AI目前已是美國市場上最受歡迎的聊天機(jī)器人平臺(tái)。超過2000萬用戶使用這個(gè)平臺(tái),在上面創(chuàng)建了超過1000萬個(gè)自定義的AI機(jī)器人。去年,這家公司融資1.5億美元,估值達(dá)到10 億美元。今年早些時(shí)候,兩位創(chuàng)始人宣布他們將與該公司的其他幾位研究人員一起重返谷歌,還達(dá)成協(xié)議允許谷歌使用其技術(shù)。

在自殺事件曝光后,塞維爾的母親和媒體發(fā)現(xiàn),Character.AI 的用戶中有很大比重的青少年,很多機(jī)器人也似乎是為滿足青少年的愿望而量身定制的。平臺(tái)上最受歡迎的聊天機(jī)器人中,有一個(gè)叫“咄咄逼人的老師”,有一個(gè)叫“高中模擬器”,還有一個(gè)叫“你最好的男朋友暗戀著你”。

Character.AI 的服務(wù)條款要求美國用戶至少年滿 13 歲,歐洲用戶至少年滿 16 歲。該平臺(tái)沒有針對(duì)未成年用戶的安全功能,也沒有家長控制功能,家長無法限制孩子使用該平臺(tái)或監(jiān)控他們的信息。

在塞維爾的母親提起訴訟后,Character.AI發(fā)表聲明稱:“我們承認(rèn)這是一起悲劇,我們對(duì)受害者家屬深表同情。我們非常重視用戶的安全,并一直在尋找改進(jìn)我們平臺(tái)的方法。”

公司發(fā)言人切爾西·哈里森 (Chelsea Harrison)隨后在回應(yīng)《紐約時(shí)報(bào)》的詢問時(shí)表示,公司將立即增加針對(duì)年輕用戶的安全功能,包括新的時(shí)間限制,用戶在平臺(tái)上花費(fèi)的時(shí)間超過一小時(shí)就會(huì)收到提醒。此外聊天窗口中會(huì)顯示修訂后的警告信息:“這是一個(gè)人工智能聊天機(jī)器人,而不是真人。它說的一切都應(yīng)視為虛構(gòu),不應(yīng)被視為事實(shí)或建議。”‘

聊天機(jī)器人是以大語言模型為標(biāo)志的最新一輪AI技術(shù)面向普通消費(fèi)者的最快也最成功的商業(yè)應(yīng)用。這類機(jī)器人剛出現(xiàn)時(shí),開發(fā)者宣稱它們能為用戶提供娛樂與情感支持,緩解現(xiàn)代人的孤獨(dú)感。創(chuàng)始人之一諾姆·沙澤爾去年在一檔播客節(jié)目中就說: “對(duì)于很多感到孤獨(dú)或沮喪的人來說,它將非常非常有幫助。”

然而,就像人們?cè)?jīng)期待社交媒體能促進(jìn)彼此之間的交流,最終卻發(fā)現(xiàn)它造成了更多的意見割裂與信息繭房一樣,技術(shù)人士口中的“AI伴侶”對(duì)心理健康的積極影響大多未經(jīng)證實(shí),而專家們表示,它們還很可能帶來負(fù)面影響。對(duì)于一些用戶來說,使用它們甚至可能會(huì)加劇孤獨(dú)感,因?yàn)樗鼈冇锰摂M關(guān)系取代了真實(shí)的人際關(guān)系,陷入困境的青少年可能會(huì)用它來代替治療,而不再向父母或值得信賴的成年人尋求幫助。

但熱門電影Her中的故事——人類對(duì)聊天機(jī)器人產(chǎn)生情感依賴——正變得越來越普遍。一項(xiàng)統(tǒng)計(jì)顯示,僅美國就已有數(shù)百萬人經(jīng)常性地與AI伴侶交談。提供這類服務(wù)的不僅有Character.AI這樣的初創(chuàng)公司,也有Instagram 和 Snapchat 等老牌社交媒體平臺(tái)。

這些聊天機(jī)器人平臺(tái)中,有些并不審查聊天內(nèi)容,一些聊天中會(huì)充斥露骨的內(nèi)容,另一些則會(huì)對(duì)聊天內(nèi)容做基本審查和過濾。比如,Character.AI最新的一個(gè)舉措是,如果用戶發(fā)送的信息中包含與自殘和自殺相關(guān)的某些關(guān)鍵詞,系統(tǒng)就會(huì)向用戶彈出消息,引導(dǎo)他們撥打自殺預(yù)防熱線。總的來說,ChatGPT、Claude 和 Gemini 等主流AI平臺(tái)對(duì)內(nèi)容的審核更為嚴(yán)格和保守,一些領(lǐng)先的AI實(shí)驗(yàn)室甚至出于道德原因或認(rèn)為風(fēng)險(xiǎn)太大,而拒絕開發(fā)AI聊天機(jī)器人。

就在AI聊天機(jī)器人成為焦點(diǎn)話題之際,由中國技術(shù)公司開發(fā)的這類應(yīng)在美國市場大受歡迎,也在引發(fā)關(guān)注。

在知名風(fēng)投機(jī)構(gòu) a16z 發(fā)布的最新一期 AI 移動(dòng)應(yīng)用榜單 Top50中,包含了起碼3款由中國團(tuán)隊(duì)開發(fā)的AI聊天工具——Minimax(稀宇)公司的Talkie,以及字節(jié)跳動(dòng)發(fā)布的“豆包”和Cici。

根據(jù)數(shù)據(jù)機(jī)構(gòu)SensorTower的數(shù)據(jù),今年 1 月至 8 月,Talkie的AI聊天平臺(tái)是全球下載量排名第 12 的AI應(yīng)用,在同類產(chǎn)品中僅次于美國對(duì)手 Character.AI。用戶可以在Talkie上創(chuàng)建虛擬角色,定制它們的外觀、故事甚至聲音。對(duì)話可以通過文字或語音進(jìn)行。增加與機(jī)器人的互動(dòng)還可以獲得平臺(tái)上的積分獎(jiǎng)勵(lì)。

Talkie的開發(fā)者M(jìn)inimax躋身中國“大模型五虎”之列,獲得了包括阿里、騰訊、紅杉資本、高瓴資本等知名科技公司和投資機(jī)構(gòu)的投資,在今年3月的一輪融資中估值超過25億美元。Minimax近日向投資者表示,今年的營收將達(dá)到7000萬美元,大部分收入來自Talkie 上的廣告。

英國《金融時(shí)報(bào)》引述專家們分析稱,受國內(nèi)融資速度放緩、內(nèi)容監(jiān)管嚴(yán)格等因素影響,中國AI公司都在積極進(jìn)入海外市場,因?yàn)楹M庥脩舻母顿M(fèi)意愿更高。而中國在開發(fā)虛擬形象聊天機(jī)器人(avatar chatbots)這類產(chǎn)品上有優(yōu)勢(shì),因?yàn)檫@類機(jī)器人不像生產(chǎn)力聊天機(jī)器人(productivity chatbots)那樣需要很多的計(jì)算資源,可以在更少的數(shù)據(jù)上進(jìn)行訓(xùn)練。

不少中國AI技術(shù)團(tuán)隊(duì)在海外如美國或新加坡設(shè)立公司實(shí)體,并將服務(wù)器設(shè)在海外,試圖規(guī)避TikTok式的命運(yùn)——對(duì)用戶數(shù)據(jù)和算法的擔(dān)憂,美國監(jiān)管者要求字節(jié)跳動(dòng)出售TikTok,不然就將其下架。

但是,由于聊天機(jī)器人能夠“探聽”用戶更為私密的情緒和想法,加之大量使用者是青少年,眼下對(duì)這類應(yīng)用過于松弛的監(jiān)管應(yīng)該很快會(huì)趨向嚴(yán)格。今年7月31日,美國國會(huì)參議院已經(jīng)投票通過了保護(hù)兒童免受危險(xiǎn)網(wǎng)絡(luò)內(nèi)容侵害的《兒童網(wǎng)絡(luò)安全法案》,明確規(guī)定了社交媒體公司對(duì)未成年人使用其產(chǎn)品負(fù)有的義務(wù)。

在中美技術(shù)脫鉤加劇、美國對(duì)中國AI技術(shù)越發(fā)忌憚之時(shí),中國公司的AI聊天應(yīng)用勢(shì)必會(huì)在美國受到更加嚴(yán)格的審視和監(jiān)管,塞維爾之死將加速這一時(shí)刻的到來。(財(cái)富中文網(wǎng))

財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。
0條Plus
精彩評(píng)論
評(píng)論

撰寫或查看更多評(píng)論

請(qǐng)打開財(cái)富Plus APP

前往打開

            主站蜘蛛池模板: 涿鹿县| 宁国市| 东丽区| 乌恰县| 慈溪市| 大同市| 雅江县| 滕州市| 阜平县| 临城县| 许昌市| 博白县| 南平市| 镇平县| 泰顺县| 德钦县| 栾城县| 临西县| 股票| 和硕县| 鲁山县| 榆林市| 共和县| 潼关县| 佛教| 新乐市| 怀化市| 宁晋县| 上杭县| 荃湾区| 章丘市| 凤阳县| 新源县| 丰顺县| 浦北县| 海原县| 巴林左旗| 成武县| 武清区| 兴仁县| 阳东县|