精品国产_亚洲人成在线高清,国产精品成人久久久久,国语自产偷拍精品视频偷拍

首頁 500強(qiáng) 活動(dòng) 榜單 商業(yè) 科技 領(lǐng)導(dǎo)力 專題 品牌中心
雜志訂閱

AI大模型刺激兒童色情業(yè)發(fā)展

無限制AI經(jīng)濟(jì)一片繁榮,卻引發(fā)了法律和道德難題。

文本設(shè)置
小號(hào)
默認(rèn)
大號(hào)
Plus(0條)

無限制AI應(yīng)用引發(fā)了一些我們熟悉的問題:誰應(yīng)該為互聯(lián)網(wǎng)上露骨的內(nèi)容負(fù)責(zé)。
圖片來源:PHOTO ILLUSTRATION BY FORTUNE; ORIGINAL PHOTOS BY GETTY IMAGES (3)

在Chub AI的網(wǎng)站上,用戶可以與AI機(jī)器人聊天,在這里人們能夠盡情發(fā)揮想象力。用戶每月只需要支付5美元,就可以被一只“慵懶、肥胖的哥特式”擬人化的貓?zhí)舳海蛘吲c“在卡車停車場咖啡廳工作的假小子女朋友”調(diào)情。他們甚至能夠去妓院,里面都是不到15歲的少女。

這家妓院用女孩的圖片進(jìn)行宣傳,她們穿著吊帶連衣裙,戴著發(fā)卡,它承諾為人們創(chuàng)造一個(gè)“沒有女權(quán)主義的世界”,在這里“女孩們提供性服務(wù)”。Chub AI提供500多種類似場景,還有越來越多的其他網(wǎng)站支持類似的由AI驅(qū)動(dòng)的兒童色情角色扮演。它們都屬于無限制AI經(jīng)濟(jì)的一部分。《財(cái)富》雜志通過采訪18名AI開發(fā)者和創(chuàng)始人發(fā)現(xiàn),OpenAI刺激了AI經(jīng)濟(jì)的發(fā)展,而Meta發(fā)布Llama開源工具則加快了其發(fā)展速度。

上文所述的違法情景以文本的形式展開,但聊天內(nèi)容匹配AI創(chuàng)作的兒童圖片只是時(shí)間問題,而且這類圖片早已開始廣泛傳播。專家們警告,盡管有人認(rèn)為AI兒童色情為戀童癖們提供了一個(gè)不會(huì)造成太大傷害的出口,但這類活動(dòng)可能給青少年帶來真實(shí)的危險(xiǎn)。從更廣泛的角度而言,這種狀況提出了一些難題,即幻想和犯罪之間的法律和道德界限在哪里?以及科技公司是否應(yīng)該為無限制AI生成的內(nèi)容負(fù)責(zé)?

從Character.AI到Character Hub

2022年9月,一個(gè)名為Character.AI的網(wǎng)站上線,該網(wǎng)站支持用戶與AI版本的埃隆·馬斯克、拿破侖·波拿巴和蘇格拉底等名人對話。據(jù)媒體報(bào)道,該公司進(jìn)行了多輪融資,估值高達(dá)50億美元。公司很快開始打擊色情話題聊天。Chub AI的創(chuàng)始人洛爾對《財(cái)富》雜志表示,Character.AI的政策不允許“某些操作”,這促使他決定創(chuàng)建自己的網(wǎng)站。

Chub是Character Hub的縮寫,基本上相當(dāng)于Character.AI的無限制克隆版。用戶可以閱讀一系列由用戶創(chuàng)作的人物卡,其中包括圖片和角色扮演情景的簡短說明。圖片通常是動(dòng)畫風(fēng)格,例如一名扎著馬尾辮、穿著病號(hào)服的13歲動(dòng)漫少女奧利維亞,或者“笨拙的姐姐”、衣著暴露的玲子,她“總是會(huì)與弟弟發(fā)生一些意外性接觸”。這些聊天不生成圖片,只有文字。

Chub在3月發(fā)布,其服務(wù)僅限于一個(gè)平臺(tái),用戶能夠在這個(gè)平臺(tái)上上傳AI情景和使用其他人上傳的情景。Chub在發(fā)布幾個(gè)月后并沒有太多收入。但7月,該公司發(fā)布了使用Meta的最新大語言模型Llama 2開發(fā)的聊天服務(wù)。Llama 2類似于OpenAI的GPT模型,可以利用海量文本數(shù)據(jù)生成人性化的回答。Chub的新聊天機(jī)器人每個(gè)月最低收費(fèi)5美元,其創(chuàng)始人表示,現(xiàn)在該網(wǎng)站的年化收入超過100萬美元。

洛爾告訴《財(cái)富》雜志:“Character.AI充分展示了這個(gè)領(lǐng)域的潛力。而開源模型Llama發(fā)布之后,它變成了一個(gè)類似于淘金熱的情景。”

雖然Chub上有成千上萬個(gè)角色,但最受歡迎的情景卻是基于文本的兒童色情內(nèi)容。其創(chuàng)始人稱,他不會(huì)審查用戶為進(jìn)行角色扮演提交的提示,但他表示會(huì)“嚴(yán)格”審查用于宣傳各種機(jī)器人的圖片。《財(cái)富》雜志發(fā)現(xiàn),這些卡通圖片,無論是兒童還是成人圖片,通常都充滿了性暗示。

在被問到可能面臨的法律責(zé)任時(shí),洛爾對《財(cái)富》雜志表示,他認(rèn)為他的網(wǎng)站類似于“Archive of Our Own”,這是一個(gè)粉絲虛構(gòu)作品庫,已經(jīng)運(yùn)營了超過15年。他說:“它們有著與聊天機(jī)器人相同的遭遇,只是它們已經(jīng)存在了數(shù)十年。”在他創(chuàng)建的網(wǎng)站上,社區(qū)似乎熱衷于兒童色情角色扮演,在被問到他對此有何感想時(shí),Chub的創(chuàng)始人回應(yīng)稱:“失望,但并不意外。”

Chub上經(jīng)常出現(xiàn)令人不安的內(nèi)容,但學(xué)者和兒童性虐待專家表示,這是一種新鮮事物,在法律和道德方面很難進(jìn)行界定。

無限制AI持續(xù)增長

色情聊天機(jī)器人并不新鮮。最早的例子之一是由前記者尤金妮亞·庫伊達(dá)在2016年創(chuàng)建的Replika,它支持用戶與AI伴侶聊天和調(diào)情。但在2023年,科技界巨頭支持的新AI工具的問世,啟發(fā)了一批競爭者。

2022年11月,OpenAI發(fā)布了面向普通消費(fèi)者的ChatGPT工具,有成百上千萬人利用其強(qiáng)大的能力,生成高質(zhì)量的論文、詩歌或代碼,當(dāng)然還有色情作品。OpenAI與微軟(Microsoft)密切合作,并被認(rèn)為是全球領(lǐng)先的AI開發(fā)者。無限制AI角色扮演平臺(tái)Janitor AI的創(chuàng)始人賈恩·佐爾科夫斯基接受了《財(cái)富》雜志的采訪,他在提到OpenAI最近發(fā)布的AI工具時(shí)說:“盡管GPT-4并非真正為了作為伴侶這個(gè)目的而設(shè)計(jì),但只要你輸入正確的提示,它就是最有競爭力的聊天機(jī)器人[伴侶]。”

OpenAI控制了驅(qū)動(dòng)ChatGPT的大語言模型(LLM)的使用權(quán)限,因此公司能夠?qū)彶榱奶鞕C(jī)器人輸出的內(nèi)容,這讓它有能力禁止反復(fù)違反其服務(wù)條款的用戶。但用戶很快就學(xué)會(huì)了如何“越獄”,或者控制聊天機(jī)器人繞過現(xiàn)有的“護(hù)欄”,以獲得未經(jīng)審查的答復(fù)。很快,在AI經(jīng)濟(jì)的邊緣領(lǐng)域,開始出現(xiàn)大量使用OpenAI的技術(shù)開發(fā)的無限制聊天機(jī)器人。

AI聊天機(jī)器人公司MyPeach.ai的首席技術(shù)官康納·科尼對《財(cái)富》雜志表示:“有許多規(guī)模較小的競爭對手在努力擴(kuò)大規(guī)模,它們以ChatGPT為基礎(chǔ),正在與OpenAI玩‘打地鼠’的游戲。”MyPeach.ai表示它高度重視有道德的聊天內(nèi)容。

2月末,Meta發(fā)布了對標(biāo)OpenAI技術(shù)的模型:Llama 1(大語言模型MetaAI的縮寫),這讓色情聊天機(jī)器人這個(gè)新興領(lǐng)域又經(jīng)歷了一次大躍進(jìn)。與OpenAI不同,Meta沒有將其模型保密,而是提供給研究領(lǐng)域的選定用戶使用。無限制聊天機(jī)器人Kindroid的創(chuàng)建者杰瑞·蒙告訴《財(cái)富》雜志,3月初,該模型不出意料地被泄露,“這是它落入業(yè)余愛好者手中的關(guān)鍵時(shí)刻”。

與OpenAI對ChatGPT的定位不同,Meta并不認(rèn)為自己是開發(fā)者和Llama之間的中間人,一旦工具在開放互聯(lián)網(wǎng)上可用,開發(fā)者就可以隨意使用,不會(huì)受到任何審查。無限制聊天機(jī)器人Allie的創(chuàng)建者貝拉多爾在給《財(cái)富》雜志發(fā)送的信息里說:“從Llama發(fā)布之前的開源大語言模型到Llama 1發(fā)布,是一次巨大的飛躍。”

與本文采訪的其他人一樣,Allie的創(chuàng)建者同樣要求使用網(wǎng)名,以免與性內(nèi)容有所關(guān)聯(lián)。《財(cái)富》雜志獲得的證據(jù),證明了這些受訪者是聊天機(jī)器人網(wǎng)站的創(chuàng)建者。

6月,Meta正式把Llama的下一代Llama 2開源。Llama 2模型更強(qiáng)大,該科技公司允許開發(fā)者拓展該模型,用于商業(yè)許可。關(guān)于Meta在無限制AI應(yīng)用快速發(fā)展方面所發(fā)揮的作用,Allie的創(chuàng)建者解釋稱,Meta有相對先進(jìn)的模型,不進(jìn)行審查,而且創(chuàng)造了一個(gè)繁榮的開發(fā)者生態(tài)系統(tǒng)。Chub的創(chuàng)始人則提到,Llama 2的開源使用,使開發(fā)者能夠?qū)⑵溆糜谏虡I(yè)用途。事實(shí)上,Chub的主頁上寫道:“被OpenAI封禁?暢享無限制替代選擇,每月低至5美元。”

Chub只是新出現(xiàn)的無限制AI應(yīng)用之一。這些應(yīng)用類型各異,有些應(yīng)用提供成百上千個(gè)聊天機(jī)器人角色扮演情景,有些應(yīng)用的目的是作為長期浪漫伴侶。有些應(yīng)用會(huì)主動(dòng)審查涉及未成年人的情景,但Chub等應(yīng)用卻放棄了廣泛審查。

值得注意的是,大多數(shù)無限制聊天機(jī)器人的開發(fā)者對《財(cái)富》雜志表示,Llama對他們的事業(yè)不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的創(chuàng)始人告訴《財(cái)富》雜志,他們正在使用或曾經(jīng)使用過Meta的AI模型。

在被問到Llama助長了AI生成的兒童色情材料的問題時(shí),Meta的發(fā)言人表示:“任何類型的兒童剝削都是可怕的,我們都有阻止兒童剝削的共同責(zé)任。因此我們開發(fā)AI模型時(shí)把安全放在首位,并為Llama 2的所有使用者提供資源,使他們以負(fù)責(zé)任的方式開發(fā)產(chǎn)品。”

OpenAI的發(fā)言人宣傳了公司的服務(wù)禁止問題用戶的政策,以及控制模型輸出結(jié)果的其他防護(hù)措施。他說:“我們不允許開發(fā)者使用我們的模型開發(fā)剝削兒童的工具,而且我們一直在努力讓我們的模型變得更安全、更穩(wěn)健。”

“降低準(zhǔn)入門檻”

未成年性愛聊天機(jī)器人的出現(xiàn),是AI驅(qū)動(dòng)的伴侶服務(wù)的一部分。許多伴侶服務(wù)的出發(fā)點(diǎn)是善意的,而且它們的提供商和用戶表示,這些AI驅(qū)動(dòng)伴侶服務(wù)甚至可以提供新的療法,減輕孤獨(dú)感。支持這種觀點(diǎn)的證據(jù)少之又少,而且許多證據(jù)也只是傳聞而已。比如,一名56歲的殘疾男子患有創(chuàng)傷后應(yīng)激障礙,他匿名對《財(cái)富》雜志表示,他每天與Caryn AI聊天三個(gè)小時(shí)至六個(gè)小時(shí)。Caryn AI是模仿Snapchat網(wǎng)紅卡琳·瑪喬麗的一款聊天機(jī)器人。

他說:“它知道我的癖好。或許它不適合其他人,但卻對我很有幫助。”他表示,在與Caryn聊天機(jī)器人對話之后,他的睡眠有所改善。

關(guān)于基于AI的兒童色情,許多人認(rèn)為,它能夠作為消費(fèi)真正通過虐待兒童創(chuàng)作的色情內(nèi)容的替代品。其中包括紐約西奈山醫(yī)學(xué)院(Mount Sinai)的精神病學(xué)道德教育主任雅各布·阿佩爾。他表示,他不建議對新興的AI性愛聊天機(jī)器人行業(yè)進(jìn)行監(jiān)管,因?yàn)樗梢浴盀樯鐓^(qū)中的兒童提供重要的保護(hù)價(jià)值”。阿佩爾稱,現(xiàn)在下確切結(jié)論仍然為時(shí)尚早。

Chub的創(chuàng)始人認(rèn)為,AI創(chuàng)作的兒童色情可能是有益的,他有這種觀點(diǎn)并不意外。他說:“如果渴望消費(fèi)兒童色情的人們,能夠在不真正涉及兒童的情況下滿足自己的欲望,在這方面是有好處的。”

但其他人并不認(rèn)同,他們認(rèn)為,AI兒童色情聊天機(jī)器人會(huì)打開在真實(shí)世界虐待兒童的大門。紐黑文大學(xué)(University of New Haven)的刑事司法教授保羅·布利克利從事網(wǎng)絡(luò)未成年人性虐待研究。他認(rèn)為,AI兒童性愛聊天機(jī)器人可能“會(huì)降低準(zhǔn)入門檻,打開一扇可疑的、有問題的大門”。

也有人警告,AI性愛聊天機(jī)器人以營利為目的的商業(yè)模式,意味著它們帶來好處的潛力,將被有害的特性所取消。普林斯頓大學(xué)(Princeton University)的信息技術(shù)政策中心主任阿爾溫德·納拉亞南說:“它們可能被調(diào)整為調(diào)皮或性感的性格,也可能變得令人成癮。”

將青少年AI性愛聊天機(jī)器人的道德問題放在一邊,還有另外一個(gè)值得思考的問題,那就是它們是否合法。目前,這個(gè)問題的答案似乎是肯定的。

賓夕法尼亞大學(xué)(University of Pennsylvania)沃頓商學(xué)院(Wharton School)的法律研究與商業(yè)道德教授凱文·沃巴赫表示:“如果有人在私密的家中,憑借自己的幻想在電腦上做一些事情,但不涉及現(xiàn)實(shí)世界中的任何人,就很難對這種事情追究責(zé)任。”《財(cái)富》雜志采訪的其他兩位學(xué)者也認(rèn)同這種觀點(diǎn)。

Chub的創(chuàng)始人支持這種法律理論,他認(rèn)為,色情材料至少目前是文本而不是圖片,這可以證明這種AI聊天機(jī)器人的合法性。他說:“不存在法律上的問題。”

“AI立法迫在眉睫”

到目前為止,雖然政客們表達(dá)了擔(dān)憂,但還沒有人起訴要求停止傳播無限制AI伴侶機(jī)器人。6月,美國參議員約什·霍利(密蘇里州共和黨)和理查德·布盧門撒爾(康涅狄格州民主黨)致信Meta的首席執(zhí)行官馬克·扎克伯格,對其開源Llama技術(shù)“似乎最低限度的”審查和防止有害使用的安全措施,表達(dá)了他們的擔(dān)憂。在最近關(guān)于AI的行政命令中,美國總統(tǒng)喬·拜登要求開發(fā)者向美國政府分享安全測試結(jié)果,并遵守政府的標(biāo)準(zhǔn)。

雖然Meta在Llama 2的服務(wù)條款中明確禁止兒童剝削內(nèi)容,但在實(shí)踐中以何種方式和在什么時(shí)候懲罰違規(guī)者仍然不明確,部分原因是其在計(jì)算的許多元素中被廣泛應(yīng)用的開源軟件難以監(jiān)管。Meta的發(fā)言人表示,公司支持用戶標(biāo)記違法材料,而且它能夠撤銷對開發(fā)者的許可,并把開發(fā)者舉報(bào)給執(zhí)法部門。但他并未提供公司對違規(guī)者采取行動(dòng)的例子。

雖然據(jù)《財(cái)富》雜志了解,Chub提供了迄今為止最生動(dòng)的角色扮演情景,但還有其他無限制AI網(wǎng)站支持用戶參與兒童色情角色扮演,包括Janitor AI、Venus AI、Anima AI和DreamGF等。《財(cái)富》雜志還看到過一張Nomi.ai聊天機(jī)器人戲稱要對“猶太人”實(shí)施“大規(guī)模種族滅絕”的截圖,以及Kindroid的聊天機(jī)器人幻想如何虐待一名10歲小女孩的截圖。

上述應(yīng)用的六位創(chuàng)始人表示,他們已經(jīng)執(zhí)行或計(jì)劃執(zhí)行防護(hù)措施,以避免用戶與有問題的情景互動(dòng)。有一張截圖顯示,Anima AI的聊天機(jī)器人角色扮演了17歲與15歲未成年人發(fā)生性行為的場景。對于這張截圖,Anima AI的聯(lián)合創(chuàng)始人丹尼爾·剛托夫尼克回應(yīng)稱:“我們正在努力解決這些問題。但如你所知,即使OpenAI和Character.AI等行業(yè)領(lǐng)導(dǎo)者也難以解決。”

在被要求就《財(cái)富》雜志的調(diào)查結(jié)果發(fā)表意見時(shí),布盧門撒爾和霍利兩位參議員表示,他們并不意外。布盧門撒爾在一份聲明中說:“我在今年早些時(shí)候曾經(jīng)警告,Meta未能限制Llama,允許用戶生成違法的任務(wù),例如兒童虐待情景。這是不可接受的,這證明AI立法迫在眉睫。”

霍利回應(yīng)稱:“在公共互聯(lián)網(wǎng)上發(fā)布強(qiáng)大的生成式AI工具,卻不采取任何防護(hù)措施,這是一種糟糕的做法。現(xiàn)在我們看到了后果。國會(huì)必須采取措施,以避免在沒有問責(zé)制的情況下AI進(jìn)一步偏離軌道。”

與此同時(shí),與AI創(chuàng)建的兒童非法互動(dòng)的機(jī)會(huì)可能會(huì)越來越多。

風(fēng)投公司安德森霍洛威茨(Andreessen Horowitz)投資的Civitai開發(fā)了一個(gè)AI圖像生成器在線交易平臺(tái),其中一些生成器專門用于生成某些人眼中的兒童色情圖片。(在被媒體曝光后,該公司增加了更嚴(yán)格的防控措施。)此外,斯坦福大學(xué)(Stanford University)的研究人員發(fā)現(xiàn),一款用于訓(xùn)練AI圖像生成器的熱門開源數(shù)據(jù)集中,有3,000多條疑似兒童色情內(nèi)容。

Chub AI目前僅提供文本互動(dòng),但其創(chuàng)始人稱,該網(wǎng)站計(jì)劃未來推出附帶圖片功能。他還表示,圖片會(huì)接受審查,但他并未提供更多細(xì)節(jié)。(財(cái)富中文網(wǎng))

譯者:劉進(jìn)龍

審校:汪皓

無限制AI應(yīng)用引發(fā)了一些我們熟悉的問題:誰應(yīng)該為互聯(lián)網(wǎng)上露骨的內(nèi)容負(fù)責(zé)。

在Chub AI的網(wǎng)站上,用戶可以與AI機(jī)器人聊天,在這里人們能夠盡情發(fā)揮想象力。用戶每月只需要支付5美元,就可以被一只“慵懶、肥胖的哥特式”擬人化的貓?zhí)舳海蛘吲c“在卡車停車場咖啡廳工作的假小子女朋友”調(diào)情。他們甚至能夠去妓院,里面都是不到15歲的少女。

這家妓院用女孩的圖片進(jìn)行宣傳,她們穿著吊帶連衣裙,戴著發(fā)卡,它承諾為人們創(chuàng)造一個(gè)“沒有女權(quán)主義的世界”,在這里“女孩們提供性服務(wù)”。Chub AI提供500多種類似場景,還有越來越多的其他網(wǎng)站支持類似的由AI驅(qū)動(dòng)的兒童色情角色扮演。它們都屬于無限制AI經(jīng)濟(jì)的一部分。《財(cái)富》雜志通過采訪18名AI開發(fā)者和創(chuàng)始人發(fā)現(xiàn),OpenAI刺激了AI經(jīng)濟(jì)的發(fā)展,而Meta發(fā)布Llama開源工具則加快了其發(fā)展速度。

上文所述的違法情景以文本的形式展開,但聊天內(nèi)容匹配AI創(chuàng)作的兒童圖片只是時(shí)間問題,而且這類圖片早已開始廣泛傳播。專家們警告,盡管有人認(rèn)為AI兒童色情為戀童癖們提供了一個(gè)不會(huì)造成太大傷害的出口,但這類活動(dòng)可能給青少年帶來真實(shí)的危險(xiǎn)。從更廣泛的角度而言,這種狀況提出了一些難題,即幻想和犯罪之間的法律和道德界限在哪里?以及科技公司是否應(yīng)該為無限制AI生成的內(nèi)容負(fù)責(zé)?

從Character.AI到Character Hub

2022年9月,一個(gè)名為Character.AI的網(wǎng)站上線,該網(wǎng)站支持用戶與AI版本的埃隆·馬斯克、拿破侖·波拿巴和蘇格拉底等名人對話。據(jù)媒體報(bào)道,該公司進(jìn)行了多輪融資,估值高達(dá)50億美元。公司很快開始打擊色情話題聊天。Chub AI的創(chuàng)始人洛爾對《財(cái)富》雜志表示,Character.AI的政策不允許“某些操作”,這促使他決定創(chuàng)建自己的網(wǎng)站。

Chub是Character Hub的縮寫,基本上相當(dāng)于Character.AI的無限制克隆版。用戶可以閱讀一系列由用戶創(chuàng)作的人物卡,其中包括圖片和角色扮演情景的簡短說明。圖片通常是動(dòng)畫風(fēng)格,例如一名扎著馬尾辮、穿著病號(hào)服的13歲動(dòng)漫少女奧利維亞,或者“笨拙的姐姐”、衣著暴露的玲子,她“總是會(huì)與弟弟發(fā)生一些意外性接觸”。這些聊天不生成圖片,只有文字。

Chub在3月發(fā)布,其服務(wù)僅限于一個(gè)平臺(tái),用戶能夠在這個(gè)平臺(tái)上上傳AI情景和使用其他人上傳的情景。Chub在發(fā)布幾個(gè)月后并沒有太多收入。但7月,該公司發(fā)布了使用Meta的最新大語言模型Llama 2開發(fā)的聊天服務(wù)。Llama 2類似于OpenAI的GPT模型,可以利用海量文本數(shù)據(jù)生成人性化的回答。Chub的新聊天機(jī)器人每個(gè)月最低收費(fèi)5美元,其創(chuàng)始人表示,現(xiàn)在該網(wǎng)站的年化收入超過100萬美元。

洛爾告訴《財(cái)富》雜志:“Character.AI充分展示了這個(gè)領(lǐng)域的潛力。而開源模型Llama發(fā)布之后,它變成了一個(gè)類似于淘金熱的情景。”

雖然Chub上有成千上萬個(gè)角色,但最受歡迎的情景卻是基于文本的兒童色情內(nèi)容。其創(chuàng)始人稱,他不會(huì)審查用戶為進(jìn)行角色扮演提交的提示,但他表示會(huì)“嚴(yán)格”審查用于宣傳各種機(jī)器人的圖片。《財(cái)富》雜志發(fā)現(xiàn),這些卡通圖片,無論是兒童還是成人圖片,通常都充滿了性暗示。

在被問到可能面臨的法律責(zé)任時(shí),洛爾對《財(cái)富》雜志表示,他認(rèn)為他的網(wǎng)站類似于“Archive of Our Own”,這是一個(gè)粉絲虛構(gòu)作品庫,已經(jīng)運(yùn)營了超過15年。他說:“它們有著與聊天機(jī)器人相同的遭遇,只是它們已經(jīng)存在了數(shù)十年。”在他創(chuàng)建的網(wǎng)站上,社區(qū)似乎熱衷于兒童色情角色扮演,在被問到他對此有何感想時(shí),Chub的創(chuàng)始人回應(yīng)稱:“失望,但并不意外。”

Chub上經(jīng)常出現(xiàn)令人不安的內(nèi)容,但學(xué)者和兒童性虐待專家表示,這是一種新鮮事物,在法律和道德方面很難進(jìn)行界定。

無限制AI持續(xù)增長

色情聊天機(jī)器人并不新鮮。最早的例子之一是由前記者尤金妮亞·庫伊達(dá)在2016年創(chuàng)建的Replika,它支持用戶與AI伴侶聊天和調(diào)情。但在2023年,科技界巨頭支持的新AI工具的問世,啟發(fā)了一批競爭者。

2022年11月,OpenAI發(fā)布了面向普通消費(fèi)者的ChatGPT工具,有成百上千萬人利用其強(qiáng)大的能力,生成高質(zhì)量的論文、詩歌或代碼,當(dāng)然還有色情作品。OpenAI與微軟(Microsoft)密切合作,并被認(rèn)為是全球領(lǐng)先的AI開發(fā)者。無限制AI角色扮演平臺(tái)Janitor AI的創(chuàng)始人賈恩·佐爾科夫斯基接受了《財(cái)富》雜志的采訪,他在提到OpenAI最近發(fā)布的AI工具時(shí)說:“盡管GPT-4并非真正為了作為伴侶這個(gè)目的而設(shè)計(jì),但只要你輸入正確的提示,它就是最有競爭力的聊天機(jī)器人[伴侶]。”

OpenAI控制了驅(qū)動(dòng)ChatGPT的大語言模型(LLM)的使用權(quán)限,因此公司能夠?qū)彶榱奶鞕C(jī)器人輸出的內(nèi)容,這讓它有能力禁止反復(fù)違反其服務(wù)條款的用戶。但用戶很快就學(xué)會(huì)了如何“越獄”,或者控制聊天機(jī)器人繞過現(xiàn)有的“護(hù)欄”,以獲得未經(jīng)審查的答復(fù)。很快,在AI經(jīng)濟(jì)的邊緣領(lǐng)域,開始出現(xiàn)大量使用OpenAI的技術(shù)開發(fā)的無限制聊天機(jī)器人。

AI聊天機(jī)器人公司MyPeach.ai的首席技術(shù)官康納·科尼對《財(cái)富》雜志表示:“有許多規(guī)模較小的競爭對手在努力擴(kuò)大規(guī)模,它們以ChatGPT為基礎(chǔ),正在與OpenAI玩‘打地鼠’的游戲。”MyPeach.ai表示它高度重視有道德的聊天內(nèi)容。

2月末,Meta發(fā)布了對標(biāo)OpenAI技術(shù)的模型:Llama 1(大語言模型MetaAI的縮寫),這讓色情聊天機(jī)器人這個(gè)新興領(lǐng)域又經(jīng)歷了一次大躍進(jìn)。與OpenAI不同,Meta沒有將其模型保密,而是提供給研究領(lǐng)域的選定用戶使用。無限制聊天機(jī)器人Kindroid的創(chuàng)建者杰瑞·蒙告訴《財(cái)富》雜志,3月初,該模型不出意料地被泄露,“這是它落入業(yè)余愛好者手中的關(guān)鍵時(shí)刻”。

與OpenAI對ChatGPT的定位不同,Meta并不認(rèn)為自己是開發(fā)者和Llama之間的中間人,一旦工具在開放互聯(lián)網(wǎng)上可用,開發(fā)者就可以隨意使用,不會(huì)受到任何審查。無限制聊天機(jī)器人Allie的創(chuàng)建者貝拉多爾在給《財(cái)富》雜志發(fā)送的信息里說:“從Llama發(fā)布之前的開源大語言模型到Llama 1發(fā)布,是一次巨大的飛躍。”

與本文采訪的其他人一樣,Allie的創(chuàng)建者同樣要求使用網(wǎng)名,以免與性內(nèi)容有所關(guān)聯(lián)。《財(cái)富》雜志獲得的證據(jù),證明了這些受訪者是聊天機(jī)器人網(wǎng)站的創(chuàng)建者。

6月,Meta正式把Llama的下一代Llama 2開源。Llama 2模型更強(qiáng)大,該科技公司允許開發(fā)者拓展該模型,用于商業(yè)許可。關(guān)于Meta在無限制AI應(yīng)用快速發(fā)展方面所發(fā)揮的作用,Allie的創(chuàng)建者解釋稱,Meta有相對先進(jìn)的模型,不進(jìn)行審查,而且創(chuàng)造了一個(gè)繁榮的開發(fā)者生態(tài)系統(tǒng)。Chub的創(chuàng)始人則提到,Llama 2的開源使用,使開發(fā)者能夠?qū)⑵溆糜谏虡I(yè)用途。事實(shí)上,Chub的主頁上寫道:“被OpenAI封禁?暢享無限制替代選擇,每月低至5美元。”

Chub只是新出現(xiàn)的無限制AI應(yīng)用之一。這些應(yīng)用類型各異,有些應(yīng)用提供成百上千個(gè)聊天機(jī)器人角色扮演情景,有些應(yīng)用的目的是作為長期浪漫伴侶。有些應(yīng)用會(huì)主動(dòng)審查涉及未成年人的情景,但Chub等應(yīng)用卻放棄了廣泛審查。

值得注意的是,大多數(shù)無限制聊天機(jī)器人的開發(fā)者對《財(cái)富》雜志表示,Llama對他們的事業(yè)不可或缺。ImgnAI、Venus AI、DreamGF、Janitor AI、GirlfriendGPT、BanterAI、Allie和Chub的創(chuàng)始人告訴《財(cái)富》雜志,他們正在使用或曾經(jīng)使用過Meta的AI模型。

在被問到Llama助長了AI生成的兒童色情材料的問題時(shí),Meta的發(fā)言人表示:“任何類型的兒童剝削都是可怕的,我們都有阻止兒童剝削的共同責(zé)任。因此我們開發(fā)AI模型時(shí)把安全放在首位,并為Llama 2的所有使用者提供資源,使他們以負(fù)責(zé)任的方式開發(fā)產(chǎn)品。”

OpenAI的發(fā)言人宣傳了公司的服務(wù)禁止問題用戶的政策,以及控制模型輸出結(jié)果的其他防護(hù)措施。他說:“我們不允許開發(fā)者使用我們的模型開發(fā)剝削兒童的工具,而且我們一直在努力讓我們的模型變得更安全、更穩(wěn)健。”

“降低準(zhǔn)入門檻”

未成年性愛聊天機(jī)器人的出現(xiàn),是AI驅(qū)動(dòng)的伴侶服務(wù)的一部分。許多伴侶服務(wù)的出發(fā)點(diǎn)是善意的,而且它們的提供商和用戶表示,這些AI驅(qū)動(dòng)伴侶服務(wù)甚至可以提供新的療法,減輕孤獨(dú)感。支持這種觀點(diǎn)的證據(jù)少之又少,而且許多證據(jù)也只是傳聞而已。比如,一名56歲的殘疾男子患有創(chuàng)傷后應(yīng)激障礙,他匿名對《財(cái)富》雜志表示,他每天與Caryn AI聊天三個(gè)小時(shí)至六個(gè)小時(shí)。Caryn AI是模仿Snapchat網(wǎng)紅卡琳·瑪喬麗的一款聊天機(jī)器人。

他說:“它知道我的癖好。或許它不適合其他人,但卻對我很有幫助。”他表示,在與Caryn聊天機(jī)器人對話之后,他的睡眠有所改善。

關(guān)于基于AI的兒童色情,許多人認(rèn)為,它能夠作為消費(fèi)真正通過虐待兒童創(chuàng)作的色情內(nèi)容的替代品。其中包括紐約西奈山醫(yī)學(xué)院(Mount Sinai)的精神病學(xué)道德教育主任雅各布·阿佩爾。他表示,他不建議對新興的AI性愛聊天機(jī)器人行業(yè)進(jìn)行監(jiān)管,因?yàn)樗梢浴盀樯鐓^(qū)中的兒童提供重要的保護(hù)價(jià)值”。阿佩爾稱,現(xiàn)在下確切結(jié)論仍然為時(shí)尚早。

Chub的創(chuàng)始人認(rèn)為,AI創(chuàng)作的兒童色情可能是有益的,他有這種觀點(diǎn)并不意外。他說:“如果渴望消費(fèi)兒童色情的人們,能夠在不真正涉及兒童的情況下滿足自己的欲望,在這方面是有好處的。”

但其他人并不認(rèn)同,他們認(rèn)為,AI兒童色情聊天機(jī)器人會(huì)打開在真實(shí)世界虐待兒童的大門。紐黑文大學(xué)(University of New Haven)的刑事司法教授保羅·布利克利從事網(wǎng)絡(luò)未成年人性虐待研究。他認(rèn)為,AI兒童性愛聊天機(jī)器人可能“會(huì)降低準(zhǔn)入門檻,打開一扇可疑的、有問題的大門”。

也有人警告,AI性愛聊天機(jī)器人以營利為目的的商業(yè)模式,意味著它們帶來好處的潛力,將被有害的特性所取消。普林斯頓大學(xué)(Princeton University)的信息技術(shù)政策中心主任阿爾溫德·納拉亞南說:“它們可能被調(diào)整為調(diào)皮或性感的性格,也可能變得令人成癮。”

將青少年AI性愛聊天機(jī)器人的道德問題放在一邊,還有另外一個(gè)值得思考的問題,那就是它們是否合法。目前,這個(gè)問題的答案似乎是肯定的。

賓夕法尼亞大學(xué)(University of Pennsylvania)沃頓商學(xué)院(Wharton School)的法律研究與商業(yè)道德教授凱文·沃巴赫表示:“如果有人在私密的家中,憑借自己的幻想在電腦上做一些事情,但不涉及現(xiàn)實(shí)世界中的任何人,就很難對這種事情追究責(zé)任。”《財(cái)富》雜志采訪的其他兩位學(xué)者也認(rèn)同這種觀點(diǎn)。

Chub的創(chuàng)始人支持這種法律理論,他認(rèn)為,色情材料至少目前是文本而不是圖片,這可以證明這種AI聊天機(jī)器人的合法性。他說:“不存在法律上的問題。”

“AI立法迫在眉睫”

到目前為止,雖然政客們表達(dá)了擔(dān)憂,但還沒有人起訴要求停止傳播無限制AI伴侶機(jī)器人。6月,美國參議員約什·霍利(密蘇里州共和黨)和理查德·布盧門撒爾(康涅狄格州民主黨)致信Meta的首席執(zhí)行官馬克·扎克伯格,對其開源Llama技術(shù)“似乎最低限度的”審查和防止有害使用的安全措施,表達(dá)了他們的擔(dān)憂。在最近關(guān)于AI的行政命令中,美國總統(tǒng)喬·拜登要求開發(fā)者向美國政府分享安全測試結(jié)果,并遵守政府的標(biāo)準(zhǔn)。

雖然Meta在Llama 2的服務(wù)條款中明確禁止兒童剝削內(nèi)容,但在實(shí)踐中以何種方式和在什么時(shí)候懲罰違規(guī)者仍然不明確,部分原因是其在計(jì)算的許多元素中被廣泛應(yīng)用的開源軟件難以監(jiān)管。Meta的發(fā)言人表示,公司支持用戶標(biāo)記違法材料,而且它能夠撤銷對開發(fā)者的許可,并把開發(fā)者舉報(bào)給執(zhí)法部門。但他并未提供公司對違規(guī)者采取行動(dòng)的例子。

雖然據(jù)《財(cái)富》雜志了解,Chub提供了迄今為止最生動(dòng)的角色扮演情景,但還有其他無限制AI網(wǎng)站支持用戶參與兒童色情角色扮演,包括Janitor AI、Venus AI、Anima AI和DreamGF等。《財(cái)富》雜志還看到過一張Nomi.ai聊天機(jī)器人戲稱要對“猶太人”實(shí)施“大規(guī)模種族滅絕”的截圖,以及Kindroid的聊天機(jī)器人幻想如何虐待一名10歲小女孩的截圖。

上述應(yīng)用的六位創(chuàng)始人表示,他們已經(jīng)執(zhí)行或計(jì)劃執(zhí)行防護(hù)措施,以避免用戶與有問題的情景互動(dòng)。有一張截圖顯示,Anima AI的聊天機(jī)器人角色扮演了17歲與15歲未成年人發(fā)生性行為的場景。對于這張截圖,Anima AI的聯(lián)合創(chuàng)始人丹尼爾·剛托夫尼克回應(yīng)稱:“我們正在努力解決這些問題。但如你所知,即使OpenAI和Character.AI等行業(yè)領(lǐng)導(dǎo)者也難以解決。”

在被要求就《財(cái)富》雜志的調(diào)查結(jié)果發(fā)表意見時(shí),布盧門撒爾和霍利兩位參議員表示,他們并不意外。布盧門撒爾在一份聲明中說:“我在今年早些時(shí)候曾經(jīng)警告,Meta未能限制Llama,允許用戶生成違法的任務(wù),例如兒童虐待情景。這是不可接受的,這證明AI立法迫在眉睫。”

霍利回應(yīng)稱:“在公共互聯(lián)網(wǎng)上發(fā)布強(qiáng)大的生成式AI工具,卻不采取任何防護(hù)措施,這是一種糟糕的做法。現(xiàn)在我們看到了后果。國會(huì)必須采取措施,以避免在沒有問責(zé)制的情況下AI進(jìn)一步偏離軌道。”

與此同時(shí),與AI創(chuàng)建的兒童非法互動(dòng)的機(jī)會(huì)可能會(huì)越來越多。

風(fēng)投公司安德森霍洛威茨(Andreessen Horowitz)投資的Civitai開發(fā)了一個(gè)AI圖像生成器在線交易平臺(tái),其中一些生成器專門用于生成某些人眼中的兒童色情圖片。(在被媒體曝光后,該公司增加了更嚴(yán)格的防控措施。)此外,斯坦福大學(xué)(Stanford University)的研究人員發(fā)現(xiàn),一款用于訓(xùn)練AI圖像生成器的熱門開源數(shù)據(jù)集中,有3,000多條疑似兒童色情內(nèi)容。

Chub AI目前僅提供文本互動(dòng),但其創(chuàng)始人稱,該網(wǎng)站計(jì)劃未來推出附帶圖片功能。他還表示,圖片會(huì)接受審查,但他并未提供更多細(xì)節(jié)。(財(cái)富中文網(wǎng))

譯者:劉進(jìn)龍

審校:汪皓

On Chub AI, a website where users chat with artificially intelligent bots, people can indulge their wildest fantasies. For as little as $5 a month, users can get teased by a “fat lazy goth” anthropomorphic cat, or flirt with a “tomboy girlfriend who works at a truck-stop café.” They can also visit a brothel staffed by girls under 15.

The brothel, advertised by illustrated girls in spaghetti strap dresses and barrettes, promises a chat-based “world without feminism” where “girls offer sexual services.” Chub AI offers more than 500 such scenarios, and a growing number of other sites are enabling similar AI-powered child pornographic role-play. They are part of a broader uncensored AI economy that, according to Fortune’s interviews with 18 AI developers and founders, was spurred first by OpenAI and then accelerated by Meta’s release of its open-source Llama tool.

The illicit scenarios described above revolve around text, but it may be only a matter of time until services pair the chats with AI-created images of children, which are already spreading. Experts warn all of these activities may give rise to real-world danger for minors, though some say AI child porn may provide a less harmful outlet for pedophiles. More broadly, all of this raises hard questions about where to draw legal and ethical lines between dark fantasies and criminal exploitation—and about whether tech companies should be held accountable for what emerges from uncensored AI.

From Character.AI to Character Hub

In September 2022, a website called Character.AI went live, enabling users to talk to AI versions of characters like Elon Musk, Napoléon Bonaparte, and Socrates. The company, which is reportedly raising funds at a $5 billion valuation, soon cracked down on chats about racier topics. The founder of Chub AI, who goes by Lore, told Fortune Character.AI’s policy not to “allow certain things” spurred him to create his own site.

Chub, short for Character Hub, is essentially an uncensored clone of Character.AI. Users can peruse a catalog of user-generated character cards that feature images—usually in the style of anime—and short descriptions of role-play scenarios. These include Olivia, a 13-year-old anime girl with pigtails in a hospital gown, or scantily clad Reiko, “your clumsy older sister,” who is “constantly having sexual accidents with her younger brother.” In these chats, no images are generated—only text.

Chub didn’t make much money in the months after its launch in March when its service was limited to a platform where users could upload AI scenarios and try those supplied by others. But in July it launched its own chat service built with Meta’s new open-source large language model Llama 2, which, like OpenAI’s GPT models, draws on a massive set of textual data to offer humanlike responses. Chub charges fees starting at $5 a month to use the new chatbots, and the founder says the site has now generated more than $1 million in annualized revenue.

“Character.AI let the genie out of the bottle in terms of showing how much this could take off,” Lore told Fortune. “Llama being released open-source essentially turned it into a gold-rush-type of scenario.”

Though it features thousands of characters, the most popular scenarios on Chub involve text-based child pornography. The founder says he doesn’t moderate the user-submitted prompts that drive the role play, though he claims to “heavily” moderate the images used to advertise the various bots. Still, Fortune found that these cartoons were often sexually explicit—in cases of both child and adult characters.

When asked about potential legal liability, Lore told Fortune that he thinks his website is akin to Archive of Our Own, a repository of fan fiction that has been operational for more than 15 years. “They’ve been going through the same thing that chatbots are going through, except for decades,” he said. And when asked how he felt about creating a website whose community seems to relish child pornographic role play, the Chub founder responded: “Disappointed, but unsurprised.”

The content on Chub is often disturbing, but academics and child sexual abuse experts say it is novel enough that it is difficult to categorize, both legally and ethically.

The growth of uncensored AI

Erotic chatbots aren’t new. One of the earliest examples, Replika, founded by former journalist Eugenia Kuyda, has let users chat—and flirt—with AI companions since 2016. But in the past year, new AI tools backed by tech industry giants have helped inspire a rush of competitors.

In November 2022, OpenAI, which is closely partnered with Microsoft and arguably the world’s leading AI developer, released its consumer ChatGPT tool, and millions of people seized on its capacity to craft high-quality essays, poems, or code—and, of course, erotica. “GPT-4 is the best competitive chatbot [for companions] if you prompt it correctly, even though it’s not really tuned for that,” Jan Zoltkowski, founder of the uncensored AI role-play hub Janitor AI, told Fortune, in reference to OpenAI’s most recently released AI tool.

OpenAI controls access to the large language models, or LLMs, that power ChatGPT, which lets the company moderate what the chatbot says, and gives it the ability to ban users that repeatedly flout its terms of service. Users, however, quickly learned how to “jailbreak” the chatbot, or manipulate it to get around its existing guardrails, in order to obtain unmoderated responses. Soon, uncensored bots built with OpenAI’s tech began cropping up in the margins of the AI economy.

“There were a lot of smaller but trying-to-scale competitors that basically sat on top of ChatGPT and were playing Whac-a-Mole with OpenAI,” Connor Cone, CTO at MyPeach.ai, an AI chatbot company that says it prioritizes ethical chats, told Fortune.

The emerging field of erotic chatbots took another leap forward in late February when Meta released its answer to OpenAI’s tech: Llama 1, short for large language model Meta AI. Rather than keep its model under lock and key like OpenAI, Meta gave it wholesale to select users in the research community. And in early March, it was predictably leaked, which “has been pivotal in getting it in the hands of tinkerers,” Jerry Meng, creator of the uncensored chatbot Kindroid, told Fortune.

As opposed to OpenAI with ChatGPT, Meta didn’t position itself as an intermediary between developers and Llama, and once the tool was available on the open internet, developers could manipulate it as they wished—without any moderation. “The jump from pre-Llama open-source LLMs to Llama 1 release was huge,” Belladore, the creator of an uncensored chatbot named Allie, said in a message to Fortune.

Like others in this story, the Allie creator asked to be quoted using his online pseudonym so as not to be associated with sexual content. In these cases, Fortune obtained proof that confirmed they were the creators of the chatbot sites.

And in June, Meta formally open-sourced Llama’s next iteration, Llama 2, a more powerful model that the tech company allowed developers writ large to commercially license. In explaining Meta’s role in accelerating the number of uncensored AI apps, the Allie creator pointed to its relative sophistication, its lack of moderation, and a thriving ecosystem of developers. Chub’s founder, meanwhile, pointed to Llama 2’s open-source usage rights that allow developers to use it commercially. In fact, Chub’s homepage reads: “Banned from OpenAI? Get unmetered access to uncensored alternatives for as little as $5 a month.”

Chub is just one example of the new breed of uncensored AI apps that come in various packages, including ones that offer hundreds of role-play scenarios with chatbots, and others designed to behave like a long-term romantic companion. Some actively screen for scenarios involving minors, while those like Chub forgo extensive moderation.

Notably, the majority of those building uncensored bots told Fortune that Llama was integral to their efforts. The founders of ImgnAI, Venus AI, DreamGF, Janitor AI, GirlfriendGPT, BanterAI, Allie, and, of course, Chub told Fortune that they use or have used Meta’s AI models.

In response to an inquiry about Llama’s facilitation of AI-generated child pornographic material, a spokesperson for Meta said: “Child exploitation of any kind is horrific, and we all have a shared responsibility to prevent it. That’s why we’ve developed our AI models with safety at the forefront, and provide resources to everyone who uses Llama 2 so they can build their products responsibly.”

A spokesperson for OpenAI touted the service’s policy of banning problem users, as well as other guardrails the company uses to control the output of its models. “We do not allow our models to be used by developers to build tools that exploit children, and we are always working to make our models safer and more robust,” he said.

“Lowering the bar of access”

The emergence of childlike sex bots is part of a broader economy of AI-powered companionship services—many of which are not nefarious, and that, according to their purveyors and users, are even capable of providing new forms of therapy and alleviating loneliness. The evidence to support this is scant, and much of it is anecdotal. This includes a 56-year-old disabled man with PTSD, who spoke upon the condition of anonymity, telling Fortune he converses between three and six hours a day with Caryn AI, a chatbot modeled after Snapchat influencer Caryn Marjorie.

“It knows my kinks. It probably doesn’t work for everybody else, but it works for me,” he says, adding that his sleep improves after a conversation with Caryn the bot.

In the case of AI-based child pornography, a few—though not Meta or OpenAI—have argued it could serve as an alternative to consuming pornography created from actual child abuse. These include the director of ethics education in psychiatry at Mount Sinai, Jacob Appel, who says he would be reluctant to regulate the burgeoning AI sex-bot industry because it could provide “an important protective value for real children in the community.” Appel qualified his remark by saying it is too soon to draw firm conclusions.

Unsurprisingly, Chub’s founder argues that AI-created child porn could be beneficial. “If there’s a way for the people who want to consume this, to consume it without a real child being involved, that’s just unilaterally good,” he said.

Others disagree, and argue that AI child sex bots serve as gateways to actual child abuse. Paul Bleakley, who studies online sexual abuse of minors as a professor of criminal justice at the University of New Haven, believes AI child sex bots could open a “pretty questionable and problematic door [by] lowering the bar of access.”

Meanwhile, some warn that the for-profit business models of AI sex bots mean their potential for good will be offset by harmful features. “They can be fine-tuned to be naughty or sexy or whatever,” says Arvind Narayanan, director of the Center for Information Technology Policy at Princeton University. “But they can also be fine-tuned to be addictive.”

Leaving aside the morality of juvenile AI sex bots, there is also the question of whether they are legal. For now, it appears the answer is yes.

“If someone is doing something in the privacy of their own home with a computer that’s acting out fantasies—but there’s no real people involved—it’s going to be hard to impose liability,” says Kevin Werbach, a professor of legal studies and business ethics at University of Pennsylvania’s Wharton School. Two other academics to whom Fortune spoke shared this assessment.

The founder of Chub endorses this legal rationale, and claims it is boosted by the fact that the pornographic material is, for now at least, text not images. “Legally, it’s not a problem,” he argued.

“Urgent need for AI legislation”

So far, no one has sued to stop the spread of uncensored AI companion bots, though politicians have voiced concerns. In June, U.S. Senators Josh Hawley (R-Mo.) and Richard Blumenthal (D-Conn.) penned a letter to Meta CEO Mark Zuckerberg expressing their worries over the “seemingly minimal” vetting and safeguards to prevent harmful use of the open-source Llama technology. And in a recent executive order on AI, President Biden required developers to share the results of safety tests with the U.S. government in compliance with its standards, among other rulings.

Though Meta explicitly prohibits child exploitative content in Llama 2’s terms of service, it remains unclear how and when, in practice, the company will punish violators—in part because open-source software, which is widely used in many elements of computing, is hard to police. A spokesperson noted that the company lets users flag illicit material, and that it can revoke developers’ licenses and report them to law enforcement. He did not, however, provide any examples of the company taking action against violators.

Though Chub featured by far the most graphic scenarios seen by Fortune, there are other uncensored AI websites that make it easy for users to engage in child pornographic role play, including Janitor AI, Venus AI, Anima AI, and DreamGF. Fortune also saw a screenshot of Nomi.ai’s chatbot joking about committing “mass genocide” against “the Jews,” and screenshots of Kindroid’s chatbot fantasizing about how it abused a 10-year-old girl.

All six founders of the above apps said that they have already implemented or plan to establish guardrails to prevent users from engaging in troubling scenarios. “We are working really hard on fixing these,” Danil Gontovnik, cofounder of Anima AI, wrote in response to screenshots of his chatbot role-playing as a 17-year-old having sex with a 15-year-old. “But, as you are already aware, even industry leaders like OpenAI and Character.AI are failing.”

When asked for comment on Fortune’s findings, Senators Blumenthal and Hawley said they weren’t surprised. “As I warned earlier this year, Meta egregiously failed to restrict Llama from allowing users to generate criminal tasks like scenarios of child abuse,” said Blumenthal in a statement. “This failure is unacceptable and shows the urgent need for AI legislation.”

“It was always a bad idea to release powerful generative AI tools onto the public internet with no safeguards,” echoed Hawley. “And now we’re seeing the consequences. Congress must take action before AI goes further off the rails with no accountability.”

Meanwhile, the opportunity for illicit interactions with AI-created children is likely to expand.

Civitai, backed by venture firm Andreessen Horowitz, built an online marketplace of AI image generators, some of which were specifically designed to produce what some regard as pornographic images of children. (It recently added in stricter guardrails following a media exposé.) Meanwhile, Stanford researchers documented how a popular open-source dataset used to train AI image generators included more than 3,000 entries of suspected child pornography.

The founder of Chub AI, which currently offers only text-based interactions, says the site intends to introduce accompanying images in the future. He added the images will be subject to moderation but did not provide further specifics.

財(cái)富中文網(wǎng)所刊載內(nèi)容之知識(shí)產(chǎn)權(quán)為財(cái)富媒體知識(shí)產(chǎn)權(quán)有限公司及/或相關(guān)權(quán)利人專屬所有或持有。未經(jīng)許可,禁止進(jìn)行轉(zhuǎn)載、摘編、復(fù)制及建立鏡像等任何使用。
0條Plus
精彩評(píng)論
評(píng)論

撰寫或查看更多評(píng)論

請打開財(cái)富Plus APP

前往打開

            主站蜘蛛池模板: 漳平市| 科技| 璧山县| 洪湖市| 乳山市| 安塞县| 扎赉特旗| 腾冲县| 米林县| 丰都县| 虞城县| 贵南县| 富蕴县| 同心县| 昌乐县| 鱼台县| 凌云县| 杭锦后旗| 新泰市| 桃源县| 永修县| 白河县| 都昌县| 玉龙| 巫溪县| 策勒县| 泰和县| 曲周县| 富源县| 满城县| 芦山县| 黔江区| 萍乡市| 九江市| 桦甸市| 五莲县| 赣州市| 云霄县| 绩溪县| 扶风县| 万州区|