一些公司近年來一直在設置漏洞修復獎金項目,以吸引“善意的黑客”發現軟件中的漏洞,以便公司修復。參與者們通過標記安全漏洞來獲得資金。這些項目可以說是企業們對自身的發現漏洞能力缺陷的一種認識。
現在,微軟(Microsoft)、英偉達(Nvidia)和推特(Twitter)等科技公司推出了專門針對人工智能的漏洞獎勵項目,目標是讓外界人士發現人工智能軟件的缺陷,企業以此來改進技術,降低機器學習歧視某些群體的風險。
例如,今年8月初,微軟和英偉達在年度Defcon黑客大會上詳細介紹了一項新的漏洞獎勵計劃。這兩家公司計劃獎勵那些改變電腦病毒,使病毒無法被微軟的人工智能惡意軟件檢測服務發現的黑客。黑客們能夠通過微軟的機器學習電子郵件“釣魚”檢測軟件來制作欺騙性郵件,還可以獲得微軟禮品卡以及其他獎勵。
與此同時,推特推出了一項針對人工智能偏見識別的漏洞獎勵計劃。該計劃推出的背景是,有用戶發現推特的圖像裁剪工具會“自動”裁剪掉女性以及有色人種,將男性白人置于圖像的正中央。
目前,這種算法已經停用。外界人士受到邀請,來檢查、找出支撐這一裁剪工具的機器學習算法中的缺陷。
研究人員還發現了該工具算法中的其他歧視性問題。比如,這種算法傾向于將老年人從圖片中裁剪掉,穿著頭服裝的人也會被移除。研究人員認為,該算法存在對穿戴包頭巾、長袍和希賈布的人的偏見。
推特的漏洞獎勵的第一名得主使用人工智能修改人們的面部照片,使其更符合算法的要求。在這一過程中,研究人員發現,算法偏愛瘦弱、年輕、白皙的面孔。這些跡象表明,該技術訓練時依托的數據庫主要迎合了當今的審美傳統。
目前尚不清楚推特將如何處理這些發現。但管理層暗示,這些發現將被用來改進公司的技術。
在一個與推特漏洞懸賞計劃有關的小組會議上,數據科學家帕特里克·霍爾反思了對企業人工智能進行更深刻的審查的必要性。盡管人工智能技術存在諸多缺陷,但為人工智能量身定制的漏洞懸賞計劃卻沒有得到廣泛采用,他對此表示驚訝。
“你沒有在你的企業人工智能和機器學習產品中發現漏洞,但并不意味著它們沒有漏洞。”霍爾說,“這只是意味著,你不認識的人可能正在利用它們。對于我們這些負責任的人工智能社區的人來說,我們希望人們長期嘗試漏洞獎勵項目。”(財富中文網)
編譯:楊二一
一些公司近年來一直在設置漏洞修復獎金項目,以吸引“善意的黑客”發現軟件中的漏洞,以便公司修復。參與者們通過標記安全漏洞來獲得資金。這些項目可以說是企業們對自身的發現漏洞能力缺陷的一種認識。
現在,微軟(Microsoft)、英偉達(Nvidia)和推特(Twitter)等科技公司推出了專門針對人工智能的漏洞獎勵項目,目標是讓外界人士發現人工智能軟件的缺陷,企業以此來改進技術,降低機器學習歧視某些群體的風險。
例如,今年8月初,微軟和英偉達在年度Defcon黑客大會上詳細介紹了一項新的漏洞獎勵計劃。這兩家公司計劃獎勵那些改變電腦病毒,使病毒無法被微軟的人工智能惡意軟件檢測服務發現的黑客。黑客們能夠通過微軟的機器學習電子郵件“釣魚”檢測軟件來制作欺騙性郵件,還可以獲得微軟禮品卡以及其他獎勵。
與此同時,推特推出了一項針對人工智能偏見識別的漏洞獎勵計劃。該計劃推出的背景是,有用戶發現推特的圖像裁剪工具會“自動”裁剪掉女性以及有色人種,將男性白人置于圖像的正中央。
目前,這種算法已經停用。外界人士受到邀請,來檢查、找出支撐這一裁剪工具的機器學習算法中的缺陷。
研究人員還發現了該工具算法中的其他歧視性問題。比如,這種算法傾向于將老年人從圖片中裁剪掉,穿著頭服裝的人也會被移除。研究人員認為,該算法存在對穿戴包頭巾、長袍和希賈布的人的偏見。
推特的漏洞獎勵的第一名得主使用人工智能修改人們的面部照片,使其更符合算法的要求。在這一過程中,研究人員發現,算法偏愛瘦弱、年輕、白皙的面孔。這些跡象表明,該技術訓練時依托的數據庫主要迎合了當今的審美傳統。
目前尚不清楚推特將如何處理這些發現。但管理層暗示,這些發現將被用來改進公司的技術。
在一個與推特漏洞懸賞計劃有關的小組會議上,數據科學家帕特里克·霍爾反思了對企業人工智能進行更深刻的審查的必要性。盡管人工智能技術存在諸多缺陷,但為人工智能量身定制的漏洞懸賞計劃卻沒有得到廣泛采用,他對此表示驚訝。
“你沒有在你的企業人工智能和機器學習產品中發現漏洞,但并不意味著它們沒有漏洞。”霍爾說,“這只是意味著,你不認識的人可能正在利用它們。對于我們這些負責任的人工智能社區的人來說,我們希望人們長期嘗試漏洞獎勵項目。”(財富中文網)
編譯:楊二一
For years, companies have hosted bug bounty programs to entice well-meaning hackers to spot flaws in software so they can patch them. The programs—participants usually get money for flagging securities holes—are a recognition by businesses that they can't find every vulnerability on their own.
Now, tech companies like Microsoft, Nvidia, and Twitter are hosting bug bounty programs specifically for artificial intelligence. The goal is for outsiders to spot flaws in A.I. software so that companies can improve the technology and reduce the risk of machine learning discriminating against certain groups of people.
For example, in early August, Microsoft and Nvidia detailed a new bug bounty program during the annual Defcon hacker conference. The companies plan to reward hackers who manage to alter computer viruses so that they go undetected by some of Microsoft’s A.I.-powered malware-detection services. Hackers who can create scammy emails that evade Microsoft’s machine-learning powered email phishing detection software will also earn some money in the form of Microsoft gift cards and other prizes.
Meanwhile, Twitter pitched a bug bounty aimed at spotting bias in its A.I. The program comes after users discovered that Twitter's image-cropping tool disproportionately removed women and people of color from photos so that the images would feature white men in the center.
Outsiders were invited to inspect and find flaws in the now-deactivated machine-learning algorithm that powered Twitter's photo cropping tool.
Researchers discovered other bias problems with the same algorithm used in the image-cropping tool. One discovered that it would tend to crop older people from photos. Another found that the algorithm would remove people wearing head garments, showing a bias against those wearing turbans, yamakas, and hijabs.
The first-place winner of Twitter’s bug bounty used A.I. to modify photos of people’s faces to be more appealing to the algorithm. Through this process, the researcher discovered that the algorithm favored faces that were thin, young, and white—all indications that the technology was trained on datasets mostly of people who conform to today's conventions of beauty.
It’s unclear what Twitter will do with the findings, but executives implied that they would be used to improve the company's tech.
During a panel related to Twitter’s bug bounty program, data scientist Patrick Hall reflected on the need for more scrutiny of corporate A.I. He expressed surprise that A.I.-tailored bug bounty programs haven’t become widely adopted considering the technology's many flaws.
“Just because you haven't found bugs in your enterprise A.I. and machine learning offerings, certainly doesn't mean they don’t have bugs,” Hall said. “It just means that someone you don't know might be exploiting them, and I think for those of us in the responsible A.I. community, we wanted people to try bug bounties for so long.”