出臺殺手機器人禁令的一個“歷史性機遇”曾擺在我們眼前,我們卻未能把握住。
不久前,聯合國裁軍委員會(United Nations disarmament committee)釋放了一則令人擔憂的新聞。該委員會耗費了8年的時間一直在爭論一個問題:面對人工智能武器(使用人工智能定位、跟蹤、攻擊和擊殺目標,且無需人工干預)的迅速發展,我們應采取什么措施或是否要采取措施。很多國家希望禁止此類武器的開發,但聯合國小組采取的是協商一致的運轉模式,而且包括美國、俄羅斯、英國、印度和以色列在內的多個國家反對出臺任何具有法律約束力的限制政策。
最終,委員會可能只能達成繼續保持對話的意見,而且并未針對其未來對話設立明確的目標。這個不斷拖延的結果被美國駐該委員會代表稱之為能夠覆蓋所有國家的“理想強制令”,因為它涵蓋了所有可能的成果。
其他很多國家和激進人士對這一結果有著完全不同的看法,稱這一應對舉措只能算是聊勝于無。
英國謝菲爾德大學(The University of Sheffield)機器人學和人工智能榮譽教授諾埃爾·沙基表示:“這是一次徹底的失敗,完全是場災難?!敝Z埃爾·沙基是“殺手機器人禁令”運動的發言人之一。
專注于這一活動的國際特赦組織(Amnesty International)高級顧問威瑞提·科伊勒在談及此次聯合國委員會會議時說:“這是一次大翻車。”
不再是科幻小說
人工智能控制的武器曾幾何時只是科幻小說的內容,而且在聯合國委員會2014年開始討論無人武器時基本上也是如此。然而,無需人類管控便可選擇目標的實戰武器系統如今已開始部署于全球各個戰場。那些認為這類武器會造成巨大威脅的民間團體和科學家將其稱為“殺手機器人”。這類武器更準確的技術稱謂是“致命性自主武器”,英文縮寫LAWS。
今年早些時候,一篇介紹利比亞內戰的聯合國文章稱,由土耳其一家公司生產的自主性武器Kargu-2四軸飛行器有可能被用于在一次戰斗中跟蹤和鎖定逃跑的士兵。有報道稱,類似的自主性武器被阿塞拜疆人用于其最近與亞美尼亞的戰爭中,同時,以色列也在其最近與哈馬斯的交戰中使用了自主性槍械。
上述事態導致眾多人開始擔心,從阻止或減緩這些武器的廣泛使用看來,留給世界的時間已經不多了。殺手機器人禁令運動的另一位發言人克萊爾·康伯伊說:“毋庸置疑,該技術的發展速度正在超過外交對話的速度。”
一線希望
就在運動人士對本月聯合國委員會會議感到異常失望時,一些人稱其失敗可能并不一定就是壞事,而且會給限制其發展的有效國際行動提供最佳機會。這是因為,此次失利有望讓有關限制致命性自主武器國際對話的外交陣地發生轉移,而在轉移后的陣地中,少數國家的阻撓也將是徒勞的。
科伊勒表示:“對于那些呼吁共同創建法律約束工具、思考下一步該怎么做的國家來說,我認為當前是一個令人振奮的時刻。支持出臺禁令的60多個國家應就啟動替代流程做出決定,在這一流程中,協商一致原則將無法阻礙大多數國家的意愿。”
科伊勒稱,盡管聯合國委員會的對話未能達成一致意見,但至少幫助提升了人們對自主性武器威脅的認識。越來越多的國家開始支持禁令,包括新西蘭、德國、奧地利、挪威、荷蘭、巴基斯坦、中國以及構成非洲聯盟的55個國家。
此外,數千名計算機科學家和人工智能研究人員已經簽署了請愿書,呼吁禁止自主性武器,并承諾不從事開發此類武器的工作??埔晾照f,如今,我們有必要把握這一態勢,并通過另一個論壇來推動禁令。
科伊勒稱,將對話移出聯合國《特定常規武器公約》(CCW,十年中大部分時間一直在討論致命性自主武器法規的聯合國框架)的優勢在于,執法機構使用這些武器以及在內戰中使用這些武器超出了聯合國委員會強制令的管轄范疇。包括國際特赦組織和人權觀察組織(Human Rights Watch)在內的很多民間團體對這些殺人機器人的潛在用途感到異常擔憂。
運動人士稱,《特定常規武器公約》也并非不是不可替代??埔晾辗Q,八個工業化國家可能會創建一個深入探討這一問題的論壇。另一個方法是,當前支持禁令的其中一個國家可嘗試通過聯合國大會來推動這一事項。
科伊勒和沙基均提及催生了禁止使用殺傷性地雷國際公約的流程,以及禁止使用集束炸彈的類似公約,這些都可以作為一種潛在的模式,也就是在聯合國正式流程之外達成具有約束力的國際條約。
在上述這兩個案例中,單一國家(禁雷公約的背后是加拿大,禁用集束炸彈公約背后是挪威)同意舉辦國際磋商會議。在一些運動人士眼中,有一個國家有望承擔推動致命性自主武器禁令的職責,那就是新西蘭。該國政府在11月曾舉全國之力,在推動禁令出臺方面發揮了“領頭羊作用”。其他國家包括挪威、德國和荷蘭,這些國家的政府在過去數個月中也都做出了類似的聲明。
沙基稱,舉辦類似的談判需要一個國家龐大的財力支持,數額可能高達數千萬美元,這也是為什么像非洲聯盟這樣支持禁令的團體不大可能愿意舉辦國際磋商流程的原因之一。
這一方式的另一個缺點在于,無論達成什么條約,其約束力將僅限于那些締約國,而不是覆蓋整個聯合國成員國或《日內瓦公約》(Geneva Convention)的簽約國。例如,美國便從未簽署過禁雷和禁用集束炸彈公約。
然而這一方式的贊同者稱,這些條約會樹立一項國際準則,并對那些拒絕簽署條約的國家帶來強大的道德壓力。禁雷公約的出臺迫使眾多武器生產商停止生產這種武器,而且美國政府在2014年承諾不在朝鮮半島之外使用這一武器。不過,美國軍事參謀稱,地雷對于韓國防御朝鮮可能的入侵十分必要。
“屠殺機器人”
加州大學洛杉磯分校(University of California, Los Angeles)國際關系教授羅伯特·特拉格稱,并非所有人都認為《特定常規武器公約》之外的流程可在此時奏效。其中一個原因在于,對于那些擔心某個特定敵人會采用自主性武器的國家來說,它們不大可能會同意單方面放棄自身擁有這一能力所能帶來的威懾作用。羅伯特以人工智能治理中心代表的身份,參加了上周的日內瓦對話。
特拉格還提到,以禁雷和禁用集束炸彈公約為例,這些科技的使用——以及,更為重要的是,其局限性——在這些條約簽署之時早已被各國所熟知,因此各國對此帶來的得失了然于胸。他說,致命性自主武器的情況并不是這樣,它剛剛才面世,甚至基本上并未得到部署。
麻省理工學院(MIT)物理學教授、未來生命研究所創始人馬克斯·特格馬克與加州大學伯克利分校(University of California at Berkeley)人工智能研究員斯圖爾特·拉塞爾共同提出,一些當前阻礙出臺殺人機器人約束性限制的國家有望轉而支持禁止不超過一定尺寸或重量門檻的自主性武器,且這些武器的主要攻擊對象是個人。
特格馬克稱,這些“屠殺機器人”可以是能夠進行群體攻擊的小型無人機,最終可能成為“窮人的大規模殺傷性武器”。恐怖分子或犯罪分子可用其進行大規模謀殺或刺殺個人,例如法官或政客。他說,這一點對于現有的國際秩序來說是一個非常不穩定的因素,因此包括美國和俄羅斯在內的現有大國應贊成禁止或限制屠殺機器人的推廣。
他表示,由于這些小型自主性武器可通過大型系統進行整合后對船只、飛機、坦克或建筑進行攻擊,因此禁令變得更加難以推動。他說,現有大國不大愿意放棄這些武器。
沙基稱,特格馬克和拉塞爾的看法代表的是少數人的觀點,而且并非是“殺手機器人禁令運動”的主張。他說,與可以針對個人的小型武器一樣,民間團體對于大型自主性武器亦十分擔憂,例如可以從美國起飛、跨洋實施目標轟炸的人工智能無人機可能會在這一過程中誤殺平民。
運動人士還稱,盡管一些國家在口頭上支持出臺限制自主性武器的約束性法律協議,但他們對其真實想法表示擔憂。在《特定常規武器公約》會議上,巴基斯坦是約束性協議的首要推動國,但其提出的主張是不應出臺覆蓋所有國家的禁令,因為該國需要使用此類武器來對抗印度開發的類似武器。(財富中文網)
譯者:馮豐
審校:夏林
出臺殺手機器人禁令的一個“歷史性機遇”曾擺在我們眼前,我們卻未能把握住。
不久前,聯合國裁軍委員會(United Nations disarmament committee)釋放了一則令人擔憂的新聞。該委員會耗費了8年的時間一直在爭論一個問題:面對人工智能武器(使用人工智能定位、跟蹤、攻擊和擊殺目標,且無需人工干預)的迅速發展,我們應采取什么措施或是否要采取措施。很多國家希望禁止此類武器的開發,但聯合國小組采取的是協商一致的運轉模式,而且包括美國、俄羅斯、英國、印度和以色列在內的多個國家反對出臺任何具有法律約束力的限制政策。
最終,委員會可能只能達成繼續保持對話的意見,而且并未針對其未來對話設立明確的目標。這個不斷拖延的結果被美國駐該委員會代表稱之為能夠覆蓋所有國家的“理想強制令”,因為它涵蓋了所有可能的成果。
其他很多國家和激進人士對這一結果有著完全不同的看法,稱這一應對舉措只能算是聊勝于無。
英國謝菲爾德大學(The University of Sheffield)機器人學和人工智能榮譽教授諾埃爾·沙基表示:“這是一次徹底的失敗,完全是場災難。”諾埃爾·沙基是“殺手機器人禁令”運動的發言人之一。
專注于這一活動的國際特赦組織(Amnesty International)高級顧問威瑞提·科伊勒在談及此次聯合國委員會會議時說:“這是一次大翻車?!?/p>
不再是科幻小說
人工智能控制的武器曾幾何時只是科幻小說的內容,而且在聯合國委員會2014年開始討論無人武器時基本上也是如此。然而,無需人類管控便可選擇目標的實戰武器系統如今已開始部署于全球各個戰場。那些認為這類武器會造成巨大威脅的民間團體和科學家將其稱為“殺手機器人”。這類武器更準確的技術稱謂是“致命性自主武器”,英文縮寫LAWS。
今年早些時候,一篇介紹利比亞內戰的聯合國文章稱,由土耳其一家公司生產的自主性武器Kargu-2四軸飛行器有可能被用于在一次戰斗中跟蹤和鎖定逃跑的士兵。有報道稱,類似的自主性武器被阿塞拜疆人用于其最近與亞美尼亞的戰爭中,同時,以色列也在其最近與哈馬斯的交戰中使用了自主性槍械。
上述事態導致眾多人開始擔心,從阻止或減緩這些武器的廣泛使用看來,留給世界的時間已經不多了。殺手機器人禁令運動的另一位發言人克萊爾·康伯伊說:“毋庸置疑,該技術的發展速度正在超過外交對話的速度?!?/p>
一線希望
就在運動人士對本月聯合國委員會會議感到異常失望時,一些人稱其失敗可能并不一定就是壞事,而且會給限制其發展的有效國際行動提供最佳機會。這是因為,此次失利有望讓有關限制致命性自主武器國際對話的外交陣地發生轉移,而在轉移后的陣地中,少數國家的阻撓也將是徒勞的。
科伊勒表示:“對于那些呼吁共同創建法律約束工具、思考下一步該怎么做的國家來說,我認為當前是一個令人振奮的時刻。支持出臺禁令的60多個國家應就啟動替代流程做出決定,在這一流程中,協商一致原則將無法阻礙大多數國家的意愿?!?/p>
科伊勒稱,盡管聯合國委員會的對話未能達成一致意見,但至少幫助提升了人們對自主性武器威脅的認識。越來越多的國家開始支持禁令,包括新西蘭、德國、奧地利、挪威、荷蘭、巴基斯坦、中國以及構成非洲聯盟的55個國家。
此外,數千名計算機科學家和人工智能研究人員已經簽署了請愿書,呼吁禁止自主性武器,并承諾不從事開發此類武器的工作。科伊勒說,如今,我們有必要把握這一態勢,并通過另一個論壇來推動禁令。
科伊勒稱,將對話移出聯合國《特定常規武器公約》(CCW,十年中大部分時間一直在討論致命性自主武器法規的聯合國框架)的優勢在于,執法機構使用這些武器以及在內戰中使用這些武器超出了聯合國委員會強制令的管轄范疇。包括國際特赦組織和人權觀察組織(Human Rights Watch)在內的很多民間團體對這些殺人機器人的潛在用途感到異常擔憂。
運動人士稱,《特定常規武器公約》也并非不是不可替代。科伊勒稱,八個工業化國家可能會創建一個深入探討這一問題的論壇。另一個方法是,當前支持禁令的其中一個國家可嘗試通過聯合國大會來推動這一事項。
科伊勒和沙基均提及催生了禁止使用殺傷性地雷國際公約的流程,以及禁止使用集束炸彈的類似公約,這些都可以作為一種潛在的模式,也就是在聯合國正式流程之外達成具有約束力的國際條約。
在上述這兩個案例中,單一國家(禁雷公約的背后是加拿大,禁用集束炸彈公約背后是挪威)同意舉辦國際磋商會議。在一些運動人士眼中,有一個國家有望承擔推動致命性自主武器禁令的職責,那就是新西蘭。該國政府在11月曾舉全國之力,在推動禁令出臺方面發揮了“領頭羊作用”。其他國家包括挪威、德國和荷蘭,這些國家的政府在過去數個月中也都做出了類似的聲明。
沙基稱,舉辦類似的談判需要一個國家龐大的財力支持,數額可能高達數千萬美元,這也是為什么像非洲聯盟這樣支持禁令的團體不大可能愿意舉辦國際磋商流程的原因之一。
這一方式的另一個缺點在于,無論達成什么條約,其約束力將僅限于那些締約國,而不是覆蓋整個聯合國成員國或《日內瓦公約》(Geneva Convention)的簽約國。例如,美國便從未簽署過禁雷和禁用集束炸彈公約。
然而這一方式的贊同者稱,這些條約會樹立一項國際準則,并對那些拒絕簽署條約的國家帶來強大的道德壓力。禁雷公約的出臺迫使眾多武器生產商停止生產這種武器,而且美國政府在2014年承諾不在朝鮮半島之外使用這一武器。不過,美國軍事參謀稱,地雷對于韓國防御朝鮮可能的入侵十分必要。
“屠殺機器人”
加州大學洛杉磯分校(University of California, Los Angeles)國際關系教授羅伯特·特拉格稱,并非所有人都認為《特定常規武器公約》之外的流程可在此時奏效。其中一個原因在于,對于那些擔心某個特定敵人會采用自主性武器的國家來說,它們不大可能會同意單方面放棄自身擁有這一能力所能帶來的威懾作用。羅伯特以人工智能治理中心代表的身份,參加了上周的日內瓦對話。
特拉格還提到,以禁雷和禁用集束炸彈公約為例,這些科技的使用——以及,更為重要的是,其局限性——在這些條約簽署之時早已被各國所熟知,因此各國對此帶來的得失了然于胸。他說,致命性自主武器的情況并不是這樣,它剛剛才面世,甚至基本上并未得到部署。
麻省理工學院(MIT)物理學教授、未來生命研究所創始人馬克斯·特格馬克與加州大學伯克利分校(University of California at Berkeley)人工智能研究員斯圖爾特·拉塞爾共同提出,一些當前阻礙出臺殺人機器人約束性限制的國家有望轉而支持禁止不超過一定尺寸或重量門檻的自主性武器,且這些武器的主要攻擊對象是個人。
特格馬克稱,這些“屠殺機器人”可以是能夠進行群體攻擊的小型無人機,最終可能成為“窮人的大規模殺傷性武器”??植婪肿踊蚍缸锓肿涌捎闷溥M行大規模謀殺或刺殺個人,例如法官或政客。他說,這一點對于現有的國際秩序來說是一個非常不穩定的因素,因此包括美國和俄羅斯在內的現有大國應贊成禁止或限制屠殺機器人的推廣。
他表示,由于這些小型自主性武器可通過大型系統進行整合后對船只、飛機、坦克或建筑進行攻擊,因此禁令變得更加難以推動。他說,現有大國不大愿意放棄這些武器。
沙基稱,特格馬克和拉塞爾的看法代表的是少數人的觀點,而且并非是“殺手機器人禁令運動”的主張。他說,與可以針對個人的小型武器一樣,民間團體對于大型自主性武器亦十分擔憂,例如可以從美國起飛、跨洋實施目標轟炸的人工智能無人機可能會在這一過程中誤殺平民。
運動人士還稱,盡管一些國家在口頭上支持出臺限制自主性武器的約束性法律協議,但他們對其真實想法表示擔憂。在《特定常規武器公約》會議上,巴基斯坦是約束性協議的首要推動國,但其提出的主張是不應出臺覆蓋所有國家的禁令,因為該國需要使用此類武器來對抗印度開發的類似武器。(財富中文網)
譯者:馮豐
審校:夏林
It was billed as “a historic opportunity” to stop killer robots. It failed.
That was the alarming news out of a United Nations disarmament committee held in Geneva at the end of last week. The committee had spent eight years debating what, if anything, to do about the rapid development of weapons that use artificial intelligence to locate, track, attack, and kill targets without human intervention. Many countries want to see such weapons banned, but the UN group operates by consensus and several states, including the U.S., Russia, the United Kingdom, India, and Israel, were opposed to any legally binding restrictions.
In the end, the committee could agree only to keep talking, with no clear objective for their future discussions. This kicking-of-the-can was an outcome that the U.S. representative to the UN committee called “a dream mandate” for all countries because it did not foreclose any particular outcome.
Many other nations and activists saw that outcome as something quite different—a woefully inadequate response.
“It was a complete failure, a disaster really,” said Noel Sharkey, an emeritus professor of robotics and A.I. at the University of Sheffield, in the U.K., and one of several spokespersons for the Stop Killer Robots campaign.
“It was a car crash,” Verity Coyle, a senior adviser to Amnesty International focused on its campaign for a ban of the weapons, said of the UN committee’s meeting.
Not science fiction any more
A. I.-guided weapons were once the stuff of science fiction—and were still largely in that realm when the UN committee first began talking about autonomous weapons in 2014. But real systems with the ability to select targets without human oversight are now starting to be deployed on battlefields around the globe. Civil society groups and scientists who are convinced that they pose a grave danger have dubbed them “killer robots.” Their more technical moniker is lethal autonomous weapons, or LAWS.
A UN report on the Libyan civil war said earlier this year that an autonomous weapon, the Kargu-2 quadcopter, produced by a company in Turkey, was likely used to track and target fleeing fighters in one engagement. There have been reports of similar autonomous munitions being used by Azerbaijan in its recent war with Armenia, as well as autonomous weapons guns being deployed by Israel in its most recent conflict with Hamas.
These developments have led many to fear that the world is running out of time to take action to stop or slow the widespread use of these weapons. “The pace of technology is really beginning to outpace the rate of diplomatic talks," said Clare Conboy, another spokesperson for the Stop Killer Robots campaign.
Silver lining
While campaigners were bitterly disappointed with results of this month’s meetings of the UN committee, some say its failure may counterintuitively present the best opportunity in years for effective international action to restrict their development. That’s because it provides an opportunity to move the discussion of an international treaty limiting LAWS to a different diplomatic venue where a handful of states won’t be able to thwart progress.
“I think it is an exciting moment for those states calling for a legally binding instrument to come together and think about what is the best next step,” Coyle said. “The 60-odd countries that are in favor of a ban need to take a decision on starting a parallel process, somewhere where consensus rules could not be used to block the will of the majority.”
Coyle said that discussions at the UN committee, although failing to reach an agreement, had at least helped to raise awareness of the danger posed by autonomous weapons. A growing number of nations have come out in favor of a ban, including New Zealand, Germany, Austria, Norway, the Netherlands, Pakistan, China, Spain, and the 55 countries that make up the African Union.
In addition, thousands of computer scientists and artificial intelligence researchers have signed petitions calling for a ban on autonomous weapons and pledged not to work on developing them. Now, Coyle said, it was important to take that momentum and use it in another forum to push for a ban.
Coyle said that an advantage of taking the discussion outside the UN’s Convention on Certain Conventional Weapons, or CCW—the UN committee that has been discussing LAWS regulation for the better part of a decade—is that the use of these weapons by law enforcement agencies and in civil wars is outside the scope of that UN committee’s mandate. Those potential uses of killer robots are of grave concern to many civil society groups, including Amnesty International and Human Rights Watch.
Campaigners say there are several possible alternatives to the CCW. Coyle said that the Group of Eight industrialized nations might become a forum for further discussion. Another option would be for one of the states currently in favor of a ban to try to push something through the UN General Assembly.
Coyle and Sharkey also both pointed to the process that led to the international treaty prohibiting the use of anti-personnel land mines, and a similar convention barring the use of cluster munitions, as potential models for how to achieve a binding international treaty outside the formal UN process.
In both of those examples, a single nation—Canada for land mines, Norway for cluster munitions—agreed to host international negotiations. Among the countries that some campaigners think might be persuaded to take on that role for LAWS are New Zealand, whose government in November committed the country to playing “a leadership role” in pushing for a ban. Others include Norway, Germany, and the Netherlands, whose governments have all made similar statements over the past several months.
Hosting such negotiations requires a large financial commitment from one country, running into perhaps millions of dollars, Sharkey said, which is one reason that the African Union, for instance, which has come out in favor of a ban, is unlikely to volunteer to host an international negotiation process.
Another drawback of this approach is that whatever treaty is developed would be binding only on those countries that choose to sign it, rather than something that might cover all UN members or all signatories to the Geneva Convention. The U.S., for instance, has not acceded to either the land mine or the cluster munitions treaties.
But advocates of this approach note that these treaties establish an international norm and exert a high degree of moral pressure even on those countries that decline to sign them. The land mine treaty resulted in many arms makers ceasing production of the weapons, and the U.S. government in 2014 promised not to use the munitions outside of the Korean Peninsula, where American military planners have argued land mines are essential to the defense of South Korea against a possible invasion by North Korea.
“Slaughterbots”
Not everyone is convinced a process outside the CCW will work this time around. For one thing, countries that fear a particular adversary will acquire LAWS are unlikely to agree to unilaterally abandon the deterrent of having that capability themselves, said Robert Trager, a professor of international relations at the University of California, Los Angeles, who attended last week’s Geneva discussions as a representative of the Center for the Governance of AI.
Trager also noted that in the case of land mines and cluster munitions, the use—and, critically, the limitations—of those technologies were well established at the time treaties were negotiated. Countries understood exactly what they were giving up. That is not the case with LAWS, which are only just being developed and have barely ever been deployed, he said.
Max Tegmark, a physics professor at MIT and cofounder of the Future of Life Institute, which seeks to address “existential risks” to humanity, and Stuart Russell, an A.I. researcher at the University of California at Berkeley, have proposed that some countries currently standing in the way of binding restrictions on killer robots might be persuaded to support a ban on autonomous weapons below a certain size or weight threshold that are designed to primarily target individual people.
Tegmark said that these “slaughterbots,” which might be small drones that could attack in swarms, would essentially represent “a poor man’s weapon of mass destruction.” They could be deployed by terrorists or criminals to either commit mass murder or assassinate individuals, such as judges or politicians. This would be highly destabilizing to the existing international order and so existing powers, such as the U.S. and Russia, ought to be in favor of banning or restricting the proliferation of slaughterbots, he said.
Progress toward a ban had been made more difficult by the conflation of these small autonomous weapons with larger systems designed to attack ships, aircraft, tanks, or buildings. Established powers would be more hesitant to give up these weapons, he said.
Sharkey said that Tegmark’s and Russell’s position represented a fringe view and was not the position of the Campaign to Stop Killer Robots. He said civil society groups were just as concerned about larger autonomous weapons, such as A.I.-piloted drones that could take off from the U.S. and fly across oceans to bomb targets, possibly killing civilians in the process, as they were about smaller systems that could target individual people.
Campaigners also say they worry about the sincerity of some of the countries that have said they support a binding legal agreement restricting LAWS. Pakistan has been a leading proponent of a binding agreement at the CCW, but has taken the position that without a ban that would cover all countries, it needs such weapons to counter India’s development of similar systems.