諾貝爾獎得主杰弗里·辛頓既是人工智能先鋒，也是危險預言者
Paolo Confino
2024-10-12
圖片來源：Mert Alper Dervis—Anadolu/Getty Images
杰弗里·辛頓本身就是一個行走的悖論——他是某類杰出科學家的典型代表。
周二，辛頓的聲譽更上一層樓。他和美國科學家約翰·霍普菲爾德因為發現了實現現代人工智能突破的神經網絡和計算機路徑，共同獲得了諾貝爾物理學獎。然而，最近幾年，辛頓卻陷入了矛盾的境地：這個讓他贏得贊譽的發現，現在卻成為無盡擔憂的來源。
在過去的一年里，被譽為“人工智能教父”的辛頓，一再強烈警告他的發現所帶來的技術可能導致的危險。辛頓既像是神話里的普羅米修斯，又像是先知卡珊德拉，他與許多傳奇科學家一樣，一方面是人類對功成名就的愿望，另一方面是反思行動后果的人文沖動。J·羅伯特·奧本海默和艾伯特·愛因斯坦都曾因為他們的原子研究所造成的毀滅而陷入痛苦。炸藥的發明者阿爾弗雷德·諾貝爾對他的遺產可能造成的影響深感不安，因此他創立了一個基金會，用于頒發以他的名字命名的獎項，也就是辛頓獲得的諾貝爾獎。
辛頓在2023年接受《60分鐘》（60 Minutes）采訪時表示：“我看不到一條保證安全的路徑。我們正在進入一個充滿不確定性的時期。我們要面對的是以前從未處理過的事情。”
辛頓認為，人類對人工智能知之甚少，這非常可怕，而且機器可能比人類更聰明，他的擔憂大多源于此。他在接受NPR采訪時表示：“機器可能變得比人類更聰明，并且可能決定接管這個世界，現在我們需要擔心的是如何阻止這種情況發生。”
辛頓原籍英格蘭，他的大部分職業生涯都在美國和加拿大度過。在多倫多大學（University of Toronto），他取得了一項重大突破，后來這成為當代人工智能許多應用的智能基礎。2012年，辛頓和兩名研究生（其中之一是OpenAI前首席科學家伊利亞·蘇特斯威夫）建立了一個可從圖片中識別出基本物體的神經網絡。最終，谷歌（Google）以4,400萬美元，收購了辛頓基于這項技術創建的一家公司。之后，辛頓為谷歌工作了10年，2023年退休后，他擺脫了任何公司約束，從而可以公開警告人工智能的風險。（辛頓并未回應置評請求。）
辛頓對人工智能的進步速度感到擔憂。他在去年接受《紐約時報》采訪時表示：“看看五年前的情況，再看看現在。對比一下前后差異，并請對外宣傳。這太可怕了。”
辛頓表示，人工智能模型有可能相互傳播只有一個模型可能已經學會的新信息，而且效率遠高于人類，這令他深感擔憂。
他在2023年表示：“只要有一個[模型]學到了任何信息，其他模型就會知道。這是人類所做不到的。如果我學到許多關于量子力學的知識，我希望讓你也學會這些知識，我要經過一個漫長痛苦的過程才能讓你理解它。”
辛頓的一些觀點頗具爭議，例如他認為人工智能實際上可以“理解”自己的言行。如果這是真的，這可能會顛覆人們對于人工智能的許多傳統認識。目前人們的共識是，人工智能系統不一定知道它們為什么會做它們正在做的事情，而是經過編程，根據給出的提示輸出特定的結果。
辛頓在一份公開聲明中謹慎地表示，人工智能并不像人類那樣具有自主意識。相反，人工智能系統學習、改進和最終生成特定結果的機制，意味著它們必須理解正在學習的內容。據《連線》雜志報道，辛頓之所以發出警告，是因為他曾要求一個聊天機器人準確地解釋為什么他杜撰的一個笑話是好笑的。這個聊天機器人能夠理解幽默的微妙之處，然后用自己的語言清楚地表達出來，這讓辛頓深受啟發。
隨著人類朝著幾乎無人理解的終點線沖刺，辛頓擔心，人類可能無法掌控人工智能。他設想了一種情況，即人工智能系統能夠編寫代碼修改自己的學習協議，并躲過人類的監控。就像莎士比亞戲劇里跌宕起伏的情節一樣，它們將從人類自身的弱點中，學會如何這樣做。
辛頓在2023年10月接受《60分鐘》采訪時表示：“它們將能夠操縱人類。它們將變得非常善于說服人類，因為它們將從人類寫的所有小說、馬基雅維利的所有書籍和各種政治陰謀中學習，它們將變得無所不通。”（財富中文網）
譯者：劉進龍
審校：汪皓
杰弗里·辛頓本身就是一個行走的悖論——他是某類杰出科學家的典型代表。
周二，辛頓的聲譽更上一層樓。他和美國科學家約翰·霍普菲爾德因為發現了實現現代人工智能突破的神經網絡和計算機路徑，共同獲得了諾貝爾物理學獎。然而，最近幾年，辛頓卻陷入了矛盾的境地：這個讓他贏得贊譽的發現，現在卻成為無盡擔憂的來源。
在過去的一年里，被譽為“人工智能教父”的辛頓，一再強烈警告他的發現所帶來的技術可能導致的危險。辛頓既像是神話里的普羅米修斯，又像是先知卡珊德拉，他與許多傳奇科學家一樣，一方面是人類對功成名就的愿望，另一方面是反思行動后果的人文沖動。J·羅伯特·奧本海默和艾伯特·愛因斯坦都曾因為他們的原子研究所造成的毀滅而陷入痛苦。炸藥的發明者阿爾弗雷德·諾貝爾對他的遺產可能造成的影響深感不安，因此他創立了一個基金會，用于頒發以他的名字命名的獎項，也就是辛頓獲得的諾貝爾獎。
辛頓在2023年接受《60分鐘》（60 Minutes）采訪時表示：“我看不到一條保證安全的路徑。我們正在進入一個充滿不確定性的時期。我們要面對的是以前從未處理過的事情。”
辛頓認為，人類對人工智能知之甚少，這非常可怕，而且機器可能比人類更聰明，他的擔憂大多源于此。他在接受NPR采訪時表示：“機器可能變得比人類更聰明，并且可能決定接管這個世界，現在我們需要擔心的是如何阻止這種情況發生。”
辛頓原籍英格蘭，他的大部分職業生涯都在美國和加拿大度過。在多倫多大學（University of Toronto），他取得了一項重大突破，后來這成為當代人工智能許多應用的智能基礎。2012年，辛頓和兩名研究生（其中之一是OpenAI前首席科學家伊利亞·蘇特斯威夫）建立了一個可從圖片中識別出基本物體的神經網絡。最終，谷歌（Google）以4,400萬美元，收購了辛頓基于這項技術創建的一家公司。之后，辛頓為谷歌工作了10年，2023年退休后，他擺脫了任何公司約束，從而可以公開警告人工智能的風險。（辛頓并未回應置評請求。）
辛頓對人工智能的進步速度感到擔憂。他在去年接受《紐約時報》采訪時表示：“看看五年前的情況，再看看現在。對比一下前后差異，并請對外宣傳。這太可怕了。”
辛頓表示，人工智能模型有可能相互傳播只有一個模型可能已經學會的新信息，而且效率遠高于人類，這令他深感擔憂。
他在2023年表示：“只要有一個[模型]學到了任何信息，其他模型就會知道。這是人類所做不到的。如果我學到許多關于量子力學的知識，我希望讓你也學會這些知識，我要經過一個漫長痛苦的過程才能讓你理解它。”
辛頓的一些觀點頗具爭議，例如他認為人工智能實際上可以“理解”自己的言行。如果這是真的，這可能會顛覆人們對于人工智能的許多傳統認識。目前人們的共識是，人工智能系統不一定知道它們為什么會做它們正在做的事情，而是經過編程，根據給出的提示輸出特定的結果。
辛頓在一份公開聲明中謹慎地表示，人工智能并不像人類那樣具有自主意識。相反，人工智能系統學習、改進和最終生成特定結果的機制，意味著它們必須理解正在學習的內容。據《連線》雜志報道，辛頓之所以發出警告，是因為他曾要求一個聊天機器人準確地解釋為什么他杜撰的一個笑話是好笑的。這個聊天機器人能夠理解幽默的微妙之處，然后用自己的語言清楚地表達出來，這讓辛頓深受啟發。
隨著人類朝著幾乎無人理解的終點線沖刺，辛頓擔心，人類可能無法掌控人工智能。他設想了一種情況，即人工智能系統能夠編寫代碼修改自己的學習協議，并躲過人類的監控。就像莎士比亞戲劇里跌宕起伏的情節一樣，它們將從人類自身的弱點中，學會如何這樣做。
辛頓在2023年10月接受《60分鐘》采訪時表示：“它們將能夠操縱人類。它們將變得非常善于說服人類，因為它們將從人類寫的所有小說、馬基雅維利的所有書籍和各種政治陰謀中學習，它們將變得無所不通。”（財富中文網）
譯者：劉進龍
審校：汪皓
Geoffrey Hinton is a walking paradox—an archetype of a certain kind of brilliant scientist.
Hinton’s renown was solidified on Tuesday when he won the Nobel Prize in physics, alongside the American scientist John Hopfield, for discovering neural networks and the computer pathways that led to modern-day breakthroughs in AI. However, in recent years he has come to be defined by a contradiction: The discovery that led to his acclaim is now a source of ceaseless concern.
Over the past year, Hinton, dubbed “the godfather of AI,” has repeatedly and emphatically warned about the dangers the technology unleashed by his discovery could cause. In his role as both Prometheus and Cassandra, Hinton, like many scientists of legend, was caught between the human desire to achieve and the humanist impulse to reflect on the consequences of one’s actions. J. Robert Oppenheimer and Albert Einstein grappled torturously with the destruction their atomic research caused. Alfred Nobel, the inventor of dynamite, became so distraught over what his legacy might be that he started a foundation to award the eponymous prize that Hinton won.
“I can’t see a path that guarantees safety,” Hinton told 60 Minutes in 2023. “We’re entering a period of great uncertainty, where we’re dealing with things we’ve never dealt with before.”
Much of Hinton’s worry stems from the belief that humanity knows frighteningly little about artificial intelligence—and that machines may outsmart humans. “These things could get more intelligent than us and could decide to take over, and we need to worry now about how we prevent that happening,” he said in an interview with NPR.
Originally from England, Hinton spent much of his professional life in the U.S. and Canada. It was at the University of Toronto where he reached a major breakthrough that would become the intellectual foundation for many contemporary uses of AI. In 2012, Hinton and two grad students (one of whom was Ilya Sutskever, the former chief scientist at OpenAI) built a neural network that could identify basic objects in pictures. Google eventually bought a company Hinton had started based on the tech for $44 million. Hinton then worked at Google for 10 years before retiring in 2023 to free himself from any corporate constraints that may have limited his ability to warn the public about AI. (Hinton did not respond to a request for comment.)
Hinton feared the rate of progress in AI as much as anything else. “Look at how it was five years ago and how it is now,” Hinton told the New York Times last year. “Take the difference and propagate it forwards. That’s scary.”
Concerning him was the potential for AI models to teach each other new information that only one model may have learned, which could be done with considerably greater efficiency than humans, according to Hinton.
“Whenever one [model] learns anything, all the others know it,” Hinton said in 2023. “People can’t do that. If I learn a whole lot of stuff about quantum mechanics, and I want you to know all that stuff about quantum mechanics, it’s a long, painful process of getting you to understand it.”
Among Hinton’s more controversial views is that AI can, in fact, “understand” the things it is doing and saying. If true, this fact could shatter much of the conventional wisdom about AI. The consensus is that AI systems don’t necessarily know why they’re doing what they’re doing, but rather are programmed to produce certain outputs based on prompts they are given.
Hinton is careful to say in public statements that AI is not self-aware, as humans are. Rather, the mechanisms by which AI systems learn, improve, and ultimately produce certain outputs mean they must comprehend what they’re learning. The impetus for Hinton sounding the alarm was when he asked a chatbot to accurately explain why a joke he had made up was funny, according to Wired. That a chatbot could understand the subtleties of humor and then convey them clearly in its own words was revelatory in Hinton’s view.
As humanity races toward a finish line that virtually none understand, Hinton fears that control of AI may slip through humanity’s fingers. He envisions a scenario in which AI systems will write code to alter their own learning protocols and hide from humans. In a Shakespearean twist, they’ll have learned how to do so precisely from our own flaws.
“They will be able to manipulate people,” Hinton told 60 Minutes in October 2023. “They will be very good at convincing people, because they’ll have learned from all the novels that were ever written, all the books by Machiavelli, all the political connivances, they’ll know all that stuff.”
財富中文網所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
