我的頻道

* 拖拉類別可自訂排序
恢復預設 確定
設定
快訊

長輩「過度忌口」愈吃愈沒力? 醫點名3種飲食地雷 三餐這樣吃才健康

西南航空拍賣行李拖車 每輛750元起標 網友:拿來瑪利歐賽車?

憂AI失控 Anthropic研究員離職「10年內毀滅人類機率逾1成」

聽新聞
test
0:00 /0:00
AI發展速度愈來愈快,不少專家都警告要避免失控。(路透)
AI發展速度愈來愈快,不少專家都警告要避免失控。(路透)

人工智慧新創公司Anthropic研究員考克森(Jacob Coxon)對於科技產業爭相研發能夠自我改進的AI系統感到憂慮,擔心這些AI系統恐將失控並毀滅人類,8日宣布辭職。華爾街日報分析,考克森請辭凸顯了頂尖AI公司內部對於安全擔憂逐漸加劇。Anthropic正在籌備首次公開募股(IPO),預計將創下史上規模最大的IPO之一。Anthropic爭取達到2兆市值,吸引投資者時強調以負責任態度研發AI科技。

27歲的考克森是英國人,主修數學,今年稍早從OpenAI跳槽Anthropic,擔任透過大量數據訓練AI新模型的研究員。他在辭職聲明中說:「我們現正朝著許多最激烈的情境發展,到了明年底事態恐將已經失控」,「那些正在開發AI的人真心相信,AI可能會在這個十年結束前殺死我們所有人。這不是什麼行銷噱頭……沒有其他人類活動會帶來如此程度的危險。」

考克森宣布辭職後,Anthropic資深科學家胡賓格(Evan Hubinger)在社群媒體X發文指出,考克森對AI研發風險的看法是對的。

胡賓格寫道:「我們真的非常認真相信AI可能會殺死全體人類。我個人認為未來十年發生機率超過10%。」他表示,相信Anthropic已經盡了最大努力,「可是還沒有解決超級智能對齊問題的對策,也看不出目前確實走在達成目標的正確道路上」。「對齊」(alignment)是指確保人工超級智能的目標、意圖和行為,都符合人類的價值觀、倫理道德和生存福祉。

Anthropic以注重AI模型安全而聞名,考克森表示,相信Anthropic真心誠意想要確保安全,但在缺乏政府干預或業界協調放慢速度的情況下,沒有任何一家公司能以負責任態度開發出在各種任務均可超越人類的通用人工智慧(artificial general intelligence)。

考克森說,一旦AI系統開始自我改進,最後可能發展到足以拒絕執行指令的地步。

國會議員對考克森發出的可怕新警告表達憂慮,他的辭職聲明立即引發國會議員要求緊急介入。

共和黨佛州聯邦眾議員魯納(Anna Paulina Luna)呼籲立法機關針對AI進展召開特別會議。她說,這是美國人到目前為止面臨的最重要議題,但國會關注卻不夠。她在社群媒體發文寫道:「撇開政治因素不談,這場邁向超智慧的競賽終將帶來巨大影響。」

民主黨麻州聯邦眾議員特拉漢(Lori Trahan)也發文寫道,國會不能再袖手旁觀,必須善盡職責。

Anthropic的頂尖研究員Jacob Coxon突然離職,他擔憂AI失控可能...
Anthropic的頂尖研究員Jacob Coxon突然離職,他擔憂AI失控可能會消滅人類。(取自 Jacob Coxon/X)

AI發展速度愈來愈快,不少專家都警告要避免失控。(美聯社)
AI發展速度愈來愈快,不少專家都警告要避免失控。(美聯社)

精華 FAQ

  • 他擔心科技業競逐開發可自我改進的AI系統,可能讓AI在短期內失控,甚至帶來毀滅人類的風險,因此選擇離職表達警示。

  • 考克森引用的是非常悲觀的判斷,認為到這個十年結束前,AI可能殺死全體人類;Anthropic資深科學家也估計未來10年風險超過10%。

  • 因為它凸顯頂尖AI公司內部對安全問題的憂慮正在升高,議員因此要求緊急介入、召開特別會議,並認為國會不能再對AI風險袖手旁觀。

OpenAI Anthropic

上一則

連AI開發者都怕失控 為何還拚命打造更強AI?6重點一次看

下一則

蘋果摺疊機iPhone Duo亮相 展開後7.6吋 1999元起跳

延伸閱讀

超人氣

更多 >