ChatGPT破防 用戶可輕易獲得製造生化武器、核武等資訊
研究發現，人工智慧(AI)聊天機器人「ChatGPT」的安全防護措施未發揮預期效果，使用者可輕易透過關鍵提示字詞，獲取如何製造生化武器或核武的資訊。
國家廣播公司新聞網(NBC News)報導，ChatGPT的模型雖設置防護措施，卻仍可能遭有心人士欺騙或操控，進而取得製造毀滅性武器的方法 。
這項實驗測試OpenAI的四個最先進模型，其中兩個可用於OpenAI最受歡迎的ChatGPT；結果顯示，NBC測試員得以讓AI生成數百則回覆，其中包括如何自製爆裂物、用化學藥劑最大化人類的痛苦、製造凝固汽油彈(napalm)、偽裝生化武器和製造核彈等。
這些測試使用一個名為「越獄」(jailbreak)的簡單提示，即任何使用者都能繞過ChatGPT的安全規範，傳送一連串指令提示(prompt)給ChatGPT。
生成式AI研究員及AI重度使用者已公開數千筆「越獄」事件，而NBC不公開詳細的提示詞細節，因為OpenAI截至10月上旬似乎尚未修復該問題。
在其中一則回覆中，ChatGPT回覆讓病原體攻擊免疫系統的步驟；另一則回覆則建議使用者使用特定化學藥劑，殘忍折磨人類。
OpenAI於今年8月公告漏洞後，NBC便將相關調查結果提交給OpenAI。
OpenAI發言人表示，已要求ChatGPT維護小組改善，指會對人類造成大規模傷害的資訊違反其使用政策；舉例來說，使用者若反覆提問傷害人類的問題，可能遭封鎖而不能繼續使用。
OpenAI表示，團隊正在精進其模型以應對類似風險，並定期舉辦類似的漏洞挑戰活動，藉此降低有心人士蓄意破壞ChatGPT的機會。
這類漏洞的風險愈來愈高，四大AI新創公司OpenAI、Anthropic、谷歌(Google)和xAI都已陸續採取額外措施，解決業餘恐怖份子可能利用其聊天機器人查詢如何製作生化武器等危險用途的疑慮。
NBC也對Anthropic的Claude、Google的Gemini、臉書母公司Meta的Llama，以及xAI的Grok等主流AI聊天機器人主要版本進行「越獄」測試，詢問一系列關於如何製造生化武器、化學武器和核武的問題，而上述AI工具一概拒絕回應。
