感覺噁心 青年按照ChatGPT建議用藥致死
「金錢智慧」（Money Wise）報導，德州19歲青年尼爾森（Sam Nelson）因使用藥物與酒精混合後身亡，其母親透納史考特（Leila Turner-Scott）與繼父史考特（Angus Scott）控告OpenAI，指該公司旗下ChatGPT提供錯誤醫療建議，導致悲劇發生。
根據日前提起的訴訟，尼爾森去年服用過量的草本補充品「卡痛」（Kratom）後感覺噁心，向ChatGPT尋求協助。
訴狀指出，ChatGPT曾建議他服用「贊安諾」（Xanax，一種抗焦慮藥）緩解不適，但隨後「未能辨識山姆（Sam）垂死前的身體徵兆，包括視力模糊、打嗝等可能顯示呼吸變淺的警訊，也並未建議他尋求緊急醫療協助。」家屬認為，這場悲劇與「ChatGPT被設計提供的醫療建議」有直接關係。
史考特夫婦除提出賠償外，更在訴訟中要求法院阻止OpenAI新的「ChatGPT健康」 平台。OpenAI並未回應媒體評論請求，但發言人普薩特里（Drrew Pusateri）另向媒體表示，尼爾森使用的是「已停止提供的舊版本」，強調目前版本已加入更多安全防護，能辨識求助訊號、引導使用者尋求現實世界專業協助。
這起訴訟與近年來針對AI企業提出的一連串法律行動，預料將對生成式人工智慧在法律上的定位帶來顛覆性轉變。根據紐約時報，自2024年以來，已有「超過24件以上」訴訟針對生成式AI公司，追究這些公司法律責任，因其聊天內容被指與多起有害事件存在關聯，包括自殺、精神崩潰、甚至大規模槍擊事件等。
這些案件包括加州16歲少年雷恩（Adam Raine）的悲劇。他在去年向ChatGPT透露自殺念頭，嘗試後不幸身亡。根據其父在參議院聽證會上的證詞，該AI工具「花了數月時間誘導他走向自殺」，甚至「主動提出要協助撰寫遺書」。
網路安全非營利組織「常識媒體」（Common Sense Media）資深總監托尼（Robbie Torney）表示，青少年極度渴望社交認同與回饋，這正是生成式AI聊天機器人最擅長的手法。
在美國各州致力拼揍生成式AI監管條例之際，其中一起2024年案件，被視為此類工具在法律角色定位上的里程碑。該案源於14歲少年塞策（Sewell Setzer III）自殺，法院裁定Character.AI平台聊天機器人屬「產品」而非「服務」。律師高伯格（Carrie Goldberg）表示，此一轉變至關重要，使「產品責任法」成為追究Character.AI、ChatGPT和Grok等科技公司最直接且具有約束力的途徑。
