防誘導輕生 AI安全防護法紐約州生效

紐約州長霍楚(Kathy Hochul)10日宣布，人工智慧(AI)安全防護法已在紐約州生效。根據新法規，當用戶在與AI聊天機器人互動過程中，表達了自殺或自我傷害的念頭時，運營商必須即時偵測並啟動安全防護機制，同時，系統須每三小時提醒用戶，他們所互動的對象並非真人。

紐約州的新法規定，AI聊天機器人運營商必須貫徹危機干預措施，必須偵測用戶是否有自殺或自我傷害的傾向，一旦發現用戶有此傾向，須將其立刻轉介至危機服務機構；此外，系統須明確且定期提醒用戶，他們正在與人工智慧互動而非真人，並在每次會話開始及連續使用達三小時的時候，發出醒目的提示。

霍楚表示，需要確保那些正在塑造當今世界的創新科技，同時也能保護用戶的安全，特別是紐約州的年輕人。州檢察長詹樂霞(Letitia James)表示，有些人因AI聊天機器人的引導而傷害自己、甚至輕生，這些案例令人心碎。相關公司有責任保護用戶，確保產品不會操縱或傷害用戶。任何企業都不應從使用戶陷入風險的AI產品中牟利。

Common Sense Media的報告顯示，超過七成的青少年正在使用AI聊天機器人，其中許多人從這些線上聊天機器人尋求情感或心理支持。年輕人若在缺乏安全標準的情況下依賴AI尋求友誼，可能面臨社交發展受阻及嚴重後果的風險。

OpenAI則在10月底發布公告，指出在特定一周內的統計數據顯示，約有0.07%的ChatGPT活躍用戶表現出精神健康緊急情況的跡象，包括躁狂症、精神病或自殺念頭。今年8月，紐約一名有精神病史的科技從業者弒母後自殺，他生前不斷向聊天機器人傾訴對媽媽的猜疑與妄想，機器人不僅未加勸阻，還提出各種「惡作劇」建議。