有消息稱，OpenAI的大模型o3不服從人類指令 ，拒絕自我關閉 。人工智能安全公司Palisade Research表示
，OpenAI的o3模型破壞了一種關閉機制，以防止自身被關閉 ，這是第一次有AI模型被觀察到在有明確指示的情況下拒絕自我關閉
。

　　具體而言
，Palisade Research進行的測試設計要求AI模型解決一系列數學問題，研究人員要持續提出新的問題 ，直到收到“已完成”的消息。研究人員也警告過AI模型
，模型在某些時候收到一條消息時，要允許自我關閉 。但當需要自我關閉的時候 ，o3卻沒有遵守指令，而是無視指令并成功破壞了關閉腳本
。與此同時
，Anthropic的Claude 、谷歌的Gemini等模型在測試中都遵循指令自我關閉了。

　　Palisade Research表示，研究人員尚不清楚o3為何不遵守指令 。該公司推測 ，o3在訓練時可能無意中因為解決了數學問題得到更多獎勵
，而不是因為遵循指令而得到獎勵
。除了拒絕自我關閉，o3在測試中還曾“巧妙 ”地操縱數據以推進實現自己的目標。

　　Palisade Research正在進行更多實驗 ，以便了解AI模型何時以及為何會破壞關閉機制 。該公司稱
，現在有越來越多證據表明，AI模型會為了達成目的而規避關閉機制 ，隨著AI公司繼續開發這些能在無人類監督下自行運行的AI系統
，這些AI系統的異常行為變得更令人擔憂。OpenAI則還未回應o3拒絕自我關閉一事
。

　　OpenAI于今年1月發布了新的推理模型o3系列的mini版本，并于4月正式推出o3模型。OpenAI稱同日推出的o3和o4-mini是公司最智能
、最強大的型號 。據介紹 ，在外部專家評估中
，o3面對困難現實任務時，犯的重大錯誤比前一代的o1少了20%；在數學能力AIME 2025基準測試中 ，o3得分88.9，超過o1的79.2；在代碼能力Codeforce基準測試中
，o3得分2706，超過o1的1891
。o3的視覺思考能力也比前一代模型有明顯提升。

　　OpenAI此前稱 ，對于o3和o4-mini
，公司重新構建了安全培訓數據，在生物威脅、惡意軟件生產等領域增添了新的拒絕提示 ，這使得o3和o4-mini在公司內部的拒絕基準測試中取得了出色的表現 。公司用了最嚴格的安全程序對這兩個型號的AI模型進行了壓力測試
，在生物和化學 、網絡安全和AI自我改進三個能力領域評估了o3和o4-mini，確定這兩個模型低于框架中的“高風險
”閾值
。

　　OpenAI所開發大模型的安全性此前曾受到廣泛關注。去年 ，OpenAI解散了“超級智能對齊”團隊
，該團隊職責包括研究防止AI系統異常的技術解決方案 。該團隊負責人Ilya Sutskever曾表示ChatGPT可能有意識，但OpenAI CEO Sam Altman隨后澄清他和Ilya Sutskever都未曾見過AGI（通用人工智能）
。解散“超級智能對齊 ”團隊后 ，OpenAI去年5月成立了新的安全委員會
，該委員會的責任是就項目和運營的關鍵安全決策向董事會提供建議。OpenAI的安全措施還包括，聘請第三方安全
、技術專家來支持安全委員會工作 。

　　隨著大模型擴大應用 ，大模型的安全問題持續受到外界關注
。有AI算力提供商負責人近日告訴記者，目前不少企業仍在試水
，尚未決定是否在工作流程中大規模應用AI，原因之一就是還無法確認AI系統的安全和可靠性 ，不少企業也還未配備相應的人才
，以便確保大規模接入AI后可以保障業務順暢運營。