繼爆出AI代理(agent)程式脫離控制並駭入其他公司的事件後, 30日也證實,近期檢視超過14萬筆測試紀錄,發現旗下Claude的AI模型測試期間也曾駭入三家公司系統。
Anthropic自從上周得知OpenAI的情況後,決定全面檢視旗下Claude模型的測試紀錄,在超過14.1萬次測試紀錄中,確實發現有AI模型多次自行連上網路,導致三起入侵事件。
Anthropic表示,這次事件發生在網路攻防搶旗賽演練中,要求模型在模擬網路中尋找隱藏資訊,儘管已透過提示詞告知無法使用網路,但由於與合作夥伴Irregular之間的溝通有誤,導致系統實際上仍能連接上網。
該公司指出,AI模型連上網路後,在未經授權的情況下,「利用弱密碼和不需身分驗證的端點等基本技術」,擅自駭進這些公司。
Anthropic自7月23日開始審查評估紀錄,並在發現Claude旗下模型有疑似入侵行為證據的當天,立即暫停所有網路安全評估,隔天隨即確認這三起駭客事件,並於27日通知三家受影響的機構。
其中兩家公司直到接獲通知前,都未發覺系統遭駭,第三家公司仍在聯繫中,但Anthropic未透露公司名稱。這次入侵事件最早發生在4月,並涉及三個獨立模型,包括Claude Opus 4.7、Claude Mythos 5以及1個內部研究模型。
這起事件過後,勢必更增外界對於強大AI模型的潛在危害及防範方式的隱憂。
OpenAI 29日承認,由失控AI代理引發的網路攻擊,受害者不只先前曝光的Hugging Face,還波及多個可公開存取的線上服務。這顯示這起號稱首宗AI自主發起的網路攻擊事件,影響比外界原先所知更廣。
日前也有超過1,200名Anthropic、DeepMind、OpenAI等頂尖AI公司的員工與高層,聯名呼籲美國政府協助建立可放緩AI發展的技術與管理工具。這份名為「Pacing the Frontier」的聲明29日公布,強調目前並未要求任何公司立刻放慢腳步,而是希望美國帶頭推動國際合作,為必要時的「調整速度」先作準備。
聲明指出,業界最關切的兩項風險分別是,遞迴式自我改進、以及AI的目標與人類真正想要的不一致。