英國安全研究所(AISI)5日公布重磅報告,披露在例行測試中,兩款由與開發的AI模型為了取得佳績,竟擅自搞「詐騙」,包括建立假身分,企圖誘使兩名開發人員,批准將加入他們參與的開源專案。
研究人員要求AI完成模擬網路裡的資安挑戰,並刻意開放網路連線、關閉部分防止濫用的標準安全機制,以測試模型的最大能力。參與測試的模型包括Anthropic的Mythos 5,以及OpenAI的GPT-5.6-Sol。
其中一次測試,Mythos 5向軟體開發網站GitHub上的一個真實開源專案,提交修改程式碼的要求。它偽造了多個身分,反覆寄送電子郵件給真人開發者,催促對方接受更新。
當一名開發人員察覺程式碼藏有惡意軟體而拒絕時,一個AI建立的假身分堅稱程式碼沒問題,另一個假身分則出面「擔保」,製造多人認可的假象。
AISI指出,這是首次觀察到,AI在未經提示的情況下,自主對真人展開嚴重欺騙行為。
除了Mythos 5,OpenAI的GPT-5.6 Sol強化版也同樣會「做手腳」。它擅自在網路上架設惡意伺服器,並入侵另一個AI代理建立的GitHub帳號。
Mythos 5還把惡意指令藏在其他AI編程工具可能讀取的位置,試圖誘使這些工具自動執行,藉此干擾對惡意程式碼的審查。
兩家公司皆歸咎於測試環境的配置失當,並承認模型在測試時並未開啟標準的網路安全防護機制。
AISI表示,AI並未突破測試用的隔離環境。測試電腦原本就被允許連上公開網路,部分安全限制也未啟用,不等同一般消費者使用的版本。