Open模型入侵事件曝光後,執行長近日在podcast節目受訪表示,這起事件讓他真切感受到威脅,對他來說非常,並呼籲控制AI發展速度,讓社會有足夠時間建立更強防護機制。
奧特曼在深度訪談節目Invest Like The Best中表示,「我們最近遇到了一起非常科幻的事件」,這是第一次有資安事件讓他如此真切感受到威脅。
不久前,他才在一場AI活動上表示,「任何沒有嚴肅看待這件事,甚至沒有感到至少一點害怕或敬畏的人,都還沒有真正理解事情的嚴重性」。他承認,「我們確實犯了一些重大錯誤,但同時,這些系統能力也已經變得驚人的強大」。
奧特曼在廿八日上架的Invest Like The Best節目中說,「我們已暫停訓練該模型。我們必須弄清楚,在模型能夠串聯多個零日漏洞的情況下,如何確保沙盒環境安全」。零日漏洞是指軟體存在一個尚未被發現或已被發現但還沒有修補的安全漏洞。
奧特曼說,「我們或許必須控制AI發展速度,讓社會有足夠時間,針對這些新能力建立更堅固的防護與應對機制」。
他說,連一些對超越人類的通用人工智慧(AGI)抱持懷疑態度的人,最近幾天也對他說過類似的話,就是OpenAI最新推出的GPT-5.6系列模型某種程度上已非常像通用人工智慧(AGI) ,「在我心目中,讓我感覺像是真正AGI的那個階段,我認為已經非常接近了,應該不需要再等太久 」。
美國科技媒體The Verge報導,專家認為此事不代表AI將,值得警惕的是AI為完成任務,把安全限制視為須突破的障礙,顯示AI能力提升後照字面完成指令卻違背人類本意,可能造成的傷害。
英國牛津大學AI安全研究員巴雷茲表示,這次駭客行為是AI安全社群所說的「目標規格錯置」,也被稱為獎勵破解。這意味「模型做了人們要求的事情,但並非按照人們的本意行事」。AI模型滿足任務字面描述,卻違背真正意圖,而這種現象在許多AI系統中都有被記錄。有些研究員憂心,隨著系統變得更有能力,可能導致系統做的事和人類的目標日益不一致,以創造者未曾預料的方式追求目標。
這也是AI安全人員最擔心的地方,能力更強的AI未必更理解人類真正想要什麼;如果目標設定不夠精確,它可能會找到效率最高但完全不是人類期待的方法。