The Information報導,網路服務(AWS)正限縮旗下使用自家虛擬伺服器租用平台EC2,5月就召集他們,要求減少對中央處理器()資源的浪費,確保AWS有足夠CPU提供給客戶。此時正值資料中心對CPU的需求大增,繪圖處理器(GPU)和CPU的需求比,已從傳統的八比一或四比一漸趨平衡。
EC2的執行個體(instance,虛擬伺服器)構成現代網路的很大一部分。傳統上,AWS工程師可用啟動自己的執行個體來進行開發,利用網路基礎架構相對較低的CPU使用率,在同樣的資源上運行更多虛擬機。但該公司工程師向The Information表示,他們現在需要等待數天才能取得使用權限,相較先前只需數小時。
亞馬遜在EC2執行個體中部署了多種不同類型的CPU,包括超微、英特爾,以及亞馬遜自研的Graviton5晶片。Graviton5是亞馬遜至今最強大的CPU,使用Arm架構,類似輝達的Vera CPU和安謀自己的AGI晶片。
AI代理的興起推動了CPU需求成長,就連像亞馬遜這樣的大公司都難以應付。舉例來說,亞馬遜上個月的一個編碼代理,就耗費了該公司180萬美元的詞元(token)成本,比開發預算超出860%。
雖然目前大部分的AI基礎設施都是圍繞著推理設計,這項作業可透過GPU加速。但代理作業卻比這樣複雜許多,經常牽涉到對在CPU上運作的工具呼叫,和在GPU上推理的更複雜協調。也正是這一點讓CPU在AI代理時代成為了注目焦點。
雖然亞馬遜正設法解決內部工程師和外部客戶間的CPU資源短缺問題,但據The Information報導,資源短缺主要影響的是競價型執行個體(Spot Instances)。一名顧問向該媒體表示,已簽約租借的資源並未出現短缺。
AWS發言人回應表示,「報導關於EC2的說法並不準確。做為我們日常營運的一部分,以及秉持著節儉的領導原則,我們始終致力於提升資源效率,以確保團隊能最適化資源利用」。