財經網站CNBC報導，（NVIDIA）周一宣布，Groq 3 LPX機櫃已正式進入量產，代表去年斥資200億美元、創下該公司最大收購紀錄的Groq技術正式商業化。該機櫃將搭配Vera CPU與Rubin GPU，部署於雲端業者Nebius，預計今年稍晚啟用。

此舉凸顯低延遲推論日益重要，能讓AI代理的回應更即時，尤其適用於程式編寫，雲端業者也可藉此提供提供收費較高的服務。

Groq晶片內建500MB高速靜態隨機存取記憶體（SRAM），以減少記憶體造成的運算瓶頸，由電子代工，輝達GPU則由台積電（2330）代工。每座LPX機櫃整合256顆Groq 3晶片，每秒可處理3,400個詞元。

競爭對手超微（AMD）今年也宣布與Cerebras合作，搶攻低延遲推論市場；OpenAI新推出的Ultrafast模式同樣採用Cerebras技術，標榜每秒可處理750個詞元。

輝達預定周三公布財報。