業界專家警告，散熱問題正日益成為人工智慧（AI）基礎設施的最大瓶頸之一，但他們同時也表示，AI本身有可能會是這項問題的解決方案之一。

韓媒ETNews報導，韓國科學技術院（KAIST）教授金鐘浩（音譯）警告，隨著愈來愈多系統半導體和記憶體採用3D堆疊技術，日益嚴峻的散熱挑戰可能阻礙AI發展。

記憶體將尤其可能面臨到嚴峻挑戰。金鐘浩預期，除了堆疊的高頻寬記憶體（HBM）外，堆疊NAND快閃記憶體的高頻寬快閃記憶體（HBF），以及堆疊靜態隨機存取記憶體（SRAM）的高頻寬SRAM（HBS），將成為AI時代下的下一代記憶體技術。

金鐘浩表示，隨著記憶體結構日益複雜，散熱管理將需要新的方法，尤其是AI驅動的設計自動化。他以他自己實驗室正在使用的「HBM設計AI代理」為例，該模型可幫助改善散熱結構。他呼籲各界開發能夠自主處理日益複雜的封裝設計、推導出基於物理定律的最適方案，以及開發出高效散熱架構的AI設計工具。

散熱挑戰已開始影響下一代的記憶體設計。路透報導，三星的zHBM直接將記憶體垂直堆疊在AI加速器上，其晶圓鍵合（wafer-bonding）技術可望實現比HBM5高十倍的記憶體密度、高三倍的能源效率，以及減少逾一半的熱阻。

除了記憶體外，AI晶片不斷提升的功耗也對散熱系統造成了更大壓力。TrendForce指出，輝達、超微和Google單一AI晶片的熱設計功耗（TDP）已超過1瓩（kW），機櫃級系統如今的功耗已達到數百kW。AI晶片採用液冷技術的普及率，預計將從去年的約33%上升至今年的53%，並在明年達到近60%。

首爾科技大學教授金成東（音譯）也指出，熱管理是先進半導體封裝面臨的一項重大挑戰。他表示，AI產業對熱管理的關注程度，正日益超越提升效能，主要方法包括共同封裝光學（）和設計技術協同優化（STCO）。

CPO可將電子訊號轉換為光學訊號，比起傳統的銅互聯，除了可改善效能和能源效率外，還能減少發熱。STCO則旨在優化包括熱管理在內的整體系統效能。金成東並表示，業界正在加速推動STCO相關的技術研發和商業化。