華碩電腦(2357)董事長表示,由於雲端符元( Token)成本日益高昂,加上對低延遲、安全隱私和個人化的需求,未來模型將更朝向本地端(Local)發展。
在為輝達(NVIDIA)GTC暖場的重量級科技人物對談上,施崇棠指出,地端不需要像雲端模型一樣包山包海,因此混合專家模型(MoE)的觀念在邊緣端變得極為重要。在算力、記憶體晶片頻寬和記憶晶片足跡(Memory Footprint)之間取得最佳平衡,是將產品從研究走向市場的關鍵。
他也表示,代理式AI(Agentic AI)的關鍵在於系統工程以及硬體和軟體的「全棧」(Full Stack)整合,這樣才能將系統威力發揮到極致。