比輝達便宜的AI晶片?晶片大神Keller:捨棄HBM

2024/07/16 13:09

MoneyDJ新聞 2024-07-16 13:09:14 記者 郭妍希 報導

被譽為「處理器架構傳奇人物」、現為美國AI晶片設計新創商Tenstorrent執行長的Jim Keller (見圖右),正在試著設計比輝達(Nvidia Corp.)產品更具效率的晶片,藉此壓低AI應用的成本,目標是奪取輝達一部分市佔率。

日經新聞15日報導,Keller表示,輝達產品目前還有許多市場尚未涵蓋到。隨著AI拓展至智慧型手機、電動車及雲端服務,許多業者正在尋找較便宜的解決方案,不少小企業不願支付2萬美元購買輝達的高階繪圖處理器(GPU)。

Tenstorrent今(2024)年底準備推出第二代多用途AI晶片。據公司說法,在某些領域,這款AI晶片的能源、處理效率優於輝達AI GPU。事實上,跟輝達DGX系列AI伺服器相比,Tenstorrent的Galaxy系統不但效率高三倍、價格也便宜33%。

這是如何辦到的呢?Keller說,其中一個原因,就是Tenstorrent並未使用高頻寬記憶體(HBM)。HBM是生成式AI晶片的重要元件,輝達產品能獲致成功、HBM扮演重要角色。然而,HBM同時也是導致AI晶片耗電嚴重、價格高昂的元凶之一。

一般來說,AI晶片組每處理一次任務,GPU就會把資料傳送至記憶體。這需要HBM的高速資料傳輸能力。然而,Tenstorrent晶片大幅降低了資料傳輸次數,其特點是數百個核心中、每個核心都有一顆小型CPU,能自行判定哪些資料得優先處理、哪些非必要的任務可以放棄,進而提升整體效率。

Keller認為,全新方式可讓Tenstorrent晶片在部分AI研發領域取代GPU及HBM。不只如此,該公司也會盡量提升產品成本效益,但Keller坦言想要干擾現今規模龐大的HBM產業、恐得花上數年時間。他預測,未來將有更多新興業者搶進輝達目前還無法服務到的AI市場,而不是出現單獨一家完全取代輝達的企業。

AI業每年須賺6千億美元才夠支付硬體

根據Sequoia Capital分析師David Cahn日前估算,AI企業每年必須賺取約6,000億美元,才能負擔它們的AI基礎建設(例如資料中心)。

Cahn的計算方式相對簡單。首先,他將輝達的營收運轉率(run-rate,指按照運行速度推估未來表現)預估值乘以二,來估算AI資料中心的總成本(GPU佔據一半,其餘是能源、建築及後援發電機)。然後,Cahn再將這個數字乘以二,來涵蓋終端用戶(例如新創商、或向AWS等雲端商購買AI算力的業者)的50%毛利率。

然而,就算是樂觀情境下,科技巨擘也難以創造6,000億美元的AI營收。Cahn指出,假設Google、微軟、蘋果(Apple)及Meta各創造100億美元AI相關年營收,而甲骨文(Oracle)、字節跳動(ByteDance)、阿里巴巴(Alibaba)、騰訊(Tencent)、X及特斯拉(Tesla)各創造50億美元AI年營收,這跟AI企業每年需賺取的6,000億美元相比,還是有多達5,000億美元的差距。

值得注意的是,輝達新推的B100/B200處理器,已承諾效能可望高2.5倍、成本僅增加25%。輝達執行長黃仁勳(Jensen Huang) 2月曾表示,AI處理器的架構創新,比產量更重要。

黃仁勳2月12日在杜拜舉辦的世界政府峰會(World Governments Summit)對阿聯的AI部長Omar Al Olama表示,不能預設自己能買更多電腦,而是要假設電腦運算速度會加快,因此不必買下那麼多電腦。

(圖片來源:Rapidus)

*編者按:本文僅供參考之用,並不構成要約、招攬或邀請、誘使、任何不論種類或形式之申述或訂立任何建議及推薦,讀者務請運用個人獨立思考能力,自行作出投資決定,如因相關建議招致損失,概與《精實財經媒體 》、編者及作者無涉。

個股K線圖-
熱門推薦