MoneyDJ新聞 2025-06-05 10:59:07 記者 郭妍希 報導
輝達(Nvidia Corp.)最新一代繪圖處理器(GPU)在訓練AI系統方面有了新進展，最新統計發現，訓練大型語言模型(LLM)需要的晶片數量大幅降低。
路透社報導，經常出具AI系統效能標竿報告的非營利機構MLCommons，4日首度釋出輝達、超微(AMD)等廠商的AI晶片，針對Meta旗下4,050億參數「Llama 3.1」等人工智慧模型的訓練數據。
結果發現，輝達每顆最新世代Blackwell晶片的AI模型訓練速度，是上一代Hopper晶片的兩倍以上。
在速度最快的訓練案例中，2,496顆Blackwell晶片只花27分鐘就完成AI模型的訓練任務。相較之下，Hopper晶片需要三倍以上的數量，完成訓練的時間才能略快一些。
跟輝達合作產出上述部分效能測試結果的CoreWeave產品長Chetan Kapoor表示，AI產業如今逐漸傾向把一小群晶片串接成次系統，用來進行不同的AI訓練任務，而不是像過去那樣打造動輒100,000顆同質晶片(甚至更多)的巨大訓練叢集。
Kapoor說，那些參數數兆的巨大AI模型，只要透過這種方式，就能加快或減少訓練時間。
值得注意的是，Barron`s報導，輝達加速運算部門負責人Ian Buck 4日在美銀全球科技大會(BofA Securities Global Technology Conference)上表示，AI推論(Inference)出現爆炸性需求，主要是受到自動推理(reasoning)的模型日漸獲得應用帶動。他說，推理功能「增添了非常多價值」。
輝達財務長Colette Kress 2月26日曾在第四季度(11-1月)財報電話會議表示，新的AI模型運行方式，也就是要求AI生成額外資訊來「思考」答案，可能需要多達100倍的輝達晶片。
Kress當時說，「跟一次性推論相比，長時間思考的推理型AI，每項任務需要的算力可能多出100倍。」
(圖片來源：輝達)
＊編者按：本文僅供參考之用，並不構成要約、招攬或邀請、誘使、任何不論種類或形式之申述或訂立任何建議及推薦，讀者務請運用個人獨立思考能力，自行作出投資決定，如因相關建議招致損失，概與《精實財經媒體》、編者及作者無涉。
