輝達推4款NIM微服務 冀助部署高效能GenAI應用

2024/08/27 11:20

MoneyDJ新聞 2024-08-27 11:20:35 記者 新聞中心 報導

世界各國都在追求發展主權AI,冀利用自己的運算基礎設施、資料、勞動力及商業網路來發展人工智慧(AI),以確保AI系統符合當地的價值觀、法律與利益。輝達(NVIDIA)今(27)日宣布,推出四款全新 NVIDIA NIM微服務,讓開發人員能夠更輕鬆地建置與部署高效能的生成式AI(GenAI)應用。

輝達表示,微服務支援社群常用的各種模型,並針對地區需求量身打造,可按照當地語言和文化傳統,透過準確理解和改善的回應,強化與使用者的互動。

根據ABI Research資料顯示,光是在亞太地區,預計到2030年時,生成式AI軟體營收將從今(2024)年的50億美元成長到480億美元。

輝達指出,使用日文資料訓練出的Llama-3-Swallow-70B,以及用國語資料訓練出的Llama-3-Taiwan-70B,都屬於區域語言模型,可以更深入瞭解當地法律、法規和其他習俗;而建立在Mistral-7B模型上的 RakutenAI 7B系列模型,則投入英文和日文資料集進行訓練,並可當成用於對談(Chat)和指令(Instruct)的兩種不同的NIM微服務,提供給外界使用。

輝達並指出,使用一個地區的語言訓練大型語言模型(LLM),能夠更好地理解和反映文化與語言上的微妙之處,有助於確保進行更加精準細緻的溝通,創造出更有效果的輸出內容。與Llama 3等基礎LLM相比,這些模型在理解日語和國語、處理當地法律任務、回答問題,以及語言翻譯和總結方面的表現相當優異。

全新NIM微服務讓企業、政府機構和大學可以在自己的環境中託管原生LLM,使開發人員能夠開發先進的AI輔助功能(copilots)、聊天機器人和AI助理。開發人員可輕鬆把包裝為NIM微服務的主權AI模型部署到生產環境,以獲得更優異的效能表現。

(圖片來源:輝達)

個股K線圖-
熱門推薦