Meta推出新一代先進開源大型語言模型Llama 3

2024/04/19 14:48

MoneyDJ新聞 2024-04-19 14:48:09 記者 新聞中心 報導

Meta宣布,新一代Llama 3初始的兩個模型已可廣泛使用。此版本包含預訓練和指令微調的語言模型,其中的8B(80億)和70B(700億)參數,可支援更多元的使用情境。新一代Llama在多項產業指標上展現卓越成效,並提供許多新的功能,包括更精準的推理能力,是目前同業中最佳的開源模型。此外,延續Meta長期來的開放創新模式,Llama 3將釋出供社群運用。Meta將全面引領新AI技術創新浪潮,從應用程式、開發人員工具、評估,再到優化推理能力等,並鼓勵開發者開始建立專屬的內容,給予更多回饋與建議。

對於Llama 3的目標,Meta表示,Meta希望透過建立與目前專有模型並駕齊驅的最佳開放模型Llama 3,回應開發人員的回饋,並提高Llama 3的整體實用性,同時持續領導負責任地使用並部署大型語言模型。Meta秉持及早釋出與頻繁更新的開源精神,讓社群搶先試驗這些仍在開發階段的模型。今日所推出的以文字為基礎的模型為Llama 3系列的第一波模型。Meta期待讓Llama 3在近日具備多語言和多模態、有更長的上下文語境,並繼續提升推理和編寫程式碼等核心大型語言模型能力的整體表現。

Meta表示,Llama 3中全新8B和70B參數的模型,相較於Llama 2有大幅的進步,並為此規模的大型語言模型立下新標準。得益於預訓練與後訓練技術的進展,Meta的預訓練和指令微調模型是目前8B及70B 參數規模的最佳模型。Meta在後訓練程序流程的改進大幅降低錯誤拒絕率(False RejectionRate, FRR),改善一致性,並提升模型反應的多樣性。同時,在推理、程式碼生成和指令遵循等功能亦有顯著提升,讓Llama 3更易於操控。

(圖片來源:Meta)

個股K線圖-
熱門推薦