騰訊混元推0.3B端側模型 首個產業級2Bit量化新突破

2026/02/10 14:00

MoneyDJ新聞 2026-02-10 14:00:21 新聞中心 發佈

綜合陸媒報導,騰訊(0700.HK)旗下騰訊混元今(10)日宣布,正式推出面向消費級硬體場景的「極小」模型HY-1.8B-2Bit,等效參數量僅0.3B,記憶體占用僅600MB,比常用的一些手機應用還小。據悉,該模型基於產業級2Bit端測量化方案打造,對比原始精度模型等效參數量降低了6倍,並且在沿用原模型全思考能力同時,在真實端側設備上對比原始精度模型生成速度提升2至3倍,可大幅提升使用體驗。

騰訊混元指出,隨著大語言模型普及,如何將模型在比如手機、耳機或者智慧家居設備應用,成為業界難題,尤其不少應用對模型的離線部署、私密性等都有更高的需求,這就需要更多能夠在端側運行的又小又強的模型。

騰訊混元續指出,端側部署的展開,本質上是一條在「小而精,快而準」的艱難探索之路,既需要模型足夠聰明,能應對千變萬化的真實需求,又必須將它約束在極其有限的硬體資源內部署並快速推理,這就好像在給模型進行「減脂增肌,減重提質」。

部署方面,騰訊混元提供了HY-1.8B-2Bit的gguf-int2格式的模型權重與bf16偽量化權重,對比原始精度模型,HY-1.8B-2Bit實際模型大小直降6倍,僅有300MB,能夠靈活用於端側設備上。該模型也已在Arm等計算平台上完成適配,可部署於啟用Arm SME2技術的行動設備上,並實現高效運行。

個股K線圖-
熱門推薦