螞蟻百靈開源Ling-3.0-tiny,主打輕量低成本推理

2026/08/12 08:35

MoneyDJ新聞 2026-08-12 08:35:20 新聞中心 發佈

綜合陸媒報導,螞蟻集團自研的大模型「百靈」昨(11)日於Hugging Face平台開源Ling-3.0-tiny模型,該模型為輕量級混合推理MoE架構,總參數7.9B,每Token啟動1.3B參數,官方提供BF16、FP8和INT4權重版本,適配不同平台的部署需求。

 

據了解,Ling-3.0-tiny主打低成本推理,採用高效混合線性架構,將KDA(Kimi Delta Attention)和MLA(Multi-Head Latent Attention)依照3:1比例交替堆疊;採用包含128個路由專家(routed experts)的稀疏MoE前饋網路(FFN),在上下文處理能力和計算成本間取得平衡。

 

該模型支援快速回應模式和多步驟推理模式,專為本地部署設計,官方已在輝達 DGX Spark、Apple Silicon MacBook和Mac mini等電腦驗證;在M4 Pro的MacBook上可達到約86-90 Token/s的推理速度,8K上下文長度下,峰值記憶體占用約 8.34 GiB。

個股K線圖-
熱門推薦