一、模型概述與性能

1. 參數(shù)規(guī)模
   擁有 240 億參數(shù)，注重推理效能和低時延，支持多任務(wù)語言理解（MMLU）。

2. 核心性能

• MMLU 準確率超 81%，優(yōu)于 Llama 3.3 70B 和 Gemma-2-27B 等同級模型。

• 推理速度達每秒 150 個 tokens，比 Llama 3.3 70B 快 3 倍以上。

• 可在 32GB 內(nèi)存的蘋果 MacBook 或單顆 RTX 4090 GPU 上運行部署。

二、核心優(yōu)勢

1. 效率與成本
   在相同硬件條件下性能媲美 700 億參數(shù)模型，計算成本大幅降低，支持量化壓縮，適用于資源受限場景。

2. 訓(xùn)練方法
   未用強化學(xué)習(xí)和合成數(shù)據(jù)，遵循 “純天然” 訓(xùn)練流程，生產(chǎn)流程早期且透明。

三、技術(shù)特點

1. 架構(gòu)優(yōu)化
   采用迭代訓(xùn)練技術(shù)提升性能，層數(shù)少，減少前向傳遞時間，降低時延。

2. 評估標準
   內(nèi)部基準測試涵蓋代碼、數(shù)學(xué)、常識推理等領(lǐng)域，部分基于 GPT-4o 模型評估，如 Wildbench。

四、應(yīng)用場景

1. 行業(yè)部署
   適用于金融、醫(yī)療、制造業(yè)等對低時延和高數(shù)據(jù)隱私有要求的場景，支持實時口語交互、函數(shù)調(diào)用、本地推理等任務(wù)。

2. 開發(fā)者友好
   通過 Apache 2.0 協(xié)議開源，允許自由修改和商業(yè)使用，已在 Hugging Face、Ollama 等平臺發(fā)布，將擴展至 NVIDIA NIM、AWS SageMaker 等平臺。

五、與競品的對比

1. 性能對比
   在數(shù)學(xué)（MATH-500）和多語言任務(wù)中，表現(xiàn)與 DeepSeek-R1 和 GPT4o-mini 相近，推理速度遠超 ChatGPT。

2. 開源生態(tài)
   與 Meta Llama、DeepSeek 等相互補充，推動開源推理模型發(fā)展。