2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后續版本悟道2.0，作為中國第一個超大規模智能模型系統。悟道是一個語言模型，旨在在人類層面的思維上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。經過4.9TB的圖像和文本訓練，并在9個基準上超過了最先進（SOTA）水平，悟道比任何同行都更接近于實現通用人工智能（AGI）和人類水平的思維。
悟道接受了4.9 TB高質量英文和中文圖像和文本的訓練：
- 1.2TB中文文本數據
- 2.5TB中文圖形數據
- 1.2TB英文文本數據
悟道是基于開源的 MoE 系統 FastMoE 進行訓練的。MoE是一種機器學習技術，其工作原理如下：
將預測建模任務劃分為子任務，針對每個子任務訓練專家（學習者）模型，開發門控模型，該門控模型基于要預測的輸入來學習咨詢哪個專家，并組合預測。FastMoE使悟道能夠并行咨詢不同的專家模型，并切換到預測結果最好的模型。例如，如果輸入是英文文本，悟道將使用預測模型，該模型可以在英文文本中生成回應。
??版權聲明：若無特殊聲明，本站所有文章版權均歸奇想AI導航網原創和所有，未經許可，任何個人、媒體、網站、團體不得轉載、抄襲或以其他方式復制發表本站內容，或在非我站所屬的服務器上建立鏡像。否則，我站將依法保留追究相關法律責任的權利。
類似于悟道的工具
奇想AI導航網收錄了國內外數百個不同類型的AI工具，每日更新和添加最新AI工具，奇想AI導航網還推薦了AI學習開發的常用網站、框架和模型，幫助你加入人工智能浪潮，自動化高效完成任務！
Ctrl + D 或 ? + D 收藏本站到瀏覽器書簽欄。