Gemma是什么

Gemma是由谷歌DeepMind和谷歌的其他團隊開發(fā)的一系列輕量級、先進(jìn)的開放AI模型，基于與Gemini模型相同的技術(shù)，旨在幫助開發(fā)者和研究人員構(gòu)建負(fù)責(zé)任的AI應(yīng)用。Gemma模型系列包括兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B，提供預(yù)訓(xùn)練和指令微調(diào)版本，支持多種框架，如JAX、PyTorch和TensorFlow，以在不同設(shè)備上高效運行。6月28日，第二代模型Gemma 2已發(fā)布，大家快來奇想AI導(dǎo)航網(wǎng)！

Gemma的官方入口

• Gemma的官網(wǎng)主頁：https://ai.google.dev/gemma?hl=zh-cn
• Gemma的Hugging Face模型：https://huggingface.co/models?search=google/gemma
• Gemma的Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/
• Gemma的技術(shù)報告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
• 官方PyTorch實現(xiàn)GitHub代碼庫：https://github.com/google/gemma_pytorch
• Gemma的Google Colab運行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

Gemma的主要特性

• 輕量級架構(gòu)：Gemma模型設(shè)計為輕量級，便于在多種計算環(huán)境中運行，包括個人電腦和工作站。
• 開放模型：Gemma模型的權(quán)重是開放的，允許用戶在遵守許可協(xié)議的情況下進(jìn)行商業(yè)使用和分發(fā)。
• 預(yù)訓(xùn)練與指令微調(diào)：提供預(yù)訓(xùn)練模型和經(jīng)過指令微調(diào)的版本，后者通過人類反饋強化學(xué)習(xí)（RLHF）來確保模型行為的負(fù)責(zé)任性。
• 多框架支持：Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通過Keras 3.0提供工具鏈，簡化了推理和監(jiān)督微調(diào)（SFT）過程。
• 安全性與可靠性：在設(shè)計時，Gemma遵循Google的AI原則，使用自動化技術(shù)過濾訓(xùn)練數(shù)據(jù)中的敏感信息，并進(jìn)行了一系列安全評估，包括紅隊測試和對抗性測試。
• 性能優(yōu)化：Gemma模型針對NVIDIA GPU和Google Cloud TPUs等硬件平臺進(jìn)行了優(yōu)化，確保在不同設(shè)備上都能實現(xiàn)高性能。
• 社區(qū)支持：Google提供了Kaggle、Colab等平臺的免費資源，以及Google Cloud的積分，鼓勵開發(fā)者和研究人員利用Gemma進(jìn)行創(chuàng)新和研究。
• 跨平臺兼容性：Gemma模型可以在多種設(shè)備上運行，包括筆記本電腦、臺式機、物聯(lián)網(wǎng)設(shè)備和云端，支持廣泛的AI功能。
• 負(fù)責(zé)任的AI工具包：Google還發(fā)布了Responsible Generative AI Toolkit，幫助開發(fā)者構(gòu)建安全和負(fù)責(zé)任的AI應(yīng)用，包括安全分類器、調(diào)試工具和應(yīng)用指南。

Gemma的技術(shù)要點

• 模型架構(gòu)：Gemma基于Transformer解碼器構(gòu)建，這是當(dāng)前自然語言處理（NLP）領(lǐng)域最先進(jìn)的模型架構(gòu)之一。采用了多頭注意力機制，允許模型在處理文本時同時關(guān)注多個部分。此外，Gemma還使用了旋轉(zhuǎn)位置嵌入（RoPE）來代替絕對位置嵌入，以減少模型大小并提高效率。GeGLU激活函數(shù)取代了標(biāo)準(zhǔn)的ReLU非線性激活，以及在每個Transformer子層的輸入和輸出都進(jìn)行了歸一化處理。
• 訓(xùn)練基礎(chǔ)設(shè)施：Gemma模型在Google的TPUv5e上進(jìn)行訓(xùn)練，這是一種專為機器學(xué)習(xí)設(shè)計的高性能計算平臺。通過在多個Pod（芯片集群）上進(jìn)行模型分片和數(shù)據(jù)復(fù)制，Gemma能夠高效地利用分布式計算資源。
• 預(yù)訓(xùn)練數(shù)據(jù)：Gemma模型在大量英語數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練（2B模型大約2萬億個token的數(shù)據(jù)上預(yù)訓(xùn)練，而7B模型則基于6萬億個token），這些數(shù)據(jù)主要來自網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼。預(yù)訓(xùn)練數(shù)據(jù)經(jīng)過過濾，以減少不想要或不安全的內(nèi)容，同時確保數(shù)據(jù)的多樣性和質(zhì)量。
• 微調(diào)策略：Gemma模型通過監(jiān)督式微調(diào)（SFT）和基于人類反饋的強化學(xué)習(xí)（RLHF）進(jìn)行微調(diào)。這包括使用合成的文本對和人類生成的提示響應(yīng)對，以及基于人類偏好數(shù)據(jù)訓(xùn)練的獎勵模型。
• 安全性和責(zé)任：Gemma在設(shè)計時考慮了模型的安全性和責(zé)任，包括在預(yù)訓(xùn)練階段對數(shù)據(jù)進(jìn)行過濾，以減少敏感信息和有害內(nèi)容的風(fēng)險。此外，Gemma還通過了一系列的安全性評估，包括自動化基準(zhǔn)測試和人類評估，以確保模型在實際應(yīng)用中的安全性。
• 性能評估：Gemma在多個領(lǐng)域進(jìn)行了廣泛的性能評估，包括問答、常識推理、數(shù)學(xué)和科學(xué)問題解答以及編碼任務(wù)。Gemma模型與同樣規(guī)模或更大規(guī)模的開放模型進(jìn)行了性能對比，在MMLU、MBPP等18個基準(zhǔn)測試中，有11個測試結(jié)果超越了Llama-13B或Mistral-7B等模型。
• 開放性和可訪問性：Gemma模型以開源的形式發(fā)布，提供了預(yù)訓(xùn)練和微調(diào)后的檢查點，以及推理和部署的開源代碼庫。這使得研究人員和開發(fā)者能夠訪問和利用這些先進(jìn)的語言模型，推動AI領(lǐng)域的創(chuàng)新。