Gemma是什么

Gemma是由谷歌DeepMind和谷歌的其他團(tuán)隊(duì)開發(fā)的一系列輕量級(jí)、先進(jìn)的開放AI模型，基于與Gemini模型相同的技術(shù)，旨在幫助開發(fā)者和研究人員構(gòu)建負(fù)責(zé)任的AI應(yīng)用。Gemma模型系列包括兩種權(quán)重規(guī)模的模型：Gemma 2B 和 Gemma 7B，提供預(yù)訓(xùn)練和指令微調(diào)版本，支持多種框架，如JAX、PyTorch和TensorFlow，以在不同設(shè)備上高效運(yùn)行。6月28日，第二代模型Gemma 2已發(fā)布，大家快來奇想AI導(dǎo)航網(wǎng)！

Gemma的官方入口

• Gemma的官網(wǎng)主頁(yè)：https://ai.google.dev/gemma?hl=zh-cn
• Gemma的Hugging Face模型：https://huggingface.co/models?search=google/gemma
• Gemma的Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/
• Gemma的技術(shù)報(bào)告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
• 官方PyTorch實(shí)現(xiàn)GitHub代碼庫(kù)：https://github.com/google/gemma_pytorch
• Gemma的Google Colab運(yùn)行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

Gemma的主要特性

• 輕量級(jí)架構(gòu)：Gemma模型設(shè)計(jì)為輕量級(jí)，便于在多種計(jì)算環(huán)境中運(yùn)行，包括個(gè)人電腦和工作站。
• 開放模型：Gemma模型的權(quán)重是開放的，允許用戶在遵守許可協(xié)議的情況下進(jìn)行商業(yè)使用和分發(fā)。
• 預(yù)訓(xùn)練與指令微調(diào)：提供預(yù)訓(xùn)練模型和經(jīng)過指令微調(diào)的版本，后者通過人類反饋強(qiáng)化學(xué)習(xí)（RLHF）來確保模型行為的負(fù)責(zé)任性。
• 多框架支持：Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通過Keras 3.0提供工具鏈，簡(jiǎn)化了推理和監(jiān)督微調(diào)（SFT）過程。
• 安全性與可靠性：在設(shè)計(jì)時(shí)，Gemma遵循Google的AI原則，使用自動(dòng)化技術(shù)過濾訓(xùn)練數(shù)據(jù)中的敏感信息，并進(jìn)行了一系列安全評(píng)估，包括紅隊(duì)測(cè)試和對(duì)抗性測(cè)試。
• 性能優(yōu)化：Gemma模型針對(duì)NVIDIA GPU和Google Cloud TPUs等硬件平臺(tái)進(jìn)行了優(yōu)化，確保在不同設(shè)備上都能實(shí)現(xiàn)高性能。
• 社區(qū)支持：Google提供了Kaggle、Colab等平臺(tái)的免費(fèi)資源，以及Google Cloud的積分，鼓勵(lì)開發(fā)者和研究人員利用Gemma進(jìn)行創(chuàng)新和研究。
• 跨平臺(tái)兼容性：Gemma模型可以在多種設(shè)備上運(yùn)行，包括筆記本電腦、臺(tái)式機(jī)、物聯(lián)網(wǎng)設(shè)備和云端，支持廣泛的AI功能。
• 負(fù)責(zé)任的AI工具包：Google還發(fā)布了Responsible Generative AI Toolkit，幫助開發(fā)者構(gòu)建安全和負(fù)責(zé)任的AI應(yīng)用，包括安全分類器、調(diào)試工具和應(yīng)用指南。

Gemma的技術(shù)要點(diǎn)

• 模型架構(gòu)：Gemma基于Transformer解碼器構(gòu)建，這是當(dāng)前自然語(yǔ)言處理（NLP）領(lǐng)域最先進(jìn)的模型架構(gòu)之一。采用了多頭注意力機(jī)制，允許模型在處理文本時(shí)同時(shí)關(guān)注多個(gè)部分。此外，Gemma還使用了旋轉(zhuǎn)位置嵌入（RoPE）來代替絕對(duì)位置嵌入，以減少模型大小并提高效率。GeGLU激活函數(shù)取代了標(biāo)準(zhǔn)的ReLU非線性激活，以及在每個(gè)Transformer子層的輸入和輸出都進(jìn)行了歸一化處理。
• 訓(xùn)練基礎(chǔ)設(shè)施：Gemma模型在Google的TPUv5e上進(jìn)行訓(xùn)練，這是一種專為機(jī)器學(xué)習(xí)設(shè)計(jì)的高性能計(jì)算平臺(tái)。通過在多個(gè)Pod（芯片集群）上進(jìn)行模型分片和數(shù)據(jù)復(fù)制，Gemma能夠高效地利用分布式計(jì)算資源。
• 預(yù)訓(xùn)練數(shù)據(jù)：Gemma模型在大量英語(yǔ)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練（2B模型大約2萬(wàn)億個(gè)token的數(shù)據(jù)上預(yù)訓(xùn)練，而7B模型則基于6萬(wàn)億個(gè)token），這些數(shù)據(jù)主要來自網(wǎng)絡(luò)文檔、數(shù)學(xué)和代碼。預(yù)訓(xùn)練數(shù)據(jù)經(jīng)過過濾，以減少不想要或不安全的內(nèi)容，同時(shí)確保數(shù)據(jù)的多樣性和質(zhì)量。
• 微調(diào)策略：Gemma模型通過監(jiān)督式微調(diào)（SFT）和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行微調(diào)。這包括使用合成的文本對(duì)和人類生成的提示響應(yīng)對(duì)，以及基于人類偏好數(shù)據(jù)訓(xùn)練的獎(jiǎng)勵(lì)模型。
• 安全性和責(zé)任：Gemma在設(shè)計(jì)時(shí)考慮了模型的安全性和責(zé)任，包括在預(yù)訓(xùn)練階段對(duì)數(shù)據(jù)進(jìn)行過濾，以減少敏感信息和有害內(nèi)容的風(fēng)險(xiǎn)。此外，Gemma還通過了一系列的安全性評(píng)估，包括自動(dòng)化基準(zhǔn)測(cè)試和人類評(píng)估，以確保模型在實(shí)際應(yīng)用中的安全性。
• 性能評(píng)估：Gemma在多個(gè)領(lǐng)域進(jìn)行了廣泛的性能評(píng)估，包括問答、常識(shí)推理、數(shù)學(xué)和科學(xué)問題解答以及編碼任務(wù)。Gemma模型與同樣規(guī)模或更大規(guī)模的開放模型進(jìn)行了性能對(duì)比，在MMLU、MBPP等18個(gè)基準(zhǔn)測(cè)試中，有11個(gè)測(cè)試結(jié)果超越了Llama-13B或Mistral-7B等模型。
• 開放性和可訪問性：Gemma模型以開源的形式發(fā)布，提供了預(yù)訓(xùn)練和微調(diào)后的檢查點(diǎn)，以及推理和部署的開源代碼庫(kù)。這使得研究人員和開發(fā)者能夠訪問和利用這些先進(jìn)的語(yǔ)言模型，推動(dòng)AI領(lǐng)域的創(chuàng)新。