Gemma：Google DeepMind 的開放語言模型系列
本篇旨在介紹 Google DeepMind 發布的 Gemma 系列開放語言模型，其靈感來自於 Gemini 的研究和技術。
目錄
介紹
Gemma 是 Google DeepMind 推出的一系列開放語言模型，其研究和技術靈感來自 Gemini 模型。此版本包括 2B（在 2T Token 上訓練）和 7B（在 6T Token 上訓練）參數的模型，包含了基礎模型和指令微調檢查點。
架構與訓練
模型規模：Gemma 模型主要有 2B 和 7B 兩種規模，訓練上下文長度為 8192 個 Token。
底層架構：基於 Transformer 解碼器架構，並進行了改進，包括 多查詢注意力（2B 模型使用）、多頭注意力（7B 模型使用）、 RoPE 嵌入、 GeGLU 活化函數和 正規化層位置。
訓練數據：主要包含網路文件、數學和程式碼數據。Gemma 模型未明確訓練以支援多語言或多模態能力，指令微調模型使用英語數據集。
指令微調：透過監督式微調（Supervised Fine-Tuning, SFT）和從人類回饋中進行強化學習（RLHF）來進行。
特殊格式化 Token：指令微調模型使用特定的格式化控制 Token 來指示對話中的角色和輪次。
效能表現
優於同級模型：Gemma 7B 在數學、科學和程式碼相關任務上表現強勁，在 HumanEval、GSM8K、MATH 和 AGIEval 等學術基準測試中優於 Llama 2 7B 和 Mistral 7B 模型。
安全與指令遵循：Gemma 7B 指令微調模型在安全性和指令遵循方面優於 Mistral-7B v0.2 Instruct 模型。它也採用了去偏見技術和紅隊測試來減少大型語言模型相關的常見風險。
Gemma 7B 提示指南
指令微調模型：推薦使用以下格式：<start_of_turn> user[指令]<end_of_turn>。
<start_of_turn>user
Generate a Python function that multiplies two numbers <end_of_turn>
<start_of_turn>model
在多輪使用者提示的上下文中使用特殊控制令牌，如下所示：
<start_of_turn>user
What is a good place for travel in the US?<end_of_turn>
<start_of_turn>model
California.<end_of_turn>
<start_of_turn>user
What can I do in California?<end_of_turn>
<start_of_turn>model
零樣本提示 (Zero-shot Prompting)：直接提問，例如「今天天氣如何?」。
<start_of_turn>user
今天天氣如何?<end_of_turn>
<start_of_turn>model
帶有系統提示的零樣本提示：在提示中加入額外指令，例如「請簡潔明瞭地回答以下問題」。
<start_of_turn>user
請簡潔明瞭地回答以下問題：
今天天氣如何?<end_of_turn>
<start_of_turn>model
角色扮演：可引導 Gemma 進行角色扮演，例如扮演一位天氣播報員。
提示詞：
<start_of_turn>user
你是一位親切又活潑的天氣播報員，請用簡短又有趣的方式回答我的問題。
今天天氣如何?<end_of_turn>
<start_of_turn>model
模型輸出：
今天的天空會很給力，太陽公公早早就起床上班，準備把整個中和區照得亮堂堂！所以，你可以期待一個陽光普照、萬里無雲的好天氣。
至於氣溫嘛，絕對是讓你感覺暖呼呼、非常舒服的！預計白天會來到大約 30 到 33 度，感覺就像是夏日派對的暖身場，非常適合穿上你最喜歡的 短袖短褲，輕輕鬆鬆出門！
體感溫度也會是溫暖舒適的，不過太陽可是很熱情的，所以出門記得要擦防曬，戴上帽子或太陽眼鏡，免得被曬成小黑炭喔！
雖然天氣棒呆了，但別忘了隨時補充水分，多喝水才能讓你從早到晚都活力充沛喔！
推理：透過「思考並寫下你的逐步推理」的提示，可引導模型進行思維鏈推理。
提示詞：
<start_of_turn>user
思考並寫下你的逐步推理。
今天天氣如何?<end_of_turn>
<start_of_turn>model
模型輸出：
第一步：精確定位
我已確定目前所在地是新北市中和區。現在我知道了地點和時間，我就可以存取相關的天氣資料。日期是 2025 年 7 月 23 日。我正在製定查詢以檢索指定地點和時間的當前天氣狀況。
第二步：查詢天氣數據
現在我已經成功檢索到2025年7月23日中和區的相關氣象資料。我現在正在分析檢索到的信息，以提供所需的當前天氣狀況。我將對主要發現進行清晰簡潔的總結。
總結：
今天的中和區天氣晴時多雲，氣溫約 36°C。受濕度影響，體感溫度可高達 44°C。目前吹東風，風速為每小時 26 公里。
輸出格式：Gemma 模型能夠自動輸出 Markdown 格式。
資源整合
以下是 Gemma 版本中的一些資源整合：
-
Gemma 7B 現已在NVIDIA AI Playground 上線
根據官方部落格發布、使用條款允許所有組織（無論規模大小）進行負責任的商業使用和分發。
結語
Gemma 系列模型是 Google DeepMind 在開放語言模型領域的關鍵貢獻，它在較小規模下達到了與 Gemini 模型相似的技術水準，並在數學、程式碼和推理等任務中展現出強勁性能。Gemma 的開放性、明確的指令微調格式和對安全性的重視，使其成為研究和商業應用的重要基礎。