谷歌昨晚發布了全新開源大模型系列Gemma 2，包括Gemma 2 9B和Gemma 2 27B兩款型號，旨在滿足研究和開發人員的廣泛需求。Gemma 2系列憑借其參數小但性能卓越的特點，受到了業界的廣泛關注。特別是27B模型，可在單張谷歌云TPU、英偉達A100 80GB GPU或英偉達H100 GPU上，以全精度高效運行推理，大幅降低了成本。
Gemma 2在設計上進行了多項創新，包括局部滑動窗口和全局注意力、Logit軟上限、RMSNorm歸一化以及分組查詢注意力等技術，使得模型在保持高性能的同時，也能在各種硬件上快速推理。此外，Gemma 2還采用了知識蒸餾技術，通過向大模型學習，實現了用較少訓練數據達到更好效果的目標。
Gemma 2的實用性也得到了充分體現。它輕量級且開源，兼容多種主流人工智能框架，包括Keras 3.0、vLLM、Gemma.cpp等。此外，Gemma 2還提供了廣泛的示例和教程，方便用戶探索新功能并構建自己的應用程序。從下個月開始，Google Cloud客戶還將在Vertex AI上輕松部署和管理Gemma 2。
在安全性方面，谷歌為Gemma 2提供了「負責任的生成式AI工具包」，確保用戶在使用模型時能夠遵循最佳實踐，降低潛在風險。