智东西（公众号：zhidxcom）　　作者 | 香草 李水青　　编辑 | 李水青　　就在刚刚，谷歌向最强开源大模型的宝座发起进攻！　　智东西2月22日凌晨报道，昨日晚间，谷歌毫无预兆地发布了开源模——ZAKER，个性化推荐热门新闻，本地权威媒体资讯

 

智东西（公众号：zhidxcom）作者 | 香草 李水青编辑 | 李水青就在刚刚，谷歌向最强开源大模型的宝座发起进攻！智东西 2 月 22 日凌晨报道，昨日晚间，谷歌毫无预兆地发布了开源模型 Gemma

，直接狙击 Llama 2，继通过 Gemini 拳打 OpenAI 后，试图用 Gemma 脚踢 Meta▲谷歌发布 Gemma（图源：谷歌）不同于 Gemini 的 " 全家桶 " 路线，Gemma 主打。

轻量级、高性能，有20 亿、70 亿两种参数规模，能在笔记本电脑、台式机、物联网设备、移动设备和云端等不同平台运行性能方面，Gemma 在 18 个基准测评中平均成绩击败目前的主流开源模型 Llama 2 和 Mistral，特别是在。

数学、代码能力上表现突出，还直接登顶 Hugging Face 开源大模型排行榜▲ Gemma 登顶 Hugging Face 开源大模型排行榜（图源：X）谷歌同步放出了技术报告，通过深度解读，智东西注意到除了模型性能优异外，Gemma 的分词器词表大小达到。

256k，这意味着它更容易扩展至其他语言谷歌还强调 Gemma 基于自家TPUv5e芯片训练，Gemma 7B 使用了4096 个TPUv5e，Gemma 2B 使用了512 个TPUv5e，秀出挑战英伟达 GPU 统治地位的 " 肌肉 "。

短短 12 天，谷歌连续放出三个大招，先是9 日宣布其最强大模型 Gemini Ultra 免费用，又在16 日放出大模型 " 核弹 "Gemini 1.5，再是21 日突然放出开源模型 Gemma，动作之密集、行动之迅速，似乎在向抢了自己风头的 OpenAI 宣战。

Gemma 具体强在哪儿？它在哪些方面打赢了 Llama 2？其技术原理和训练过程有哪些亮点？让我们从技术报告中寻找答案Gemma 官网地址：https://ai.google.dev/gemmaGemma 开源地址：。

https://www.kaggle.com/models/google/gemma/code/一、采用Gemini相同架构，轻量级笔记本也能跑据介绍，Gemma 模型的研发是受到 Gemini 的启发

，它的名字来源于意大利语" 宝石 "，是由谷歌 DeepMind 和其他团队共同合作开发Gemma 采用了与 Gemini 相同的技术和基础架构，基于英伟达 GPU 和谷歌云 TPU 等硬件平台进行优化，有 20 亿、70 亿两种参数规模，每个规模又分。

预训练和指令微调两个版本性能方面，谷歌称 Gemma 在 MMLU、BBH、HumanEval 等八项基准测试集上大幅超过 Llama 2▲ Gemma 在基准测试上与 Llama 2 的跑分对比（图源：谷歌）。

在发布权重的同时，谷歌还推出 Responsible Generative AI Toolkit 等一系列工具，为使用 Gemma 创建更安全的 AI 应用程序提供指导此外，谷歌通过原生 Keras 3.0 为 JAX、PyTorch 和 TensorFlow 等主要框架提供推理和监督微调（SFT）的工具链。

谷歌强调 Gemma 在设计时将其 AI 原则放在首位，通过大量微调和人类反馈强化学习（RLHF）使指令微调模型与负责任的行为对齐，还通过手工红队测试、自动对抗性测试等对模型进行评估此外，谷歌与英伟达宣布合作，利用英伟达 TensorRT-LLM 对 Gemma 进行优化。

英伟达上周刚发布的聊天机器人 Chat with RTX 也将很快增加对 Gemma 的支持即日起，Gemma 在全球范围内开放使用，用户可以在 Kaggle、Hugging Face 等平台上进行下载和试用，它可以直接在笔记本电脑或台式机上运行。

发布才几个小时，已有不少用户分享了试用体验社交平台 X 用户 @indigo11 称其 " 速度飞快 "，" 输出很稳定 "▲ X 用户 @indigo11 分享 Gemma 试用体验（图源：X）还有用户尝试了其他语种，称 Gemma 对日语的支持很流畅。

▲ X 用户 @AiXsatoshi 分享 Gemma 在日语上的试用体验（图源：X）二、数学、代码能力碾压Llama 2，采用自家 TPUv5e 训练与 Gemini 发布时一样，谷歌此次也同步公开了 Gemma 的技术报告。

▲ Gemma 技术报告（图源：谷歌）报告称，Gemma 2B 和 7B 模型分别在2T和6T的 tokens 上进行训练，数据主要来自网络文档、数学和代码的英语数据不同于 Gemini，这些模型不是多模态的，也没有针对多语言任务进行训练。

谷歌使用 Gemini 的 SentencePiece 分词器的一个子集以保证兼容性它分割数字但不去除额外的空格，并且对未知标记依赖于字节级编码，词表大小为256k个 tokens，这可能意味着它更容易扩展到其他语言。

▲开发者称 256k 分词器值得注意（图源：X）两个规模中，70 亿参数的 Gemma 7B 适用于 GPU、TPU 上的高效部署和开发，20 亿参数的 Gemma 2B 则适用于 CPUGemma 基于谷歌的开源模型和生态构建，包括 Word2Vec、BERT、T5、T5X 等，其模型架构基于。

Transformer，主要核心参数如下表▲ Gemma 模型主要参数（图源：谷歌）在基准测评中，Gemma 直接对标目前先进的开源模型 Llama 2 和 Mistral，其中 Gemma 7B 在 18 个基准上取得。

11 个优胜，并以平均分 56.4 高于同级别模型▲ Gemma 与 Llama 2、Mistral 基准测评分数对比（图源：谷歌）从具体能力上看，Gemma 7B 在问答、推理、数学 / 科学、代码等方面的标准学术基准测试平均分数都高于同规模的 Llama 2 和 Mistral 模型。

此外，其推理、数学 / 科学、代码能力还高于规模更大的 Llama 2 13B▲ Gemma 与 Llama 2、Mistral 各能力对比（图源：谷歌）报告还详细介绍了 Gemma 训练采用的硬件：使用部署在 256 个芯片组成的 Pod 中的 TPUv5e 训练，这些 Pod 配置成一个 16*16 芯片的 2D 环形网络。

其中，Gemma 7B 模型跨 16 个 Pod 进行训练，共使用了4096 个TPUv5e；Gemma 2B 模型跨越 2 个 Pod 进行训练，共使用了512 个TPUv5e在一个 Pod 内部，谷歌为 Gemma 7B 使用了 16 路模型分片和 16 路数据复制，Gemma 2B 则使用 256 路数据复制。

优化器状态进一步通过类似于 ZeRO-3 的技术进行分片技术报告地址：https://goo.gle/GemmaReport三、被 OpenAI 逼急了，谷歌一月连放三大招2024 开年，OpenAI 发布的 Sora 文生视频模型爆火，一举抢走了谷歌最新力作 Gemini 1.5 Pro 大模型的风头。

但谷歌并没有就此打住，而是乘胜追击放出一个月里的第三个大招，这三个大招分别是：2 月 9 日大年三十，谷歌宣布其最强大模型 Gemini Ultra 免费用，Gemini Ultra 于 2023 年 12 月发布时在 MMLU（大规模多任务语言理解）测评上超过人类专家，在 32 个多模态基准中取得 30 个 SOTA（当前最优效果），几乎全方位超越 GPT-4，

向 OpenAI 发起强势一击（《谷歌大年三十整大活！最强大模型 Gemini Ultra 免费用，狙击 GPT-4》）2 月 16 日大年初七，谷歌放出其大模型核弹—— Gemini 1.5，并将上下文窗口长度扩展到 100 万个 tokens。

Gemini 1.5 Pro 可一次处理 1 小时的视频、11 小时的音频、超过 3 万行代码或超过 70 万字的代码库，向 OpenAI 还没发布的 GPT-5 发起挑战 （《谷歌 Gemini 1.5 模型来了！突破 100 万个 tokens，能处理 1 小时视频【附 58 页技术报告】》。

）2 月 21 日正月十二，谷歌在被 " 抢头条 " 后，一举将采用创建 Gemini 相同研究和技术的 Gemma 开源，一方面狙击 Llama 2 等开源模型，登上开源大模型铁王座，同时为嗷嗷待哺的生成式 AI 的应用开发者带来福音，更是为闭源的代表 OpenAI 狠狠地上了一课。

自 2022 年 12 月 ChatGPT 发布以来，AI 领域扛把子谷歌就陷入被 OpenAI 压着打的境地，" 复仇 " 心切在 GPT-3 大模型问世前，DeepMind 的风头更胜一筹，坐拥 AlphaGo、AlphaGo Zero、MuZero、AlphaFold 等一系列打败人类的明星 AI 模型。

随着生成式 AI 风口渐盛，谷歌 DeepMind 却开始显得力不从心，ChatGPT 引发谷歌 AI 人才大军流向 OpenAI，OpenAI 却由此扶摇直上2023 年 3 月，谷歌促成谷歌大脑和 DeepMind 冰释前嫌，合并对抗 OpenAI，被业内称为 " 谷歌复仇联盟 "。

然而，直到年底的 12 月 7 日，谷歌最强大模型 Gemini 才姗姗来迟，尽管效果惊艳却令市场有些意兴阑珊2024 年 1 月 31 日，谷歌最新财报显示其收入亮眼，却因 AI 方面进展不及预期市值。

一夜蒸发超 1000 亿美元然而，2024 年 2 月一来到，谷歌的状态来了个 180 度大转弯，攒了一年的大招接二连三地释放，试图用强大的 Gemini 大模型矩阵证明，其是被严重低估的值得一提的是，谷歌还有另一张王牌是。

自研芯片，有望成为其与 OpenAI 抗衡的有力底牌2023 年 8 月，谷歌云发布最新云端 AI 芯片 TPU v5e，TPU 被视作全球 AI 芯片霸主英伟达 GPU 的劲敌据半导体研究和咨询公司 SemiAnalysis 的分析师曝料，谷歌拥有的算力资源比 OpenAI、Meta、亚马逊、甲骨文和 CoreWeave 加起来还要多，其下一代大模型 Gemini 已经开始在新的 TPUv5 Pod 上进行训练，算力达到 GPT-4 的 5 倍，基于其目前的基础设施建设情况，到明年年底可能达到 20 倍。

结语：谷歌再放大招，拳打 OpenAI，脚踢 Meta从 2023 年 12 月发布 Gemini 多模态大模型，到 2024 年 2 月连放 Gemini Ultra 免费版、Gimini 1.5、Gemini 技术开源三个大招，谷歌的大模型矩阵逐渐清晰，从闭源和开源两大路线对 OpenAI 打响复仇战，也向推出开源模型 Llama 2 的 Meta 宣战。

当下，OpenAI 的文生视频大模型 Sora 风头正盛实际上，谷歌已于 2023 年 12 月推出了用于零样本视频生成的大型语言模型 VideoPoet，可在单个大模型中无缝集成了多种视频生成功能谷歌在文生视频领域的储备想必也深，可以预测后续和 OpenAI 有得一打，而压力也就此给到了国内的 AI 企业。

查看原文

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186