Gemma 4 是谷歌最新推出的开源模型家族。这意味着谷歌在训练这些模型之后，选择将其开放给全球开发者。用户可以自由下载，在自己的本地机器上运行，无需支付按token计费的费用，也无需将任何敏感数据上传至云服务器，从而最大程度地保护了数据隐私。
Gemma 4 并非单一模型，而是一个包含三种不同模型的家族，每种模型都针对不同的应用场景进行了优化：
- Gemma 4 2B / 4B： 这些小型模型非常适合部署在边缘设备上，例如智能手机、树莓派甚至浏览器内应用。
- Gemma 4 31B Dense： 中等规模的模型，适用于配备了中高端GPU的本地机器，能够支撑更复杂的开发项目。
- Gemma 4 26B MoE： 这是一种高效的“专家混合模型”（Mixture of Experts, MoE），专为高吞吐量应用、高级推理任务以及服务器部署而设计。MoE 模型内部拥有专业化的“团队”，在处理特定任务时，只有相关的“专家”模块会被激活，从而显著提升效率。
许多开发者会思考，相比于 GPT-4 或 Claude 等闭源托管模型，Gemma 4 的优势在哪里。选择 Gemma 4 的核心考量通常包括：
- 隐私性： 所有数据处理均在本地进行，确保数据不离开您的设备。
- 成本： 彻底消除 API 调用费用，实现零成本推理。
- 定制化： 允许开发者在自己的私有数据集上进行微调。
- 离线使用： 可以在没有互联网连接的环境中完全运行，如飞行途中、偏远地区或隔离网络服务器。
- 速度： 配合合适的硬件，本地推理速度可以非常快。
当然，在某些情况下，托管模型仍有其优势，例如追求零配置部署、需要获取最前沿的AI能力，或者不具备强大的本地硬件。Gemma 4 和托管模型都是强大的工具，选择哪一个取决于具体的项目需求。
Gemma 4 的一个亮点是其 2B 模型竟然可以在树莓派上运行。这主要得益于现代量化技术：通过将模型的权重从 32 位浮点数压缩到 4 位整数，可以在几乎不损失模型质量的前提下，将模型大小缩小到原始的 10% 到 15%。一个 2B 参数的 4 位量化模型，其大小约为 1.2 GB。考虑到树莓派 5 通常配备 8GB 内存，模型完全可以加载并运行，尽管速度会相对较慢。
在树莓派上使用 Ollama 运行 Gemma 4 2B 的简要步骤如下：
curl -fsSL https://ollama.com/install.sh | sh
ollama run gemma4:2b
尽管运行速度并非极致，但能在价值 80 美元的计算机上、无需互联网连接运行一个多模态 AI 模型，这无疑是一项令人惊喜的技术突破。
关于“原生多模态”的含义，它指 Gemma 4 能够直接理解并处理图像、文本，或者图像与文本的混合输入。这与传统方法形成对比，传统方法通常需要先将图像通过视觉编码器处理，再将其嵌入与文本嵌入结合，最后才传递给大型语言模型。
