作者 / 产品经理 Lucas Gonzalez 和软件工程师 Rakesh Shivanna
继 Gemma 3 和 Gemma 3 QAT 的成功发布之后,我们的先进开放模型系列具备了在单一云端或桌面加速器上运行的能力,我们正在进一步推进我们对可访问 AI 的愿景。Gemma 3 为开发者提供了强大的功能,现在我们正将这一愿景扩展到能够在您日常使用的设备 (您的手机、平板电脑和笔记本电脑) 上直接运行的高性能实时 AI。
为了驱动下一代的 On-device AI 并支持各种应用,包括提升 Gemini Nano 的能力,我们设计了一种全新的尖端架构。这个下一代基础架构是在与高通技术 (Qualcomm Technologies)、联发科 (MediaTek) 和三星系统 LSI (Samsung System LSI) 等移动硬件领导者的紧密合作下打造的,并针对闪电般快速的多模态 AI 进行了优化,从而能够在您的设备上直接实现真正个性化和私密的体验。
Gemma 3n 是我们首个基于此突破性的共享架构构建的开放模型,开发者即日起就可以在早期预览版中开始体验这项技术。同样的先进架构也为下一代 Gemini Nano 提供支持,它将这些功能带到 Google 应用和我们的 On-device 生态系统的广泛功能中,并将在今年晚些时候推出。Gemma 3n 使您能够开始在此基础上进行构建,该基础将应用于 Android 和 Chrome 等主要平台。
Gemma 3n 利用了 Google DeepMind 一项名为 Per-Layer Embeddings (PLE) 的创新技术,该技术显著降低了 RAM 的使用量。虽然原始参数规模为 5B 和 8B,但这项创新允许您在移动设备上运行更大的模型,或从云端进行实时流式传输,其内存消耗与 2B 和 4B 模型相当,这意味着这些模型可以在仅 2GB 和 3GB 的动态内存占用下运行。
通过探索 Gemma 3n,开发者可以提前预览开放模型的核心功能以及将通过 Gemini Nano 在 Android 和 Chrome 上提供的移动优先架构创新。
在本文中,我们将探讨 Gemma 3n 的新功能、我们负责任的开发方法,以及如何访问预览版。
Gemma 3n 的关键功能
Gemma 3n 专为在本地运行的快速、低占用空间的 AI 体验而设计,提供:
优化的 On-Device 性能和效率: 与 Gemma 3 4B 相比,Gemma 3n 在移动设备上的响应速度提升了约 1.5 倍,质量显著提高,并通过 Per Layer Embeddings、KVC sharing 和高级 activation quantization 等创新技术降低了内存占用。
Many-in-1 灵活性: 一个具有 4B 活跃内存占用 (active memory footprint) 的模型,原生包含一个嵌套的先进 2B 活跃内存占用子模型 (这要归功于 MatFormer 训练)。这提供了在运行中动态权衡性能和质量的灵活性,而无需托管单独的模型。我们还在 Gemma 3n 中引入了 mix'n'match 能力,可以从 4B 模型中动态创建子模型,以最佳地适应您的特定用例以及相关的质量/延迟权衡。敬请关注我们即将发布的技术报告中有关此研究的更多信息。
Privacy-First 和 Offline Ready: 即使没有互联网连接,也可以在本地执行能够实现尊重用户隐私并可靠运行的功能。
通过音频扩展的多模态理解: Gemma 3n 可以理解和处理音频、文本和图像,并提供显著增强的视频理解能力。其音频能力使模型能够执行高质量的自动语音识别 (转录) 和翻译 (语音到翻译文本)。此外,该模型还接受跨模态的交错输入,从而能够理解复杂的多模态交互。(相关功能即将公开发布)
改进的多语言能力: 提升了多语言性能,特别是在日语、德语、韩语、西班牙语和法语方面。在多种语言基准测试中表现出色,例如在 WMT24++ (ChrF) 上取得了 50.1% 的优异成绩。
解锁全新 On-the-go 体验
Gemma 3n 将通过以下方式赋能新一代智能 On-the-go 应用,使开发者能够:
构建实时的互动体验,能够理解并响应用户环境中的实时视觉和听觉信息。
利用组合的音频、图像、视频和文本输入 (全部在设备上私密处理) 来实现更深层次的理解和基于上下文的文本生成。
开发先进的以音频为中心的应用,包括实时语音转录、翻译和丰富的语音驱动互动。
携手共建负责任的 AI
我们对负责任的 AI 开发的承诺至关重要。与所有 Gemma 模型一样,Gemma 3n 经过了严格的安全评估、数据治理以及与我们的安全政策进行微调对齐。我们以谨慎的风险评估方式对待开放模型,并在 AI 领域不断发展的同时持续完善我们的实践。
开始使用: 立即预览 Gemma 3n
您可以通过预览版率先体验 Gemma 3n 的强大功能:
初始访问 (现已可用):
通过 Google AI Studio 进行基于云的探索: 无需任何配置,您可直接通过浏览器访问 Google AI Studio,即刻上手试用 Gemma 3n。立即探索其文本输入能力。
使用 Google AI Edge 进行 On-Device 开发: 对于希望在本地集成 Gemma 3n 的开发者,Google AI Edge 提供了工具和库。您即刻就可以开始使用文本和图像理解/生成能力。
Gemma 3n 标志着在普及前沿且高效 AI 的道路上又迈出了新的一步。我们非常期待能看到,随着这项技术的预览版开始逐步开放,您将构建出怎样的精彩应用。
-
Google
+关注
关注
5文章
1791浏览量
59146 -
Gemini
+关注
关注
0文章
68浏览量
7945 -
AI
+关注
关注
88文章
35476浏览量
281262 -
模型
+关注
关注
1文章
3531浏览量
50571
原文标题:Gemma 3n 预览版发布: 强劲性能,高效运行,专为移动设备而生
文章出处:【微信号:Google_Developers,微信公众号:谷歌开发者】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
谷歌Gemma 3n模型的新功能

NVIDIA RTX AI加速FLUX.1 Kontext现已开放下载
NVIDIA Isaac Sim和Isaac Lab现已推出早期开发者预览版
Google Gemma 3开发者指南

Google发布最新AI模型Gemma 3
在龙芯3a6000上部署DeepSeek 和 Gemma2大模型
谷歌推出Android XR SDK开发者预览版
谷歌推出Android 16首个开发者预览版
微软预览版Copilot Vision AI功能上线
微软发布DirectSR新预览版:整合FSR 3.1超分辨率技术
KaihongOS 4.1.2开发者预览版正式上线,诚邀开发者免费试用!

评论