摘要
本文介绍了一组名为 Gemini 的新型多模态模型，这些模型在图像、音频、视频和文本理解方面展现出卓越的能力。Gemini 系列包括 Ultra、Pro 和 Nano 三个版本，适用于从复杂推理任务到设备内存限制型应用的广泛场景。在众多基准测试中，Gemini Ultra 模型在 32 个基准测试中的 30 个上取得了最先进的成果，其中最引人注目的是它成为第一个在 MMLU 基准测试中达到人类专家水平的模型，该基准测试通过一系列考试来测试知识和推理能力，Gemini Ultra 的得分超过了 90%。此外，Gemini Ultra 在 20 个多模态基准测试中均取得了最先进的成果。我们相信，Gemini 模型在跨模态推理和语言理解方面的新能力将开启各种应用场景，并讨论了我们将这些模型负责任地部署给用户的方法。
模型架构
Gemini 模型基于 Transformer 解码器，并通过架构和模型优化改进，以实现大规模训练和 Google Tensor Processing Units 上的优化推理。Gemini 1.0 版本包括三个主要尺寸：
Ultra: 适用于高度复杂的任务，包括推理和多模态任务，在 TPU 加速器上可高效地大规模部署。
Pro: 在成本和延迟方面进行了性能优化，适用于广泛的任务，并具有强大的推理性能和广泛的模态能力。
Nano: 最高效的模型，专为设备部署设计。它通过蒸馏自更大的 Gemini 模型进行训练，并针对低和高内存设备分别训练了两个版本。Nano 模型采用 4 位量化，并提供业界最佳性能。
Gemini 模型可以处理文本输入，其中穿插着各种音频和视觉输入，例如自然图像、图表、屏幕截图、PDF 和视频，并且它们可以生成文本和图像输出。
训练基础设施
Gemini 模型使用 TPUv5e 和 TPUv4 进行训练，具体取决于其尺寸和配置。训练 Gemini Ultra 需要使用多个数据中心的大量 TPUv4 加速器。Gemini Ultra 的训练代表了比我们之前的旗舰模型 PaLM-2 更大的规模，这也带来了新的基础设施挑战。增加加速器的数量会导致整个系统中硬件故障的平均时间间隔成比例减少。为了最大程度地减少计划外的重新调度和抢占，我们采取了各种措施，但在如此大规模下，硬件加速器中的真正故障是不可避免的。TPUv4 加速器部署在“超级机柜”中，每个超级机柜包含 4096 个芯片，每个芯片都连接到一个专用的光交换机，可以在大约 10 秒内将 4x4x4 芯片立方体动态重新配置为任意 3D 橡子拓扑结构。
训练数据集
Gemini 模型训练在多模态和多语言数据集上进行。预训练数据集包含来自网络文档、书籍和代码的数据，以及图像、音频和视频数据。我们使用 SentencePiece 标记化器，并发现对整个训练语料库的大量样本进行标记化可以提高推断词汇量，从而提高模型性能。例如，我们发现 Gemini 模型可以有效地标记化非拉丁字符，这反过来又可以提高模型质量以及训练和推理速度。
评估
Gemini 模型在文本、图像、音频和视频等领域的广泛基准测试中取得了最先进的成果。Gemini Ultra 在 32 个基准测试中的 30 个上取得了最先进的成果，包括 10 个文本和推理基准测试中的 12 个、9 个图像理解基准测试中的 9 个、6 个视频理解基准测试中的 6 个以及 5 个语音识别和语音翻译基准测试中的 5 个。Gemini Ultra 成为第一个在 MMLU 基准测试中达到人类专家水平的模型，该基准测试通过一系列考试来测试知识和推理能力，Gemini Ultra 的得分超过了 90%。此外，Gemini Ultra 在最近的 MMMU 基准测试中也取得了显著进展，该基准测试包含关于图像的多学科问题，需要大学水平的学科知识和有意识的推理。Gemini Ultra 在视频问答和音频理解基准测试中也提供了统一的性能提升。
负责任的部署
在开发 Gemini 模型的过程中，我们采用了结构化的方法来负责任地部署模型，以识别、衡量和管理可预见的下游社会影响。这种方法包括影响评估、模型政策制定、评估和缓解措施。
讨论和结论
Gemini 是一组在文本、代码、图像、音频和视频方面取得最先进成果的多模态模型。Gemini Ultra 在 32 个基准测试中的 30 个上取得了最先进的成果，这标志着多模态模型能力向前迈进了一大步。Gemini 模型的新能力将开启各种应用场景，例如教育、日常问题解决、多语言交流、信息摘要、提取和创造力。尽管 Gemini 模型具有令人印象深刻的能力，但它们也存在局限性，例如幻觉问题和高级推理能力的不足。Gemini 是我们朝着开发具有广泛模态泛化能力的大型、模块化系统迈出的重要一步，这将有助于解决智能问题、推动科学发展并造福人类。
网友评论