Llama 2

Llama 2 是 Meta 于 2023 年 7 月发布的一系列大型语言模型，是初代 LLaMA 模型的继任者。它面向通用语言生成、对话、编程辅助、摘要、问答及其他基于文本的人工智能应用而开发。此次发布包含预训练模型和指令微调的对话变体，使开发者既可将模型作为进一步定制的基础，也可将其用作对话系统，而无需投入过多额外工程。 该模型系列提供 70 亿、130 亿和 700 亿参数三个版本。较大的模型旨在提供更强的推理和语言性能，较小的版本则面向资源受限基础设施上更易部署的场景。Llama 2 使用 4,096 个 token 的上下文窗口，并在一份比初代 LLaMA 发布时描述得更为庞大的公开数据混合集上训练。Meta 还发布了模型文档、负责任使用指南、评估信息，以及一份在满足既定条件的前提下允许许多商业应用的许可证。 Llama 2 成为开放模型生态的重要组成部分，因为 Meta 将模型权重开放下载，而非仅限通过托管应用或应用程序编程接口访问。微软在发布时被宣布为首选云合作伙伴，模型通过 Microsoft Azure 及其他技术平台等渠道分发。这为希望使用自有基础设施或第三方云服务运行、微调或集成语言模型的开发者和企业拓宽了获取途径。 Llama 2 这一品牌涵盖多项相关产品，而非单一应用。基础预训练模型面向希望自行进行适配的开发者。Llama 2-Chat 模型则针对对话进行了微调，并通过监督微调和基于人类反馈的强化学习进行了对齐。Meta 称对话模型适合类助手交互，但也提醒它们仍可能产生不准确、有偏见、不安全或其他不良的输出。 Llama 2 的定位介于专有商业系统和完全不受限制的开源软件之间。Meta 称此次发布是开放的，并广泛提供权重，但其许可证包含条件，按各种常用定义衡量并不等同于不受限制的开源许可证。该许可证包含署名要求以及针对超大规模服务的附加条款，Meta 还另行发布了可接受使用政策。这些条款成为该产品竞争定位的一部分，并在开发者和开源倡导者中引发了讨论。 此次发布帮助 Meta 确立了基础模型重要供应商的地位，并催生了由托管推理服务商、微调工具、本地部署框架和衍生模型组成的广泛生态。尽管在 Meta 的产品路线图中，Llama 家族的后续世代已取代 Llama 2，但 Llama 2 作为加速可下载大型语言模型在商业和研究开发中普及的发布之一，仍具有重要的历史意义。

Llama 2 源自 Meta 的 Llama 研究项目，该项目此前已推出初代 LLaMA 系列，作为一组旨在支持研究的大语言模型。首个版本发布后引发广泛关注，因为其模型权重向获批的研究人员开放，但访问与许可条件限制了最初的传播范围。Meta 的第二代发布回应了外界对更广泛可用模型系列的需求，并加入了额外的训练、评估与对齐工作。 Meta 于 2023 年 7 月 18 日正式推出 Llama 2。此次发布包括 70 亿、130 亿和 700 亿参数的预训练模型，以及经过指令微调的对话版本。Meta 表示，这些模型在比初代 LLaMA 更大的公共数据混合集上训练，并采用 4,096 个 token 的上下文长度。公司还发布了研究论文、模型卡、负责任使用材料以及可接受使用政策。这些材料描述了模型的能力与局限，而非将其呈现为可靠的自主智能体。 此次发布的核心特点是可用性的扩大。Meta 通过自身的申请与分发流程提供下载，并让 Llama 2 通过一系列技术合作伙伴网络开放获取。微软被列为首选合作伙伴，通过 Azure 及与 Windows 相关的开发者渠道提供支持。其他云与机器学习服务商随后也提供了托管访问、推理或微调服务。这一合作伙伴策略使那些不愿自建全部基础设施来本地运行模型的组织也能使用 Llama 2。 Llama 2 的产品结构反映了开发者的两类不同需求。预训练检查点是用于监督微调和专门应用的通用基础模型。Llama 2-Chat 检查点则通过监督示例和基于人类反馈的强化学习训练，以遵循对话指令。对话版本更便于用作助手类应用，但 Meta 也记录了相关风险，包括幻觉、冒犯性或偏见性语言、隐私问题、提示操纵以及对生成答案的不当依赖。 该模型的许可协议成为其历史的重要组成部分。Meta 允许研究与许多商业用途，但 Llama 2 许可证施加了超出宽松许可软件通常权限的条件。它包含署名义务、关于 Llama 材料再分发与使用的要求，以及一项针对超大规模服务的附加条款。随附的可接受使用政策禁止某些应用。因此，这些模型被广泛描述为开放或公开可用，而一些开源组织与开发者则认为，该许可证在严格的软件许可意义上并非完全开源。 Llama 2 推动了可下载基础模型实验的迅速增长。开发者将其用于聊天机器人、检索增强应用、摘要、编程工具、分类、教育以及特定领域的微调。其相对易获取的权重还支持了本地推理，并催生了量化、服务、评估与定制工具生态的成长。70B 模型面向更高性能，而较小版本则降低了实验与部署的硬件门槛。 随着 Meta 发布后续的 Llama 世代，Llama 2 不再是该公司自身序列中的领先模型，但它作为转折点仍具有重要意义。它展示了 Meta 将高知名度消费科技公司与广泛分发的模型平台相结合的战略，并帮助确立了一种观念：开发者可以下载并运行一个能力强大的语言模型，而不必仅通过专有 API 来访问它。

• 2023

  Llama 2 发布

  [1]Introducing Llama 2ai.meta.com

  Meta 发布 Llama 2 系列，包含 7B、13B 和 70B 的预训练与对话微调语言模型，以自定义许可证面向研究和商业用途开放。

• 2023

  微软合作扩大分发渠道

  [4]Meta and Microsoft Introduce the Next Generation of Llamablogs.microsoft.com

  微软宣布 Azure 和 Windows 支持 Llama 2，帮助这些模型通过主流云和开发者渠道提供。

• 2023

  Llama 2 论文与模型文档发布

  [3]Llama 2: Open Foundation and Fine-Tuned Chat Modelsarxiv.org

  Meta 及合作者在研究论文和相关模型材料中记录了模型架构、训练方法、评估、安全工作和局限性。

一个可广泛获取、可下载的基础模型系列，面向研究、商业开发、定制化，以及自托管或云端部署。

• 预训练语言模型 · 2023

  Llama 2 7B

  Llama 2 系列中规模最小的标准模型，旨在降低部署与实验门槛，同时提供通用语言模型基础。开发者可将其适配于专门任务，或用于那些对模型质量与基础设施成本要求不高、无需更大模型的应用场景。

• 预训练语言模型 · 2023

  Llama 2 13B

  Llama 2 的中等规模检查点，旨在平衡模型能力与部署成本。它可作为通用基础模型，用于微调、文本生成、问答、摘要及其他自然语言应用，同时也提供对话微调版本。

• 预训练语言模型 · 2023

  Llama 2 70B

  Llama 2 主要模型中规模最大的版本，旨在实现更强的语言性能并支持要求更高的应用。其规模通常需要显著更多的计算资源，但设计目标是在一系列语言任务上比更小的检查点取得更好的结果。

• 指令微调语言模型 · 2023

  Llama 2-Chat

  面向对话的 Llama 2 检查点系列，经过微调以遵循指令并进行助手式对话。Meta 表示其训练涉及监督微调和基于人类反馈的强化学习，同时警告这些模型仍可能生成不准确、有偏见、不安全或误导性的回复。

• 2023

  发布模型权重，让开发者广泛使用新品

  背景

  Meta 希望将能力强大的语言模型的使用范围扩展到单一托管服务之外，并围绕其 Llama 研究计划构建开发者生态。

  采取的行动

  该公司通过 Meta 及合作伙伴的分发渠道发布了 Llama 2 的预训练和对话微调权重，供研究及多种商业用途使用。

  后续影响

  此次发布加速了可下载模型的实验，并使 Llama 2 成为托管推理、本地部署和微调衍生模型广泛使用的基础。

  来源

• 2023

  采用自定义许可证，而非无限制的开源许可战略

  背景

  Meta 希望允许广泛的研究和商业使用，同时保留特定的分发、署名、安全和规模相关条件。

  采取的行动

  Meta 发布了 Llama 2 社区许可证以及单独的可接受使用政策，规范访问、再分发和应用。

  后续影响

  这一做法促成了广泛采用，但也引发了持续争论：按照严格的开源定义，Llama 2 是否应被认定为开源。

  来源

• 2023

  通过云和平台合作伙伴分发战略

  背景

  运行大型语言模型需要大量计算基础设施，而合作伙伴分发可以降低企业和开发者采用的门槛。

  采取的行动

  Meta 与微软及其他生态提供商合作，通过云、操作系统和机器学习平台提供 Llama 2。

  后续影响

  Llama 2 得以进入主流企业和开发者工作流，同时仍可用于自托管。

  来源

1. 1Introducing Llama 2ai.meta.com
2. 2Llama 2 Community Licenseai.meta.com
3. 3Llama 2: Open Foundation and Fine-Tuned Chat Modelsarxiv.org
4. 4Meta and Microsoft Introduce the Next Generation of Llamablogs.microsoft.com