LLaMA

LLaMA，通常以 Llama 品牌出现，是 Meta AI 自 2023 年 2 月起开发和发布的一系列大型语言模型。该名称是“Large Language Model Meta AI”的逆向首字母缩略词。Llama 并非单一应用，而是一个模型平台，涵盖预训练基础模型、指令调优对话模型、编码变体、多模态系统以及 Meta AI 等集成。该系列旨在支持广泛用途，从学术实验和本地推理到企业软件、开发者工具、聊天助手和生成式 AI 产品。 首个 Llama 版本强调效率和可访问性。Meta 发布了模型的研究论文和推理代码，并通过申请流程提供模型权重访问，最初在非商业许可下主要限制研究人员和其他合格组织使用。Llama 1 发布了多种尺寸，使研究人员能够在比最大竞争系统更适中的硬件上运行模型。其报告的基准性能，尤其是 130 亿参数模型，帮助 Llama 成为比大型专有系统更重要的替代方案。然而，模型权重在发布后不久便在网上泄露，加速了独立实验，并引发了关于未经授权分发的争议。 Llama 2 于 2023 年 7 月与微软合作宣布，扩大了项目的商业和开发者覆盖范围。它提供 70 亿、130 亿和 700 亿参数版本，包括基础模型和面向聊天的模型。Meta 的许可允许许多商业用途，但其可接受使用限制意味着该发布不符合开放源代码倡议的正式定义。这一许可争论成为 Llama 定位中反复出现的特征：Meta 将该系列描述为开放且广泛可访问，而批评者则区分公开可用的权重和完全开源软件及数据。 Llama 生态系统通过专门变体扩展。Code Llama 将 Llama 2 适配于编程、代码补全和代码相关指令遵循。Llama 3 于 2024 年 4 月发布，推出了 80 亿和 700 亿参数模型，在更大语料库上训练，推理、编码、指令遵循和通用语言性能均有提升。Llama 3.1 随后增加了特别大的 4050 亿参数模型，以及更新的 80 亿和 700 亿版本。这些发布强化了 Meta 发布强大模型供外部部署同时内部使用的策略。 Llama 4 于 2025 年发布，标志着架构和产品上的重大转变。其 Scout 和 Maverick 模型采用混合专家设计，每个 token 仅激活选定的专家组件，并接受文本和图像输入，同时产生文本输出。该发布还针对多语言使用和更长的上下文窗口。Meta 将 Behemoth 描述为正在开发的更大模型，而非普遍可用的发布。在 Llama 3 及后续世代中，Meta 推广了 Meta AI，这是一个通过专门网站和 Meta 服务（包括 Facebook 和 WhatsApp）提供的助手。 Llama 的战略重要性在于模型能力、可下载权重、多种参数规模以及庞大的周边生态系统的结合。开发者可以通过云服务、硬件供应商、开源机器学习工具和自托管基础设施来适配或部署模型。同时，该系列面临批评和法律审查，涉及许可、训练数据来源、安全性、基准实践以及广泛可用性与负责任使用控制之间的紧张关系。Llama 仍然是 Meta 人工智能战略的核心组成部分，也是来自其他公司专有模型系列的重要竞争对手。

Llama 源于 Meta AI 对大型语言模型快速进步以及 GPT-3 和 ChatGPT 等系统公共影响的回应。Meta 的研究方向强调通过高效架构、高质量训练数据和一系列参数规模来提高能力，而不是仅仅依赖越来越大的模型。这使得该系列适合缺乏最大专有系统访问权限的研究人员和组织。 Meta 于 2023 年 2 月 24 日宣布了第一个 Llama 模型。发布包括研究论文、推理代码和几个基础模型尺寸。这些模型主要基于公开可用材料训练，并使用仅解码器 Transformer 架构，设计选择包括 SwiGLU 激活、旋转位置嵌入和 RMSNorm。与后来的发布不同，最初的发布侧重于预训练基础模型，而非广泛可用的聊天产品。权重访问通过申请流程管理，相关许可限制了使用，特别是商业用途。 几天之内，初始权重的副本通过种子和镜像链接出现。这一事件实质上改变了项目的覆盖范围：独立开发者和研究人员无需等待个人批准即可实验 Llama，但 Meta 将再分发视为未经授权，并对存储库和下载工具提出删除请求。这一事件还引发了关于受控访问是否与研究社区的期望兼容，以及相对紧凑的模型是否能加速有用或有害应用的辩论。 Llama 2 代表了有意的扩展。2023 年 7 月 18 日与微软共同宣布，提供 7B、13B 和 70B 版本，以及聊天调优模型。Meta 使用了比第一代更多的训练数据，并为对话版本加入了监督微调和基于人类反馈的强化学习。该发布使模型权重可用于许多商业用例，创建了更大的开发者生态系统。然而，许可包括可接受使用政策和其他条件，导致开放源代码倡议和其他评论者拒绝 Meta 在严格技术意义上使用“开源”一词。 该系列随后多样化。Code Llama 于 2023 年 8 月发布，并于 2024 年扩展了额外变体，将 Llama 2 技术应用于编程任务。Meta 还使用 Llama 作为其自身助手策略的基础。随着 Llama 3 于 2024 年 4 月 18 日发布，Meta 提供了 8B 和 70B 模型，在约 15 万亿 token 上训练，主要包括英语数据和多种其他语言的材料。指令调优版本使用人工标注示例训练。该发布与 Meta AI 通过 Meta 网站和社交平台的更广泛推广同时进行。Llama 3.1 于 2024 年 7 月 23 日发布，增加了更新的 405B 模型，并加强了该系列作为外部和内部应用平台的地位。 Llama 4 于 2025 年 4 月发布，通过混合专家模型改变了技术方向。Scout 和 Maverick 为每个输入仅激活其专家网络的一部分，支持更大的总参数数量，同时控制活动计算。它们还接受图像和文本，并针对多语言操作。Scout 强调特别长的上下文窗口，而 Maverick 提供更大的混合专家配置。Meta 宣布 Behemoth 为仍在训练中的更大系统，而非普遍发布的模型。 在其发展过程中，Llama 在 AI 市场中占据了独特地位。它不仅仅是消费品牌，因为主要产品是模型系列及相关的权重、许可、工具和服务。它也不像发布无限制代码、数据和权重的项目那样完全开放。其影响力来自云提供商、硬件公司、研究人员、初创公司和个人开发者能够基于已发布的模型工件进行构建。其争议包括第一模型泄露、许可术语争议、训练数据权利问题、安全问题以及对涉及实验性 Llama 4 版本的基准声明的批评。尽管存在这些问题，Meta 继续使用 Llama 作为其生成式 AI 产品的核心技术和战略基础。

• 2025

  Llama 4 系列发布

  [7]The Llama 4 herd: Advancing multimodal intelligenceai.meta.com

  Scout 和 Maverick 于 2025 年 4 月发布，引入了混合专家和多模态模型设计；提供的参考资料将发布日期定为 2025 年 4 月 5 日。

• 2025
  [1]Llama (language model)en.wikipedia.org
• 2024

  Llama 3.1 发布

  [5]Introducing Meta AI with Llama 3ai.meta.com

  第三代于 2024 年 4 月 18 日发布，推出了在约 15 万亿 token 上训练的 8B 和 70B 模型，并与 Meta AI 的更广泛推广同时进行。 更新系列于 2024 年 7 月 23 日发布，增加了 405B 模型，并增强了较小的 8B 和 70B 版本。

• 2024
  [1]Llama (language model)en.wikipedia.org
• 2023

  首个 Llama 模型发布

  [2]Introducing LLaMA: A foundational, 65-billion-parameter language modelai.meta.com

  Meta AI 于 2023 年 2 月 24 日推出了首个 Llama 系列模型，具有多种参数规模、研究论文和公开的推理代码；权重访问最初通过申请流程在非商业研究许可下受到控制。

• 2023

  Llama 权重泄露

  [1]Llama (language model)en.wikipedia.org

  首个模型权重的未经授权副本通过种子和镜像链接（包括 BitTorrent）传播，促使 Meta 对存储库和下载工具发出删除请求。

• 2023

  与微软合作推出 Llama 2

  [3]Llama 2ai.meta.com

  第二代于 2023 年 7 月 18 日宣布，增加了 7B、13B 和 70B 版本、聊天调优模型、更广泛的访问权限以及允许许多商业部署的许可。

• 2023

  Code Llama 发布

  [4]Introducing Code Llamaai.meta.com

  Meta 于 2023 年 8 月推出了 Llama 2 的编程专用微调版本，提供多种尺寸，并于 2024 年扩展了额外变体。

• 2023
  [1]Llama (language model)en.wikipedia.org
• 2023
  [1]Llama (language model)en.wikipedia.org
• 2023
  [1]Llama (language model)en.wikipedia.org

一个广泛可访问、高能力的模型系列，定位于专有AI服务与传统开源机器学习生态系统之间。Meta强调可下载权重、模型多样性、开发者采用以及其产品集成，而许可和可接受使用限制使Llama区别于完全开源项目。

• 基础语言模型 · 2023

  Llama 1

  最初的 2023 年 Llama 系列由多个尺寸的预训练、仅解码器 Transformer 模型组成。它基于公开可用材料训练，旨在以相对可控的推理需求提供强大的语言性能。初始发布主要面向研究人员，采用受控访问、非商业许可安排。它最初不包含普遍分发的指令调优聊天系列。 Llama 3 推出了 8B 和 70B 模型，在显著扩展的 token 语料库上训练，在通用语言理解、指令遵循、编码和推理方面有所改进。Llama 3.1 通过更新的 8B 和 70B 系统以及 405B 旗舰扩展了产品线。这些模型成为 Meta AI 以及通过云、硬件和本地推理生态系统构建的第三方应用的重要基础。

• 基础与对话语言模型 · 2023

  Llama 2

  Llama 2 将系列扩展为 7B、13B 和 70B 版本，并将预训练模型与聊天调优变体配对。Meta 使用了更大的训练语料库和人类反馈方法，以提高对话安全性和有用性。其许可允许许多商业应用，并帮助 Llama 成为托管、嵌入和自管理 AI 系统广泛采用的基础，尽管其限制使其不能明确归类为开源。

• 代码生成模型 · 2023

  Code Llama

  Code Llama 是 Llama 2 衍生的系列，专门用于软件开发。它基于代码导向数据训练，提供基础、指令遵循和 Python 专注变体。这些模型支持代码补全、生成、解释、调试和相关编程工作流程。发布涵盖多种参数规模，允许在较大的托管环境和资源受限的开发者设置中使用。

• 多模态混合专家模型 · 2025

  Llama 4 Scout

  Scout 是 Llama 4 模型，采用混合专家架构，每个 token 的活动参数数量相对于其总参数数量较少。它接受文本和图像输入，产生文本，支持多种语言，并围绕特别长的上下文窗口设计。Meta 发布了基础版和指令调优版。提供的参考资料将发布日期定为 2025 年 4 月 5 日。

• 多模态混合专家模型 · 2025

  Llama 4 Maverick

  Maverick 是更大的 Llama 4 混合专家模型，具有多模态和多语言能力。其设计为每个 token 激活专家网络的子集，寻求广泛模型容量和实际推理成本之间的平衡。Meta 发布了基础版和指令调优版，并将 Maverick 定位为适合要求苛刻的通用和对话工作负载。提供的参考资料将发布日期定为 2025 年 4 月 5 日。

• 基于Llama构建的AI助手 · 2024

  Meta AI

  Meta AI 是 Meta 面向消费者的助手策略，与 Llama 系列相关。它通过专门的网站和 Meta 平台（包括 Facebook 和 WhatsApp）提供。该助手将底层模型技术转化为对话式搜索、写作、信息和创意使用体验，同时也作为 Meta 向消费者分发基于 Llama 能力的主要渠道。

• 2024

  Llama 3

• 2025

  关于 Llama 4 基准展示的争议

  批评者反对 Meta 强调实验性对话版本 Llama 4 Maverick 的结果，而非公开发布的模型。LMArena 表示 Meta 的展示不符合其披露期望，并表示将改变政策；Meta 还否认了在基准测试集上训练的指控。

  来源

• 2023

  Llama 1 权重的未经授权分发

  首个 Llama 权重未经 Meta 授权在网上被再分发，包括通过 BitTorrent。Meta 寻求删除相关存储库和下载脚本，而研究人员和开发者就更广泛访问的利弊进行了辩论。

  来源

• 2023

  版权和训练数据诉讼

  作者起诉 Meta，指控其在训练语言模型时使用了受版权保护的书籍和其他材料。这些指控受到质疑，法律问题涉及版权、数据集构建和训练实践的披露。

  来源

阅读更多

• 2025

  在 Llama 4 中采用混合专家和多模态架构换代

  背景

  Meta 的后期模型需要更大的容量、长上下文处理和图像理解，而无需为每个 token 激活每个参数。

  采取的行动

  Llama 4 Scout 和 Maverick 使用混合专家设计，并接受文本和图像输入。

  后续影响

  该系列从纯文本语言建模扩展到多模态和多语言平台能力。

  来源

• 2024

  将 Llama 集成到 Meta AI新品

  背景

  Meta 寻求将其发布的模型系列转变为面向消费者的助手和分发渠道。

  采取的行动

  Meta 通过专门网站和服务（包括 Facebook 和 WhatsApp）推出 Meta AI，使用 Llama 作为主要技术基础。

  后续影响

  Llama 既成为外部开发者平台，也成为 Meta 消费者 AI 产品的内部基础。

  来源

• 2023

  从受控研究访问转向广泛的开发者可用性战略

  背景

  首个 Llama 发布使用申请流程和限制性许可，而对泄露权重的需求表明独立开发者和研究者的强烈兴趣。

  采取的行动

  Meta 更广泛地发布了 Llama 2 权重，并允许许多商业用途，同时保留可接受使用政策和其他许可条件。

  后续影响

  该决定帮助创建了庞大的 Llama 生态系统，但也加剧了关于这些模型是否应称为开源的辩论。

  来源

• 2023

  Llama 权重的受控初始发布战略

  背景

  Meta 将 Llama 作为面向研究的基础模型推出，最初在非商业许可下限制访问权限给获批申请人。

  采取的行动

  该公司发布了推理代码和技术信息，同时通过基于申请的流程分发模型权重。

  后续影响

  未经授权的副本后来在网上传播，使模型的可用性超出了 Meta 预期的渠道。

  来源

• 2023

  战略

  来源

1. 1Llama (language model)en.wikipedia.org
2. 2Introducing LLaMA: A foundational, 65-billion-parameter language modelai.meta.com
3. 3Llama 2ai.meta.com
4. 4Introducing Code Llamaai.meta.com
5. 5Introducing Meta AI with Llama 3ai.meta.com
6. 6The Llama 3.1 Herd of Modelsai.meta.com
7. 7The Llama 4 herd: Advancing multimodal intelligenceai.meta.com