Pytorch

PyTorch 是一个开源机器学习与深度学习框架，最初由 Meta 旗下 Facebook AI Research 团队推动，现由 Linux 基金会下属的独立 PyTorch 基金会治理。它提供张量计算、自动微分、神经网络构建模块、分布式训练能力、模型优化工具以及部署技术，可支持从学术实验到大规模商业系统的各类工作负载。 该项目于 2016 年在 Facebook 启动，旨在打造一个比公司当时使用的 Torch（基于 Lua 的科学计算与机器学习框架）更灵活、更高效的后继者。Adam Paszke 在 Torch 贡献者 Soumith Chintala 的指导下完成了初始实现，早期开发团队还包括 Sam Gross 和 Gregory Chanan。设计者借鉴了 Torch、Chainer、Theano 和 Autograd 的理念，同时强调 Python 集成以及一种让研究者相对容易检查、修改和调试模型的执行模式。2017 年 1 月发布了公开测试版。 PyTorch 的核心技术主张是将命令式、以 Python 为中心的编程体验与自动微分和高性能张量运算相结合。开发者可以使用熟悉的 Python 控制流编写模型，以即时执行方式运行操作，并利用 GPU 等加速硬件。这帮助该框架在研究领域获得青睐，因为快速迭代和实验在那里至关重要。随着时间推移，生态系统通过计算机视觉、音频、自然语言处理、数据加载、分布式计算、模型服务、编译和边缘推理等项目，扩展到核心库之外。 该框架在涉及图像识别、语音与音频处理、推荐系统、生成模型、大语言模型、机器人技术和科学计算的研究与生产应用中变得尤为重要。其社区包括个人开发者、大学、云服务商、半导体公司、软件供应商和大型科技企业。PyTorch 以宽松的开源许可证提供，并非拥有公开交易股票或独立股票代码的传统独立软件公司。 互操作性一直是其发展的反复主题。Meta 和 Microsoft 于 2017 年帮助建立了 ONNX，以便在不同框架和面向硬件的运行时之间表示模型。Facebook 的 Caffe2 项目于 2018 年并入 PyTorch，整合了相关工程工作。PyTorch 还开发了 TorchScript、TorchServe、TorchInductor 和 ExecuTorch 等部署与性能技术，尽管生态系统和推荐工具链在各版本中有所演变。 2022 年 9 月，Meta 宣布该项目将交由 Linux 基金会下新成立的 PyTorch 基金会管理。该基金会的治理结构包括来自主要技术和硬件公司的代表，包括 Meta、Amazon Web Services、AMD、Google Cloud、Microsoft 和 NVIDIA。这一转变旨在提供厂商中立的治理，同时通过维护者和贡献者保持开源项目的技术方向。PyTorch 仍然是一个活跃的全球技术平台，而非单独上市的企业品牌。

PyTorch 起源于 Facebook 人工智能研究组织内部，诞生于 2016 年。它的开发反映了一个机器学习研究者面临的现实问题：现有框架虽然能提供强大的数值计算能力，但从实验代码过渡到可维护的生产系统往往十分繁琐。团队希望打造一个框架，将 Python 的易用性与高效的张量计算和自动微分结合起来。 Adam Paszke 在 Soumith Chintala 的协作下完成了最初的实现，后者是 Torch 生态系统的贡献者。Sam Gross 和 Gregory Chanan 也是最初作者团队的成员。该项目融合了 Torch、Chainer、Theano 和 Autograd 的相关理念。PyTorch 不要求研究者预先描述整个计算图，而是采用即时、动态的方式，使运算可以像普通 Python 代码一样执行。这让模型行为更易于检查，也鼓励了快速实验。 2017 年 1 月发布了公开测试版。PyTorch 很快在计算机视觉、自然语言处理、语音、推荐和强化学习等领域的研究者中获得采用。其 API 允许用户定义神经网络、计算梯度、使用 CPU 和 GPU，并组合自定义研究代码。TorchVision 和 TorchAudio 等库通过提供数据集、预训练模型、变换和领域专用工具，进一步扩展了它的用途。 随着组织使用多种机器学习框架和硬件运行时，互操作性成为一个重要问题。2017 年 9 月，Meta 和微软宣布了 ONNX，这是一个开放的模型表示项目，旨在帮助模型在不同框架和执行环境之间迁移。2018 年 3 月底，Facebook 将 Caffe2 并入 PyTorch，把内部和公开的两项工作结合在一起，加强了该框架走向生产使用的路径。 此后，生态系统扩展到分布式训练、模型导出、编译、服务和专用部署。TorchScript 提供了在普通 Python 环境之外表示和执行模型的机制。TorchServe 面向模型服务工作流，而后续的编译器和优化项目则致力于提升在 CPU、GPU 及其他加速器上的性能。ExecuTorch 将项目的雄心扩展到边缘和移动端推理，并得到了硬件和平台合作伙伴的贡献。 在其早期历史的大部分时间里，Meta 是该项目的首要企业管理者，尽管 PyTorch 是作为开源软件开发并吸引了广泛社区的贡献。这一安排在 2022 年 9 月发生变化，Meta 宣布在 Linux 基金会下成立 PyTorch 基金会。该基金会旨在为项目提供厂商中立的治理和长期支持。其创始参与者包括 Meta、Amazon Web Services、AMD、Google Cloud、微软和 NVIDIA 等。 在基金会治理下，维护者和贡献者继续指导技术发展，基金会则提供组织、社区和生态支持。如今，PyTorch 被研究机构、云平台、软件公司、半导体生态系统以及大规模消费级和企业级应用广泛使用。它仍然是一个框架和开源生态系统，而非独立上市的公司。其持续的身份建立在易用的 Python 开发、广泛的硬件支持、开放协作以及将模型从实验推向生产部署的能力之上。

• 2024

  生态与边缘工具链扩展

  [5]PyTorch 2024 Year in Reviewpytorch.org

  该项目强调了贡献与采用规模的增长，同时推进了编译器、加速器以及 ExecuTorch 相关能力。

• 2022

  PyTorch 基金会成立

  [2]PyTorch Foundationpytorch.org

  PyTorch 的治理转向 Linux 基金会旗下的独立基金会，多家主要科技公司在其治理架构中拥有代表席位。

• 2018

  Caffe2并入PyTorch

  [1]PyTorchen.wikipedia.org

  Facebook将Caffe2并入PyTorch，整合了框架的开发和部署工作。

• 2017

  公开测试版发布

  [1]PyTorchen.wikipedia.org

  PyTorch以测试版形式公开发布，使更广泛的研究人员和开发者得以采用。

• 2017

  ONNX项目发布

  [7]ONNX project announceden.wikipedia.org

  Meta和微软宣布推出ONNX，以支持机器学习框架和硬件运行时之间的模型互操作性。

• 2016

  在Facebook开始开发

  [1]PyTorchen.wikipedia.org

  Facebook人工智能研究人员开始开发PyTorch，作为一个面向Python的灵活框架，受到Torch及其他自动微分和深度学习系统的影响。

• 机器学习框架 · 2017

  PyTorch 核心

  PyTorch 的核心包提供张量计算、自动微分、神经网络模块、优化器、数据工具以及硬件加速接口。其 Python 优先的编程模型支持即时执行和动态模型构建，既适合研究实验，也适用于生产环境的训练与推理工作流。

• 计算机视觉

  TorchVision

  TorchVision 提供数据集、预训练模型、图像变换以及计算机视觉工具，可用于图像分类、目标检测、分割和视频相关处理等任务。它是在 PyTorch 之上构建视觉系统的常用入口。

• 音频与语音

  TorchAudio

  TorchAudio 将生态扩展到音频和语音应用，提供数据处理工具、变换、数据集和模型组件。它支持语音识别、音频分类、信号处理及相关机器学习任务的研究与开发。

• 模型服务 · 2020

  TorchServe

  TorchServe 是一个开源服务组件，旨在帮助团队打包并对外提供已训练的 PyTorch 模型以进行推理。它处理模型处理器、请求处理、扩缩容和运维集成等部署问题，不过生产用户必须评估其当前的维护状况以及是否适合自身环境。

• 边缘推理 · 2023

  ExecuTorch

  ExecuTorch 是 PyTorch 面向边缘场景的执行技术，用于在资源受限或专用设备上运行模型。它通过与平台厂商和半导体合作伙伴协作，支持在移动端、嵌入式及边缘硬件上部署。

• 20242024 年度回顾

  Global

  PyTorch 项目利用其年度回顾来传达生态系统增长、硬件合作伙伴关系、工具开发以及通过 ExecuTorch 在边缘部署方面的进展。

  结果. 回顾报告称贡献、仓库活动、分支、用户和生态系统工具均有所增加，但这些数字是项目自行报告的，而非独立的财务指标。

  来源
• Amazon Ads 的 PyTorch 与 AWS Inferentia 案例研究

  Global

  PyTorch 推广了一项生产案例研究，描述 Amazon Ads 如何使用 PyTorch、TorchServe 和 AWS Inferentia 大规模处理广告相关的机器学习模型。该案例将这一框架定位为不仅适用于学术研究，也适用于商业推荐、分类和内容政策工作流。

  结果. 该案例研究报告称，所述工作负载的推理成本降低了 71%。

  来源

• 2023

  推进 ExecuTorch 以支持边缘部署新品

  背景

  端侧 AI 的增长催生了对从模型开发到移动、嵌入式和专用硬件的 PyTorch 兼容路径的需求。

  采取的行动

  项目发布了早期 ExecuTorch 版本，并与 Arm、Apple、Qualcomm 以及后来的 MediaTek 合作提升稳定性和硬件支持。

  后续影响

  ExecuTorch 将 PyTorch 的部署范围从数据中心训练和推理拓展到边缘和嵌入式应用。

  来源

• 2022

  将治理权移交 PyTorch 基金会战略

  背景

  随着 PyTorch 成为被科技行业众多贡献者和用户广泛使用的开源项目，其长期治理需要超越单一企业赞助方。

  采取的行动

  Meta 将管理权移交给 PyTorch 基金会，该基金会作为 Linux 基金会下属组织成立，采用多公司治理结构。

  后续影响

  项目在厂商中立的基金会治理下继续发展，技术方向仍由维护者、提交者和贡献者社区掌握。

  来源

• 2018

  将 Caffe2 并入 PyTorch并购

  背景

  Facebook 同时维护 PyTorch 和 Caffe2，导致框架工作重叠并带来互操作性挑战。

  采取的行动

  Facebook 于 2018 年 3 月底将 Caffe2 的开发整合进 PyTorch。

  后续影响

  合并使 Facebook 的框架工程力量集中于 PyTorch，并支持其从研究用途向生产部署扩展。

  来源

• 2024

  PyTorch 在 2024 年度回顾中报告生态系统持续增长[5]PyTorch 2024 Year in Reviewpytorch.org

  其他

  该项目报告了在贡献、代码仓库、用户、工具和硬件合作方面的增长，包括 ExecuTorch 和加速器支持方面的工作。

• 2022

  PyTorch 基金会在 Linux 基金会下成立[2]PyTorch Foundationpytorch.org

  人事变动

  Meta 宣布将 PyTorch 的治理权移交给一个独立基金会，旨在支持开放、厂商中立的治理模式。

• 2018

  Caffe2 并入 PyTorch[1]PyTorchen.wikipedia.org

  并购

  Facebook 整合了 Caffe2 与 PyTorch 两条路线，将相关框架能力和工程工作并入 PyTorch 项目。

• 2017

  PyTorch 公开测试版发布[1]PyTorchen.wikipedia.org

  产品发布

  这个由 Facebook 开发的项目正式对外开放，推出了一个面向 Python 的深度学习框架，专为灵活的研究工作流而设计。

• Amazon Ads 使用 PyTorch 和 AWS Inferentia 进行模型处理[4]Amazon Ads Uses PyTorch and AWS Inferentia to Scale Models for Ads Processingpytorch.org

  其他

  一份 PyTorch 案例研究介绍了 Amazon Ads 在生产模型工作流中使用 PyTorch、TorchServe 和 AWS Inferentia，并报告推理成本有所降低。

1. 1PyTorchen.wikipedia.org
2. 2PyTorch Foundationpytorch.org
3. 3PyTorch Staffpytorch.org
4. 4Amazon Ads Uses PyTorch and AWS Inferentia to Scale Models for Ads Processingpytorch.org
5. 5PyTorch 2024 Year in Reviewpytorch.org
6. 6PyTorch Brand Guidelinespytorch.org
7. 7ONNX project announceden.wikipedia.org
8. 8PyTorch更新1.5版本釋出開源模型伺服器TorchServeithome.com.tw