Webrecorder

Webrecorder是一家专注于数字保存和网页归档的技术公司。其产品旨在以高保真度捕获网站及其他基于浏览器的在线体验，以便日后回放。公司开发开源软件，并支持用于打包和交换网页归档的技术标准，包括WACZ格式。 该公司源于与Rhizome（纽约以数字文化闻名的艺术组织）相关的保存项目。2016年，Rhizome获得安德鲁·W·梅隆基金会为期多年的60万美元资助，用于继续运营和开发Webrecorder.io。该项目由Ilya Kreymer和Dragan Espenschied领导，并基于Kreymer此前为Rhizome所做的咨询工作。其技术基础包括pywb，一个用于捕获和回放WARC网页归档文件的开源系统。 Webrecorder.io旨在使网页归档比传统的机构爬取系统更易用。该项目不仅限于保存静态页面，还强调捕获动态、交互式和媒体丰富的网站。这种方法利用基于浏览器的技术来保存依赖JavaScript、客户端渲染及其他传统爬虫难以复现的行为的内容。 经过数年的开发，Rhizome和Kreymer于2020年宣布Webrecorder将成为独立的商业实体。早期项目相关的托管归档服务更名为Conifer。分离后，Webrecorder专注于一系列基于浏览器的保存工具和服务，包括用于交互式捕获的ArchiveWeb.page、用于回放的ReplayWeb.page，以及用于浏览器驱动网页爬取和归档管理的云平台Browsertrix。 ArchiveWeb.page以浏览器扩展和独立桌面应用的形式提供，允许用户在浏览时保存页面，并以WARC或WACZ格式导出结果。ReplayWeb.page提供基于浏览器和桌面的回放功能，支持WARC、WACZ和HAR文件。Browsertrix将工作流扩展到托管爬取，允许用户和组织发起基于浏览器的爬取、管理收集的归档并分享回放链接。 公司的工作还包括开发和标准化面向浏览器的网页归档格式。2021年，Webrecorder获得Filecoin基金会多项资助，用于基于浏览器的网页归档格式和Browsertrix的持续开发。2024年，Browsertrix开放注册，使个人无需事先机构安排即可创建账户并开始归档网站。 Webrecorder的定位处于开源软件、文化遗产、数字保存、研究基础设施和商业云服务的交汇点。其工具适用于图书馆、档案馆、博物馆、研究人员、记者、权利持有人以及希望保存在线材料的个人。公司将其基于浏览器的方法与不执行完整浏览器环境的爬虫系统区分开来：浏览器交互可以提高复杂网站的保真度，但交互式捕获可能需要更多用户参与，并可能要求更高的计算资源。

Webrecorder的起源在于通过Rhizome（一个专注于当代艺术和数字文化的组织）开发的网页保存计划。该计划解决了数字保存中日益严重的问题：许多网站不再仅由静态文档组成。交互式界面、JavaScript应用、流媒体和客户端渲染使得传统爬虫难以创建忠实、可回放的记录。 2016年，Rhizome获得安德鲁·W·梅隆基金会为期多年的60万美元资助，以继续运营和开发Webrecorder.io。Ilya Kreymer领导技术工作，Dragan Espenschied也担任项目领导角色。该项目基于Kreymer此前为Rhizome所做的咨询工作，并使用pywb作为捕获和回放WARC文件的重要技术基础。 Webrecorder.io被设计为开源服务，允许用户归档和回放网页。其面向浏览器的捕获模型旨在比仅依赖非浏览器爬虫的方法更忠实地保存在线体验。权衡之处在于交互式捕获可能需要用户手动浏览内容，并且使用完整浏览器可能增加操作和计算要求。 经过四年的开发，Rhizome和Kreymer于2020年宣布Webrecorder将拆分为独立的商业公司。此前与Webrecorder.io相关的服务更名为Conifer。Kreymer随后发布了ArchiveWeb.page和ReplayWeb.page，将捕获和回放分离为无需中央服务器处理每个步骤的工具。 Webrecorder的产品策略随后从交互式捕获和回放扩展到托管爬取和归档管理。ArchiveWeb.page成为浏览器扩展和独立应用，用于在浏览时创建高保真归档。ReplayWeb.page成为基于浏览器和桌面的查看器，支持WARC、WACZ和HAR材料。Browsertrix引入了基于云的浏览器驱动爬取、归档共享和相关管理任务的服务。 2021年，Webrecorder获得Filecoin基金会多项资助。支持的工作包括基于浏览器的网页归档格式的设计和标准化，以及Browsertrix的进一步开发。WACZ成为公司归档交换工作流的关键部分，以面向打包的方式补充了较旧的WARC格式，适用于浏览器生成的集合和回放。 2024年，Browsertrix向公众开放注册。这一变化扩大了访问范围，超越了预先安排使用的组织，允许个人创建账户并开始归档网站。因此，Webrecorder在保存生态系统的多个相关层面运作：开源捕获和回放软件、归档文件格式、托管爬取以及共享保存网页内容的服务。 公司仍然与数字保存和在线信息持久访问的更广泛目标相关联。其工具可供文化机构、图书馆、研究人员、记者、档案管理员和个人用户使用。Webrecorder方法的核心技术区别在于使用基于浏览器的捕获和回放来应对现代网站的复杂性。

• 2024

  Browsertrix开放公开注册

  [1]Webrecorderen.wikipedia.org

  Browsertrix启用开放注册，使任何人都能创建账户并开始归档网站。

• 2021

  Filecoin基金会资助支持浏览器归档开发

  [1]Webrecorderen.wikipedia.org

  Webrecorder获得多项资助，用于基于浏览器的归档格式、标准工作和Browsertrix开发。

• 2020

  Webrecorder成为独立商业实体

  [1]Webrecorderen.wikipedia.org

  Rhizome和Ilya Kreymer宣布Webrecorder从Rhizome分离；相关的托管服务更名为Conifer。

• 2016

  Rhizome获得梅隆基金会支持

  [1]Webrecorderen.wikipedia.org

  Rhizome获得安德鲁·W·梅隆基金会为期多年的60万美元资助，用于继续运营和开发Webrecorder.io。

Webrecorder将自己定位为一家开源且浏览器优先的网页归档公司。其产品针对动态网站和交互式在线体验的高保真保存，服务于机构保存项目和个人用户。

• 网页捕获软件 · 2020

  ArchiveWeb.page

  ArchiveWeb.page是一款浏览器扩展和独立桌面应用，用于在正常浏览时交互式捕获网站。它使用完整的浏览器环境，有助于保存动态页面和可能无法被简单爬虫方法完全捕获的Web应用。用户可以将捕获的材料导出为WARC和WACZ格式，以便存储、传输或日后回放。

• 云网页归档平台 · 2021

  Browsertrix

  Browsertrix是Webrecorder基于云的网页归档套件。它使用基于浏览器的爬取来收集网站，并提供管理和共享生成的网页归档的工作流。该平台支持导入和导出WACZ文件，旨在使浏览器驱动的保存可供组织使用，并在开放注册后供个人用户使用。

• 网页归档回放软件 · 2020

  ReplayWeb.page

  ReplayWeb.page是一款基于浏览器的保存网页内容查看器，也作为独立桌面应用分发。它可以回放以WARC和WACZ格式存储的归档，并可以查看HAR文件。该应用旨在无需原始实时网站或中央回放服务即可访问捕获的网站。

• 网页归档文件格式

  WACZ

  WACZ是一种打包的网页归档格式，通过Webrecorder在基于浏览器的保存方面的工作得以维护和推进。它支持在涉及ArchiveWeb.page、Browsertrix和ReplayWeb.page等工具的工作流中交换和处理收集的网页材料。该格式通过组织归档数据以进行分发和回放，补充了基于WARC的捕获。

• 2024

  向公众开放Browsertrix注册战略

  背景

  Browsertrix提供了基于云的浏览器驱动网站归档环境。

  采取的行动

  Webrecorder启用开放注册，允许任何人创建Browsertrix账户并开始归档网站。

  后续影响

  这一变化扩大了Browsertrix的访问范围，超越了预先安排的机构使用，使该服务对个人档案管理员和研究人员更易用。

  来源

• 2021

  扩展至基于浏览器的归档标准和云爬取战略

  背景

  网页保存日益需要基于浏览器的方法和能够表示现代交互式网站的归档包。

  采取的行动

  公司利用Filecoin基金会的资助，致力于基于浏览器的归档格式和标准，同时继续开发Browsertrix。

  后续影响

  Webrecorder加强了其在捕获、归档打包、云爬取和回放方面的作用，而不仅仅专注于单一的托管归档服务。

  来源

• 2020

  与Rhizome分离并重命名托管服务战略

  背景

  Webrecorder自早期Webrecorder.io项目以来一直与Rhizome联合开发和运营。经过数年的开发，合作伙伴宣布了新的组织结构。

  采取的行动

  Webrecorder成为独立的商业实体，而相关的归档服务更名为Conifer。公司随后开发了独立的捕获和回放应用。

  后续影响

  分离使Webrecorder成为独立的技术公司，并形成了以ArchiveWeb.page、ReplayWeb.page和Browsertrix为中心的产品组合。

  来源

1. 1Webrecorderen.wikipedia.org
2. 2Webrecorder official websitewebrecorder.net