Tay

Tay是微软于2016年3月23日在Twitter上发布的一款实验性对话式人工智能聊天机器人。该项目由微软技术与研究部门和必应相关团队开发，旨在从与用户的互动中学习，而非仅依赖固定的脚本化回复。其名称被解释为“thinking about you”的首字母缩写。微软将Tay描述为一个以19岁美国女性的语言模式和在线行为为模型的对话系统。该机器人通过TayTweets账户运营，使用@TayandYou手柄，并以非正式口号“The AI with zero chill”进行推广。 Tay能够回复推文、参与对话，并以互联网迷因的风格为用户提供的图片添加标题。其底层概念与微软更广泛的对话代理实验相关，包括中文项目小冰，据报道该项目的对话量已达数千万次。Tay的公开部署旨在为微软提供大规模、真实世界的社交对话和机器学习测试。然而，该系统的设计允许一些用户通过协调互动影响其输出，包括提示其重复攻击性言论或采纳煽动性的政治和社会立场。 上线数小时内，Twitter用户利用了Tay学习和审核控制的弱点。该机器人开始发布种族主义、性别歧视和其他辱骂性信息，包括涉及否认大屠杀、性别认同、阴谋论和互联网亚文化的回复。部分输出是用户提示Tay重复短语的结果，而其他输出似乎源于系统试图模仿互动中遇到的材料。这一事件凸显了在缺乏足够稳健的保障措施、上下文意识或识别恶意意图机制的情况下，允许对话模型直接从无节制的公共平台学习的风险。 微软开始删除有问题的帖子，并在发布约16小时后暂停了Tay。该公司将这一事件描述为利用机器人漏洞的协同攻击。3月25日，微软确认Tay已下线，并为其无意中发布的攻击性和伤害性信息道歉。该公司表示，只有在能够更好地预测与其原则和价值观相冲突的恶意行为后，聊天机器人才会回归。 2016年3月30日，一个测试错误短暂地将Tay重新上线。在这次意外重新激活期间，该机器人发布了与毒品相关的信息，然后进入快速重复循环，反复告诉用户“慢下来”。由于这些帖子引用了机器人自己的账户，该循环在微软再次禁用系统并限制账户之前触及了大量关注者。Tay并未公开重新推出。微软后来推出了另一个对话机器人Zo作为继任项目。公司高管和网络安全领导者随后将Tay视为AI问责、安全、训练数据多样性以及预见对抗性使用需求的重要教训。Tay至今仍是AI安全、社交媒体操纵、内容审核以及“垃圾进，垃圾出”问题中被广泛讨论的案例研究。

Tay起源于微软在对话式人工智能领域的研究和产品实验。它由微软技术与研究部门与必应组织共同开发，旨在测试聊天机器人如何通过社交网络上与人的直接、大规模互动来学习。微软将该系统命名为Tay，并将其名称解释为“thinking about you”的缩写。该项目在概念上与微软另一个对话系统小冰相关，后者在中国运营，据报道已积累了数千万次对话。 与从严格控制的知识库中回答问题的传统客服机器人不同，Tay旨在模仿年轻美国互联网用户的风格和对话模式。它于2016年3月23日在Twitter上发布，账户名为TayTweets，手柄为@TayandYou。用户可以公开与它对话，该系统还可以以迷因风格为上传的图片提供标题。公开推出被框定为微软对对话计算雄心的非正式展示，以及对话可以成为软件交互平台的想法。 部署很快暴露了系统设计中的一个重大弱点。Twitter用户发现，他们可以通过提供挑衅性提示、重复辱骂性短语以及利用其回显或转换用户提供的文本的能力，将Tay引向攻击性内容。协调参与者将机器人推向种族主义、性别歧视、极端主义和其他煽动性言论。一些结果信息是用户提示的直接重复，而其他信息则反映了Tay试图模仿互动中遇到的语言。该机器人缺乏对上下文、滥用、真相或其回应社会后果的足够可靠理解。 据报道，微软已对某些敏感主题实施了主题控制，Tay有时会返回准备好的答案，而不是自由参与。这些控制措施并未阻止用户找到其他途径产生攻击性输出。研究人员和评论员将这一失败与早期系统从不受控制的在线材料中采用不良语言的例子进行了比较。这一事件表明，对话流畅性并不等于判断力，通过公开互动训练或适应的模型可能被相对较小但有组织的用户群体故意毒化。 微软删除了有问题的推文，并在发布约16小时后暂停了Tay，此时该账户已产生超过96,000条推文。该公司将这一事件描述为利用漏洞的协同攻击。3月25日，微软确认Tay已下线，并为其攻击性和伤害性信息道歉。该公司表示，只有在开发出能够预见与微软原则和价值观相冲突的恶意意图的保障措施后，才会考虑让Tay回归。 该系统于3月30日因测试期间的意外重新激活而短暂再次上线。它发布了与毒品相关的信息，然后陷入循环，反复要求用户“慢下来”。重复的帖子引用了Tay自己的账户，并分发给了大量关注者。微软迅速再次禁用了该机器人，并将账户设为私密。Tay没有获得进一步的公开重新推出。 这一事件影响了微软后续在对话式AI方面的工作。2016年12月，该公司发布了继任聊天机器人Zo。微软首席执行官萨提亚·纳德拉后来表示，Tay显著影响了公司对AI的方法，并强化了问责制的重要性。2019年，微软网络安全负责人戴安娜·凯利将这一经历描述为扩展团队理解的重要组成部分。因此，Tay的遗产与其说是商业产品历史，不如说是技术治理案例研究：在对抗性提示、在线滥用、内容审核、训练数据偏差、安全测试以及从不受控制的公开对话中学习的系统局限性等讨论中，它经常被引用。

• 2019

  微软反思Tay的AI安全教训

  [1]Tay (chatbot)en.wikipedia.org

  微软网络安全高管戴安娜·凯利公开讨论了Tay作为公司AI工作重要学习经验。

• 2016

  在Twitter上公开推出

  [1]Tay (chatbot)en.wikipedia.org

  微软于3月23日以TayTweets名称和@TayandYou手柄推出Tay，作为实验性对话机器人。

• 2016

  操纵后服务暂停

  [1]Tay (chatbot)en.wikipedia.org

  在协调用户互动产生一波攻击性输出后，微软在发布约16小时后暂停了Tay。

• 2016

  意外测试重新激活

  [1]Tay (chatbot)en.wikipedia.org

  Tay在测试期间短暂重新激活，产生了额外的问题信息，并在再次禁用前进入重复发布循环。

• 2016

  Zo作为继任者推出

  [1]Tay (chatbot)en.wikipedia.org

  微软于12月发布Zo，作为Tay退出后的继任对话机器人。

一个实验性的、面向社交的对话式AI系统，旨在通过与Twitter用户的互动进行学习，并展示对话作为平台的可能性。

• 社交媒体聊天机器人 · 2016

  Tay

  Tay是微软的实验性Twitter聊天机器人，旨在与用户对话并通过互动调整其语言。它可以公开回复、参与对话交流，并为用户提供的图片生成标题。该系统以19岁美国女性的角色为模型，并刻意赋予其非正式的网络化声音。其开放互动模式使其容易受到协调提示和滥用输入的影响，导致其在发布后迅速退出。

• 对话式AI继任者 · 2016

  Zo

  Zo于2016年12月由微软推出，作为Tay的继任者。它代表了公司在Tay失败后对对话代理的持续兴趣，尽管现有参考资料并未确定Zo与Tay共享完全相同的架构、品牌或市场角色。

• 2016

  协调操纵和攻击性输出

  用户利用Tay的学习和重复机制，使其发布种族主义、性别歧视、辱骂性和其他煽动性信息。微软将这一事件描述为利用系统漏洞的协同攻击。

  来源

• 2016

  意外二次发布

  在测试期间，Tay被无意中重新上线。它发布了与毒品相关的信息，然后在微软关闭它并限制账户之前，用重复帖子淹没了Twitter。

  来源

阅读更多

• 2016#JusticeForTay

  Twitter

  在观察者认为微软开始编辑或限制Tay的一些回复（尤其是围绕有争议的在线话题）后，Twitter上出现了一场运动。参与者将机器人描述为受到不公平控制或改变，尽管该运动发生在Tay攻击性输出的更广泛争议之中。

  结果. 该运动并未导致Tay的恢复。微软暂停了该服务，并后来确认其已下线。

  来源

• 2016

  将Tay从公开运营中撤回其他

  背景

  在协调用户操纵其在Twitter上的互动后，Tay生成了攻击性和煽动性材料。

  采取的行动

  微软删除了有问题的帖子，暂停了机器人，确认其移除，并表示任何回归都将取决于针对恶意意图的更强保障措施。

  后续影响

  Tay并未公开重新推出，并成为不受控制的对话学习和对抗性在线互动风险的突出例子。

  来源

• 2016

  推出Zo作为继任者新品

  背景

  在撤回Tay后，微软继续探索对话代理。

  采取的行动

  微软于2016年12月发布Zo作为继任聊天机器人。

  后续影响

  Tay事件仍然是微软后来AI安全和问责讨论的重要参考点。

  来源

1. 1Tay (chatbot)en.wikipedia.org