导语人工智能正在成为人类社会的重要组成部分，大量人机伦理问题正在被提出和解决，科学家们正在像研究人类和动物行为那样，深入研究机器和机器群体的宏观行为规律。
编译：集智俱乐部翻译组
原题：Machinebehaviour
目录
一、研究机器行为的动机
二、机器行为学的跨学科研究
三、研究对象与研究问题
四、三种研究范围：个体、群集与人机交互
五、展望：机器行为学将如何发展？
由人工智能驱动的机器正不断塑造着我们与媒体、社会、文化、经济、政治的互动。了解人工智能系统的行为是应用时扬长避短的基础，因此有必要把机器行为学（Machinebehaviour）的研究范围从计算机学科扩大，融合各个学科的见解。本文首先总览了一系列关于机器行为学这个新兴学科的基础问题，随后探索了在这个学科上技术、法律和制度带来的研究限制。
诺贝尔奖得主HerbertSimon在1969年发表了一本人工智能发展史上里程碑式的著作——《人工科学》（TheSciencesoftheArtificial），其中他写到：“自然科学是关于自然物体与现象的知识。我们想知道是不是有一种‘人工’科学，研究人造物和它们的现象。”
人工智能先驱HerbertSimon及其著作TheSciencesoftheArtificial
和Simon的思想一致，我们这样描述一个新兴的交叉学科：这个学科研究智能机器，但是并不是从工程机器的角度去理解它们，而是将其视为一系列有自己行为模式及生态反应的个体。
这个领域与计算机和机器人学科有关联性，但是又相互独立。从经验的角度去解释智能机器的行为，类似于结合了生命内部特质（生理和生化特质）与外部环境塑造的特质（生态与进化）的行为生态学和动物行为学研究。要想完整研究动物的行为和人类的行为，周围的环境背景必须也被考虑进去。相似的，要想完全了解机器的行为，我们也得考虑算法以及算法所在的社会环境。
现在，研究这些虚拟的或者嵌入式的人工智能体（artificialintelligence(AI)agents）的行为的科学家基本上是那批创造它们的人本身。当科学家创造这些智能体来解决他们的问题时，他们通常会致力于保证这些算法能满足他们需要的功能。
从始至终，我们用人工智能体（AIagents）这个术语来描述用于决策或繁或简的算法。
这些人工智能体正在各个方面扩展人类的福利，但是现在关于人工智能体行为的更广泛的考虑让问题多出几分批判性的思考。
人工智能将会越来越多的融入我们的社会中。它们已经被应用在诸如信用评估、算法交易、地方治安、假释决定、自动驾驶、在线约会、无人机战争中了。认知系统工程、人机交互、人类因素、科学、技术、社会、安全工程等不同领域来的学者和思想家探讨人工智能体那些超出创造者预期的，既包括正面也包括负面的预测行为及后续后果，为我们敲响了警钟。
除了缺乏围绕AI可能带来影响的预期，结合不断增加的机器替代原本直接由人类承担的工作的现状，因缺乏人类监管而造成的潜在危害是另一个令专家们惧怕的事情。同时，研究者也称人工智能体可以通过帮助和增强人类决策能力的方式扩大社会福利。虽然关于这些事情的讨论导致在不同的领域产生了新见解，在自治系统（autonomoussystems）等上仍有很多安全性方面的挑战，比如公平性、义务、透明性等方面。
ACM公平、义务与透明性专题会议：
这篇综述将介绍这一新兴交叉学科：机器行为学（Machinebehaviour），主要研究智能机器所表现出的行为。
在这里，我们给出关键研究主题、问题和里程碑研究的大纲作为此门学科的例证。我们首先给出了机器行为学和这门学科必然具有的交叉学科特质，然后我们提供了研究这门学科的概念化框架。我们用加大机器与人-机生态学科研究的呼吁与学科的技术、法律、机构上的研究障碍的讨论来结束这篇综述。
机器行为学来自多个学科的交叉、融合
一、研究机器行为学的动机
机器行为学的研究动机有三：
无处不在的算法
在线约会服务中，算法负责促成浪漫的相会。机器有可能更多得替代人类承担起照顾老人和小孩的工作。自治体正影响着我们的集体行为（collectivebehaviours），从群体层面的配合行为到共享行为。延伸一下，虽然发展自动武器是高度限制的，但不是所有人都不都这么想，如果这类武器被发明了，机器将在战争中决定人的生死。
在线约会服务中，算法匹配人的连接
算法的复杂性和不透明性
即便个别算法是相对简单的，研究像人工智能系统这样多样且广泛的对象的行为是件难以想象的困难事情。
目前，单个人工智能体的复杂性已经很高，并且在持续增长，虽然构架它们的代码和训练模型用的训练可以简洁，但是训练后的模型就完全不会有这么简单了，这经常导致“黑箱（blackboxes）”的产生。人工智能体接受输入，然后输出，但是即便在“可解释性（interpretability）”上的一些应用场景已经有了进展的现状下，人工智能体实际产生这些输出的过程是架构它们的科学家自己也难解释的。
此外，当系统从数据中学习，它们的失败通常被归结为数据本身或者数据收集上的谬误，导致一些关于改进数据收集机制的讨论。数据集的维度和数据量这一层面也增加了我们理解人工智能的难度。
就算这些代码和模型对我们开源，我们也不太可能就由此能准确预测出这些模型的输出。人工智能体在和周围环境与其他智能单元相互作用的时候可以表现得很“特立独行”。即便形成它的数学函数是存在解析解的，那这个解析解也会因为冗长复杂的结构而难解其意。
原论文图1
算法于人类的利弊
无处不在的，日益复杂的算法，它们放大了人类估计和预测它们对个人和社会影响的难度。人工智能体正以意料之中和之外的方式塑造人类的行为和社会结果。
为了应对这些问题，从业者有时候被迫做出各种偏见之间的取舍，或者，人类和机器之间的取舍。更多关于算法效果的问题仍然存在，例如网恋算法会如何影响婚姻制度，或者人类和智能算法之间的相互作用是否会系统性的影响人类发展的进程。这些问题在不断复杂化的人类-机器混合系统的背景下变得越发难解。为了社会能够监管AI可能造成的后续后果，机器行为学家必须提供见解来帮我们理解社会中无处不在的这些系统如何工作，以及代价如何取舍。
人-机混合系统趋于复杂，算法设计需要机器行为学的指导
为了研究机器在现实环境中的行为，特别是“黑箱”算法的行为，我们必须整合跨越其他学科的知识和见解。这种整合现在正处于一种不成熟的阶段，现在很多在一种特定方式研究。
原论文图2
最近，研究机器行为学的科学家们大多是最初设计这些机器的计算机科学家，机器人学家和工程师。这些科学家可以是熟练的数学家和工程师，但是他们基本上没有行为学上的训练。他们很少接触实验方面的方法论，基于群体的抽样训练，或者基于观察的因果推理，更不用说神经科学、集体行为学或者社会理论了。
相反的，即使行为学家更多的在这些方面有建树，但是他们很少掌握对于衡量某个领域中人工智能质量和正当性，或者特定算法所必要的专业知识。
在很多基准任务上，智能体取得了出色的进展，比如棋盘游戏中的西洋棋、国际象棋、围棋，纸牌游戏比如poker，电子游戏比如雅达利平台上的（美国游戏制造商），人工智能市场游戏，机器人足球，当然还有基准评价用数据比如ImageNet上用于物体识别的数据和MicrosoftCommonObjectsinContext为图像标注的数据库。在语音识别，翻译和自动驾驶车等方面的成就也存在。
AlphaGo及其后续改进版接连战胜顶尖棋手，被认为是人工智能算法性能提升的里程碑事件
这些测试基准可以作为一些标准化了的任务评价标准，也能用来提升性能，这是用一个代理式的评价标准来帮助AI设计者去设计更快、更稳健的算法。
但是，希望算法性能最大化的方法对于人工智能体的研究来讲并不是最佳的。比起利用基准数据集做评价算法性能上的优化，机器行为学家对一系列指标更感兴趣。
这就像是社会学家的探索——在社会，政治背景下探索人类行为；定义宏观或微观社会结果的评价来回答例如算法在不同的环境下如何行动，人类和算法的互动会不会影响社会结果之类的问题。
随机实验、观察推断和基于群体的统计学描述方法是经常性用在定量行为学研究中的，对于机器行为学来讲极其重要。从制造智能机器的学科延伸整合其他学科的学者可以提供重要方法性工具、研究工具、多种可选的概念性框架，和人工智能体对经济、社会和政治可能造成影响。
三、研究问题和研究对象
因创立了动物行为学而获得诺贝尔生理或医学奖的NikolaasTinbergen指出了四个维度上的行为学分析，帮助解释了动物行为。这些维度讨论一个行为的功能、原理、发展与进化史，提供了一个有组织的框架来研究动物和人类的行为。
这个概念化的框架把年轻动物或人类某项行为的发展和群体中这个行为的进化轨迹分开进行研究。这种区分的目的不是为了更好理解我们研究对象的全部。例如，虽然我们通过鸟学习鸣叫或者通过鸟叫的进化都可以来解释一个鸟歌声为什么形成，但是要完全了解鸟叫的全貌，两方面我们都要考虑。
虽然机器和动物有着物理本质上的区别，对智慧机器行为研究可以从动物行为的研究上得到帮助。机器有产生行为的内在机制，这些行为在和环境的互动获得信息，得到发展。产生了功能，导致特定的机器变得或多或少出现在它们所对应的环境中，并且它们贯穿过去环境的进化史和人类的决策正不断影响着机器的行为。
计算机科学的学者在研究AI系统的机理和发展方面已经取得了潜在的收益，即便很多问题仍然存在。AI系统的功能和进化相对较少受到重视。我们将在讨论这四个主题，并提供图3作总结。
原论文图3：计算机科学的学者在研究AI系统的机理和发展方面已经取得了潜在的收益，即便很多问题仍然存在。AI系统的功能和进化相对较少受到重视。
行为产生的机理
机器行为的最主要的成因应与它的激发条件和它产生的环境有关。例如早期的算法交易软件用简单的规则来激发买卖行为。更复杂的人工智能体可能依赖适应性启发算法或者在特定用途中明确的优化方式。玩纸牌的强化学习算法的行为可以归因于它表示状态空间或者计算游戏树特定的方式。
机制由算法和环境共同决定，更复杂的人工智能体例如无人驾驶汽车可能表现出特定的驾驶行为。比如变道、超车、对行人发出信号。这些行为会依据构建起驾驶政策的算法而产生，并且也会从根本上被车的本身的感知和行动系统所改造。包括汽车识别物体的精度和分辨率，分类系统，驾驶的反应能力和精度。
因为很多现有的AI系统源于使用日益复杂的数据的机器学习手段，研究机器行为背后的机制，如上文所述，将需要继续研究机器学习的可解释性方法。
深度学习至今仍是未被打开的黑箱
行为的发展
在动物行为的研究中，发育指的是个体如何获得特定行为，比如通过模仿或者由于环境条件导致。这区别于长期的、进化性的变化。
在机器的背景下，我们想问的是：机器是如何决定个体或者集群的行为的？行为的发展可以直接由于人类工程工作或设计。编程者做出的架构上设计决策（比如学习率参数的值，知识和状态的获取，或卷积神经网络的特定连接方式）确定或影响算法会表现出的行为。
机器可能因工程师将其置于特定的训练环境下而塑造特定行为。例如，很多图像和文档分类算法用人手工标记过的数据库作为训练数据来提升算法精度。数据库的选取和它们所包含的特征可以潜在影响这些算法的行为。
最后，机器可能会在自己的经验中习得某些行为。例如，一个被训练来优化长期利润的强化学习人工智能体可以因为过去自己的一些行动和市场随后的反馈学到特定的，短线交易策略。同样，商品推荐算法可以根据用户无尽的选择来推荐产品，也能实时更新。
功能与适应
在动物行为学的研究中，适应值（adaptivevalue）描述了一个行为能多大程度贡献一个个体生存和留下后代的能力。例如，一个特别的狩猎行为可以或多或少增加狩猎成功度，那么这个行为就可以延长这个生物的生命长度和子代数量，然后它的子代也可能继承它的这种功能。
这背后的根本推动力是一些使用和构架人工智能的机构的成功，如企业、医院、政府和大学。最明显的例子是算法交易，在算法交易中，成功的自动交易策略可以在开发人员从一家公司跳槽到另一家公司时被复制，也可以简单讲，被竞争对手观察和反向架构。
这种动力，可以产生出人意料的效果。例如，像最大化社交媒体网站参与度的这样的目标可能会导致信息茧房（filterbubbles），它可能会加剧政治两极分化，又或者在缺少监管的条件下，可能会助长假新闻的扩散。
过度使用社交媒体会让我们陷入信息茧房
但是，那些没有针对用户参与进行优化的网站也许会比做了这方面工作的网站冷清，或者可能完全停止运营。同样，在没有外部监管的情况下，不优先考虑自己携带乘客安全的自动驾驶汽车对消费者的吸引力可能较小，导致销量降低。
有时机器的某些行为背后的功能是为了应对其他机器的行为。对抗性攻击，用假输入信息愚弄AI系统产生一个不需要的输出。在AI系统和被设计用来抵抗这些潜在攻击的反馈中，这些攻击会导致复杂的捕食者-食物动力学。这个过程很难仅依赖单独研究机器本身而被理解。
这些例子强调了外部组织机构和经济力量所能产生的直接且大量对于机器行为的刺激。
理解这些外界刺激和AI之间的互动对我们研究机器行为是有关的。反过来，外界的这些市场动态又会与其他过程相互作用，让机器和算法产生进化。
进化
在研究动物行为的过程中系统发生学描述了一个行为是怎么进化的。在现有功能的基础上，行为是被过去的选择压力所影响的，进化的机制。
例如人类手是由硬骨鱼的鱼鳍所进化而来的。它现如今的功能已经不是为游泳而存在的了，但是它的内部结构能解释发生在它身上的进化史。非选择压力的作用，比如种群的迁移或者遗传漂变也很重要，它们能解释各种不同形式行为之间的关系。
在机器的情况下，进化历史也可以产生路径依赖（pathdependence），解释其他令人费解的行为。在进化的每一阶段中，算法从各个角度在在新的环境中被重新使用，它可以成为未来可能行为的局限，又使得在这个基础上的其他创新成为可能。
例如，微处理器设计的早期设计继续影响现代计算机，并且算法设计中的传统，例如神经网络和贝叶斯状态空间模型，构建了许多假设并通过使一些新的算法相对更容易使用来指导未来的算法革新。
计算机一直在持续进化
一些机器行为可能会广泛传播，因为它是“可进化的”——容易修改并且相对扰动信息很稳健，类似于动物的某些特征可能是广泛存在于各种动物中的，因为这些特征促进了多样性和稳定性。
机器行为的进化与动物行为的进化不同，大多数动物的遗传是简单的，两个双亲一次性决定子代。算法要灵活得多，而且它们背后通常有一个带着目的设计者。
人类环境通过改变算法的继承体系，强烈地影响着算法的进化过程。AI复制行为可能被开源软件、网络架构的细节和潜在的训练数据集所促进。
例如，为无人驾驶汽车开发软件的公司可能会共享用于目标检测或路径规划，增强后的开源数据库，以及作为这些算法的训练数据集，目的是使增强安全性的软件能够在整个行业推广。
四、三种研究范围：
个体、群集与人机交互
通过上文和图3中所概述的框架，我们现在在三个调查范围内对机器行为的示例进行编目：个体机器、集群、和嵌入处在混合或异构系统的人类社交环境中的机器群组（图4）。
原论文图4
个体机器行为强调算法本身的研究，集体机器行为强调研究机器之间的相互作用，混合人机行为强调研究机器与人类之间的相互作用。在这里，我们可以类推为对特定物种的研究，研究物种成员之间的相互作用以及物种与更宽泛环境之间的相互作用。上述三种分析可以解决图3中描述的几乎所有问题。
个体机器行为
对个体机器行为的研究主要集中在特定的智能机器上。这些研究通常侧重于个体机器固有的属性，并且由其源代码或设计驱动。机器学习和软件工程领域目前主要进行这些研究。
研究个体机器行为有两种通用方法：
群集机器行为
相比于对单个机器行为的研究，集体机器行为的研究侧重于机器集群的交互和系统范围的行为。在某些情况下，在考虑集体层面之前，个别机器行为的含义可能没什么意义。
欧椋鸟的集群行为
对这些系统的一些调查受到了自然界中集群现象的启发，例如成群的昆虫，或以迁徙的鱼鸟为例的移动群体。例如，我们已经知道的动物群体表现出复杂环境特征的紧急感知和有效的共识决策。
在这两种情况下，群体都表现出对环境的认识，这在个体层面是不存在的。诸如多智能体系统和计算博弈理论等领域提供了研究这一领域机器行为的有用例子。
使用简单算法进行机器人之间的本地交互的机器人一旦聚合成大型集体，就会产生有趣的行为。例如，学者们已经研究了微型机器人的群体特性，这些特性结合成类似于生物制剂系统中发现的群体聚合现象。其他示例包括实验室（在生命游戏中）以及在真实场景中（如维基百科词条机器人中所见）的算法的集体行为；又如在通信智能机器之间出现的新算法语言，以及完全自主运输系统的动态特性。该领域的许多有趣问题仍有待研究。
关于集体动物行为和集体机器行为的绝大多数工作都集中在简单智能体之间的交互是如何能够创建更高阶的结构和属性的。尽管这也很重要，但却忽略了这样一个事实：许多生物体，以及越来越多的AI智能体，都是具有可能无法简单地表征的行为或相互作用的复杂实体。
揭示当相互作用的实体能够进行复杂的认知时出现的额外属性仍然是生物科学中的关键挑战，并且可能与机器行为的研究具有直接的相似性。例如，类似于动物，机器可能表现出“社交学习”。这种社会学习不需要局限于机器向机器学习，我们也期望机器向人类学习，反之亦然，人类可以从机器的行为中学习。引入的反馈过程可能从根本上改变知识的积累方式，包括跨代，直接地影响人类和机器的“文化”。
在某些条件下，高频能力交易会导致金融市场效率低下。除了前所未有的响应速度之外，机器学习的广泛使用，自主操作和大规模部署的能力都是促使我们相信机器集群的交易行为本质上与人类交易者不同的原因。
此外，这些金融算法和交易系统必须在某些历史数据集上进行训练，并对有限的各类预见情景作出反应，从而导致了难以对设计中新出现和无法预见的情况作出反应的问题。闪电崩盘是（交互）算法无意识后果的典型例子，引出算法的相互作用是否会产生更大的市场危机这一问题。
混合人机行为
人类越来越多地与机器互动。机器调节我们的社交互动，塑造我们所看到在线信息，并与我们建立足以改变我们社会系统的关系。由于它们的复杂性，这些混合人机系统构成了机器行为中技术上最困难但同时也是最重要的研究领域之一。
机器行为研究中最明显但至关重要的领域之一，是将智能机器引入社会系统的方式可以改变人类的信仰和行为。
在向工业流程引入自动化，智能机器可以在改善现有问题的过程中产生新的社会问题。在此过程中出现了许多问题，例如用于在线约会的匹配算法是否会改变约会过程的分布结果，或者新闻过滤算法是否会改变公众意见的分布。
研究算法中的小错误或使用的数据是否会累积而产生社会性影响，以及我们学校，医院和护理中心的智能机器人如何改变人类发展、生活质量或潜在地影响残疾人士的生活，至关重要。该领域的其他问题涉及到机器用更基本的方式改变社交结构的可能性。
例如，政府可以在多大程度上以何种方式使用机器智能来改变民主的性质，政治责任和透明度，或公民参与度。其他问题还包括智能机器在多大程度上影响警务，监视和战争，以及机器人对选举结果的影响有多大以及有助于人类社会关系的人工智能系统能否实现集体行动。
值得注意的是，该领域的研究还研究了人类如何将机器用作决策辅助工具，人类对使用算法的偏好和厌恶，以及人类机器产生或减少人类不适的程度。这方面的一个重要问题还有人类如何应对随着智能机器增加经济产品和服务的联合生产。了解如何通过将智能机器引入我们的生活中来改变人类系统是机器行为研究的重要组成部分。
智能机器可以改变人类行为，人类也可以创造，影响和塑造智能机器的行为。我们通过直接操作AI系统以及通过对这些系统进行主动训练和根据人类行为日常产生的数据的被动观察来塑造机器行为。
选择使用哪种算法，为这些算法提供什么反馈以及在什么样的数据对它们进行训练目前也是人类的决策，而这可以直接改变机器行为。
研究机器行为的一个重要组成部分是理解这些工程过程将如何改变AI的最终行为，无论训练数据是否导致机器的特定行为，是算法本身还是算法和数据的组合。图3中概述的框架表明，以上的每个问题都有补充答案。探讨如何改变工过程的参数可以改变智能机器的后续行为，因为它们和其他机器及人类的交互是从整体上理解机器行为的核心。
尽管将研究分成人类塑造机器的方式会更方便，反之亦然，但大多数人工智能系统在与人类共存的复杂混合系统中起作用。对这些系统的研究具有重要意义的问题包括人机交互特征的行为，如合作、竞争和协调。
例如，人类偏见与AI结合会如何改变人类的情感或信仰，人类发展趋势与算法相结合会如何促进信息的传播，如何在大量无人驾驶汽车和人力驱动汽车的混合街道上改变交通模式，以及如何通过人与算法交易智能体之间的交互来改变交易模式，以及哪些因素可以促进人与机器之间的信任与合作。
大量的人机协作系统已经应用于人类生产生活
该领域的另一个主题涉及机器人和软件驱动的人力自动化。在这里，我们看到两种不同类型的人机交互：
然而，在人类越来越多地使用算法来做出决策且基于此来训练相同算法的情况下，我们迫切地需要进一步理解自然环境中的反馈回路。
五、展望：
机器行为学如何发展？
要想最大限度地发挥人工智能对社会的潜在利益，我们就得了解机的行为。如果我们做出将人工智能体融入我们的生活这一有后果的选择，必须依仗我们了解它们对社会可能的影响。为了提供这种理解和预期，我们需要一个新的交叉学科研究研究领域：机器行为学。为了让这个领域顺利发展，我们有许多要考虑的因素。
首先，研究机器行为并不意味着AI算法需要有独立的代理人，也不意味着算法应该对其行为承担道德责任。
实际上，解释任何行为都不能完全与训练或开发该人工智能体的环境数据分开；机器行为也不例外。但是，理解机器行为如何因环境输入的改变而变化就像理解生物体的行为根据它们存在的环境而变化一样重要。因此，机器行为学者应该专注于描述不同环境中的人工智能体的行为，就像行为科学家渴望在不同的人口统计和制度环境中描述政治行为一样。
第三，机器行为和动物、人类的行为有本质不同，因此我们必须避免过度将机器拟人拟兽。即使借用现有的行为科学方法被证明对机器的研究有效，机器也可能表现出与生命具有的特质不同的，甚至是迥异的行为。
此外，剖析和修改AI系统可是比修改有生命的系统容易多了。虽然两个体系存在相似之处，但AI系统的研究必然会与生命系统的研究有所区别。
第四，对机器行为的研究将需要学科间的共同的努力，因为这些研究本身伴随跨学科合作所带来的挑战。应对这些挑战至关重要。大学、政府和资助机构可以在设计大规模，平等和可信的跨学科研究中起到重要作用。
第五，针对机器行为的研究通常需要现实条件下的实验来研究人机交互。这些实验介入可能会全面改变系统的行为，可能对一般使用者产生不利影响。诸如此类的道德考虑需要谨慎的监督和标准化框架。
了解人工智能体的行为和性质，以及它们可能对人类系统产生的影响是至关重要的事情。社会发展可以从人工智能提供的效率扶持和决策增强中获益匪浅。与此同时，将AI直接“植入”日常生活中的潜在缺陷我们也不能视而不见，尽可能避免其副作用，否则研究机器行为学带来的好处可能会摇摇欲坠。
机器行为学，是一门研究人工智能如何与人类共存的学科
参考文献
1
1.Simon,H.A.TheSciencesoftheArtifcial(MITPress,Cambridge,1969).
Simonaskswhethertherecanbeascienceofthe‘artifcial’thatproduces
knowledgeaboutartifcialobjectsandphenomena.
2.Milner,R.Amodalcharacterisationofobservablemachine-behaviour.InTrees
inAlgebraandProgramming,6thColloquium25–34(Springer,1981).
Inthisinvitedlecture,RobinMilneroutlinestheideaofstudyingmachine
behaviourusingformallogic.
3.Thomaz,A.L.&Breazeal,C.Teachablerobots:understandinghumanteaching
behaviortobuildmoreefectiverobotlearners.Artif.Intell.172,716–737(2008).
4.Stone,P.etal.ArtifcialIntelligenceandLifein2030.OneHundredYearStudyon
ai100.stanford.edu/2016-report(StanfordUniversity,2016).
5.O’Neil,C.WeaponsofMathDestruction:HowBigDataIncreasesInequalityand
ThreatensDemocracy(BroadwayBooks,2016).
Thisbookarticulatessomeoftherisksposedbytheuncriticaluseofalgorithms
insocietyandprovidesmotivationforthestudyofmachinebehaviour.
6.FutureofLifeInstitute.Autonomousweapons:anopenletterfromAI&
7.Dressel,J.&Farid,H.Theaccuracy,fairness,andlimitsofpredicting
recidivism.Sci.Adv.4,eaao5580(2018).
8.Binns,R.etal.‘It’sreducingahumanbeingtoapercentage’:perceptionsof
justiceinalgorithmicdecisions.InProc.2018CHIConferenceonHuman
FactorsinComputingSystems377(ACM,2018).
9.Hudson,L.,Owens,C.S.&Flannes,M.Dronewarfare:blowbackfromthenew
Americanwayofwar.MiddleEastPolicy18,122–132(2011).
10.Kahneman,D.,Rosenfeld,A.M.,Gandhi,L.&Blaser,T.Noise:howtoovercome
thehigh,hiddencostofinconsistentdecisionmaking.HarvardBusinessReview
11.Kleinberg,J.,Lakkaraju,H.,Leskovec,J.,Ludwig,J.&Mullainathan,S.Human
decisionsandmachinepredictions.Q.J.Econ.133,237–293(2018).
12.Crawford,K.etal.TheAINowreport:TheSocialandEconomicImplicationsof
AI_Now_2016_Report.pdf(2016).
abs/1606.06565(2016).
14.Bakshy,E.,Messing,S.&Adamic,L.A.Exposuretoideologicallydiversenews
andopiniononFacebook.Science348,1130–1132(2015).
15.Bessi,A.&Ferrara,E.Socialbotsdistortthe2016U.S.Presidentialelection
onlinediscussion.FirstMonday21,11(2016).
16.Ferrara,E.,Varol,O.,Davis,C.,Menczer,F.&Flammini,A.Theriseofsocialbots.
Commun.ACM59,96–104(2016).
17.Lazer,D.Theriseofthesocialalgorithm.Science348,1090–1091(2015).
18.Tufekci,Z.Engineeringthepublic:bigdata,surveillanceandcomputational
politics.FirstMonday19,7(2014).
19.Lee,T.-S.&Chen,I.-F.Atwo-stagehybridcreditscoringmodelusingartifcial
neuralnetworksandmultivariateadaptiveregressionsplines.ExpertSyst.Appl.
28,743–752(2005).
20.Roszbach,K.Banklendingpolicy,creditscoring,andthesurvivalofloans.
Rev.Econ.Stat.86,946–958(2004).
21.Huang,C.-L.,Chen,M.-C.&Wang,C.-J.Creditscoringwithadatamining
approachbasedonsupportvectormachines.ExpertSyst.Appl.33,847–856
(2007).
22.Tsai,C.-F.&Wu,J.-W.Usingneuralnetworkensemblesforbankruptcy
predictionandcreditscoring.ExpertSyst.Appl.34,2639–2649(2008).
23.Chen,L.&Wilson,C.Observingalgorithmicmarketplacesin-the-wild.SIGecom
Exch.15,34–39(2017).
24.Chen,L.,Mislove,A.&Wilson,C.Anempiricalanalysisofalgorithmicpricing
onAmazonmarketplace.InProc.25thInternationalConferenceonWorldWide
Web1339–1349(InternationalWorldWideWebConferencesSteering
Committee,2016).
25.Hannák,A.etal.BiasinOnlinefreelancemarketplaces:evidencefrom
TaskRabbitandFiverr.InProc.ACMConferenceonComputerSupported
CooperativeWorkandSocialComputing1914–1933(2017).
26.Cartlidge,J.,Szostek,C.,DeLuca,M.&Clif,D.Toofasttoofurious—faster
fnancial-markettradingagentscangivelessefcientmarkets.InProc.4th
InternationalConferenceonAgentsandArtifcialIntelligence126–135(2012).
27.Kearns,M.,Kulesza,A.&Nevmyvaka,Y.Empiricallimitationsonhighfrequencytradingproftability.J.Trading5,50–62(2010).
28.Wellman,M.P.&Rajan,U.Ethicalissuesforautonomoustradingagents.Minds
Mach.27,609–624(2017).
29.Farmer,J.D.&Skouras,S.Anecologicalperspectiveonthefutureofcomputer
trading.Quant.Finance13,325–346(2013).
30.Perry,W.L.,McInnis,B.,Price,C.C.,Smith,S.&Hollywood,J.S.Predictive
Policing:TheRoleofCrimeForecastinginLawEnforcementOperations(RAND,
2013).
31.Bonnefon,J.-F.,Sharif,A.&Rahwan,I.Thesocialdilemmaofautonomous
vehicles.Science352,1573–1576(2016).
32.Kooti,F.etal.AnalyzingUber’sride-sharingeconomy.InProc.26th
InternationalConferenceonWorldWideWeb574–582(InternationalWorld
WideWebConferencesSteeringCommittee,2017).
33.Zeng,X.,Fapojuwo,A.O.&Davies,R.J.Designandperformanceevaluationof
voiceactivatedwirelesshomedevices.IEEETrans.Consum.Electron.52,
983–989(2006).
34.Hendriks,B.,Meerbeek,B.,Boess,S.,Pauws,S.&Sonneveld,M.Robotvacuum
cleanerpersonalityandbehavior.Int.J.Soc.Robot.3,187–195(2011).
35.Hitsch,G.J.,Hortasu,A.&Ariely,D.Matchingandsortinginonlinedating.
Am.Econ.Rev.100,130–163(2010).
36.Finkel,E.J.,Eastwick,P.W.,Karney,B.R.,Reis,H.T.&Sprecher,S.Online
dating:acriticalanalysisfromtheperspectiveofpsychologicalscience.
Psychol.Sci.PublicInterest13,3–66(2012).
37.Park,H.W.,Rosenberg-Kima,R.,Rosenberg,M.,Gordon,G.&Breazeal,C.
Growinggrowthmindsetwithasocialrobotpeer.InProc.2017ACM/IEEE
InternationalConferenceonHuman–RobotInteraction137–145(ACM,2017).
38.Bemelmans,R.,Gelderblom,G.J.,Jonker,P.&deWitte,L.Sociallyassistive
robotsinelderlycare:asystematicreviewintoefectsandefectiveness.J.Am.
Med.Dir.Assoc.13,114–120(2012).
39.Shirado,H.&Christakis,N.A.Locallynoisyautonomousagentsimproveglobal
humancoordinationinnetworkexperiments.Nature545,370–374(2017).
Inthishuman–machinehybridstudy,theauthorsshowthatsimple
algorithmsinjectedintohumangameplaycanimprovecoordination
outcomesamonghumans.
ai/ai-principles/(2018).
41.Rof,H.M.Thestrategicrobotproblem:lethalautonomousweaponsinwar.
J.Mil.Ethics13,211–227(2014).
42.Krishnan,A.KillerRobots:LegalityandEthicalityofAutonomousWeapons
(Routledge,2016).
43.Voosen,P.TheAIdetectives.Science357,22–27(2017).
arxiv.org/abs/1312.6199(2013).
45.Zhang,Q.-S.&Zhu,S.-C.Visualinterpretabilityfordeeplearning:asurvey.
Front.Inf.Technol.ElectronicEng.19,27–39(2018).
46.Doshi-Velez,F.&Kim,B.Towardsarigorousscienceofinterpretablemachine
abs/1803.09010(2018).
arxiv.org/abs/1810.03993(2018).
49.Lakkaraju,H.,Kamar,E.,Caruana,R.&Horvitz,E.Identifyingunknown
unknownsintheopenworld:representationsandpoliciesforguided
exploration.InProc.31stAssociationfortheAdvancementofArtifcial
IntelligenceConferenceonArtifcialIntelligence2(2017).
50.Johnson,N.etal.Abruptriseofnewmachineecologybeyondhuman
responsetime.Sci.Rep.3,2627(2013).
51.Appel,K.,Haken,W.&Koch,J.Everyplanarmapisfourcolorable.PartII:
reducibility.IllinoisJ.Math.21,491–567(1977)
52.Appel,K.&Haken,W.Everyplanarmapisfourcolorable.PartI:discharging.
IllinoisJ.Math.21,429–490(1977).
53.Westlund,J.M.K.,Park,H.W.,Williams,R.&Breazeal,C.Measuringyoung
children’slong-termrelationshipswithsocialrobots.InProc.17thACM
ConferenceonInteractionDesignandChildren207–218(ACM,2018).
54.Lorenz,T.,Weiss,A.&Hirche,S.Synchronyandreciprocity:keymechanisms
forsocialcompanionrobotsintherapyandcare.Int.J.Soc.Robot.8,125–143
(2016).
55.Vosoughi,S.,Roy,D.&Aral,S.Thespreadoftrueandfalsenewsonline.
Science359,1146–1151(2018).
Thisstudyexaminesthecomplexhybridecologyofbotsandhumanson
Twitterandfndsthathumansspreadfalseinformationathigherrates
thanbots.
56.Lazer,D.M.J.etal.Thescienceoffakenews.Science359,1094–1096(2018).
57.Roberts,M.E.Censored:DistractionandDiversionInsideChina’sGreatFirewall
(PrincetonUniv.Press,2018).
58.Corbett-Davies,S.,Pierson,E.,Feller,A.,Goel,S.&Huq,A.Algorithmicdecision
makingandthecostoffairness.InProc.23rdACMSIGKDDInternational
ConferenceonKnowledgeDiscoveryandDataMining797–806(ACM,2017).
59.Kleinberg,J.,Mullainathan,S.&Raghavan,M.Inherenttrade-ofsinthefair
60.Buolamwini,J.&Gebru,T.Gendershades:intersectionalaccuracydisparities
incommercialgenderclassifcation.InProc.1stConferenceonFairness,
AccountabilityandTransparency(edsFriedler,S.A.&Wilson,C.)81,77–91
(PMLR,2018).
61.Bolukbasi,T.,Chang,K.-W.,Zou,J.Y.,Saligrama,V.&Kalai,A.T.Manisto
computerprogrammeraswomanistohomemakerDebiasingword
embeddings.InProc.AdvancesinNeuralInformationProcessingSystems
4349–4357(2016).
62.Caliskan,A.,Bryson,J.J.&Narayanan,A.Semanticsderivedautomatically
fromlanguagecorporacontainhuman-likebiases.Science356,183–186
(2017).
63.Sweeney,L.Discriminationinonlineaddelivery.QueueingSyst.11,10
(2013).
64.Ensign,D.,Friedler,S.A.,Neville,S.,Scheidegger,C.&Venkatasubramanian,S.
abs/1706.09847(2017).
www.propublica.org/article/machine-bias-risk-assessments-in-criminalsentencing(2016).
66.Chouldechova,A.,Benavides-Prado,D.,Fialko,O.&Vaithianathan,R.Acase
studyofalgorithm-assisteddecisionmakinginchildmaltreatmenthotline
screeningdecisions.InProc.1stConferenceonFairness,Accountabilityand
Transparency(edsFriedler,S.A.&Wilson,C.)81,134–148(PMLR,2018).
67.Jennings,N.R.etal.Human–agentcollectives.Commun.ACM57,80–88
(2014).
68.Campbell,M.,Hoane,A.J.&Hsu,F.-H.Deepblue.Artif.Intell.134,57–83
(2002).
69.Schaefer,J.etal.Checkersissolved.Science317,1518–1522(2007).
70.Silver,D.etal.MasteringthegameofGowithdeepneuralnetworksandtree
search.Nature529,484–489(2016).
71.Silver,D.etal.MasteringthegameofGowithouthumanknowledge.Nature
550,354–359(2017).
72.Bowling,M.,Burch,N.,Johanson,M.&Tammelin,O.Heads-uplimithold’em
pokerissolved.Science347,145–149(2015).
73.Bellemare,M.G.,Naddaf,Y.,Veness,J.&Bowling,M.Thearcadelearning
environment:anevaluationplatformforgeneralagents.J.Artif.Intell.Res.47,
253–279(2013).
74.Wellman,M.P.etal.Designingthemarketgameforatradingagent
competition.IEEEInternetComput.5,43–51(2001).
75.Kitano,H.,Asada,M.,Kuniyoshi,Y.,Noda,I.&Osawa,E.RoboCup:therobot
worldcupinitiative.InProc.1stInternationalConferenceonAutonomousAgents
340–347(ACM,1997).
76.Russakovsky,O.etal.ImageNetlargescalevisualrecognitionchallenge.Int.J.
Comput.Vis.115,211–252(2015).
77.Lin,T.-Y.etal.MicrosoftCOCO:commonobjectsincontext.InProc.European
ConferenceonComputerVision(edsFleet,D.etal.)8693,740–755(Springer
InternationalPublishing,2014).
78.Davis,J.&Goadrich,M.Therelationshipbetweenprecision–recallandROC
curves.InProc.23rdInternationalConferenceonMachineLearning233–240
(ACM,2006).
79.vandeSande,K.E.A.,Gevers,T.&Snoek,C.G.M.Evaluatingcolordescriptors
forobjectandscenerecognition.IEEETrans.PatternAnal.Mach.Intell.32,
1582–1596(2010).
80.Papineni,K.,Roukos,S.,Ward,T.&Zhu,W.-J.BLEU:amethodforautomatic
evaluationofmachinetranslation.InProc.40thAnnualMeetingonAssociation
forComputationalLinguistics311–318(AssociationforComputational
Linguistics,2002).
81.Zhou,Z.,Zhang,W.&Wang,J.Inceptionscore,labelsmoothing,gradient
abs/1708.01729(2017).
abs/1803.07233(2018).
83.Tinbergen,N.Onaimsandmethodsofethology.Ethology20,410–433(1963).
84.Nesse,R.M.Tinbergen’sfourquestions,organized:aresponsetoBatesonand
Laland.TrendsEcol.Evol.28,681–682(2013).
85.Das,R.,Hanson,J.E.,Kephart,J.O.&Tesauro,G.Agent–humaninteractionsin
thecontinuousdoubleauction.InProc.17thInternationalJointConferenceon
ArtifcialIntelligence1169–1178(LawrenceErlbaum,2001).
86.Deng,Y.,Bao,F.,Kong,Y.,Ren,Z.&Dai,Q.Deepdirectreinforcementlearning
forfnancialsignalrepresentationandtrading.IEEETrans.NeuralNetw.Learn.
Syst.28,653–664(2017).
87.Galceran,E.,Cunningham,A.G.,Eustice,R.M.&Olson,E.Multipolicy
decision-makingforautonomousdrivingviachangepoint-basedbehavior
prediction:theoryandexperiment.Auton.Robots41,1367–1382(2017).
88.Ribeiro,M.T.,Singh,S.&Guestrin,C.WhyshouldItrustyouExplainingthe
predictionsofanyclassifer.InProc.22ndACMSIGKDDInternational
ConferenceonKnowledgeDiscoveryandDataMining1135–1144(ACM,2016).
89.Smilkov,D.,Thorat,N.,Kim,B.,Viégas,F.&Wattenberg,M.SmoothGrad:
abs/1706.03825(2017).
90.Nevmyvaka,Y.,Feng,Y.&Kearns,M.reinforcementlearningforoptimized
tradeexecution.InProc.23rdInternationalConferenceonMachineLearning
673–680(ACM,2006).
91.Nguyen,T.T.,Hui,P.-M.,Harper,F.M.,Terveen,L.&Konstan,J.A.Exploringthe
flterbubble:theefectofusingrecommendersystemsoncontentdiversity.In
Proc.23rdInternationalConferenceonWorldWideWeb677–686(ACM,2014).
92.Dalvi,N.&Domingos,P.Mausam,Sanghai,S.&Verma,D.Adversarial
classifcation.InProc.TenthACMSIGKDDInternationalConferenceon
KnowledgeDiscoveryandDataMining99–108(ACM,2004).
93.Globerson,A.&Roweis,S.Nightmareattesttime:robustlearningbyfeature
deletion.InProc.23rdInternationalConferenceonMachineLearning353–360
94.Biggio,B.etal.Evasionattacksagainstmachinelearningattesttime.InProc.
JointEuropeanConferenceonMachineLearningandKnowledgeDiscoveryin
Databases387–402(Springer,2013).
95.Tramèr,F.etal.Ensembleadversarialtraining:attacksanddefenses.Preprint
96.Parkes,D.C.&Wellman,M.P.Economicreasoningandartifcialintelligence.
Science349,267–272(2015).
97.Wagner,A.RobustnessandEvolvabilityinLivingSystems(PrincetonUniv.Press,
98.Edwards,H.&Storkey,A.Censoringrepresentationswithanadversary.
99.Zemel,R.,Wu,Y.,Swersky,K.,Pitassi,T.&Dwork,C.learningfair
representations.InProc.InternationalConferenceonMachineLearning
325–333(2013).
100.Feldman,M.,Friedler,S.A.,Moeller,J.,Scheidegger,C.&Venkatasubramanian,
S.Certifyingandremovingdisparateimpact.InProc.21thACMSIGKDD
InternationalConferenceonKnowledgeDiscoveryandDataMining259–268
(ACM,2015).
101.Cully,A.,Clune,J.,Tarapore,D.&Mouret,J.-B.Robotsthatcanadaptlike
animals.Nature521,503–507(2015).
Thisstudycharacterizesarobotdrivenbyanadaptivealgorithmthatmimics
theadaptationandbehavioursofanimals.
102.Bongard,J.,Zykov,V.&Lipson,H.Resilientmachinesthroughcontinuous
self-modeling.Science314,1118–1121(2006).
103.Leibo,J.Z.etal.Psychlab:apsychologylaboratoryfordeepreinforcement
Inthisstudy,theauthorsusebehaviouraltoolsfromthelifesciencesinthe
studyofmachinebehaviours.
104.Subrahmanian,V.S.etal.TheDARPATwitterbotchallenge.Preprintat
105.Carrascosa,J.M.,Mikians,J.,Cuevas,R.,Erramilli,V.&Laoutaris,N.I.Always
feellikesomebody’swatchingme:measuringonlinebehaviouraladvertising.
InProc.11thACMConferenceonEmergingNetworkingExperimentsand
Technologies13(ACM,2015).
106.Datta,A.,Tschantz,M.C.&Datta,A.AutomatedExperimentsonAdPrivacy
Settings.Proc.PrivacyEnhancingTechnologies2015,92–112(2015).
107.Giusti,A.etal.Amachinelearningapproachtovisualperceptionofforesttrails
formobilerobots.IEEERobot.Autom.Lett.1,661–667(2016).
108.Berdahl,A.,Torney,C.J.,Ioannou,C.C.,Faria,J.J.&Couzin,I.D.Emergent
sensingofcomplexenvironmentsbymobileanimalgroups.Science339,
574–576(2013).
109.Couzin,I.D.etal.Uninformedindividualspromotedemocraticconsensusin
animalgroups.Science334,1578–1580(2011).
110.Rubenstein,M.,Cornejo,A.&Nagpal,R.Programmableself-assemblyina
thousand-robotswarm.Science345,795–799(2014).
111.Kernbach,S.,Thenius,R.,Kernbach,O.&Schmickl,T.Re-embodimentof
honeybeeaggregationbehaviorinanartifcialmicro-roboticsystem.Adapt.
Behav.17,237–259(2009).
112.Bak,P.,Chen,K.&Creutz,M.Self-organizedcriticalityinthe‘GameofLife’.
Nature342,780–782(1989).
113.Tsvetkova,M.,García-Gavilanes,R.,Floridi,L.&Yasseri,T.Evengoodbotsfght:
thecaseofWikipedia.PLoSONE12,e0171774(2017).
114.Lazaridou,A.,Peysakhovich,A.&Baroni,M.Multi-agentcooperationandthe
abs/1612.07182(2016).
115.Budish,E.,Cramton,P.&Shim,J.Thehigh-frequencytradingarmsrace:
frequentbatchauctionsasamarketdesignresponse.Q.J.Econ.130,
1547–1621(2015).
116.Kirilenko,A.A.&Lo,A.W.Moore’slawversusMurphy’slaw:algorithmic
tradinganditsdiscontents.J.Econ.Perspect.27,51–72(2013).
117.Menkveld,A.J.Theeconomicsofhigh-frequencytrading:takingstock.Annu.
Rev.Financ.Econ.8,1–24(2016).
118.Mnsted,B.,Sapieyński,P.,Ferrara,E.&Lehmann,S.Evidenceofcomplex
contagionofinformationinsocialmedia:anexperimentusingTwitterbots.
PLoSONE12,e0184148(2017).
ThisstudypresentsanexperimentalinterventiononTwitterusingbotsand
providesevidencethatinformationdifusionismostaccuratelydescribedby
complexcontagion.
119.Bainbridge,L.Ironiesofautomation.Automatica19,775–779(1983).
120.Jeong,S.,Breazeal,C.,Logan,D.&Weinstock,P.Huggable:theimpactof
embodimentonpromotingsocio-emotionalinteractionsforyoungpediatric
inpatients.InProc.2018CHIConferenceonHumanFactorsinComputing
Systems495(ACM,2018).
121.KoryWestlund,J.M.etal.Flatvs.expressivestorytelling:youngchildren’s
learningandretentionofasocialrobot’snarrative.Front.Hum.Neurosci.11,
295(2017).
122.Salisbury,E.,Kamar,E.&Morris,M.R.Towardscalablesocialalttext:
conversationalcrowdsourcingasatoolforrefningvision-to-language
technologyfortheblind.Proc.5thAAAIConferenceonHumanComputationand
Crowdsourcing(2017).
123.Awad,E.etal.TheMoralMachineexperiment.Nature563,59–64(2018).
124.Dietvorst,B.J.,Simmons,J.P.&Massey,C.Algorithmaversion:people
erroneouslyavoidalgorithmsafterseeingthemerr.J.Exp.Psychol.Gen.144,
114–126(2015).
125.Gray,K.&Wegner,D.M.Feelingrobotsandhumanzombies:mindperception
andtheuncannyvalley.Cognition125,125–130(2012).
126.Brynjolfsson,E.&Mitchell,T.WhatcanmachinelearningdoWorkforce
implications.Science358,1530–1534(2017).
127.Christiano,P.F.etal.Deepreinforcementlearningfromhumanpreferences.In
Proc.AdvancesinNeuralInformationProcessingSystems30(edsGuyon,I.et
al.)4299–4307(CurranAssociates,2017).
128.Tsvetkova,M.etal.Understandinghuman–machinenetworks:acrossdisciplinarysurvey.ACMComput.Surv.50,12:1–12:35(2017).
129.Hilbert,M.,Ahmed,S.,Cho,J.,Liu,B.&Luu,J.Communicatingwith
algorithms:atransferentropyanalysisofemotions-basedescapesfrom
onlineechochambers.Commun.MethodsMeas.12,260–275(2018).
130.Kramer,A.D.I.,Guillory,J.E.&Hancock,J.T.Experimentalevidenceof
massive-scaleemotionalcontagionthroughsocialnetworks.Proc.NatlAcad.
Sci.USA111,8788–8790(2014).
131.Kamar,E.,Hacker,S.&Horvitz,E.Combininghumanandmachineintelligence
inlarge-scalecrowdsourcing.inProc.11thInternationalConferenceon
AutonomousAgentsandMultiagentSystems467–474(International
FoundationforAutonomousAgentsandMultiagentSystems,2012).
132.Jackson,M.TheHumanNetwork:HowYourSocialPositionDeterminesYour
Power,Beliefs,andBehaviors(KnopfDoubleday,2019).
133.Crandall,J.W.etal.Cooperatingwithmachines.Nat.Commun.9,233(2018).
Thisstudyexaminesalgorithmiccooperationwithhumansandprovidesan
exampleofmethodsthatcanbeusedtostudythebehaviourofhuman–
machinehybridsystems.
134.Wang,D.,Khosla,A.,Gargeya,R.,Irshad,H.&Beck,A.H.Deeplearningfor
abs/1606.05718(2016).
135.Pentland,A.SocialPhysics:HowSocialNetworksCanMakeUsSmarter
(Penguin,2015).
136.Lazer,D.etal.Computationalsocialscience.Science323,721–723(2009).
137.Aharony,N.,Pan,W.,Ip,C.,Khayal,I.&Pentland,A.SocialfMRI:investigating
andshapingsocialmechanismsintherealworld.PervasiveMobileComput.7,
643–659(2011).
138.Ledford,H.Howtosolvetheworld’sbiggestproblems.Nature525,308–311
(2015).
139.Bromham,L.,Dinnage,R.&Hua,X.Interdisciplinaryresearchhasconsistently
lowerfundingsuccess.Nature534,684–687(2016).
140.Kleinberg,J.&Oren,S.Mechanismsfor(mis)allocatingscientifccredit.
InProc.43rdAnnualACMSymposiumonTheoryofComputing529–538
(ACM,2011).
141.Kannel,W.B.&McGee,D.L.Diabetesandcardiovasculardisease.The
Framinghamstudy.J.Am.Med.Assoc.241,2035–2038(1979).
142.Kraft,P.M.,Macy,M.&Pentland,A.Botsasvirtualconfederates:designand
ethics.InProc.2017ACMConferenceonComputerSupportedCooperativeWork
andSocialComputing183–190(ACM,2017).
143.Meyer,M.N.Twocheersforcorporateexperimentation:TheA/Billusion
andthevirtuesofdata-driveninnovation.ColoradoTechnol.LawJ.13,273
144.Xing,X.etal.Takethispersonally:pollutionattacksonpersonalizedservices.
InProc.22ndUSENIXSecuritySymposium671–686(2013).
145.Patel,K.TestingthelimitsoftheFirstAmendment:howaCFAAprohibitionon
onlineantidiscriminationtestinginfringesonprotectedspeechactivity.