开通VIP，畅享免费电子书等14项超值服
首页
好书
留言交流
下载APP
联系客服
2021.07.25
编者按
什么是未来？未来的数据分析能够涉及巨大的进步，克服真正的困难，并为科技的各个领域提供出色的服务。会是这样吗？这完全依赖于我们，依赖于我们是愿意选择解决实际问题的坎坷道路，还是选择由不真实的假定、武断的准则及脱离实际的抽象的结果构成的平坦的道路。谁来应对挑战？
——JOHNW.TUKEY(1962),“FUTUREOFDATAANALYSIS”
执行摘要
我们的世界越来越依赖数据和计算来创造知识、做出关键决策以及更好地预测未来。数据科学已成为一个新的领域，通过集成和开发来自统计、计算机科学及实际领域的想法、概念和工具来支持这些数据驱动的活动。数据科学现在推动着生物学、天文学、材料科学、政治科学和医学等多元化领域，更不用说全球经济的广阔领域、政府的主要活动以及日常社交和社会功能。
统计领域正处于十字路口:我们要么通过拥抱和引领数据科学而蓬勃发展，要么拒绝并变得无关紧要。从长远来看，要繁荣发展，我们必须重新定义、扩展和转变统计领域。我们必须发展并成长为从数据中收集和提取有用信息的跨学科科学。随着各数据科学实体在校园、行业和政府中快速建立，成功转型的机会窗口有限，我们绝不能错过。为实现这个变革，我们现在必须通过重新构想我们的教育计划、重新思考教师的招聘和晋升以及加速必要的文化变迁。
学术院系必须采取大胆和战略性的步骤来领导和推动转型，然而，我们现有的大多数教师都准备不足，无法引领道路。使问题更加复杂的是，那些尚未接触到统计可以解决实际问题的天才学生正倾向于那些更明显地这样做的学科，从而扼杀了将产生急需的未来统计领袖的关键教师渠道。我们需要重新思考我们如何聘请统计教师、如何资助他们的工作、以及用于规范和奖励学术生涯发展的指标。统计领域正在扩大，并将继续这样做，但战略性的及不断变化的资源分配必须仍然是学术院系的高度优先事项。统计学家需要与现实世界的问题合作，以影响外部世界，超越具体的问题解决，以区别于领域科学家，并开发基于经验证据和理论研究的一般工具，在程式化模型下，为数据科学提供见解。
统计是一门基础学科，对数据科学至关重要。与我们的计算机科学和领域科学的伙伴合作，我们可以在我们的基础上构建并转换统计成为Fisher、Box、Tukey和Breiman最初设想的学科。统计包括实践、计算和理论，但这些组成部分之间的平衡已经严重扭曲，而且缺乏联系。在必须继续推动理论界限的同时，更多的统计人员需要投入于实践以证明我们对社会的价值，为基础研究方向提供信息，并有效地教学，使学生学习实用技能。现在，更新基本概念、基础设施、教学模式和适应新的数据科学时代的文化的时机已经成熟。更具体地说，我们总结我们的主要调查结果和建议如下:
1.实践的中心作用
2.强调影响
该专业需要在学术成就评估中更加重视统计研究的科学和社会影响。NSF等政府机构应鼓励统计学家和其他科学家之间的研究伙伴关系，以确保基础研究在科学、工程和社会方面具有良好基础。ASA和IMS等专业组织也应促进这一点。主要大学的晋升和任期研究评估需要更广阔的视野，不仅要衡量专业内的影响，还要衡量在应用领域的影响。社区需要重视软件/平台开发的重要性。当前过分强调出版物的数量对专业是有害的。对于实践和理论而言，质量和影响应该是主要的评估指标。
3.为更好的实践做研究
为了使统计研究有效地支持科学与现实世界中的数据问题，毋庸置疑，统计研究的表述必须反映和捕捉现代数据问题中存在的现实。例如，基础研究在动态建模，因果分析和关于依赖性及异质性的推断方法中是需要的。
4.迎接重大挑战
5.更广泛的方法评估指标
6.训练现代技能
我们必须培养在批判性思维、建模、计算和交流等方面有重要技能的下一代统计学家和数据科学家。我们需要重新构想我们的博士学位课程，以适应统计学的必要转变。
背景
“十字路口的统计:数据科学时代的挑战和机遇”研讨会于2018年10月15日星期一至10月17日星期三在弗吉尼亚州阿灵顿的万豪水晶门户酒店举行。此次研讨会聚集了约48位领先的研究人员和教育工作者，利用数据科学时代前所未有的机遇和挑战，为统计领域制定10-20年的愿景。2018年9月10日至10月2日举行了两次研讨会前网络研讨会，数百名在线参与者参加了此次研讨会。网络研讨会和研讨会由来自Knowinnovation的促进团队协助，目的是寻求社区的广泛投入，并牢记以下三个目标:
1.识别需要新的统计基础，方法论和计算思想的新兴研究主题;
2.应对不同应用领域中数据驱动的重要挑战，并促进跨学科合作以应对重要的科学挑战;
3.创建一个充满活力的研究社区，在统计的不同子领域之间保持适当的平衡,包括对基金会的投资。
该项目由NSF赞助，由指导委员会和一组主题负责人组织。这个由六名成员组成的指导委员会由JamesBerger，XumingHe，DavidMadigan，SusanMurphy，BinYu和JonWellner组成，负责项目的总体规划。十名主题负责人负责主持和总结在线论坛和研讨会上的讨论。主题负责人包括DavidBanks，AliciaCarriquiry，DavidHigdon，JenniferHill，NicholasHorton，MichaelJordan，MarianthiMarkatou，DylanSmall，MarinaVannucci和MingYuan。
本执行摘要由XumingHe，DavidMadigan，BinYu和JonWellner编写。该报告的第一版是由XumingHe组织并由指导委员会监督的大量撰稿人提供的。我们的撰稿人代表不同的统计人员小组，他们共享报告中讨论的核心价值，但不一定在每个细节上都达成一致。指导委员会有意选择在报告中包含挑衅性言论，以鼓励更广泛社区的讨论和辩论。
1.统计和数据科学的作用/价值
2002年，NSF举办了一个研讨会，讨论统计学界未来的挑战和机遇;参见LindsayKettenring，andSiegmund(2004)。那时，统计界看到了越来越多的大规模数据的出现带来的快速变化和持续增长。从那时起，该领域的发展加速了，包括统计领域的本科和研究生课程的规模以及统计领域与其他领域之间相互作用的广度。同时，公共和私营部门都接受了大数据，因为越来越多的人认识到大数据可以深入了解生物过程的本质、精密医学、气候变化、社会和经济行为、风险评估和决策。数据科学已将自身展示为一种自然的跨领域发现方法。
毫无疑问，被认为是从数据中学习的统计学在数据科学中具有中心地位。实际上，一些统计系最近更名为统计和数据科学系(例如，耶鲁大学，卡内基梅隆大学和UT奥斯汀分校)。全国各地的大学(例如，密歇根大学)现在都为本科生提供数据科学专业，并且越来越多的机构以各种名称提供了数据科学硕士学位课程，这些机构来自各个领域，例如商学院，信息学院和计算机科学学院。统计界认识到，我们正处在十字路口，拥有前所未有的机会，使其自身现代化成为数据科学的主要参与者。
1.1统计作为数据驱动的学科
自从统计学作为一个领域诞生以来，它就一直受到科学技术进步的影响。今天，在几乎每个学科中都需要收集和分析数据的情况下，这一点可能尤其如此。随着数据驱动的科学范式成为一种新规范，我们有机会改变自己的领域，并在数据科学中发挥领导作用，尤其是在统计思维与计算思维之间的相互作用上。正如Wender(2017)在国家科学院的报告所讨论的那样，大数据既有希望，也有危险。统计数据正处于以数据为中心的世界的中心，可以帮助私营和公共部门的科学家和领导者实现大数据的真正潜力。
为了融入当今重要的社会和科学计划，我们绝不能将研究局限于纯粹的知识好奇心，也不能将对下一代统计学家和数据科学家的培训仅限于传统课程，无论它们曾经多么成功。10月的研讨会以三位在精密医学领域最前沿的数据科学家(SimonTavaré)、微数据的使用(JuliaLane)和天文数据(RobertLupton)的演讲为开端，并继续讨论了许多数据挑战。我们同意，虽然统计数据本身就是一个领域，但它与应用的紧密联系必须继续并加强，这些应用自然包括来自物理科学、社会科学、医学、工程、金融、工业、治理、体育和艺术的各种数据问题。
统计和数据科学的核心价值在于它如何促进科学和社会的理解与发现。合理的数据收集实验设计可提高效率和数据质量。统计过程控制导致制造质量的提高。不确定性的统计量化在确认分析和减少错误发现的风险中起着至关重要的作用。重采样方法和贝叶斯计算在广泛的应用中很有用，因为它们可以容纳复杂的模型。对于统计和数据科学而言，持续证明其对现实世界问题的价值很重要。
统计学发展了作为数据分析指导原则的基础和理论。计算方法和软件开发对于实践同样重要。我们工作的影响不应局限于任何单个应用程序，统计的进步可以对许多应用产生重大影响(例如，Bootstrap、MCMC和贝叶斯计算、类似LASSO的压缩感知方法、一般的适用于大数据的非参数化方法，例如随机森林和深度神经网络)。
许多成熟的统计方法已被“商品化”—有免费的，高质量的软件可以执行许多统计分析。这些方法通常可以提供价值，但需要统计学家扮演新角色。我们需要训练下一代的数据科学家，他们具有在问题表述和对统计概念的正确解释等方面的关键技能。
统计人员和统计学如何协助和进行科学研究有很多方式。它们包括:
1.通用方法和软件(例如，回归，用于设计实验的DOE软件)的应用
由于改进的软件和数据平台，在线帮助(例如堆栈交换)、开放源代码的用户支持的灵活通用软件环境(python，R)，通用工具的使用近来有迅速的强大正面效果。统计方法和软件已经出现爆炸式增长，现在可供所有用户使用(R包，python)。大数据科学家显然从这种把统计提供给应用的模式中受益。此外，由于他们具有从现代(数据密集型，HPC和网格)平台访问数据的技能，因此可以将已开发的方法和软件应用于新出现的问题。
2.作为大学环境中的顾问或自由职业者
统计人员和数据科学家可能会专注于特定类型的问题或各种类型的问题，通常是多学科团队努力的一部分。这是统计学和数据科学在以后几十年需要产生影响的领域—因此，我们应该牢记这一点来进行激励、培训和开展研究。统计人员和数据科学家可以而且应该在国家实验室、国家项目(例如大型天气观测望远镜，DARPA)，主要行业(例如制药公司，保险公司)和政府(例如美国人口普查，USDA)中发挥积极作用)。
3.作为学术研究人员
在这种环境下，研究与教学自然融合。但是，协作/多学科科学的深度可能会受到其他约束的限制。一个主要的约束是教师需要以主要作者的身份出版大量出版物。学术院系需要找到鼓励研究人员参与大规模，多学科科学工作的方法。对学术成就的评估需要不限于只考虑本领域的出版物数量。应该强调对实际领域科学和数据科学实践中的领导作用的可衡量的影响。为了使我们的领域在未来十年中蓬勃发展，迫切需要这样的变革。
1.2统计与人工智能
在许多技术和科学领域，“人工智能”(AI)一词已开始被广泛地用来描述使用数据分析和基于数据的决定来代替传统的计算机编程，这往往是在补充甚至取代人类的判断。
在过去十年中，这些趋势发生了哪些变化，以至于被贴上了“AI”的标签？主要的变化是，数据集在计算机视觉、语音识别和语言翻译等领域出现，这些领域具有足够的规模和范围，可以构建系统，利用这些数据来模拟人类的感知和语言技能。实现这一点的算法是ML算法，这些算法与20世纪80年代相比变化不大，其中最重要的算法是神经网络中的反向传播，该算法在80年代开发，其根源在于20世纪50年代在最佳控制、信号处理、优化和统计。平台已经改变，但是这些变化是工业和科学中大规模数据分析的更大趋势的一部分。简而言之，新的数据集的出现使得计算机视觉、语音识别和语言翻译的经典AI中心取得了显著进展，这引发了整个企业的扩张，以反映其模仿人类的初衷。
Jordan(2019)将经典的模仿人类的人工智能与智能增强(intelligenceaugmentation，IA)区别开来。在智能增强(IA)中，计算机用于增强人类的感知，认知和决策能力，如搜索引擎和图像处理;在智能基础设施(intelligentinfrastructure，II)中，网络的设备需要与多个人类决策者一起做出大量近乎同时的决策，例如在现代交通、商业、医药和金融系统中。统计原则在IA和II中至少与AI一样重要。此外，在II中，统计原则将需要与微观经济学原则相融合，以便相互作用的决策者可以有效地合作以应对稀缺性并确保公平和机会的获取。
2.科学和社会应用中的挑战
2.1数据挑战
具体来说，在新时代，我们看到以下数据挑战：
1.数据的复杂方式多种多样:数量、速度、多样性、有效性，如果包括对抗性训练，甚至用V代表Vendetta(仇杀队)
2.在许多情况下，可用数据并不是总体的有代表性的样本
3.通常，观察到的数据是许多不同数据生成机制的叠加
4.一些特定的解决方案可以推广，而某些则不能。我们可以在类似问题上借用其强项及获得启发，但是每种分析都必须适合于实际情况，以实现最大的收益
5.欧盟的“通用数据保护条例”对分析施加了紧迫性，因为人们可能会反复随意地选择加入或退出研究，并且分析人员可能需要不断进行昂贵的重新计算
6.“通用数据保护条例”还要求透明性和可解释性。如果某人被拒绝贷款，那么分析师必须能够解释原因——他们需要再稳定工作两年，或者他们每年需要多赚5000美元。定义可解释性的含义是当前的研究
7.可重复性:数据的清洁程序和处理需要成为可重复性管道的一部分。我们需要制定一套通用标准
8.公平性:负责任的数据分析必须解决公平性问题。当数据涉及人群的时候，抽样或测量中的偏差会导致歧视。我们必须教育所有人在数据分析中关于确保公平性的需要；参见，例如，Dworketal(2012)
相应的文化和人类结构需要与这些数据挑战保持一致:
1.基础设施:需要考虑到与数据分析有关的“费用”，包括组织大量数据和理解数据结构。这需要物理基础设施(数据库、在线存储库、数据管理、GitHub和共享软件)以及具有适当知识/培训的数据“专家”
2.随着问题空间变得越来越复杂(例如，基因组学或社交网络中的因果推理)，需要多学科团队，甚至需要确定一个可处理的问题
3.数据挑战通常是依赖于领域的;不同的领域(从物理科学到社会科学)需要具有不同技能/专业知识的统计学家和数据科学家。重新构想的统计教育计划需要用这样的技能来训练我们的学生
统计本身产生于科学家需要量化地使用测量、观察和实验以更好地理解科学现象的需要。天文学、赌博和遗传学等初始应用领域推动了统计理论、概念和方法的开发和使用。自Breiman(2001)以来，我们在将机器学习作为统计的一部分方面取得了进展。在数据科学时代，新兴应用非常丰富。在接下来的几个小节中，我们讨论了选定的几个，并不做出列表是详尽无遗的任何暗示。
2.2精准健康/医学
精确的健康/医学研究需要对多模式、多尺度、多视角、异质和相依赖数据进行集成和推断;预测和不确定性量化以解决临床医学最大问题;将根据疗效数据(即临床试验数据)获得的结果外推至有效性数据和个别患者的治疗。
由于生物医学研究技术的进步以及捕获和存储大量数据的整体能力的提高，生命科学，医学科学以及公共卫生领域的研究已经发生了重大转变。这些变化将科学生产力的瓶颈从数据生成和收集转移到了数据管理、分析和解释。生物医学和生命科学中数据的爆炸式增长可以用来构建更精确，更准确的疾病分类以进一步发展精确的健康/医学概念，从而有可能彻底改变诊断，治疗和临床决策的制定，以导致进行更个性化的治疗并改善患者预后。例如，降低基因组测序的成本会增加可用的遗传数据，这些数据可用于了解许多疾病的根本原因。此外，电子健康记录可用性的提高提供了对临床数据的访问，而各种移动设备提供了生活方式和其他类型的数据，可用于促进疾病的更准确诊断和治疗。
因此，精密医学是一种新兴的疾病治疗和预防方法，它可以解决个体差异并整合一系列个性化数据，包括基因组、表观遗传、环境、生活方式和病史数据。它着重于将个体分为对疾病的易感性和可能的治疗反应不同的亚群。
精确健康的基本挑战之一是识别治疗效果的亚组。这是实现精确健康益处的重要一步，因为它提供了关于具有特定特征的个人对特定治疗在疗效或不良反应下如何作出反应的证据。不同的治疗效果不仅包括各亚组发生的治疗效果的数量差异，还包括治疗效果的质量差异。此外，根据研究目标，亚组的特征可能是探索性、数据驱动性或确认性。区分治疗效果的亚组鉴定方法背后的一个关键思想是鉴定可以推动治疗效果改变的预测协变量(生物标志物)。数据驱动的方法通常用于亚组识别，考虑到这一挑战对精确健康的重要性，需要新的方法。一个基本问题是开发用于子组后选择的推断方法。在精密医学研究中需要纳入适当的统计程序和对事后选定子组进行确认分析。
2.3物理科学中的统计
对于物理科学中出现的复杂数据问题，需要一种新的统计方法。应用程序中的常见主题包括时空数据、不确定性量化、错误设定的逆问题、组合跨尺度的信息(例如，物质科学中的原子尺度到大尺度尺度，人口统计学中从家庭到城市到都市区域)以及使用能够模拟特定的物理现象。
物理科学中的现代研究通常利用新颖的数据源、各种子系统苛刻的计算模型以及为推进科学而需要获取的详细专家知识。这样的研究是多学科的，需要在物理科学、计算建模、数据管理和统计分析方法的多个方面具有专业知识。应用领域众多。部分列表包括天文学和宇宙学、地球物理学、水文学、高能物理、材料科学、预测化学、核物理和粒子物理学。
对于复杂数据的类型和物理科学中出现的问题，迫切需要新的统计方法和计算思想。迄今为止，现代统计推断中的许多工作都是由技术行业或生物医学研究中相对较好的问题驱动的，但是下一代数据(如遥感、卫星图像、天文学、粒子物理学、地球科学、现代成像和探索材料动力学的诊断设施)更加复杂，需要新的统计方法以及规模算法。复杂性源于于底层物理系统的复杂性和测量过程的复杂性(例如，从低信噪图像中解波的对象的形状，由于非线性、物体模型不正确以及计算不正确的卷积内核而导致的偏差;这些都非常重要，因为物理上有趣的参数来自平均数以千万到数亿次的测量)。
·处理时空数据;
·不确定性量化方法，将物理观测与要求苛刻的计算模型相结合，以进行统计推断;
·不适当的逆问题(例如，根据材料与激光或中子束的相互作用来推断材料结构);
·利用大量低信噪比进行推理;
·将不同分辨率的信息联系起来(例如，从材料的分子成分中推断散装材料的特性，从化学结构推断化合物性质);
·使用基于物理学的知识在未经测试的新体制(例如极端温度、极端应力条件、极端环境下的材料相互作用)下产生外推预测;
·使用数据(和其他类型的证据)在竞争模型之间进行选择，并通过模型组合产生更可靠的预测;
·开发有效利用可用数据源、计算模型、计算资源和统计分析方法的途径，以便做出可靠的科学推断;
·并开发统计方法，以更好地理解和预测罕见的高后果事件(例如流星撞击、桥梁倒塌、特大风暴)。
正如许多人所指出的(包括国家科学院的报告，“海量数据分析的前沿”)，大数据中的挑战不仅仅是由于规模:它们还涉及复杂性(物理科学中遇到的复杂性类型本质上是不同于诸如人的数据、遗传和技术数据)。实际上，数据的庞大与数据异质性有很大关系。科学进步将越来越多地源于使用复杂物理过程的可解释模型获得的知识。统计人员和数据科学家必须与领域科学家紧密合作，以了解问题，挑战和科学目标。解决物理科学中特定问题的现有方法可能会忽略统计学家可以识别的数据分析机会。此外，重要的是跨领域转移技术，重点放在可推广的方法上。如果从解决单个问题的方法中得出可推广的方法，科学将进步得更快。
2.4统计与量子信息科学
2.5匿名数据的统计分析
·我们如何正确考虑隐私保护机制引入的附加随机性，无论它们是DP还是别的？这是否需要新的统计推断工具？
·还有其他类似的方法可以简化数据的匿名化吗？这些方法中的任何一种是否提供DP以外的更多功能？
3.基础研究
统计理论的基础研究为我们在统计实践中的工作提供了宝贵的指导和深入的了解。过去20到30年间，统计学基础研究的两个主题涉及一般经验过程的理论以及半参数和非参数模型下限工具的系统开发。随着我们对集中度不平等的理解的迅速发展，推动了经验过程的理论发展。
统计的一个成功案例包括非常通用的可验证Efron的非参数自助法的自助法极限定理，以及在各种问题中更通用的可交换加权的自助法。这些结果已得到进一步开发，以产生适用于海量数据的可扩展自助法。
其他成功案例包括对基于Talagrand(1994)的基础工作的新的浓缩约束技术对模型选择方法的理解，以及非参数贝叶斯方法的巨大发展。半参数和非参数模型的下界和用于构造有效估计量的方法的开发也在持续发展。这些方法开始在因果推理和模型后选择推断方面产生回报。
我们对应用和数据挑战的强调绝不降低统计学基础研究的价值。相反，它更令人信服和迫切地主张对统计学和数据科学的基础研究进行更多的投资。需要新的理论范式来支持和指导新的统计实践，以应对新的数据挑战。我们理论的发展需要摆脱简单化的模型和假设，采用新的框架来反映当今的领域问题和数据现实，从而允许非独立同分布样本以及异构总体和数据源。基础研究的评估指标应包括创新，质量和影响力。在本节中，我们将讨论一些重要的新兴主题。
3.1模型与算法的作用
传统的统计思维集中在数据生成建模上。简单和可解释的模型通常是黄金标准。但是对于现代应用程序而言，现实往往过于复杂，以至于无法用简单的模型来描述。尽管完全摒弃建模在这些应用程序中的作用将是一个错误，但当今的科学和社会问题促进了对现代应用程序建模的重新校准。
正如GeorgeBox的名言所说的:“所有模型都是错误的，但有些模型是有用的。”模型是对现实的近似，它们为特定目的而被开发。通常，数据分析的目的是制定详细的决策，然后建模应反映出这一目标。一个典型的例子是分类，在许多应用中，判别建模是生成建模的更合适的替代选择。在大数据分析中，不建议为所有目的都使用一个模型，无论它多么复杂和适应。在某些应用程序中，可解释和可扩展的局部模型可能是首选，如何跨局部模型有效地借用信息需要进行新的研究。
随着计算机科学思想的注入，数据分析中经常采用算法观点。支持向量机就是一个例子。可以将其视为分类算法。但是，将支持向量机与平滑度正则化绑定在一起并重现内核Hilbert空间，已经对如何工作以及如何对其进行了改进产生了深刻的见识。
许多统计工作都使用生成模型来激励和分析数据分析程序。这样的模型对于设计新程序以及理解和比较现有程序可能是有价值的。但是，我们绝不能止步于此，因为任何关键地依赖于生成模型的推论工作，无论如何谨慎选择，都可能与相识脱节。
3.2不同约束条件下的统计效率
3.3数据驱动范式中的推断框架
在许多现代科学应用中，首先收集数据，然后在看到数据后制定科学问题或假设。这种数据驱动的科学范式给统计推断带来了新的挑战。在这种情况下，对经典统计推断的作用的误解可能会导致“呼吁应用较少的能力，放弃对有效的统计方法的研究。”相反，“应该有动机创造统计推理，将目前没有考虑的非正式数据分析活动整合在一起”(Buja和Brown对Lockhartetal。(2014)的讨论)。
TaylorandTibshirani(2015)提出了一种选择推理的新方法，其中感兴趣的参数可能与数据有关。但是，对无模型结构参数的统计推断仍然是任何验证性分析的重要组成部分;感兴趣的参数可以是科学中的固有数量，也可以是所研究人群的平均治疗效果。在模型选择之后进行基于模型的推断时，我们必须开发适当的推断方法，以解决模型选择中的不确定性。重要的是，我们应更多地注意许多有用但特别的过程，例如数据拆分，并描述何时及为什么这些方法可行以及如何对其进行改进。
3.4观察研究与实验设计
需要法治因果推断的新方法，以充分利用这些大数据集进行因果推断。可以从新研究中受益的因果推断的挑战性问题包括：
1.如何整合来自各种数据源的因果关系证据？我们如何调和得到截然不同结果的观察研究结论？
3.我们如何利用低精度，低偏差数据和高精度，中等偏差数据的优势？
4.我们是否可以结合使用无效测试，阴性对照等来建立更好的模型或帮助验证假设？如何将这些准实验设备纳入推断？
5.已针对相对简单的因果假设(如治疗引起比对照组更高的影响)开发了诸如空试验，阴性对照和多个对照组之类的准实验装置。如果我们想检验复杂的因果假设，例如关于一组基因如何共同作用以调节蛋白质X的生成量该怎么办？如何将这些准实验设备用于有关大型机制模型的复杂因果假设？
6.如果您具有高维度的结果，可以使用观测数据来帮助定义对于帮助确定未来实验的最佳测试统计量最重要的低维度结构吗？
基于观察性研究进行因果推理的另一个重要挑战是，是否有可能区分模型或程序的成功使用和不成功使用，这是Freedman(1991)提出的一个老问题。对于统计学家和数据科学家来说，这是一个至关重要的问题，因为因果推理在观察研究比随机实验更常见的社会科学和其他领域中流行。这也是统计学家比其他许多人都有更好见解的地方。
3.5有限人口抽样设计：模型辅助有限采样
3.6大规模非凸优化
大数据通常由异构数据或子群体组成。大数据分析的一个重要目标是将每个对象聚集到一个亚人群中，并为每个亚人群提供个性化的处理。这个基本概念是精准医学(第2。2节)和精准营销的基础。这种聚类分析是在高维设置下进行的，其中包括高维变量、潜在因素以及具有数据真实性的环境(如粗尾，缺失值和有偏采样)之间的相互作用。一旦了解了亚群，寻找个性化的治疗方法和预期的反应仍然是一项挑战。如此复杂的系统的现实建模对于精密医学和市场营销以及其他应用极为重要。一种工作模型是在高维环境中采用专家模型的混合。这涉及选择变量，潜在因素及其相互作用以进行聚类，并分别进行处理分配，这通常会导致复杂的大规模非凸优化问题。了解用于此类统计模型的算法和方法在智力上具有挑战性，并且在实践中很重要。
深度学习(将在3.7节中进一步讨论)可以看作是一类现代的高维非参数模型，在许多机器学习问题中都取得了巨大的成功。已经针对诸如此类的大规模非凸优化问题开发了许多启发式算法，例如具有动量的随机梯度方法。但是，关于算法收敛和统计特性的理论很少。这阻碍了我们对问题的理解以及对那些需要关联和因果研究的学科科学(如经济学和社会学)的成功应用。在最坏的情况下，这些高维优化目标函数的情况非常吓人，包括指数级数量的局部最小值，但在大多数典型情况下对统计问题是良性的。理解所使用算法的统计属性(与经典统计中的全局最小值相反)对于大数据的统计实践非常重要。
混合模型和深度学习算法只是统计学家和数据科学家在分析高维非凸优化问题的统计和算法属性方面面临的新挑战的两个实例。其他示例包括Z2同步化、矩阵完成和解决许多工程问题中的二次系统。概率工具和统计模型在理解典型案例的算法复杂性以及所得基于算法的对象的统计属性方面起着至关重要的作用。
3.7深度学习
今天，似乎有一种对深度学习的热情的海啸;参见LeCun，Bengio，andHinton(2015)。由于该技术在某些图像分类和自然语言处理任务中已达到超人的性能，因此，现在正投入大量资金来更广泛地部署该技术。媒体宣传了关于在其它信息处理任务中开发超人性能时可能出现的技术未来的猜测。伴随着这股热情的浪潮对统计领域提出了巨大的挑战，因为轻信的媒体报道促使许多非统计爱好者相信，你不再需要统计了。这种信念是错误的;大量的深度学习炒作是基于前瞻性推测，而数百年来的统计数据却取得了坚实的成果，其中一些成就重塑了地球上的生活，例如公共卫生和农业。尽管如此，统计人员应该尽其所能来提高深度学习的研究质量，就像他们致力于改善其他领域的研究一样。
深度学习的成功源于对机器学习通用任务框架的持续使用。在这种框架下，人们被赋予了标签化的训练和测试数据，并且试图通过人们想要的任何设备来改进预测模型，并通过测试集预测误差来对所提出的模型进行评分。通过反复试验，逐渐提高了性能。无需理论指导。
尽管深度学习/公共任务框架范例是成功的，但它也面临着巨大的挑战，而统计学研究可能会有所帮助，就像统计学研究已经能够在许多其他领域为研究做出贡献一样。挑战包括:
1.深度学习研究是毁灭性的昂贵。现在正在使用1800万个cpu小时并专用于500+gpu数月撰写论文。
3.该方法需要大量数据，而大多数科学和工程研究人员永远不会拥有这些数据，该领域的趋势是向更大的数据需求扩展。
统计人员可以通过改善以上三个核心问题中的任何一个来为深度学习的进步做出贡献，所有这些都涉及统计人员的核心专业知识。实验设计、随机线性代数、新颖的统计训练算法都在这项工作中占有一席之地。
4.专业文化与社区责任
统计学作为一门独立学科的建立与19世纪初的科学发展紧密结合在一起(例如，达尔文的进化论、农业设计)。进行了基础数学工作，以实现对经验上有用的诸如最大似然方法的特性的概括和研究。在最初的发展之后的几十年中，该领域与这些特殊的数学发展保持一致，并且与实践的联系排在了后排。引用乔治·博克斯(GeorgeBox)的1976年费舍尔演讲:
一群人可以保持相当的快乐，玩弄一个可能曾经有意义的问题，并提出永远不会暴露在危险的实用性测试的解决方案。他们喜欢在会议上互相阅读论文，而且他们通常很不冒犯。但是，我们必定要遗憾的是，宝贵的人才在历史上可以被善加利用的时期就被浪费了。
——GeorgeBox(1976)
在过去的几十年中，我们已经开始通过跨学科研究和一般的应用统计来回归领域根源(Cleveland，2001)，但是变革的步伐并未跟上快速发展的以数据为中心的世界。
为了使该行业在数据科学及其他领域中发挥领导作用，需要更快地进行文化变革。正如Breiman(2001)雄辩地指出:
——Breiman(2001)
问题不在于随机模型或生成模型本身。如果此类模型通过经验证据产生实际影响，则应予以赞扬，尤其是如果这些模型在其构造中考虑了领域知识并具有计算上可行的算法。这样的模型也是有用且至关重要的，特别是对于研究和理解经验上成功的、并且在为稳健而在多类生成模型下优先研究的算法/方法。但是，在实践中，通常情况并非如此，如果没有经验支持，这种方法就非常成问题。
4.1学术院系
聘请多元化的教师对于我们职业的转变至关重要。评估潜在的新员工带来了巨大的挑战，因为它从根本上涉及对未来影响的预测。传统上准备好的学生呈现出较低的风险和更确定的轨迹。学术院系需要积极招募和培养从我们重新构想的博士课程中产生的新一代学生。并减少风险规避。多样性起着关键作用—未来成功的统计教授带头人必须反映多样性的许多方面，包括知识多样性。这需要协调一致的长期努力(在聘用前后)，而我们的领域在过去并未做到这一点。
4.2专业领导
我们呼吁更多的统计学家成为我们行业的领导者。统计领域的领导者需要做更多的工作，以将这一领域推广到广大的科学界和公共领域。这项工作以及系、校园和我们自己的专业协会中的领导角色，应该是我们专业中高级人员评估标准的关键组成部分。
统计学专业协会需要成为更有影响力的统计工作的有力推动者，并在统计学家/数据科学家，研究人员与其他社会以及私营和公共部门的科学家之间架起桥梁。我们专业协会的旗舰期刊需要扩大其范围，并有意识地从传统固有的研究领域转向新的数据科学研究。统计人员的领导和沟通培训严重不足，我们的组织应该在这方面有所作为。这种培训还应为统计学家为跨学科研究团队的领导做好准备。诸如奖项和研究金之类的荣誉应反映出对统计学的广泛看法，不仅要表彰传统的学术贡献，还应表彰领导才能、计算成就以及更广泛的科学或领域贡献。为了反映这种转变，社会需要获得更多的奖项。
全国和国际统计学会在大学和研究生层次的统计学课程的开发和重新构想中可以发挥更大的作用。它们自然也可以帮助在学术界、工业界和公共部门之间架起桥梁。联合统计会议是传统的聚会场所，各行各业的统计学家都可以联系到那里，还有很多工作要做。例如，在数据科学领域建立更广泛，更深入的行业-学术界合作伙伴关系可以极大地促进数据科学时代的统计研究和教育，但是目前这通常发生在单位级别。专业协会可以帮助促进联合体一级的努力。
4.3资助机构
NSF在传统研究资金中扮演着不可替代的角色，重点放在创新学科研究上，这为研究界提供了很好的服务。我们建议NSF的统计计划继续促进资助知识多样性。如报告前面所述，数据科学时代的许多研究领域都面临着重大挑战和机遇。资金的增加对于以下方面的发展至关重要:空间主题数据分析、可解释的统计学习模型、个性化和集成推荐系统、时空数据分析、机器学习和因果推理的集成、预测的稳健性和稳定性等/预测和推论、数据隐私和公平性、基于代理的模型、约束优化、实验设计以及高效的深度学习算法。
NSF统计研究和教育的资金主要来自数学科学部(DMS)。NSF预算的增长跟不上科学和工程界的增长，特别是在通货膨胀调整之后。这个问题在统计计划中最为明显和严重。但是，联邦对基础研究和劳动力的投资对于我们专业的未来仍然至关重要。统计计划需要获得更多的资金，以跟上学科的发展和进步，而统计研究的资金需要超出一项计划，因为统计创新在科学的广泛研究和教育领域中发挥着越来越重要的作用。例如，统计人员正在拥抱NSF的10大构想，尤其是通过利用21世纪科学与工程(HDR)的数据革命。
为了加速统计数据的转换并造福社会，NSF和NIH等政府资助机构需要加大投资，以支持将统计作为科学技术发展的重要组成部分的研究项目。美国国立卫生研究院资助的许多项目都涉及统计学家，它们通常扮演着支持(但重要)的角色。NSF的一种成功的资助模式是“数据科学原理跨学科研究(TRIPODS)”，其中统计学家和其他研究人员通过集成研究和培训活动的全面参与有助于发展数据科学的理论基础。DMS/NIGMS联合倡议、旨在支持生物学和数学科学界的研究(DMS/NIGMS)、DMS/NLM关于生物医学研究通用数据科学方法的联合倡议(DMS/NLM)和威胁检测算法(ATD)也是此类筹资机制的典范。更多的此类资助机会将鼓励统计学家和数据科学家在一种新文化中发展研究计划，这种文化对有影响的工作大加赞赏。正如该报告前面所讨论的，具有影响力的研究可能来自统计学家对领域科学的沉浸和充分参与，例如天文学、预测化学、城市规划和精密医学等。资助包括统计学家和其他领域科学家在内的平等研究伙伴的研究团队，将导致跨领域的创新。资助机构和ASA等全国协会应共同努力，以确保统计和数据科学的研究人员充分了解这些机会，并有机会及时向这些计划提供反馈。
我们还建议NSF和其他资助机构为初级和中级研究人员提供专门的支持，使其介入领域科学，这可能与学校学术假和其他形式的教师休假关联。由NSF资助的研究机构和中心可以促进此类活动，但是需要新的机制来确保此类项目的成果评估着重于潜力和影响。政府资助可以激励更多的统计学家将投入到新兴的数据科学研究领域。
5.博士教育
在本科层次上，针对统计统计学本科课程的新课程指南和数据科学强调了统计基础的重要性，并伴随着在计算、数据技术、领域知识和伦理方面更深入和更坚实的基础。在这些文件的基础上，我们在这里专注于博士教育。
首先，博士是一个研究学位，博士课程应侧重于培养学生从事统计学和数据科学的研究。最可持续的培训模型或增长模型是帮助他们学习如何学习，从而使他们在领域和数据挑战不断发展的过程中能够灵活敏捷地进行智力适应和更新其知识和技能。我们的毕业生应该能够通过创建新颖的统计对象(例如模型、方法、可视化对象)或对此类对象进行分析，为解决以实际数据为中心的问题做出贡献。本节中的其余讨论将服务于此目标。
5.1课程
我们相信，大多数大学的标准课程不足以满足学生的需求。进入学术工作市场和非学术或准学术工作市场(行业、准学术、政府等)的学生越来越被要求能够胜任各种主题和技能(例如，数据技术)。例如NolanandTempleLang(2014)全面介绍了许多现代数据类型和有效处理这些数据类型的计算技术。但是，大多数学生没有接受过这些技能的培训，也没有接受过迅速采用新技能的更抽象的技能的培训。
什么应该构成博士学位的基础统计课程以改变我们的领域？我们认为，虽然概率和推断是传统统计的关键基础，但当今统计领域的博士毕业生需要具备更深厚的计算和数据技术、通信、数据清理、定量批判性思维、协作技能、适当的问题制定和跨学科科学的技能。统计培训需要涵盖整个“数据生命周期”。同时，我们不建议扩展必修课程。如果有的话，对于许多计划而言，需要提供更广泛的选修课程，而不是必修课程。
我们认为一定的基本统计、计算和数学水平是前提。除此之外，我们认为以下领域是“核心”:
一些课程计划将通过逐渐进化过程朝着更广阔的视野发展。其他的计划则需要采取更激进的方法。对于本科生水平，Cobb(2015)考虑了后者的可能性。不需要所有博士学位。统计学中的所有博士课程都没有必要考虑相同的物质基础。但是，有一份蓝图(或一套蓝图)将有所帮助，并且是DeborahNolan组织的后续“十字路口的研究生统计学教育”研讨会的目标之一。
几个限制因素使得难以在如此广泛的领域中提供培训。首先，大多数大学都不想牺牲他们认为是基础的课程和经验。其次，似乎很多院系太小而无法在如此多样的专业范围内提供适当的培训，并且由于学生之间的竞争，各院系之间往往有交流资源的阻碍因素。除了对现有课程进行改造或现代化之外，博士课程还应考虑非传统的学习机制，如块状课程、沉浸式体验、实验室轮换和可解决一个或多个这些限制的共享课程技术。但是，这些替代方案在获取、认证、质量标准、可持续性等方面提出了尚待解决的其他问题，NSF、专业协会和其他机构可能可以改善这些问题。许多计划已经为学生提供了“轨道”，我们认为所有计划都应朝这个方向发展。在未来的讨论中可以考虑核心培训的后续轮换的“医学院模式”。
由于缺乏对这些学科的深入了解以及对某一领域文化的了解，统计学家可能难以与其他科学领域的研究人员进行有效合作。解决这个问题的一个办法是为希望成为在科学领域有深度投入的应用统计人员的人设立研究生或博士后奖学金。这将使这些统计人员能够参加其合作者部门的课程(或从事其他类型的培训)，甚至能够参加该部门，以更好地了解该学科的文化。可以与有关人员举行年度会议。实际上，爱荷华州立大学已经有这样一个共同专业博士课程程序。
5.2谁将是统计学博士计划的理想申请人
二十年前，本科生在统计学专业学习的情况极为罕见。成功的博士申请人通常拥有数学或物理学的本科学位，或者较少的是在其他基于经验的领域，如经济学，如果他们有足够的数学背景(通常达到一年的数学分析水平))。有趣的是，尽管统计学逐渐成为越来越受欢迎的本科专业，但这种结构似乎变化很小。与科学的其他学科相比，显然不愿意录取主修统计学的本科生进入统计学博士计划，这是不寻常和不幸的。
为了实现本文中概述的转型目标，我们需要招收更多具有计算，写作，沟通和领导才能背景的本科生。应鼓励具有较强数学技能的本科生加入我们的课程，但他们还需要这些额外的职业成功因素才能获得有效的博士学位。许多本科生统计和数据科学课程已经调整了他们的数学要求。为打算申请博士课程的本科专业创建一个独特的课程可能有助于解决这个问题(这通常通过数学的辅修专业或双专业进行)。重新制定博士计划的第一学期课程提供基于数学准备的多种途径，可能是使研究生群体多样化的另一种方法。
扩大统计范围的一种方法是招收更多种类的学生。上面讨论的专用轨道类型可能会适应这种增加的异质性。但是，大多数计划仍会希望所有学生完成一些核心理论课程，这可能对数学或计算机背景较弱的学生构成挑战。我们必须找到一种方法，让那些在核心领域准备较少而进入计划的学生适应。
5.3提供更有效的培训
在明确培训博士生的沟通和演讲技能(上文讨论)和支持教学技能发展之间，也存在着其他协同作用。博士交流课程可以保留一些明确的教学重点。但是即使没有这一点，我们也希望沟通技巧的发展将对教学能力产生积极的溢出效应。
也将欢迎在大学一级提出解决方案的创造性解决方案，特别是如果将示范方案的制定与材料传播计划结合起来，以便其他机构更容易采用这种努力；参见例如美国统计协会/美国数学协会的统计教师准备指南
5.4专业和NSF在研究生教育中的作用
专业和NSF在理解和指导这些选择中应该扮演什么角色？收集关于统计课程的主要特点和各大学培训方法的数据的激励措施和资源将具有很高的效用。更有用的是尝试了解这些培训模式与随后的职业轨迹或其他感兴趣的结果之间的联系。这将需要额外的并且可能需要更多的劳动密集型数据收集。此外，创建基础设施将是至关重要的贡献，因为它可以确保这不仅是“一次性”的努力，而且可能导致持续进行的自我评估的努力。
NSF可以支持讲习班、训练营和暑期学校课程，提供课程开发和教学的最佳实践培训。将这些类型的培训机会与旨在以高级方法培训学生的培训机会结合在一起的想法提供了一种特别有创意和协同作用的选择。例如，可以作为暑期学院的一部分提供培训，该培训既为学生或讲师提供了在方法领域的专业知识，又提供了培训和材料以支持他们回去向所在机构的其他人教授所学到的方法。
严谨的研究和对研究生教育的不断反思将确保我们培养下一代统计学家成为数据科学时代的领导者。鉴于统计领域的重点是通过对数据的分析来了解世界，让我们感到震惊的是，我们很少尝试了解自己的专业以及我们通过数据收集和分析有效地培训学生的能力。但是，这项活动很少有激励措施。我们应该持续评估至少某些选择的影响，而不是一味地投入有关最佳课程和最佳实践的辩论。为了支持这种自我评估，NSF可以为下列研究创造资助机会:考察课程的批判式选择、资格考试、课程计划结构、培训机会、教学方法等。这些评估的范围覆盖从数据收集工作(职业道路、工作满意度等)到关于应届毕业生感到缺少的技能的定性研究、关于当前培训实践状况的描述性研究，或比较不同培训策略有效性的随机实验。