中国社会科学院国际法研究所是中国国际法学的研究重镇。她的前身是中国社会科学院国际法研究中心、中国社会科学院法学研究所国际法研究室和最早时的中国社会科学院法学研究所国际法组。
小
中
大
摘要：在网络社会、大数据时代和算法社会重叠交融的新技术时代里，算法赋能带来了社会权力和权利的增量，但增量的配置并不均衡，而是加剧了私权利、公权力、私权力的失衡。通过把握算法社会的时代特征，进一步认识算法权力的产生基础、运作规律及其主体特性，在分清利弊的基础上，建构个体走出算法权力规训、实现算法权力规制的有效方案，推动私权利、公权力、私权力的动态平衡，确保算法社会始终围绕效率、公平、自由和善治的共同目标发展。
关键词：算法权力；赋权；规制；私权力；平衡
“在移动互联网、大数据、超级计算、传感网、脑科学等新理论新技术的驱动下，人工智能加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征，正在对经济发展、社会进步、国际政治经济格局等方面产生重大而深远的影响。”我们日益进入一个网络社会、大数据时代和算法社会交融的新技术时代，人力、算力和脑力高度融合，生活要素数据化、互联化、智能化，线上与线下的界限逐渐模糊。
一、"三位一体"的算法社会
算法并不是二十一世纪的新发明，其有着悠久的历史。代数的创造者、九世纪的波斯数学家阿尔·花拉子密在数学史上最早提出了算法概念。上世纪30年代，克劳德·香农在莱布尼茨二进制计算数制和布尔运算符的基础上发展出了现代计算机语言。阿兰·图灵发明了图灵机，并在二战期间带领数学家使用算法破译了德国的密码。但是，我们当前对于算法社会认知的时代背景已经有了革命性的变化。作为一项当代科技，算法是“一种有限、确定、有效并适合用计算机程序来实现的解决问题的方法，是计算机科学的基础”。算法对社会关系的影响，要与当前互联网、大数据应用的“三位一体”发展结合在一起来考察。
第一，算法的应用是与互联网的应用紧密联系的。互联网技术的成熟和广泛应用，使线上线下的空间实现了普遍互联，快速流转交互不同场景的数据。作为时代的基础设施，互联网已经在从1.0时代的“去中心化”向2.0时代围绕网络平台的“再中心化”演进。
在互联网1.0时代，个体借助互联网获取信息和参与表达的能力和机会，较之以往有着质的提升。互联网的无中心化、匿名性特点也使得公权力的管制能力受到限制，以至于有网络空间的《独立宣言》宣布：“（旧世界）关于财产、表达、身份、运动的法律概念及其情境对我们（网络空间）均不适用。所有的这些概念都基于物质（世界），而（网络空间）这里并不存在物质实体。”
为了利用好和制衡住平台私权力，各个国家都在不断加强有关平台责任的制度设计。如2019年3月，美国民主党总统竞选人、参议员ElizabethWarren在博客上发文提出了一个加强网络平台监管的震撼方案：通过立法将全球年收入在250亿美元以上的向公众提供在线交易和连接第三方的平台企业认定为平台公共设施，禁止这些平台企业同时拥有平台公共设施和平台上的其他第三方业务，要求平台公共设施遵守公平、合理、无歧视的交易规则，禁止其与第三方共享用户数据。我国新施行的《电子商务法》更是专门将电子商务平台经营者作为一类独立主体予以规范，针对其可能滥用基于平台资源的“私权力”，系统地设定了针对电子商务平台企业的管理要求。
进入算法社会，算法本身的复杂性和高技术特征，将会进一步强化网络平台企业的技术能力、信息能力。更何况算法本身的商业模式极为有限，巨额的经济投入除了来自政府公共资金的支持，就是来自那些可以很快利用平台资源优势，将算法资源直接用于解决平台内商业问题或者直接商业化的网络平台企业。事实上，目前，算法的顶级研究团队除了在顶尖的科研机构，就集中于主要的巨型网络平台企业，包括谷歌、Facebook、亚马逊、微软、IBM、百度等。因此，算法社会与网络社会的叠加，不仅不会扭转从“去中心化”向围绕网络平台企业“再中心化”发展的趋势，而且很可能会催化进一步围绕网络平台企业“强中心化”的新态势。
第二，算法的应用离不开数据，算法社会的维系离不开巨量廉价甚至免费的、可以轻易获取、收集、分析的大数据。如果说“数据是大数据时代的新石油”，那么，大数据就是算法机器运行的燃料。算法依靠大数据技术的全量数据“投喂”，不断训练、运算、学习，在某一或多个场景之下渐趋完善，能够考虑全部的应用场景和常规动态，从而获得完整逻辑和主体理性，不再依靠人力纠正干预，就能独立完成任务、修正模型、自我完善。
由上可见，网络社会、大数据时代和算法社会“三位一体”的发展共同推动了网络平台私权力的扩张。同样，公权力也在“三位一体”的算法社会中，凭借国家资本、公共数据资源的优势获得了新的作用空间和支配方式。尤其是，相对于互联网公司所掌握的数据仍局限于计算机终端所产生、记录的浏览数据，公权力还掌握着既有经济社会以及劳动关系所产生的规模更庞大的数据。
二、算法赋权与算法权力
算法社会的赋权包括对社会权力和社会权利的增量及其再配置。但从上文不难发现，在“三位一体”的算法社会发展中，权力的增量要大于权利的增量，这也正是本文提出算法规制的背景；平衡这一增量的不对称，则是本文提出算法规制的目的。
（一）算法赋能权利
算法正在凭借着日益增强的计算能力，在海量数据的投喂以及机器学习中不断走向成熟，通过与互联网络的链接，开始逐步实现与整个社会的深度融合。以海量数据为基础、以互联网为载体、以机器学习为路径的现代算法技术已成为不可忽视的力量。算力的提高、算法技术自身的进步以及算法应用的多样化，赋予了各类私主体更多的权能和社会福利。
（二）算法赋能权力
本文所分析的算法权力正是在“三位一体”算法社会中得到增强的公权力和网络平台私权力。从算法权力的本质属性来看，算法权力依然未脱离传统权力的概念，正如郭道晖所言：“权力是一种社会关系。某个主体能够运用其拥有的资源，对他人发生强制性的影响力、控制力。”运用算法的主体可以通过算法进一步强化对其他主体的影响力和控制力。借由评级、分类、预测和数据处理，算法实际上是在作决断，选择某些方向、结果而不是另外的方向、结果。
作为现代政治和治理的重要标志之一的官僚主义，背后的隐性原则假设就是：效率是社会制度最为重要的目标。官僚本身依赖技术性计算，面对大数据时代的信息洪流，更加深了对利用信息技术控制、处理信息的依赖。政府作为公权力主体可以利用自身的权威，控制算法进入公共政策与公共治理的体系之中，实现政策制定与治理过程的算法化，完成其治理目标。在算法社会中，在政府政策与治理过程中应用算法能够减少监管成本，但算法的“专断”与“傲慢”同时导致了政府治理的“去政治化”，造成了公民与政府的疏离，容易导致政治信任缺失以及政治极化的情况出现。
更重要的是，随着网络平台企业的成长，公权力得以跳出互联网1.0时代难以直接监管的困境。对于这些网络平台企业而言，即便没有实名制的法律要求，借助大数据和算法，其为了盈利目的也会尽可能地识别用户，并有针对性地提供“服务”。公权力利用这一点，就可以把监管“嵌入”网络平台企业的服务之中。这种“嵌入”的方式可以是直接通过立法设定公法上的义务，命令网络平台企业履行监管职责；也可以是间接通过平台连带责任机制推动网络平台企业实施管理、处置。这种网络平台私权力的助力，显然也是公权力得以增强的重要途径。
从算法权力的可能趋势来看，随着算力的提高、算法技术的成熟、人工智能技术水平的不断上升，算法权力凭借着计算优势走向思维优势之后，就会“脱离人类的掌控并演化成人工智能对于人类的霸权”。这时，算法对人类的规训将彻底转向算法对人类的控制。
“智能技术将成为重要的‘权力’元素，无论是政府还是公司、社会组织，只要掌握了大量的数据等智能技术，其权力就会得到强化。”在算法社会，算法作为私权力的新基础、公权力的新能量，它的强化会扩大公权力主体和私权力主体的权力边界以及执行能力，加大公民空间被其侵蚀的风险。同时，从算法的本体出发，“算法和人工智能不仅为提供我们服务，并且同时在研究我们以及替我们做决定”。算法可能会在人类接受其服务的过程中给人类的行为模式带来潜移默化的影响，其存在及成长对于人类社会来说具有潜在的不可控的风险。无论是算法本身的不可控风险，还是算法对权力的扩张所起到的重要作用，我们对算法权力的兴起必须要保持清醒的认识以及相应的警惕性。
（三）算法赋权中的不对称与失衡
算法权力的作用直接表现为算法所产生的影响力与控制力，其深层次的影响在于对个体与社会之间关系的重塑。当政府机关利用算法应用行使公权力时，其造成了治理的“算法化”与“去政治化”，人们必须普遍遵循政府机关所预设的算法规则。例如，公共区域遍布人脸识别的监控探头，人们须接受智慧交通系统所开出的交通罚单。这种无处不在的算法一方面便利了政府监管，另一方面也使得每个正常生活于现代社会的个人处于时刻被算法应用监听、监控、监督的状态，形成了一种控制型社会。这种社会不利于人类的多元化发展，限制了人类成长的潜在可能性。
平台通过算法行使私权力则更加具有针对性与特殊性，因为平台企业是通过提供产品或者服务来获取用户的个人数据，有目的地进行个人数据的分类、评估，描绘用户画像。算法应用的处理过程缺少收集的正当程序，缺乏透明度，相应的问责机制、政府和第三方主体的监管监督机制也出现了缺位，这导致了“信息茧房”、“算法歧视”、“算法杀熟”等问题的出现。平台企业甚至利用与用户之间极度的信息不对称，不履行相应义务，由此产生了负的外部效应。当平台开发算法应用、建立算法规则时，其应该承担算法错误、算法崩溃对用户造成的损失。但往往当算法错误发生时，平台企业就以“技术错误”而非“主观错误”、用户对算法自动化决策知情同意等理由逃避法律责任，用户不得不自行接受算法崩溃给自身带来的负面影响。这种情况一旦大面积出现，就会从个人损失转变为整个社会的损失。
此外，“由于大量内部参数的不可解释性，深度学习本身存在算法黑箱”。虽然并非所有算法都不可解释，但复杂、迭代发展的算法本身必然带有非专业人士难以理解的智识鸿沟。信息时代以来的知识不对称在算法社会里将更加失衡。
更重要的是，生活在大数据时代的个体在不同场景中的“留痕”数据都成为个体的数据标签。这些数据标签被互联共享后，将成为算法应用识别数据主体的标准和依据。据此，算法的控制者和使用者可以对数据主体的求职、授信等作出判断和决策。这种“大数据+算法”所产生的新型权力针对受众作出了支配性决策，而受众却很可能因为对“算法黑箱”不明白，或者因为决策程序不透明而不知情，不知不觉地被动接受。在算法权力之下，个体的权利、机会、生活都受到了无形的控制。一个围绕算法权力的新型社会随之塑造而成。
三、算法权力的主体：人与机器
面对算法权力滥用带来的种种危害，我们需要冷静思索其背后存在的表象问题、发生机理和深层原因，知其然更应知其所以然。一定时期的社会认知取决于其存在的社会环境，我们对算法的认知也是伴随算法的应用发展而逐渐深入。反思算法权力滥用的种种问题产生的原因，既有客观规律认识的不足，也存在主观理解的偏差，但是究其根本，仍是对算法主体性的认知存在误区。
基于对算法主体性的不同认知，在现阶段，对算法权力滥用主要存在唯主观论和唯客观论两种声音，这在增添认知维度的同时，也存在着各自的缺点与不足。
（一）唯主观论
唯主观论认为，算法权力的背后就是人。算法不具有主体性，人力可以控制算力，算法权力的滥用完全是幕后设计者、控制人的违法行为导致的，其风险的发生完全是主观人为的。因此，算法权力滥用追责的真正对象应该是幕后的设计者或控制人。其理由在于：
第一，受制于技术发展水平，算力的介入程度尚不足以改变人力控制的基本格局。弱人工智能时代的算法仍不具有主体性，算法的判断、分析、决策完全基于人类的操纵控制，其本身没有责任也无法承担。正如有的学者所言，机器背后仍是有权者对多数人的控制。区别在于，在人们面前出现的是一台更加懂你的机器，还是一个善于伪装的人。
第二，人类基于个人喜好和价值判断，倾向于将固有价值注入规则。在具体条件下，完全客观的情形是不存在的，单个个体的分析判断受成长环境、教育程度、经济能力等因素制约，难免受到主观因素的影响。在一个群体中，众多个体很容易相互影响，陷入“集体无意识”的状态，即单纯人数的增加可能带来个人偏见的成倍增加，不能简单地通过算法背后人数的增加就消弭其价值判断的偏好。因此，若发生人力介入，那么就不可能避免算法的价值偏好。
（二）唯客观论
唯客观论与唯主观论完全相反，认为算法具有主体性，算力可以控制人力，算法权力滥用的风险是不可控制的，其风险来自于人力以外的客观因素，权力滥用的追责对象应该是客观风险要素的控制者，如算法技术应用的审计者或监督人。其理由在于：
第一，算法的生成、训练、应用离不开数据，但数据收集本身可能存在问题。不能分割来看算法与现实社会，所需要的数据、所设定的场景都是来自现实社会。算法本身也是社会发展的一个体现，算法的社会影响也是社会在发展中重构的一部分。正如有的学者所说，算法离开数据如无根之木、无源之水，而数据失去算法则是空洞无力、一文不值。随着人类行为全程留痕，各种数据采集终端快速普及，数据孪生的程度越来越高，真实社会的数字化和问题的标准化趋势愈发明显，这都为讨论算法提供了丰富的场景和语境。但同时，社会要素的数字化投射并非完全真实、客观完整，极有可能在收集过程中损耗、膨胀或是收缩，或依据旧有数据生成算法规训个人的新行为，即“以（旧）人度（新）人”，这都在数据源头为算法滥用埋下隐患。有的学者甚至指出，算法决策中的歧视问题，相较于设计者、控制人的故意，此前已存在于社会中的歧视数据的沉淀造成的算法歧视问题往往被忽视，却可能更为突出。
（三）从人工智能发展层级看主体性
这三个问题的背后实际上涉及了对人工智能不同发展水平的判断。关于人工智能发展有“两层级”说，即分为弱人工智能和强人工智能，前者为没有自主意识的智能机器，后者是可以达到人类水平的有知觉和自我意识的智能机器。也有“三层级”说，基本上在“两层级”说的基础上增加了第三级：超人工智能，即“在科学创造力、智慧和社交能力等每一方面都比最强的人类大脑聪明很多的智能”。虽然人工智能的不同发展层级可以同时并存，但这基本上反映了人工智能发展的不同发展水平。
本文认为，以人类为参照系，“三层级”说更加全面：第一，远低于人类水平的弱人工智能仍是机器工具，并不存在将之视为主体的必要性和价值。第二，相当于人类水平的强人工智能，将对人类既有法学理论和法律规则带来重大挑战，很可能要像物权理论和制度适应无体物一样接纳这一新的主体，相应的法学研究，无论是关于主体权利还是关于法律责任都有其价值。第三，至于远高于人类水平的超人工智能需要什么样的理论和制度，显然已经不是远低于其水平的人类所能思考和设计的，相应的法学研究做了也没有多大意义。在那个时代，如果人类运气好的话，可能会被人工智能当作“宠物狗”。
按照这一思路，我们应该在有研究价值的弱人工智能向强人工智能发展的技术阶段，进行认知和研究算法权力。就当下的技术发展现状来看，我们还处于从弱人工智能向强人工智能发展的初级阶段，人还是算法应用的主导者。当然，这里的人包括自然人、法人和非法人组织。
一方面，这意味着，在大多数情况下，算法的背后是人而不是机器在真正发挥决策作用。算法驱动下的人工智能，按照人设定的逻辑，判断、决策、执行各个任务环节。就像有的学者指出的：首先，是人设计、编程了算法，将之连入数据库激活；其次，是人决定如何、何时以及在何种目的下使用算法；再者，人“投喂”算法的数据，是由人选择、处理的，且数据中存有的歧视和不公“残留物”也是人留下的；最后，尽管会讨论智能机器做了什么，但其后果实际上也是在调整人与人的社会关系。“算法的运用是人类所主导的，带有人类的价值观，常受到来自经济、政治等非技术力量的影响，在看似客观的代码中运行着人的意志。说到底，无论算法如何智能，以人为本，明确算法工程师、新闻从业者、社会管理者的责任与价值观，才是根本。”
四、从算法权力的规训到规制的算法权力
在迈向强人工智能时代的漫漫征途上，我们仍然要对算法保持清醒的认识，警惕算法权力对人的规训所可能带来的负面影响，尽可能走出个体被算法权力规训的境遇，实现对算法权力的有效规制，再现算法赋能的私权利、公权力、私权力的动态平衡，推动“三位一体”的算法社会始终围绕效率、公平、自由和善治的共同目标而发展。
（一）算法权力对人的规训
掌握算法的公权力或者私权力主体会通过收集大量的原始数据，利用预设的算法程序对其进行分类以及分析，从而获取大量可供理解以及利用的信息。根据信息不对称理论，掌握信息多的一方会比掌握信息少的一方更具有优势，这种优势地位会使“后者的福利受到影响”。如政府机关通过大量监控探头以及人脸识别技术掌握社会人口流动、个人踪迹等。如平台企业通过数据抓取进行用户画像，轻易地了解到每个用户的行程踪迹、爱好喜好等。这种优势地位会自然导致对弱势群体的“福利”的损害，如政府机关利用算法程序的解释难、透明度低等特点摆脱问责或推诿责任，平台企业制造信息茧房、算法歧视、算法杀熟等，实际上都是算法应用的控制者利用自身的信息优势地位，对算法应用的参与者和使用者权利的侵犯。
算法应用一旦进入公共管理的规则或者平台运行的规则之中，除了少数个体可以超越算法规则的限制，算法应用的控制者与使用者都必须接受算法规则的约束以及规训，无论是行政主体或行政相对人，还是平台经营者或平台内用户，都会在不同程度上受到算法规则的约束与限制。如在一些电商平台上，平台算法会对平台内经营者进行信用评价，并且以发货速度、好评率等作为评价指标，决定是否对其进行推广；平台算法也会对平台消费者进行信用评价，如根据退货率、退货完整性等来决定是否给消费者的退货过程提供便利条件；平台自身也要遵守其制定的规则，否则也会遭受消费者或者平台内经营者的举报。各主体在接受算法规则的约束时，还会产生对算法程序的依赖，如平台客服在接受用户投诉或举报时，往往采用的是算法所制定的标准化流程，不符合形式要件的举报无效甚至无法被客服阅读。使用淘宝、京东等电商平台的消费者往往依赖于平台内的个性化推荐，平台推荐的产品往往成为消费者的第一选择。
（二）对算法权力的规制
在当下，我们处于从弱人工智能时代向强人工智能时代发展的起步阶段，算法易成为其背后的权力主体侵犯个体权利与自由空间的工具，其本身也会出现崩溃、失灵的问题，对人类经济社会的发展产生重大影响。
与一般的技术文化一样，算法同样要求规律性、普遍性，排斥特殊性、个别性。如果这种情况制度化，必然危及人类生活的多样化，也会扼制经济社会活动的创新和活力。为了避免算法权力对个体权利的制度化压迫，有必要尽快构建有效的算法规制路径，在适应算法社会发展的整体趋势、促进算法技术的良性进步的同时，尽可能地保有个体的空间和自由。
第一，坚持包容审慎。算法是推动计算机技术以及人工智能技术发展的核心驱动力之一。算法技术可以通过深度学习，凭借其所具有的优秀的计算能力，为政府治理以及经济发展提供创新助力。当今世界各先进国家无不将大量的人力物力智力资源投入到算法研究中。算法水平的高低影响一国综合实力的大小。国家间算法竞争力的强弱，甚至会带来国际间的算法权力，形成强者影响、支配的国际态势。因此，从国家主权利益来看，国家算法权力只能增强不能削弱。对算法的规制绝不可以因噎废食、削足适履，应正视算法对人类能动地认识世界和改造世界所起到的促进作用。正如“人工智能女王”卡塞尔教授所言：“我们不能因为未来存在往坏的方向发展的可能，就放弃往好的方向创造未来的努力……人工智能的未来掌握在我们手中。我们决定怎么使用它，我们决定未来是光明的还是黑暗的。如果找错问题，就不可能找对解决方法。”对算法的规制恰在于实现算法光明的未来。因此，对于尚处于创新发展中的算法应用，只要不危及公共利益和个体基本权利，可以考虑设置一定的“观察期”，防止其刚出现就被管死。
第四，实现算法社会中私权利、公权力、私权力的再平衡，除了对算法公权力的控制以及算法公权力对算法私权力的规制，还有赖于个体权利的充权和第三方专业力量的助力。一是，政府要加强算法知识和应用的公众教育，缓解算法应用中的知识不对称，让个体可以识别算法陷阱，增强知情、选择的能力。二是，鼓励第三方专业力量和舆论监督算法权力的运行，对发现的线索，有关权力机关应当及时介入调查。
结语
进入“三位一体”的算法社会，算法权力日益显著，在平台经济的互联网2.0时代，已失均衡的私权利、公权力、私权力的关系更加失衡。个体面对公权力和网络平台企业私权力的支配、影响愈显无力。尼葛洛庞帝曾说：“我们无法否定数字化时代的存在，也无法阻止数字化时代的前进，就像我们无法对抗大自然的力量一样。”类似的，我们也可以说，“我们无法否定算法社会的存在，也无法阻止算法社会的前进，就像我们无法对抗大自然的力量一样”。但是，在超人工智能来临之前，我们对于人类现代法治理论和制度，还是要保有充分的自信：只要能把握技术规律、坚守法治理念、创新制度机制、积极采取专业行动，在释放权力动能和功效的同时，就会在算法社会继续保有并丰富个体的权利与自由。