建立在算法模型基础上的人工智能给社会生活带来巨大便利，如网络约车、区块链、互联网金融等，促进了社会进步，但其潜在的弊端不容忽视。2016年，哈佛大学肯尼迪学院发布的分析报告指出，目前针对犯罪倾向性预测的人工智能系统，无论技术人员如何调整机器学习的策略和算法，人种和肤色都成为无法抹去的高优先识别变量。那么，看似技术中立的算法为什么会产生歧视？
算法，本质是互联网的编程技术，但这种编程技术绝非中立，仍然存在科技错误转变成伤害，进而导致社会不安与仇恨的现象。其实，算法歧视在很多情况下是难以预料的、无意识的副产品，而非编程人员的有意选择，更增加了识别问题根源或者解决问题的难度。
算法歧视是如何出现的？首先，算法结果建立在其所使用的基础数据之上，基础数据的不完善将直接影响算法输出的科学性。数据本应是社会现实的反映，但如果编程数据本身不正确、不完整或过时，输出的结果则会以偏概全。比如，限于目前的裁判文书上网情况，各地关于类案类判制度的试点也存在“数据孤岛”等“先天不足”，这不可避免地将导致算法输出的结果缺乏公平性。其次，算法的设计、目的、成功标准、数据使用体现了设计者、开发者的主观选择，他们可能将自己的偏见嵌入算法系统，这导致算法继承了人类决策者的种种偏见。再次，算法决策是在用过去预测未来，而过去的歧视可能会在算法中得到巩固并在未来得到加强，因为错误的输入形成的错误输出作为反馈，将进一步加深错误。最后，算法决策不仅会将过去的歧视做法代码化，而且会创造自己的现实，形成一个“自我实现的歧视性反馈循环”。
算法歧视的治理难点
人工智能的算法决策具有典型的“黑箱”特点，连设计者可能都不知道算法如何决策，要在系统中发现有没有存在歧视和歧视根源，在技术上非常困难。如果按照现有的法律责任规则，由于系统的自主学习、决策能力很强，它的开发者无法预测最终将输出什么结果，那么“黑箱”的存在难以查找事故原因，将不可避免地产生责任鸿沟。除了如何通过设计确保算法和人工智能系统的公平性外，算法的治理难点还有以下方面：
首先，法律工具主义思维盛行。工具主义是指将各种科技成果视为解决人类问题、增强人类能力的工具，其在法律领域是实用主义法律观的体现。电脑量刑、类案类判输出的结果之所以往往为民众质疑，是因为只讲手段不问目的的工具主义割裂了法律和道德的关系，导致输出结果无法取得社会认同。工具理性取代价值理性的弊端在现代化早期已经暴露无遗了，技术本身并不是目的，也无法自动形成自己的目的。
其次，算法的透明性问题难以公开。算法的输出是“黑箱”过程，即便人工智能最终的应用出现严重后果，算法的过程也可能无从得知。人们无法判断损害到底如何造成、更不清楚算法本身是如何编写的。对于掌握先进科技的企业而言，算法往往属于企业的“商业秘密”，是受到法律保护的“黑箱”。当利用犯罪风险评估软件对犯罪嫌疑人进行评估时，决定司法判决结果的就不再是规则，而是代码。而编程人员将既定规则写进代码时，不可避免地会对这些规则进行调整，但公众包括法官并不知晓，无从审查嵌入到自主决策系统中的规则的透明性、可责性以及准确性。在缺乏必要的问责机制的情况下，无法矫正的算法歧视对司法是一种潜在的危害。
最后，运用法律规制算法歧视在操作层面还需考虑以下方面：第一，公平被量化为计算问题会带来风险吗？第二，如果公平是机器学习和人工智能的目标，谁来决定公平的考量因素？第三，如何让算法、机器学习、人工智能具有公平理念，自主意识到数据挖掘和处理中的歧视问题？
通向公正的算法规制
法律只有能够以直观、明确的方式对人工智能的决策进行追踪，才能够保证人工智能在合法轨道上运行。如果算法继续保持神秘并且掌握人工智能技术的企业的重心始终围绕利润而非公正与平等，那么，人工智能将很难取得公众对其在司法应用中的充分信任。发展人工智能可以促进社会进步，但是法治公正需要考虑技术革新和权力结构变化所带来的新问题。2016年，英国下议院科学和技术委员会发布《机器人与人工智能》，特别强调决策系统透明化对于人工智能安全和管控的作用。世界科学知识与技术伦理委员会也发布关于机器人伦理的初步草案报告，提出应当在机器人及机器人技术的伦理与法律监管中确立可追溯性，保证机器人的行为及决策全程处于监管之下。
首先，对人工智能的法律治理中，必须确立可追溯性原则，让机器人行为决策全程处于监管之下。如此一来，人类的监管机构不仅能够理解智能机器人的思考决策过程以及作出必要的修正，而且能够在特定的调查和法律行动中发挥其本应有的作用。只有保证人类能够全面追踪机器人思考及决策的过程，我们才有可能在监管机器人的过程中占据主动权或者事后进行全面的追踪调查。
其次，立法应将透明、公开、程序合法、说明理由等义务赋予人工智能研发机构，使算法等技术化的监控和决策手段不再是无法被问责的“黑箱”。同时构建技术公平行业规范，通过设计保障公平的实现，通过技术正当程序来加强自主决策系统中的透明性、可责性以及被写进代码中的规则的准确性。例如，谷歌大脑团队公布了“可解释性的基础构件”的研究成果，将算法比喻成“人工神经网络的核磁共振成像”，这种开源化处理使得其他技术人员能够在此基础上编写适用于不同算法和场景的解释性算法。
最后，需要加强法律和技术的融合发展，确保法律人员能够理解、掌握算法的原理和应用。法律规制算法不能仅依靠立法者和规制者的单方面努力，而需要法律人与技术人员的合作。通过法律人向技术人员解释法律规则的要求，技术人员根据要求设计出符合法律要求的算法——法律技术工程师这一职业正在悄然兴起。
（作者单位：安徽大学法学院）
最高人民检察院（100726）北京市东城区北河沿大街147号010-65209114（查号台）010-12309（检察服务热线）
为了获得更好的使用，建议使用谷歌浏览器(chrome)、360浏览器、IE11浏览器。