歧视，从字面上看其意思是有区别的予以看待：歧视，在本质上与不平等、非正义对等。对于歧视的概念在法律上的界定，从对不同国际公约的表述中“可以将歧视概括为基于外在环境和自身情况的差异，使得人们对他人或者特定群体因种族、性别、民族、宗教信仰、社会出身等存在的不同而产生的损害其机会或者待遇平等的一种概括性固定看法”。
算法歧视的本质是由算法模型导致的对特定个人或群体的系统性的、重复性的不合理对待。因为算法歧视是计算机系统在收集和分析数据的过程中自动生成的，所以也有学者称之为“自动化歧视”。
2.算法歧视的种类
(1)数据带来的歧视
从数据的处理上看，大量的数据供给并不是都能直接拿来利用，这就需要将数据通过一定的方式变成能够被采纳的描述。如通过科学合理的模型建造和数据解读。若在模型建造上发生错误，或者数据解读训练不够，或者有意为之以达到自己想要的结果，这些到最后都会使结果偏离客观真相。
前述无论是数据的采集还是对数据的解读，一旦发生偏差和错误就可能会造成算法作出有失客观、公正的决策，并且算法决策是用旧有数据提取的信息对未知目标进行的预测，过去的数据造成的歧视在得到算法的确认后都将每一次的输入生成的偏差结果作为下一次输入的反馈。可想而知，每一次的结果偏差将比上一次的更大。整个算法运作系统变成了类似“声反馈自激振荡”的歧视性循环，尤其是在受众颇多的公众决策中会造成一部分人因此而受到歧视。
(2)算法引起的歧视
算法是开发者、设计者主观思维的代码化，它从开始的设计目的、成功与否的指标、筛选数据、反馈验证等一系列流程，都体现着开发者、设计者的主观意愿。如果他们的偏见意识被嵌入进算法系统，那么算法就先天性的具备了偏见“基因”。在包含有深度学习的算法运行过程中，可能会产生非事先设定的决策路径，而得出具有“黑箱”的决策。因此，这种机器自主学习的算法也同样会产生具有歧视的决策。
按照歧视被识别的难易程度可以将歧视划分为“直接歧视和间接歧视”。《宪法》中规定有对民族、种族、性别等禁止性歧视的平等性原则，若用算法直接表达出具有以上禁止性歧视特征的评价的话，尚可直接寻求通过司法途径予以约束。当算法应用中通过对数据的整合，从中归纳出一些共性特征后，以此特征为依据将会作出带有评价性的决策，这其中也会包含一些歧视性的评价。而这些隐藏性的歧视即——间接歧视却不易被发现。比如，某个算法对大量的数据分析后，发现某种工作岗位，大多数都是男性群体并且该岗位薪资普遍较高，那么该算法模型在投递招聘信息时就会有选择性的投递给男性群体，从而忽略了女性群体的平等机会。这就势必会对适合此岗位的女性群体造成歧视。此外，算法会从大量数据中分析出数据主体是否残疾、身体健康状况等隐私特征，并可能以此对数据主体作出不利的评价，该歧视就不易被人发现。可以看出算法歧视的一个主要原因是算法错误的判断了不同目标之间的逻辑关系，即错误的判断了该岗位匹配男性优先于匹配女性。跟海量数据的“扒”取相似，算法决策往往侧重于关联性的强弱。一旦被算法判定有足够强的关联性就会被当作对目标对象作决策的根据。
少数个体会被算法歧视，群体也未能幸免。“根据EdmundS.Phleps提出、DennisJ.Aigner等学者认为当劳动信息不完全的前提下，雇主依据统计的群体性特征作雇佣和工资决策时就会对处于不利的群体造成就业和工资的歧视”。假如，两位求职者，其工作经历、学历等方面不相上下，其中一人第一学历是名牌高校，另一人第一学历是普通高校，若雇佣者仅仅根据学校名气为依据便录取了第一学历是名牌大学的毕业生，而不去对工作能力方面做进一步的考查，对第一学历为普通高校的毕业生来说，构成实质上的歧视。若将该招聘模式做成算法，以此规律作统计依据，这种决策就会对该类群体产生算法歧视，并且这种歧视将会是大范围的。毕竟名牌大学生相对于普通大学生在数量上而言，差距明显。即使普通大学里的优秀生，也会被这种算法歧视损害权益。
3.算法歧视的特征
(1)机制化
虽然人脑的认知模式是科学界的终极奥秘，始终无法消除歧视和偏见，心理学研宄表明做出包含歧视性决定的人可能往往没有意识到其决策具有歧视，尤其是面对需要快速或自动回应的问题时，但是人类的决策机制通常是个别的和随机的，并且不具有连续性。与之相反，算法决策系统则是普遍的和持续的，往往具有很高的稳定性。当人类对算法决策的使用越来越频繁，有缺陷的算法可能为它的扩展性和重复性以更快的速度、更大的规模造成损害。人类在场景互动过程产生的主观感觉或价值判断总体上是一种可控的选择，而且人类的决策所产生的歧视往往是分散的，通常不会造成集成化的影响。因而，当算法决策取代人类决策时，它们往往会带来一种“不可避免的色彩”(PatinaofInevitability)，这种假象使得算法决策的结果看似是公平的，实际上很可能是缺乏根据的。
就目前技术发展的现实图景而言，大数据与算法的结合还不足以构成一个感知系统，即便深度学习能够借助随机的、自主的试错来不断趋近程序设定的目标，但是它们仍然不能用于处理具有复杂性、情感性以及创造性的事务。在这种情况下，人工智能作为自动化的决策系统，若输入包含歧视性的数据，那么产生具有歧视性的结果就几乎无法避免，而且它还会通过机器学习实现自我迭代，从而系统性、重复性地造成社会不公平，可以说恰恰是人工智能中持续生产的偏见，使得人类充满歧视的历史迈向了一个全新的阶段。
由数据建模产生的算法歧视具有机制化的特征，使得它对平等权的侵蚀更加广泛和深入，这导致“当今世界大多数的不公平，并不是来自个人的偏见，而是来自大规模的结构性偏见”。而人类大脑的认知系统还没有进化出察觉结构性偏见的能力，在这个人工智能时代，算法充斥人类社会各个角落，这种状况对于保护平等权来说不啻一个真实的坏消息。
(2)隐蔽性
算法歧视的隐蔽性主要归咎于算法黑箱，即自动化决策算法通过对原始数据的自动化分析产生高级认知的过程是缺乏透明性的。简而言之，所谓“算法黑箱”就是指在人工智能数据输入和结果输出的过程中，存在着人类无法得知甚至超越人类认知维度的秘境。如学者季卫东所言，在数据驱动的人工智能时代，“透明社会”与“算法黑箱”是我们不得不面临的一对根本矛盾。
敬请阅读末页的重要说明证券证券研究报告研究报告|公司公司深度报告深度报告工业工业|军工军工强烈推荐强烈推荐-A（首次首次）铂力特铂力特688333.SH当前股价：68.3元2020年年07月月27日日航空航天航空航天3D打印打印领先者领先者，下游市场快速放量下游市场快速放量基础数
证券研究报告请务必阅读正文之后的免责条款DocuSign：全球电子签名：全球电子签名SaaS龙头，持续龙头，持续成长可期成长可期全球SaaS云计算系列报告232020.7.28中信证券研究部中信证券研究部核心观点核心观点许英博许英博科技产业首席分析师S101051012004