经典编译 | 算法伦理学：文献回顾与未来方向

算法伦理学：文献回顾与未来方向

摘要:

在信息社会中，以前由人类负责的操作、决定和决策越来越多地被委托给了算法，算法可以就如何解释数据、如何采取行动给人们提供建议，甚至可以直接提供决策的结果。算法频繁地影响社会进程、商业交易、政府决策的发生，影响着我们如何感知、理解并如何与外界互动。而算法的设计和操作与我们对其伦理含义的理解之间存在巨大差距，这一差距可能会产生严重的后果，影响个人、群体、整个社会。本文从三个方面阐明了算法在伦理上的重要影响，回顾了当前伦理层面关于算法的诸多讨论，以确定需要未来的研究要点，以进一步发展关于算法的伦理学。

作者简介

Brent Daniel Mittelstadt，牛津大学互联网研究所

Patrick Allo，牛津大学互联网研究所

Mariarosaria Taddeo，阿兰·图灵研究所

Sandra Wachter，阿兰·图灵研究所

Luciano Floridi，阿兰·图灵研究所

论文来源

Big Data & Society, 2016.

本文一作：Brent Daniel Mittelstadt

一、引言

信息时代到来，算法越来越多地影响人们的决策和选择：分析和分类算法决定了个体和群体如何被认识与管理(Floridi, 2012)；推荐系统为用户看什么、买什么、走哪条路线提供指导(Vries, 2010:81)。数据挖掘算法可以帮助理解“物联网”产生的新兴行为的数据流(Portmess and Tower，2014:1)；在线服务的提供商通过个性化算法和过滤算法调节信息的获取方式(Newell and Marabelli, 2015; Taddeo and Floridi, 2015)。机器学习算法在创建时会自动识别误导、有偏误或不准确的内容，这些例子表明的，人们如何感知环境、如何与环境互动，以及人们彼此之间的互动，都越来越多受到算法的影响。

算法不可避免地涉及价值(Brey and Soraker, 2009; Wiener, 1988)。运行参数由开发人员确定，由用户根据期望的结果进行配置，有可能会使某些群体的价值和利益优先于其他群体的(Friedman and Nissenbaum, 1996; Johnson, 2006; Kraemer et al., 2011; Nakamura, 2013)。算法并不能保证道德上不存在问题，例如，算法可能会根据种族进行定向广告投放，无意中歧视边缘群体(Barocas and Selbst, 2015; Birrer, 2005)。

确定算法的潜在和实际的伦理影响非常困难。识别算法设计和运行过程中人们主观性的影响通常需要调查长期的开发过程。除非出现存在问题的用例，否则算法的潜在问题是难以发现的。目前，算法的复杂度也在提高，学习算法(learning algorithms)的应用会导致其影响更加难以解释和预测。

因此，在本文中，作者定位了算法决策可能引发的伦理问题。论文回答了两个问题：算法引发了什么样的伦理问题？与建立在算法基础上的技术相比，算法本身会带来什么问题？本文回顾了算法伦理相关的文献，归纳了文献中出现的主题，为算法伦理在未来的学术讨论确立了框架。

二、理论背景

“算法”有一系列的含义，跨越计算机科学、数学和公共话语领域。本文遵循Hill(2015:47)对算法的正式定义，将算法定义为一种数学构造，具有“有限、抽象、有效、复合的控制结构，在强制性给定的规则下完成既定目的”。然而，本文研究的算法不局限于作为数学结构的算法，因为正如Hill的定义中“目的”和“规定”所阐述的，算法必须被实现、被执行，才能采取行动并产生效果。而公共讨论中人们提到算法时，通常不把算法当作数学结构，而是当作特定的实施方案，“算法”一词的一般用途还包括数学结构在技术中、特定领域的任务之中的应用。因此，不考虑算法在计算机程序、软件和信息系统中是如何实现的、只考虑算法的伦理是没有意义的。由于本文的目的是定位算法的伦理，沿着公共话语的框架解释“算法”，因此作者关注的内容包括算法的数学结构、实现（程序、技术）、和配置（应用），而不涉及具体工件(artifact)的相关问题。

正如Hill在上文中所指出的，普遍使用的“算法”可以被用于描述“任何程序或决策过程”。公共讨论目前主要关注特定类别的决策算法，例如在给定情况下采取的最佳行动、对数据的最佳解释等等相关的算法，因为这类算法往往辅助或取代了人类的分析和决策，是本文所关注的算法类型。其他与决策逻辑相关性较弱的算法，比如制造业中自动化日常任务的算法则不在本文讨论的范围之内。

从简单的决策模型到复杂的分析算法，决策算法被用于各种领域，而算法在伦理上具有挑战性，不只因为分析的规模、决策的复杂性，更因为算法所做工作的不确定性和不透明性。传统上，算法需要单独定义决策规则和权重，并被“手动”编程，而现在，算法已经越来越依赖于机器学习(Tutt, 2016)。

机器学习指的是一种方法和技术集，它可以“利用数据得出新模式和知识，并生成可用于有效预测数据的模型”(VanOtterlo，2013)。举例来说，应用于分类任务的机器学习算法通常由两个部分组成，分类器(classifier)和产生分类器的学习器(learner)，其目的是开发可以概括训练数据之外内容的类别(Domingos，2012)，包括将新的输入放入模型或分类结构中。该算法通过定义规则来“学习”如何对新输入进行分类，“学习”分为通过手动输入模型的监督学习(supervised learning)，和算法本身定义最佳拟合模型的无监督学习(unsupervised learning)(Schermer, 2011; Van Otterlo, 2013)。两种情况下，算法都会定义决策规则来处理新的输入，而操作人员不需要理解算法产生的决策规则的基本原理(Matthias, 2004:179)。可以说，学习的能力赋予了算法一定程度的自主性，而不确定性则阻碍了算法设计与算法运行中伦理问题的识别和纠正。

三、算法引发的六种伦理问题

基于上一节中定义的概念，作者提出了一张框架图。这张图并非基于伦理学框架，而是考虑到算法的具体操作：（1）算法将数据转化为给定结果的证据，（2）该结果用于触发和激励可能并不符合道德的行为，（3）算法相关工作具有复杂性和部分的自主性。据此，作者将算法引发的伦理问题分为了六类，并对它们进行了阐述。

1. 缺乏确定性的证据(Inconclusive evidence)当算法使用推理统计学或机器学习技术从它们处理的数据中得出结论时，很可能会不可避免地产生不确定的证据。统计学习理论(James et al., 2013)和机器学习理论(Valiant, 1984)都关注到了这种不确定性的特征以及如何量化它。

2. 难以理解的证据(Inscrutable evidence)当数据被用作推导结论的证据时，使用者希望数据和结论之间的联系应该是可以理解、可以审查的。但是算法的运行方式不会自动实现这一点。

3. 误导性的证据(Misguided evidence)算法处理数据，因此算法运行受到数据处理本身限制，即输出永远不能超过输入。算法结论的可靠中立程度只能基于其输入数据的可靠中立程度，对过程中立性的评估、证据是否存在存在误导性则取决于观察者。

4. 不公平的结果(Unfair outcomes)对算法的伦理评估也可以只关注行为本身。根据道德标准和原则，人们可以对由算法驱动的行为进行评估，其评估依赖于行为及其效果的“公平性”。例如，即使一项行动是在确凿、可审查和有充分根据的证据基础上作出的，但如果对于受保护人群造成了不公平效果，依然认定该行动是歧视性的。

5. 变革效应(Transformative effects)算法数据处理和(半)自主决策似乎在伦理上是中立的，不会造成明显伤害，但是它们依然可能会带来问题，因为算法可以影响我们如何认识世界，并修改社会和政治组织(Floridi, 2014)。算法活动可以让人们通过以意想不到的方式理解和概念化世界，并基于其产生的见解，引导和激励人们采取行动。

6. 可追踪性(Traceability)算法活动造成的损害很难检测与归因，而且很难直接确定谁应该对所造成的损害负责。

四、文献回顾

基于以上，作者对算法引发的不同伦理问题的相关文献研究进行了回顾和梳理。

1. 缺乏确定性的证据致不正当行为许多算法决策和数据挖掘依赖于归纳数据确定的相关性。但寻找因果联系非常困难，因为在大型专有数据集(proprietary datasets)中建立的相关性通常是不可复制或不可证伪的(Ioannidis, 2005; Lazer et al., 2014)。尽管如此，越来越多的情况下，基于足量数据量的相关性被认为是足以指导行动的证据，尽管并没有充分的因果关系证明(Hildebrandt, 2011; Hildebrandt and Koops, 2010; Mayer-Scho¨ nberger and Cukier, 2013; Zarsky, 2016)。

根据相关性采取行动可能会产生双重问题。人们可能会得到虚假的相关性，而不是真正的因果关系。而在预测分析中，相关性具有双重不确定性(Ananny, 2016)。即使发现了强相关性或确凿的因果关系，这种因果关系可能只涉及群体，而行动是针对个人的(Illari and Russo, 2014)。

2. 难以理解的证据导致的不透明性透明度指的是信息的可获得性、可获得性的条件以及信息如何支持用户的决策过程，信息和计算机伦理方面的文献在21世纪初开始关注透明度问题。透明度至关重要，因为难以预测或解释的算法很难控制、监控和纠正(Tutt, 2016)。然而正如许多学者指出的(Crawford, 2016; Neyland, 2016; Raymond, 2014)，透明度通常被视为解决技术道德问题的灵丹妙药。

透明度主要指的就是信息的可获得性和可理解性。然而关于算法功能的信息通常是难以获取。为了竞争优势、国家安全或者隐私保护，专有算法往往是保密的(Glenn and Monteith, 2014; Kitchin, 2016; Stark and Fins, 2013)，因此，透明度可能与其他伦理要求背道而驰。Granka(2010)注意到，数据主体对透明度的需求和数据处理者的商业可行性之间存在斗争。披露算法的结构将有助于恶意操纵搜索结果的行为，不会给普通非技术用户带来任何好处(Granka, 2010; Zarsky, 2016)。然而，人们仍然希望了解关于他们的数据是如何创建的，以及如何影响实践中的决策。
除了可获取之外，信息必须是可理解的，才能被认为是透明的(Turilli and Floridi, 2009)。机器学习算法中长期存在的可解释性问题，同样表明了算法不透明的问题(Burrell, 2016; Hildebrandt, 2011; Leese, 2014; Tutt, 2016)。机器学习通过创建和修改规则来对大型数据集进行分类或聚类，算法对新输入分类方式的改变就是它的学习方式(Burrell, 2016:5)。训练会产生一个结构，用以分类新的输入或预测未知变量。一旦经过训练，新数据可以自动处理和分类，无需操作员干预(Leese，2014)。

Burrell(2016)和Schermer(2011)认为，机器学习算法的不透明性抑制了观察。“算法”是不透明的，如果一个人是算法输出结果的接收者，他很难对如何得出特定分类或为什么得出特定分类有任何具体的认识(Burrell，2016:1)，输入和输出都是未知且不可知的。机器学习算法中的不透明性是数据高维、代码复杂和决策逻辑多变的产物(Burrell, 2016)。Matthias(2004:179)认为，机器学习可以产生“人类训练者自己无法提供算法表示”的输出。当机器比操作员拥有更多信息优势、更快处理速度，以及操作变量的多样性导致人无法实时控制运行过程时，对算法决策进行实质性的监督和干预是难以实现的。

除了机器学习，其他算法的决策规则同样非常复杂，对数据主体而言难以理解(Kitchin, 2016)。包含“数百条规则的算法决策结构很难进行直接检查，尤其它们可能以复杂的方式进行概率组合(VanOtterlo, 2013)，此外，算法通常是由大型工程师团队开发的，其开发过程的复杂可能导致审查和理解变得不可行(Sandvig et al., 2014)。在传统的决策中，人类决策者在原则上可以在被询问时清楚地表达他们的理性认识，相比之下，算法的基本原理可能是大多数人无法理解的。非专业的数据主体可能会对算法和数据处理器失去信任(Cohen et al., 2014; Rubel and Jones, 2014; Shackelford and Raymond, 2014)。

此外，即使公开了运行信息，也并不能保证社会净效益的增加。针对受过培训的第三方或代表公众利益的监管机构而不是数据主体本身进行透明度披露可能会实现更好效果(Tutt，2016；Zarsky，2013)。

3. 误导性证据导致的偏误算法的设计和功能反映了它的设计者和预期用途的价值，其发展演变不是中立的、线性的，没有客观正确的唯一选择，而是有许多可能的选择(Johnson，2006)。因此，人的价值观会有意无意地被冻结在代码中，并被制度化(Macnish, 2012:158)。Friedman和Nissenbaum(1996)认为，偏见可能来自(1)在技术产生的“社会制度、实践和态度”预先存在的社会价值，(2)技术限制，(3)使用算法的环境。

社会偏见可以由个体设计者有目的地嵌入到系统设计中(Goldman，2006)。社会偏见的出现也可能是无意的，是更广泛的文化或组织价值观的反映。例如，从人类标记的数据中训练的机器学习算法会不经意地学习反映标记者的偏见(Diakopoulos, 2015)。

技术偏误产生于技术限制、错误或设计决策，它们可能在没有潜在驱动价值的情况下有利于特定群体(Friedman and Nissenbaum, 1996)，比如按字母顺序排列的列表会为在字母表中靠前的公司带来了更多业务，或者随机数生成器的设计错误导致某些数字更频繁出现。

突现的偏差往往与知识的进步、系统用户和利益相关者的变化有关(Friedman and Nissenbaum, 1996)。在这些情况下，人工监控可以防止部分偏误进入算法决策(Raymond, 2014)。

算法的输出也需要解释；对于行为数据而言，“客观”也可以反映解释者的无意识动机、特定情感、有意决策、社会经济印象的影响等等(Hildebrandt，2011:376)。在统计模型中，意义并不是不证自明的，而解释会受到个人和群体的多方面隐含因素的影响，(Lupton，2014:859)。因此，不能假定观察者的解释会正确反映一切，因为其中还包括解释者带来的偏误。

4. 不公平的结果导致歧视大量文献都关注了带有偏误(bias)的证据和决策如何产生歧视。分析算法被定义为“通过数据挖掘和基于信息收集的个人资料应用于数据与之匹配的人”(Hildebrandt和Koops，2010: 431)，它会识别相关性并在群体水平上对行为做出预测，群体不断变化，并由算法重新定义(Zarsky，2013)。基于与算法识别的其他人的联系，个体会被系统识别和理解，而不是基于个体的实际行为(Newell and Marabelli, 2015: 5 )，个人的选择是根据群体信息构建的(Danna and Gandy, 2002: 382 )。因此，分析有可能会制造导向歧视的数据结果。

Schermer(2011)认为，歧视性处理本身并不存在伦理问题；相反，处理的效果决定了它在伦理上的可接受性。然而，在此处，Schermer把偏误和歧视混为一谈，他所称的歧视只是偏误，或者在决策中对特定偏好、信仰或价值观的持续和重复表达(Friedman and Nissenbaum, 1996)，而法庭上定义的歧视是他所描述的歧视性处理的伦理影响。事实上，偏误可能构成决策本身，而歧视则描述决策的影响，即算法决策产生的不相称(disproportionate)的负面影响，Barocas和Selbst (2015)的研究表明，正是这一概念指导了美国反歧视法在社会住房和就业等领域所实践的“无法比较的影响检测(disparate impact detection)”。

Romei和Ruggieri (2014)在分析中观察到四种防止歧视的重叠(overlapping)策略:(1)训练数据的受控失真；(2)将反歧视标准集成到分类器算法中；(3)分类模型的后处理；(4)修改预测和决策，以保持对受保护组和未受保护组产生的效应之间保持公平的比例。这些策略见于隐私保护、公平和歧视感知领域数据挖掘的开发(Dwork et al., 2011; Kamishima et al., 2012 )。

与之相关的，个性化算法也常常受到研究者关注。个性化可以对人群进行细分，使得部分人群有资格获得某些信息或机会，从而强化这一群体现有的社会优势。大量学者都曾指出这种做法存在公正性和公平性问题(Cohen et al., 2014; Danna and Gandy, 2002; Rubel and Jones, 2014) 。

歧视性影响在伦理上存在各种各样的问题，歧视性分析算法可能导致目标群体受到污名化，破坏他们自主性和参与性(Barocas, 2014; Leese, 2014; Macnish, 2012)。而例如保险费区别定价的个性化算法，(Hildebrandt and Koops, 2000; Van Wel and Royakkers, 2004)可能是歧视性的，因为它违反了平等公平对待个体的法律原则(Newell and Marabelli, 2015)。

5. 变革效应为信息隐私带来挑战算法也在推动隐私概念的转变。出于保护信息隐私的需求，不透明或秘密进行的算法分析存在伦理问题。算法的不透明决策阻碍了对数据共享的监督(Kim et al., 2014) 。身为数据主体的个人不能定义隐私规范、无法管理所有类型的数据，其“价值”只能通过数据的处理来建立(Hildebrandt, 2011；Van Wel and Royakkers, 2004)。

Schermer (2011)认为，分析使数据主体的可识别性变得无关紧要，信息隐私作为概念不够充分。算法的脸谱化试图将个人聚集成有意义的群体(Floridi, 2012; Hildebrandt, 2011; Leese, 2014)。Van Wel和Royakkers (2004: 133)认为，通过算法进行的外部身份构建是一种去个性化，它根据群体特征而不是个人特征来判断和对待人们。算法将主体和数据集内的其他主体联系起来，从而忽视了个体信息身份的意义(Floridi, 2011; Vries, 2010)。

当前的监管保护同样难以解决算法涉及的信息隐私风险。根据欧盟委员会的定义，“个人数据”是描述可识别个人的数据；匿名和汇总数据则不被视为个人数据。为了减轻隐私风险，研究者建议建立无需访问个人信息和可识别记录的隐私保护数据挖掘技术(Agrawal and Srikant, 2000; Fule and Roddick, 2004 )。还有人指出，特定情况下可以“选择退出”分析算法的系统机制将有助于保护数据主体的隐私利益(Hildebrandt, 2011；Rubel and Jones, 2014)。

6. 缺乏可追踪性导致的道德责任模糊当一项技术失败时，其设计者(或开发者)、制造商或使用者通常会被追究责任。算法的设计者和使用者会受到指责(Kraemer et al ., 2011: 251)，但只有当行为者对行为的实施具有控制权(Matthias, 2004)并有意实施时，这些指责才是合理的。

传统上，计算机程序员控制了机器的行为，他们可以向第三方解释其设计和功能(Matthias, 2004)。这种传统责任概念假设程序员可以考虑到技术可能的影响和问题(Floridi et al., 2014)，并根据功能规范做出设计，以选择最理想的结果(Matthias, 2004)。但由于代码的复杂性和数量(Sandvig et al., 2014 )，程序员原则上只能保留控制权，将外部库的使用通常被程序员视为“黑箱”。

传统、线性的责任概念适用于非学习类算法。当决策规则由人制定时，其作者保留责任(Bozdag, 2013)，决策规则决定了算法所考虑的变量或数据维度的相对权重，比如Facebook的EdgeRank个性化算法，这一算法根据出版日期、作者和读者之间的互动频率、互动类型和其他维度对内容进行优先排序。Fule和Roddick (2004: 159)认为，运营商也有责任监控算法决策的伦理影响。Schermer (2011)同样建议，数据处理者应该积极地在他们处理数据的算法和模型中寻找错误和偏差。然而，由于已经提到的透明度问题，对复杂系统的人工监督难以真正成为问责机制。

此外，具有学习能力的算法面临着特殊的挑战，它挑战了设计者责任制的传统逻辑。复杂多变的系统阻碍了对决策制定途径和责任定位关系的监督。机器学习算法在这方面尤其具有挑战性(Burrell, 2016; Matthias, 2004; Zarsky, 2016)，在机器学习算法中，个体对机器的行为没有足够的控制权，无法承担责任(Matthias, 2004: 177)。

Allen(2006: 14)认为，系统的模块化设计意味着，没有一个人或一组人能够完全掌握系统与新输入的复杂流程如何进行交互或做出反应。控制的能力逐渐从程序员转移到了算法及其运行环境(Matthias, 2004: 182)。设计者的控制和算法的行为之间的差距造成了责任缺口(Cardona, 2008)。
一些文献关注“自动化的伦理”，讨论了算法取代或强化人类决策的影响(Naik and Bhide, 2014 )。Morek (2006)发现，算法无法熟练的专业人员，专业人士拥有的隐性知识和技能(Coeckelbergh, 2013; MacIntyre, 2007 )，这些知识和技能无法明确被制定成计算的规则(Morek, 2006)。算法的道德定位和道德决策能力仍然是无法解决的问题。

而且，人类和算法对道德主体性(agency)的要求可能不同，Floridi和Sanders(2004b)和Sullins(2006)认为，机器的道德主体性(agency)需要其自主性、互动行为和因果责任，不同于包括意向性的道德责任。机器伦理学还涉及如何将道德推理和道德行为纳入到自主算法的设计中(Anderson and Anderson, 2007; Crnkovic and Cu ̈ru ̈klu ̈, 2011; Sullins, 2006; Wiegel and Berg, 2009 )。对这个问题的研究仍然非常重要，因为算法在实际运行中可能会在没有运营者的情况下遭遇涉及道德决策的情况(Wiegel and Berg, 2009: 234)。

决策的自动化导致了人类和算法之间的伦理一致性问题。Turilli(2007)认为，算法应该和人类工作者一样受到同一套伦理原则的约束，然而，人类决策者所适用的伦理原则可能难以定义、难以计算。Wiltshire(2015)提出了一个基于英雄美德(heroic virtues)的人工道德主体的理想模型，其中算法被会训练得近似英雄，因此是道德的。Bello和Bringsjord(2012)坚持认为，算法中的道德推理不应围绕经典的道德原则构建，因为算法不能反映人类实际上是如何进行道德决策的。Anderson(2007)以直觉、原则和理性如何相互作用的实证研究为模型，指出人们可以设计算法、使其模仿人类道德决策。目前在这一领域已有文献尚未形成共识。

五、进一步研究的可能方向

本文的目的是概括围绕算法伦理的学术讨论，并为该领域的未来可探索的方向提供启发。前文中的概念图已经简要概括了基本概念结构，但它依然有待进一步发展。在本节中，作者提出了在算法的变革效应和可追溯性相关的文献中尚未得到关注的若干主题。

首先，在变革效应方面，算法改变了数据保护机制构建、管理和保护身份的方式，Van Wel和Royakkers(2004)主张重新定义个人数据，当在产生关于个人的信息或对个体采取行动时，用“群体特征”代替“个人特征”时，并给予“群体特征”同等的隐私保护。技术人员已经在尝试检测数据挖掘中的歧视行为(Barocas, 2014; Calders and Verwer, 2010; Hajian et al., 2012 )，而进一步的检测机制是必要的，因为算法可以以间接和不明显的方式使部分用户处于不利地位，这超出了歧视在法律上的定义(Sandvig et al., 2014; Tufekci, 2015 )。

在可追溯性方面，有关算法责任的关键挑战的文献依然数量较少。尽管有大量的文献论述了算法的道德责任和主体性，但对责任如何在人类和算法之间分配缺乏研究(Simon, 2015)。

第二，对算法的信任在某些情况下会影响人类行为者的责任担当(Zarsky, 2016: 121)。类似的现象已经出现，因此需要更多研究来理解算法驱动的决策系统对人类行为者的影响。

第三，透明性问题并不能保证算法以道德的方式运行，监管要求算法的可解释性，如何让监管机制和标准变得现实可行，也是一项未来需要解决的挑战。

六、结论

算法已经成为了人类数字生活的重要组成部分，本文试图阐明算法设计的伦理影响，首先，作者确定了算法涉及的伦理影响分为几个方面，在此基础上作者提出了讨论算法伦理影响的框架，并对相关文献进行了批判性回顾，以确定未来研究应该如何进一步拓宽算法伦理的研究领域。

“算法”是一个复杂的概念，相关讨论时常受困于概念定义的困难，与之相关的伦理挑战也常常在已有研究中被人们混淆。作者认为，算法的伦理影响不应被简化为它在认知和伦理上存在的缺陷。借助本文确定的概念与框架，未来的讨论可以使算法在伦理与社会生活之间的隐含联系变得更加清晰。

转自：“再建巴别塔”微信公众号

如有侵权，请联系本站删除！