总览

这篇文章属于机器学习公平性领域，其英文名为《Beyond Distributive Fairnessin Algorithmic Decision Making: Feature Selection for Procedurally Fair Learning 》。近年来，在机器学习领域出现了很多与消除不公平性有关的研究方法，但这些工作大多只关注决策结果的公平性，本文将重点放在决策过程的公平性上。同时作者提出快速的子模块机制来权衡公平性和预测准确性。最终发现，程序公平可能以很少的代价实现结果公平，但一些准确性的损失是不可避免的。

概述

本文的主要工作有：
一、区分两类主要的公平问题(类型)，即分配公平和程序公平。
二、引入了三个标量衡量程序公平性的方法。
三、将过程公平性和分类器准确性之间的权衡,建模为特征集上的约束子模块优化问题。使用快速的、可扩展的方法，选择具有子模块约束的子模块优化特征的子集，来优化准确性和过程公平性，并在经验上证明了良好的性能。

详述

一、分配公平与程序公平的区分

分配公平是指决策结果的公平，程序公平是指导致结果的决策过程的公平。“分配公平（distributive fairness）”和“结果公平（outcome fairness）”可以互换使用；同样，“程序公平（procedural fairness）”和“过程公平（process fairness）”这两个术语也可以互换使用。

二、程序公平考虑的因素

虽然现有的公平学习机制可以有效地利用输入特征及其与敏感属性的相关性，解决间接歧视并实现分配公平，但它们忽略了程序公平所涉及的几个重要因素。例如，在决策过程中使用个人特征，其公平感是否受到以下因素的影响：
1、特征自愿性：这个特征是否代表了个人自愿选择的结果（例如，犯罪前科的次数）；或者更确切地说，这是他们无法控制的环境导致的结果吗（例如,年龄或种族）(Beahrs 1991)?
2、特征可靠性：如何可靠地评估一个特征(例如，在信用评估中，对破产的意见可能比先前破产的数量更难可靠地评估)(Trankell 1972)？
3、特征隐私:特征的使用是否会导致对个人隐私的侵犯(GDPR 2016)？
4、特征相关性:特征是否与决策结果有因果关系(Kilbertus et al. 2017; Kusner et al. 2017)？

三、定义程序公平

（一）三个程序公平性的度量方法

令U表示所有用户的集合。

1、 特征-先验公平

对一个给定的特征 f ∈ F~ ，令Uf ⊆ U表示由于事先不知道特征 f 如何影响结果而认为使用特征 f 是公平的用户的集合。对于一个给定的特征集 F ⊆ F~ ,我们将 F 的特征-先验公平定义为，认为所有特征 f ⊆ F公平的用户占全部用户的比例。正式定义如下：

2、特征-准确性公平

U_f^A ⊆ U表示如果由于特征 f 提高了指定分类器的准确性而认为使用特征 f 是公平的用户的集合。给定一个特征集和 F ⊆ F~ ,正式定义如下：

3、特征-差异公平

令U_f^D ⊆ U表示虽然特征 f 增加了指定的分类器的结果差异，但是认为使用特征 f 是公平的用户的集合，正式定义如下：

（二）子模函数与超模函数

设F~ 是一个有限的集合，设 g 是一个集合函数 g: 2^F~ → R，其中2^F~ 表示F~的幂集合。

1、子模函数（submodular）

如果一个集合函数，随着输入集合中元素的增加，增加单个元素到输入集合导致函数增量的差异减小，它就是子模函数，它是单调的、非递减的。实际上就对“边际效用递减”这个说法的形式化。

举例： 来自http://www.myexception.cn/other/1176522.html
A是B的子集，则对于函数 f( )，如果 f(A+e) - f(A) >= f(B+e) - f(B)成立，则说f()函数是子模的，增益递减。
例子如下：
u={1,2,3,4,5,6,7,8} A={1,2,3} B={1,2,3,5,6} f(A)=|A| 集合A的个数
所以：f(A+e)-f(A)>=f(B+e)-f(B)，例如e={3,4,5}

2、超模函数（supermodular)

一个子模函数前面添上“ - ”后，就变成超模函数。如果一个集合函数的边际收益增加，它就是超模函数，它是单调的、非递增的。

过程公平性的三个度量(feature-apriori, feature-accuracy, feature- difference)相对于特征而言都是单调的、非递增的超模集函数。相应的，对应的不公平度量是单调的、非递减的子模函数。

四、测量过程公平

（一） 收集用户判断

本文利用ProPublica COMPAS和NYPD SQF两个真实数据集，调查了Amazon Mechanical Turk (AMT)平台的200个用户（工作人员），以收集人们对公平的判断。

ProPublica COMPAS数据集预测累犯风险(预测刑事被告人在未来某个时间内是否会犯罪)。特征集是:“犯罪前科数”、“逮捕罪名描述”(如重大盗窃罪、持有毒品罪)、“控罪程度”(轻罪或重罪)、“青少年重罪数量”、“青少年轻罪”、“其他青少年犯罪”、“被告人年龄”、“被告人性别”、“被告人种族”。该数据集还包含关于被告是否确实累犯的信息。
NYPD SQF数据集预测一个人是否携带非法武器。

对于每个数据集，作者描述预测任务，然后每次展示一个特征，要求用户对三个问题回答yes或no，并特意在问题中不定义公平，以收集用户的直观公平感。
问题1:你认为使用这些信息是公平的还是不公平的?
问题2:如果这些信息增加了预测的准确性，你认为使用这些信息是公平的还是不公平的?
问题3:如果这些信息使一群人(如非裔美国人)比另一群人(如白人)更容易被错误地预测为有更高的累犯风险，你认为使用这些信息是公平的还是不公平的？
收集答案完成后，作者过滤了一小部分(少于5%)提供异常响应用户的公平判断。

（二）分析人们对于公平性的判断

对于每个特征，作者计算了测试人员分别认为问题1、2、3是公平的比例，分别对应于特征先验、特征准确性和特征差异公平的概念。ProPublica COMPAS和NYPD SQF数据集的结果分别如图1(左)和图2所示。不同特征的回馈差异很大，而特征的排名在三个测量中是一致的。正如所料，与特征-先验公平性相比，特征-准确性公平性更高，特征-差异公平性更低。


图1[左]展示了ProPublica COMPAS数据集中显示公平性不断下降。横坐标为该数据集的特征，他们整齐地分为三组，第一组包含与当前问题直接相关的特征，如当前逮捕的罪名；第二组是与案件关系较远的特征，如被告过去青少年时期的记录；第三组包含一些看起来不相关的特征，比如性别和种族。我们注意到前两组(最公平的)包含意志特征，即它们与被告选择采取的行动有关，因此可以合理地认为是被告未来行动的预测;而第三组(最不公平的一组)包含的特征是先天的，超出了被告的控制。第三组特征通常被认为是受法律保护的。从这个角度来看，用户的反应可能是合理的。

图2展示了NYPD SQF数据集与ProPublica COMPAS数据集有类似的趋势:与当前问题直接相关的特征（如“涉嫌参与暴力犯罪”）和关系较远的特征（如“鬼鬼祟祟地行动”）相比，直接相关的特征被认为更公平，而不相关的特征如“性别”、“种族”被认为最不公平。

图1[右]展示了“非常自由”和“非常保守”的员工的反应是不同的，但在“性别”、“种族”等特征上是相似的。保守派用户认为这些特征比自由派用户更公平。另外，如果一项特征的差异加大，自由派用户的公平感就会大大低于保守派用户。这表明自由派用户可能对不同的结果更敏感。

五、训练过程分类器

从分类器的输入中排除被认为高度不公平的特征会增加其过程公平性，但这可能会导致预测精度显著下降；同样从分类器的输入中排除被认为高度不公平的特征会增加其过程公平性，但这可能会导致预测精度显著下降。作者实证地分析了这个过程的公平性和准确性之间的权衡。
在这篇文章中，作者使用带有l2-正则化的逻辑回归。对于给定的一个特征集S⊆F~ (其中F~表示考虑的数据集中可用的所有特征)，令acc(S)为特征集S上训练的分类器的精度给出的集合函数。直观地说，随着特征被添加到S中，我们预计acc(S)会上升，但收益会递减。也就是说，我们可以认为acc(S)是单调非递减的子模函数。图3显示了特征-先验过程公平性对准确性的影响(特征准确性和特征差异公平性的结果是相似的，由于空间限制而省略)。与高公平性对应的特征集(由图右侧的点表示)以准确性为代价。这种效果对于两个数据集都是可见的，但是对于图3（右）中的NYPD SQF数据集则更加明显。

通过找到位于图3所示的点上包络线的解，我们建立了公平特征选择的最优权衡。具体来说，关键的挑战在于选择特征的子集。
设一个数据集D_i=1^N，包含N条记录，每条记录都有一组相应的特征F~ 。对于每个记录D_i，令y_i∈{−1,1}为决策变量。假设D^S（其中S⊆F~ ）表示数据集所有特征F~ 的子集S中所有的记录。
（1）给定期望的公平阈值，优化精度;

acc (S)和unf (S)是S⊆F~的集合函数,表示相应的分类器的精度和不公平性。t 是一个期望的阈值，指定可容忍的最大不公平级别。对于逻辑回归(一般为线性分类器)，计算特征集S的精度acc(S)为:

“< >”表示一个点积，θ^∗代表分类器的最优决策边界。对于逻辑回归和L2-正则化，θ^∗可以通过解决以下最大似然找到：

（2）给定期望的精度阈值，优化公平性。

六、评估

我们使用Iyer和Bilmes(2013)提出的迭代子模代价背包(ISK)和迭代子模集覆盖(ISSC)方法来解决问题(8)和(9)。这些方法需要对训练数据的各个特征子集进行分类训练。
我们讨论在特征-先验不公平约束下最大化精度的结果(8)，如图4所示。当不公平阈值在x轴上变化时，y轴表示近似子模和最优(穷举搜索)方法的精度。第2部分中定义的其他过程公平概念的结果，以及在准确性前提下最小化不公平的结果(9)在质量上是相似的。对于不公平阈值为0的情况(完全公平的分类器)，选择一个空的特征集，实现了空分类器的准确性。当不公平阈值上升时，准确性首先急剧上升，这是由于增加了高度公平和信息丰富的特征(“先前犯罪的数量”)，然后缓慢地增加了高度公平但信息较少的特征(例如，“逮捕指控描述”)。通过将阈值提高到0.55，先前选择的特征将被丢弃，并添加一个明显不公平但信息丰富的特征(“年龄”)，从而导致准确性的再次大幅提高。随着阈值的升高，准确度趋于稳定，因为剩下的特征并没有增加实质性的预测能力。

七、权衡过程公平性和结果公平性

作者使用的结果公平方法检验了白人(w)和非白人(nw)的假阳性和假阴性率。具体来说:

结果公平值可以在-2(非常不公平)和0(非常公平)之间变化。
作者用ProPublica COMPAS数据集(29 = 512个分类器)中所有可能的特征组合(以及NYPD SQF数据集中的16个特征子集)来训练分类器(为准确性进行优化)(216 = 65,536)，然后计算所有分类器的这三个统计数据(准确性、过程和结果公平性)。

图5显示了结果公平性和准确性与特征-先验公平性的对比。每个点的颜色表示对应分类器的准确性。我们得到以下观察:高过程公平似乎意味着高结果公平，直观地说，过程公平似乎是一个更强的概念，因为它对分类器施加了非常严格的约束。
结果表明，当我们优化高过程公平性时，我们也实现了作为副产品的高结果公平性。

最后

以上就是温婉水池为你收集整理的1.Zafar 超越算法决策中的超越分配公平:过程公平学习的特征选择总览概述详述的全部内容，希望文章能够帮你解决1.Zafar 超越算法决策中的超越分配公平:过程公平学习的特征选择总览概述详述所遇到的程序开发问题。

如果觉得靠谱客网站的内容还不错，欢迎将靠谱客网站推荐给程序员好友。