人工智能歧视集体诉讼达成最终和解

2021年春天，玛丽·路易斯（Mary Louis）兴奋地想搬进马萨诸塞州的一套公寓，但当黑人女性路易斯（Louis）收到一封电子邮件，称“第三方服务”拒绝了她的租约时，她变得沮丧起来。

该第三方服务包括一个为租房申请人打分的算法，这成为了一场集体诉讼的主题，由路易斯掌舵，声称该算法基于种族和收入进行歧视。

周三，一名联邦法官批准了该诉讼的和解协议，这是此类诉讼中的首例。该算法背后的公司同意支付220多万美元，并撤销该诉讼所称的歧视性筛选产品的某些部分。

该和解协议不包括SafeRent Solutions公司的任何过失承认，该公司在一份声明中表示，尽管它“仍然相信SRS分数符合所有适用的法律，但诉讼既耗时又昂贵。”

虽然这类诉讼可能相对较新，但使用算法或人工智能程序对美国人进行筛选或评分却不是新鲜事。多年来，人工智能一直在暗中帮助美国居民做出重大决策。

当一个人提交工作申请、申请住房贷款甚至寻求某些医疗服务时，人工智能系统或算法就有可能像路易斯那样对他们进行评分或评估。然而，这些人工智能系统在很大程度上是不受监管的，尽管有些系统被发现存在歧视。

“管理公司和房东需要知道，他们现在受到了注意，他们认为这些系统是可靠和良好的，将受到挑战，”路易斯的律师之一托德卡普兰（Todd Kaplan）说。

诉讼称，SafeRent的算法没有考虑到住房券的好处，这是租房者支付每月账单能力的一个重要细节，因此歧视了有资格获得援助的低收入申请人。

该诉讼还指控safent的算法过于依赖信用信息。他们认为，它未能全面反映申请人按时支付租金的能力，而且不公平地对待持有住房券的黑人和西班牙裔申请人，部分原因是由于历史上的不平等，他们的信用评分中位数较低。

原告律师之一克里斯汀·韦伯（Christine Webber）表示，仅仅因为算法或人工智能没有被编程为歧视，算法使用的数据或权重可能“就像你让它故意歧视一样”。

当路易斯的申请被拒绝时，她试图对这个决定提出上诉，她给两个房东发了推荐信，证明她提前或按时支付了16年的房租，即使她没有良好的信用记录。

路易斯有一张住房代金券，她很慌张，因为她已经通知了她以前的房东，她要搬出去，她被要求照顾她的孙女。

使用SafeRent筛选服务的管理公司的回应是：“我们不接受上诉，也不能推翻租户筛选的结果。”

路易斯感到挫败；她说，算法并不了解她。

“一切都以数字为基础。你无法从他们身上得到个人的同理心，”路易斯说。“没有人能打败这个系统。这个系统总是会打败我们。”

虽然州议员已经提出了针对这类人工智能系统的积极监管措施，但这些提议在很大程度上意味着，像路易斯这样的诉讼开始为人工智能问责制奠定基础。

SafeRent的辩护律师在驳回诉讼的动议中辩称，该公司不应对歧视负责，因为SafeRent并没有就接受或拒绝租户做出最终决定。该服务将对申请人进行筛选、评分并提交一份报告，但由房东或管理公司决定是否接受租户。

路易斯的律师和美国司法部一起提交了一份与此案有关的声明，他们认为SafeRent的算法应该被追究责任，因为它仍然在获得住房方面发挥着作用。法官驳回了SafeRent提出的驳回这些指控的动议。

和解协议规定，在某些情况下，SafeRent不能将其评分功能纳入其租户筛选报告，包括申请人是否使用住房券。它还要求，如果SafeRent计划开发另一种筛选评分，它必须得到原告同意的第三方的验证。

路易斯的儿子在Facebook Marketplace上为她找到了一套经济实惠的公寓，后来她就搬进了那套公寓，尽管那套公寓要贵200美元，而且地段也不那么理想。

路易斯说：“我不太乐观，我不能错过机会，但是我必须坚持，就是这样。”“有太多的人依赖我。”

___

杰西·贝登（Jesse Bedayn）是美联社美国州议会新闻倡议组织的一名成员。是一个非营利性的国家服务项目，将记者安排在当地新闻编辑室报道未被报道的问题。