2015/7/13 下午12:06:19 星期一
当前位置: 主页 > 厉兵秣马 >

高科技红线:人工智能正在悄然升级种族主义
时间:2019-05-31 13:13

高科技红线:人工智能正在悄然升级种族主义

时间:11-26 11:24 阅读:4807次 转载来源:起风了

image.png

  大萧条时期,美国联邦政府成立了Home Owners’ Loan Corporation(HOLC)来提供低息房屋贷款,联邦住房管理局(FHA)为私人银行的抵押贷款提供担保。由于HOLC的运营人员不了解当地贷款者的情况,所以他们构建了“住宅安全地图”,将街区按A到D等级进行分级,D等级的街区采用红色标记,表示这一区域属于不良高风险等级。这些“红线”地图也被FHA和私人企业所使用,并逐渐蔓延至银行、保险公司和零售商店,从而导致了服务受限和街区恶化的恶性循环。

  许多私人银行都有自己的红线地图。例如,在加州,Security First National Bank创建了洛杉矶街区评级系统。洛杉矶市中心的大多数街区都被标有红线,通常还会有关于“日本人和黑人集中地”的明确标记。Boyle Heights被标记为“充满了各种颠覆分子的蜂巢”。Watts也被标记为红色,因为它不仅是黑人和日本人的聚集地,德国人、希腊人、意大利人和苏格兰人都集中在这一区域。

  1968年的《公平住房法》禁止了红线划分行为。然而,在大数据时代,就业、保险和贷款申请越来越多地受到数据挖掘模型的评估,这些模型并不公开,但却可能产生更为有害的影响,因为它们不受地理边界的限制,而且公众也无法得知其内部原理。

  即使是编写代码的程序员,也无法确切知道黑盒算法是如何进行评估的,但是几乎可以肯定的是,这些算法直接或间接地考虑了性别、种族和性取向等因素,这就是我们所称的高科技红线。因为一个人具有黑盒算法发现的与行为统计相关的群体特征,就对他进行惩罚,是不道德的。

  许多评估求职者的算法会识别当前员工特征的统计模式。一家公司的首席科学家承认其软件选择的一些因素是没有意义的。例如,该软件发现其数据库中有几个优秀的程序员经常访问一个特定的日本漫画网站,所以它认定访问这个网站的人可能是优秀的程序员。这名首席科学家说,“显然,这不是因果关系”,但他认为这仍然有用,因为这一结果具有很强的统计相关性。这是一个令人感到痛苦的例子,向我们展示了一种没有根据的想法,即使是那些应该更了解统计模式的人,也会认为统计模式比常识更为重要。

  这家公司的首席执行官还表示,公司的算法考虑了几十个因素,并且随着相关性的不断变化,不断改变被认为重要的变量。她认为不断变化的变量列表显示了模型的强大和灵活性。她还提出了一个似乎更令人信服的解释,即该算法捕捉了短暂存在的巧合相关,即是这些相关没有什么价值。如果存在因果关系,它们是不会短暂存在的,它们会持续存在且有用。一种利用巧合的相关性来评估求职者的算法几乎肯定是有偏见的。如果一名墨西哥裔美国女性并不喜欢受白人男性软件工程师欢迎的日本漫画网站,那她还是否会被判定为优秀的程序员?

  同样,亚马逊最近放弃了开发定制算法来评估申请人简历的尝试。在过去十年里,亚马逊利用求职者简历对这些算法进行了训练,结果显示算法更偏向亚马逊过去雇佣的求职者(其中大多数都是男性)。来自女子学院的申请人会被降级,因为在亚马逊工作的男性没有去过这些学院。来自女性运动队的申请人也会遇到同样的情况。

  一种评估贷款申请的中国算法着重关注手机使用情况,例如来话和去话的应答频率,以及用户是否保持手机满电。但问题是,这些指标中哪一个可以成为电话用户信用风险良好的标志?你所能感受到的不确定性都表明了这些标记存在任意性。

  这些巧合关联都是暂时和无意义的,但却可能存在歧视。当这种信用评级系统首次在中国披露时,接听所有来电被认为是一种良好信用风险的信号。但这很可能也有偏见,比如某些宗教会规定不应该在某天或某个时间段接听电话。

  社交媒体平台上收集的数据为公司提供了一种新的可疑定性见解。英国最大的汽车保险公司Admiral Insurance曾计划推出第一次汽车报价服务,该报价将基于对申请人Facebook帖子的计算分析。例如词汇选择,以及他喜欢迈克尔·乔丹还是伦纳德·科恩。然后,像其他黑盒算法一样,它们会隐藏在黑盒中进行分析。Facebook帖子中肯定存在偏见。一个黑人男性喜欢迈克尔·乔丹,,而一个白人女性喜欢伦纳德·科恩,这之间的公平如何决定?如果Facebook上与性别、种族、族裔或性取向相关的词汇选择碰巧与汽车保险索赔相关呢?