人们可能有偏见，甚至没有意识到，但计算机程序不应该有任何理由歧视黑人病人在预测他们的医疗需求。对吧?
研究一种被广泛使用的算法的科学家发现，在预测黑人病人的健康风险时，存在明显的种族偏见。该算法与医疗保险公司用来为数百万人做出关键医疗决定的算法类似。
周四发表在《科学》(Science)杂志上的这些发现，蓝冠总代分析对美国人的健康和福利有着深远的影响，因为我们越来越依赖电脑将原始数据转化为有用的信息。结果也指出了问题的根源——而不是计算机程序。
“我们不应该责怪算法，”研究负责人、加州大学伯克利分校(University of California, Berkeley)机器学习和健康研究员齐亚德·奥伯迈耶(Ziad Obermeyer)博士说。“我们应该责怪自己，因为算法只是从我们提供的数据中学习。”
算法是描述如何执行某个任务的一组指令。巧克力蛋糕的配方是一个算法。开车去参加你朋友的聚会也是如此。
计算机算法也一样，只是它是用代码而不是文字编写的。如今，它们被用来定位在线广告，识别人脸，并在大型数据库中寻找模式——希望能把世界变成一个更高效、更容易理解的地方。
尽管算法变得更加强大和普遍，但越来越多的证据表明，它们反映甚至放大了现实世界的偏见和种族主义。
一种用于确定刑期的算法被发现带有种族偏见，错误地预测黑人被告的再犯风险更高，白人被告的风险更低。面部识别软件已被证明同时具有种族和性别偏见，只能在白人男性中准确识别一个人的性别。研究发现，出现在谷歌搜索结果中的在线广告显示，高收入工作岗位男性远多于女性。
Obermeyer说，他和他的同事无意中发现了他们正在研究的医疗算法中存在的偏见，这几乎是偶然的。
该算法被用来识别那些有可能导致更严重并发症和更高费用的健康状况的病人。一家大型学术医院购买了它，以帮助筛选有资格参加护理协调项目的患者。该项目为患者提供服务，如加快医生预约和一组护士上门服务或补充处方。
奥伯迈耶说:“这有点像为那些在健康方面确实需要额外帮助的人提供的VIP项目。”
目标是在病人病情恶化之前照顾好他们。从长远来看，这不仅能让他们更健康，还能降低医疗保健系统的成本。
这类算法通常是专有的，“使得独立研究人员很难对它们进行剖析，”研究作者写道。但在这种情况下，医疗系统愿意提供它，连同数据，让研究人员可以看到算法是否准确预测病人的需求。
研究人员注意到一个奇怪的现象:黑人患者与白人患者被分配了相同的高危分，他们在接下来的一年里健康状况恶化的可能性要大得多。
奥伯迈耶说:“从算法可以看出，在一定的风险水平上，黑人患者的病情最终会比白人患者严重得多。”
他说，这根本说不通，所以科学家们把注意力集中在这种差异上。他们分析了6079名黑人患者和43539名白人患者的健康数据，意识到该算法完全符合要求。
问题是设计它的人让它做了错误的事情。
该系统根据病人产生的健康成本来评估病人，假设他们的成本高，是因为他们的需求高。但是，奥伯迈耶说，认为高成本意味着高需求的假设被证明是错误的，因为黑人病人通常比白人病人得到的医疗服务更少，即使他们的身体状况同样不好。
这意味着该算法不正确地引导一些黑人病人远离护理协调程序。
科学家们意识到，纠正这种种族差异可能会导致参加特殊护理项目的黑人患者比例从17.7%跃升至46.5%。
发现了这个问题——一个错误的人类假设——科学家们开始着手解决它。他们开发了一种替代模型，将重点放在“可避免的成本”上，如紧急访问和住院治疗。另一个模型关注的是健康，这是通过一年中突发的慢性病数量来衡量的。
研究人员将他们的发现与该算法的制造商分享，蓝冠主管后者随后分析了其全国近370万商业保险患者的数据集，证实了结果。他们一起试验了一个结合健康预测和成本预测的模型，最终将偏差降低了84%。
华盛顿大学圣路易斯分校(Washington University of St. Louis)的心脏病学家、卫生政策研究员卡伦·乔伊特·马多克斯(Karen Joynt Maddox)博士称赞这项工作是“一种深思熟虑的方式，来看待这个真正重要的新出现的问题。”
“我们越来越相信这些算法和黑箱预测模型，它们告诉我们该做什么，如何行事，如何治疗病人，如何针对干预措施，”没有参与这项研究的Joynt Maddox说。“在某种程度上，想想这些我们认为理所当然并正在使用的模型是否在系统性地损害特定群体的利益，这令人不安。”
她很快补充道，这个例子的错误不在于算法本身，而在于设计算法时所做的假设。
Obermeyer说，他们选择不单独挑出使用该算法的公司或医疗系统。他说，他们希望强调一组完整的风险预测算法的作用。据行业估计，这些算法每年用于评估大约2亿人。
芝加哥大学计算行为科学家、该研究的资深作者森德希尔•穆莱纳坦(Sendhil Mullainathan)表示，一些人对算法偏见的发现做出了反应，建议彻底废除算法——但算法不是问题所在。
事实上，当适当地研究和处理它们时，它们可以成为解决方案的一部分。
Mullainathan说:“它们反映了数据中的偏见，这也是我们的偏见。”“现在如果你能想办法修复它……它消除我们偏见的可能性真的很大。”
他承认，一种更好的算法可能有助于诊断和治疗医疗领域种族差异的影响，但它无法从根本上“治愈”这种差异:平均而言，用于黑人病人的医疗费用低于白人病人。
研究报告的作者说，这些成本差异可能是由多种原因造成的。种族和歧视可能是原因之一，即使有保险，贫穷的病人也会面临“获取医疗保健的巨大障碍”。
研究人员写道:“就种族和社会经济地位的相关性而言，这些因素将对黑人患者产生不同的影响。”
解决这些现实世界中造成差距的根源是一个更深层、更复杂的挑战。
最终，Obermeyer说，蓝冠集团“纠正算法中的偏见要比纠正人类的偏见容易得多。”