【Pytorch with fastai】第 3 章 ：数据伦理

        ??大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流??

??个人主页－Sonhhxg_柒的博客_CSDN博客 ??

??欢迎各位→点赞?? + 收藏?? + 留言???

??系列专栏 – 机器学习【ML】 自然语言处理【NLP】  深度学习【DL】

?

 ??foreword

?说明?本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。

如果你对这个系列感兴趣的话，可以关注订阅哟??

文章目录

数据伦理的关键示例

错误和追索：用于医疗保健福利的错误算法

反馈循环：YouTube 的推荐系统

偏见：拉坦亚·斯威尼教授“被捕”

为什么这很重要/p>

将机器学习与产品设计相结合

数据伦理主题

追索权和问责制

反馈回路

偏见

历史偏差

测量偏差

聚合偏差

代表性偏差

解决不同类型的偏见

虚假信息

识别和解决道德问题

分析您正在进行的项目

实施过程

道德镜片

多样性的力量

公平、问责和透明

政策的作用

监管的有效性

权利和政策

汽车：历史先例

结论

正如我们在第1章和第2章中所讨论的，有时机器学习模型可能会出错。他们可能有错误。他们可以看到他们以前从未见过的数据，并以我们意想不到的方式行事。或者它们可以完全按照设计工作，但用于我们更希望它们从未使用过的东西。

因为深度学习是一个如此强大的工具，可以用于很多事情，所以考虑我们选择的后果变得尤为重要。伦理学的哲学研究是 对与错的研究，包括我们如何定义这些术语，识别对与错的行为，以及理解行为与后果之间的联系。数据伦理领域一直存在 长期以来，许多学者都在关注这一领域。它被用于帮助定义许多司法管辖区的政策；大小公司都在使用它来考虑如何最好地确保产品开发产生良好的社会成果；它被研究人员使用，他们希望确保他们所做的工作被用于好，而不是坏。

因此，作为一名深度学习从业者，您可能会在某个时候陷入需要您考虑数据伦理的境地。那么什么是数据伦理是道德的一个子领域，所以让我们从那里开始。

在回答 “什么是道德这个问题时 Markkula 应用伦理中心表示，该术语指的是以下内容：

• 规定人类应该做什么的有根据的是非标准

• 道德标准的研究与发展

没有正确答案的清单。没有注意事项清单。伦理是复杂的，并且取决于上下文。它涉及许多利益相关者的观点。道德是你必须发展和练习的肌肉。在本章中，我们的目标是提供一些路标来帮助您完成这一旅程。

发现道德问题最好作为协作团队的一部分。这是您真正融合不同观点的唯一方法。不同的人的背景将帮助他们看到对你来说可能并不明显的事情。与团队合作有助于许多“肌肉锻炼”活动，包括这项活动。

本章当然不是本书中我们讨论数据伦理的唯一部分，但有一个地方可以让我们暂时关注它是件好事。为了获得方向感，看几个例子可能是最容易的。因此，我们挑选了三个我们认为有效地说明了一些关键主题的内容。

数据伦理的关键示例

我们将从三个具体的例子开始，说明三个常见的道德问题在技??术领域（我们将在本章后面更深入地研究这些问题）：

追索程序

阿肯色州错误的医疗保健算法使患者陷入困境。

反馈回路

YouTube 的推荐系统帮助掀起了一场阴谋论热潮。

偏见

当在 Google 上搜索一个传统的非裔美国人名字时，它会显示用于犯罪背景调查的广告。

事实上，对于我们在本章中介绍的每一个概念，我们都将提供至少一个具体的例子。对于每一个，想想在这种情况下你可以做些什么，以及你完成这些可能会遇到什么样的障碍。你会怎么对付他们会注意什么/span>

错误和追索：用于医疗保健福利的错误算法

The Verge 调查了美国一半以上州使用的软件 确定人们接受多少医疗保健，并将其发现记录在 “当算法削减您的医疗保健时会发生什么”一文中。在阿肯色州实施该算法后，数百人（许多患有严重残疾）的医疗保健大幅削减。

例如，患有脑瘫的女性 Tammy Dobbs 需要助手帮助她起床、上厕所、取食物等等，她每周的帮助时间突然减少了 20 小时。她无法解释为什么她的医疗保健被削减了。最终，一个法庭案件显示该算法的软件实现存在错误，对糖尿病或脑瘫患者产生了负面影响。然而，多布斯和许多其他依赖这些医疗保健福利的人生活在担心他们的福利会再次被突然而莫名其妙地削减。

反馈循环：YouTube 的推荐系统

当您的模型控制下一轮时，可能会出现反馈循环 你得到的数据。快速返回的数据会因软件本身而存在缺陷。

例如，YouTube 拥有 19 亿用户，他们每天观看超过 10 亿小时的 YouTube 视频。它的推荐算法（由谷歌构建）旨在优化观看时间，负责大约 70% 的观看内容。但是有一个问题：它导致了失控的反馈循环，导致纽约时报刊登了标题“YouTube 引发了一场阴谋论热潮。可以遏制吗 在 2019 年 2 月。表面上，推荐系统是在预测人们会喜欢什么内容，但它们在确定人们甚至会看到什么内容方面也有很大的权力。

偏见：拉坦亚·斯威尼教授“被捕”

Latanya Sweeney 博士是哈佛大学教授和大学数据主管 隐私实验室。在“在线广告投放中的歧视”一文（见图 3-1）中，她描述了她发现在谷歌上搜索她的名字会导致广告显示“Latanya Sweeney，被捕 尽管她是唯一已知的 Latanya Sweeney 并且从未被捕过。然而，当她在谷歌上搜索其他名字时，例如 “Kirsten Lindquist”，她得到了更多中性的广告，尽管 Kirsten Lindquist 已经被逮捕了 3 次。

图 3-1。谷歌搜索显示有关 Latanya Sweeney 教授（不存在的）逮捕记录的广告

作为一名计算机科学家，她系统地研究了这一点，并查看了 2,000 多个名字。她发现了一个明确的模式：历史上黑人名字收到的广告暗示此人有犯罪记录，而传统上白人名字的广告更中性。

这是偏见的一个例子。它可以对人们的生活产生重大影响——例如，如果求职者被谷歌搜索，他们可能看起来有犯罪记录，而实际上他们没有。

为什么这很重要/span>

考虑这些问题的一个非常自然的反应是：“那又怎样nbsp;跟我有什么关系是数据科学家，而不是政治家。我不是我公司中决定我们做什么的高级管理人员之一。我只是想建立我能做的最具预测性的模型。”

这些都是非常合理的问题。但我们会试图让你相信答案是每个训练模型的人 绝对需要考虑他们的模型将如何被使用，并考虑如何最好地确保它们被尽可能积极地使用。有些事情你可以做。如果你不这样做，事情可能会变得非常糟糕。

一个特别可怕的例子，说明当技术人员 不惜一切代价关注技术是IBM和纳粹德国的故事。2001 年，一位瑞士法官裁定，“推断 IBM 的技术援助促进了纳粹在实施其危害人类罪中的任务，这些行为还涉及 IBM 机器的会计和分类，并在集中营中使用，这并非不合理。 。”

你看，IBM 为纳粹提供了大规模追踪犹太人和其他群体灭绝情况所需的数据表格产品。这是由公司高层推动的，向希特勒和他的领导团队进行营销。公司总裁托马斯·沃森亲自批准了 1939 年发布的特殊 IBM 字母排序机器，以帮助组织驱逐波兰犹太人。图 3-2为阿道夫·希特勒 （最左边）在 1937 年希特勒授予沃森特别的“为帝国服务”奖章之前不久，与 IBM 首席执行官 Tom Watson Sr.（左二）会面。

图 3-2。IBM CEO Tom Watson Sr. 与阿道夫·希特勒会面

但这不是一个孤立的事件——该组织的参与范围很广。IBM 及其子公司在集中营现场提供定期培训和维护：打印卡片、配置机器，并在它们经常坏掉时进行维修。IBM 在其穿孔卡系统上设置了每个人被杀的方式、他们被分配到哪个组以及通过庞大的大屠杀系统追踪他们所需的后勤信息的分类（见图 3-3）。IBM 对集中营中犹太人的代码是 8：大约 6,000,000 人被杀。它的罗马人代码是 12（他们被纳粹标记为“反社会者”，在Zigeunerlager中有超过 300,000 人被杀，或“吉普赛人营地”）。一般处决被编码为 4，毒气室中的死亡被编码为 6。

图 3-3。IBM 在集中营中使用的打孔卡

当然，参与的项目经理和工程技术人员也只是过着平凡的生活。照顾他们的家人，星期天去教堂，尽他们所能做他们的工作。遵命。营销人员只是尽其所能来实现他们的业务发展目标。作为埃德温·布莱克，IBM 和大屠杀（对话出版社）的作者观察到：“对于盲目的技术官僚来说，手段比目的更重要。对犹太人民的毁灭变得更加不重要，因为 IBM 技术成就的令人振奋的本质只有在面包生产线遍布全球的时候获得的巨大利润才更加突出。”

退一步想一想：如果你发现自己成为了一个最终伤害社会的系统的一部分，你会有什么感受愿意找出答案吗如何帮助确保不会发生这种情况们已经在这里描述了最极端的情况，但是今天观察到与人工智能和机器学习相关的许多负面社会后果，我们将在本章中描述其中的一些。

这也不仅仅是一种道德负担。有时，技术人员会直接为他们的行为付出代价。例如，第一个因大众汽车丑闻而入狱的人，其中这家汽车公司被发现在柴油排放测试中作弊，不是监督该项目的经理，也不是公司的高管。是其中一位工程师 James Liang，他刚刚做了他想做的事 被告知。

当然，这并不全是坏事——如果你参与的一个项目甚至对一个人产生了巨大的积极影响，这会让你感觉非常棒！

好的，所以希望我们已经说服你，你应该关心。但 你该怎么办为数据科学家，我们自然倾向于通过优化某些指标或其他指标来优化我们的模型。但优化该指标可能不会带来更好的结果。即使它确实有助于创造更好的结果，它几乎肯定不会是唯一重要的事情。考虑在研究人员或从业者开发模型或算法之间发生的一系列步骤，以及该工作用于做出决定的时间点。如果我们希望获得我们想要的结果，则需要将整个管道视为一个整体。

通常，从一端到另一端有一条很长的链条。如果您是一名研究人员，甚至可能不知道您的研究是否会被用于任何事情，或者您是否参与了数据收集，这在管道中甚至更早，则尤其如此。但是，没有人比您更适合将您工作的能力、限制和细节告知该链条中的每个人。尽管没有“灵丹妙药”可以确保您的工作以正确的方式使用，但通过参与流程并提出正确的问题，您至少可以确保正在考虑正确的问题。

有时，对被要求做某项工作的正确反应就是说“不”。然而，我们经常听到的回应是，“如果我不这样做，其他人就会这样做。” 但是请考虑一下：如果您被选中担任这项工作，那么您就是他们发现的最佳人选——因此，如果您不这样做，那么最佳人选就不会从事该项目。如果他们问的前五个人都说不，那就更好了！

将机器学习与产品设计相结合

大概，你做这项工作的原因是你 希望它会被用于某事。否则，你只是在浪费时间。因此，让我们从假设您的工作将在某个地方结束的假设开始。现在，当您收集数据和开发模型时，您正在做出很多决定。您会将数据存储在什么级别的聚合应该使用什么损失函数应该使用哪些验证集和训练集应该关注实现的简单性、推理的速度还是模型的准确性的模型将如何处理域外数据项可以进行微调，还是必须随着时间的推移从头开始重新训练/span>

这些不仅仅是算法问题。它们是数据产品设计问题。但是产品经理、高管、法官、记者、医生——无论他们最终开发和使用了你的模型所在的系统——都不会很好地理解你做出的决定，更不用说改变它们了。

例如，两项研究发现亚马逊的面部识别软件产生 不准确和 种族偏见的结果。亚马逊声称研究人员应该更改默认参数，但没有解释这将如何改变有偏见的结果。此外，事实证明，亚马逊也没有指示 使用其软件的警察部门这样做。据推测，开发这些算法的研究人员与编写提供给警方的指南的亚马逊文档人员之间存在很大的距离。

缺乏紧密的整合给整个社会、警察和亚马逊带来了严重的问题。事实证明，它的系统错误地将 28 名国会议员与犯罪照片匹配！（与犯罪面部照片错误匹配的国会议员不成比例地是有色人种，如图 3-4 所示。）

图 3-4。国会议员与亚马逊软件的犯罪照片相匹配

数据科学家需要成为跨学科团队的一员。研究人员需要与最终会使用他们研究的人密切合作。更好的是，领域专家自己可以学到足够的知识，能够自己训练和调试一些模型——希望你们中的一些人现在正在阅读这本书！

现代工作场所是一个非常专业的地方。每个人都倾向于有明确的工作来执行。尤其是在大公司中，很难知道所有的拼图。有时，如果公司知道员工不会喜欢答案，他们甚至会故意掩盖正在处理的整体项目目标。这有时是通过尽可能多地划分碎片来完成的。

换句话说，我们并不是说这一切都很容易。这个很难（硬。这真的很难。我们都必须尽力而为。我们经常看到，那些参与到这些项目的更高层次环境中，并试图发展跨学科能力和团队的人，成为他们组织中最重要和最有回报的成员。这种工作往往会受到高级管理人员的高度赞赏，即使有时中层管理人员认为它相当不舒服。

数据伦理主题

数据伦理是一个很大的领域，我们不可能涵盖所有内容。相反，我们将选择一些我们认为特别相关的主题：

• 追索权和问责制的必要性

• 反馈回路

• 偏见

• 虚假信息

让我们依次看一下。

追索权和问责制

在一个复杂的系统中，没有人很容易感到有责任感 为结果。虽然这是可以理解的，但它不会带来好的结果。在阿肯色州的早期例子中医疗保健系统中的一个错误导致脑瘫患者无法获得所需的护理，该算法的创建者指责政府官员，而政府官员则指责那些实施该软件的人。纽约大学教授Danah Boyd描述了这种现象：“官僚主义经常被用来转移或逃避责任……今天的算法系统正在扩展官僚主义。”

追索权如此必要的另一个原因是数据通常 包含错误。审计和纠错机制至关重要。加州执法人员维护的一个疑似帮派成员数据库被发现错误百出，其中42名婴儿不到1岁就被添加到数据库中（其中28名被标记为“承认为帮派”）成员”）。在这种情况下，没有适当的流程来纠正错误或在添加人员后将其删除。另一个例子是美国的信用报告系统：美国联邦贸易委员会 (FTC) 在 2012 年对信用报告进行的一项大规模研究发现，26% 的消费者在他们的文件中至少有一个错误，而 5% 的错误可能是毁灭性的。

然而，纠正此类错误的过程非常缓慢且不透明。当公共电台记者 Bobby Allyn发现他被错误地列为持有枪支罪名时，他“打了十几个电话，一个县法院书记员的手艺，六个星期才解决了这个问题。那是在我作为记者联系公司的通讯部门之后。”

作为机器学习从业者，我们并不总是认为了解我们的算法最终如何在实践中实施是我们的责任。但我们需要。

反馈回路

我们在第 1 章中解释了算法如何 可以与其环境交互以创建反馈循环，做出预测以加强在现实世界中采取的行动，从而使预测在同一方向上更加明显。作为一个例子，让我们再次考虑 YouTube 的推荐系统。几年前，谷歌团队谈到了他们是如何引入强化学习的（与深度学习密切相关，但您的损失函数代表一个动作发生后可能很长一段时间内的结果）以改进 YouTube 的推荐系统。他们描述了他们如何使用一种算法来提出建议，从而优化观看时间。

然而，人们往往会被有争议的内容所吸引。这意味着关于阴谋论之类的视频开始越来越多地被推荐系统推荐。而且，原来对阴谋论感兴趣的人，也是看很多网络视频的人！因此，他们开始越来越喜欢 YouTube。越来越多的阴谋论者在 YouTube 上观看视频，导致算法推荐越来越多的阴谋论和其他极端主义内容，这导致更多极端主义分子在 YouTube 上观看视频，更多观看 YouTube 的人发展极端主义观点，导致算法推荐更极端的内容。系统逐渐失控。

而这种现象并不包含在这种特定类型的内容中。2019 年 6 月，《纽约时报》在 YouTube 的推荐系统上发表了一篇题为 《在 YouTube 的数字游乐场，恋童癖者敞开大门》的文章。这篇文章从这个令人毛骨悚然的故事开始：

当她 10 岁的女儿和一位朋友上传了一段他们在后院游泳池玩耍的视频时，Christiane C. 没有想到任何事情……几天后……该视频获得了数千次观看。没过多久，它就上升到了 40 万……“我又看了一遍视频，被观看次数吓到了，”克里斯蒂安说。她有理由这样做。一组研究人员发现，YouTube 的自动推荐系统已经开始向观看其他青春期前、部分穿着的儿童视频的用户展示该视频。

就其本身而言，每个视频都可能是完全无辜的，例如，由孩子制作的家庭电影。任何暴露的框架都是转瞬即逝的，并且显得很偶然。但是，将它们组合在一起，它们的共同特征就变得明确无误。

YouTube 的推荐算法已经开始为恋童癖者挑选播放列表，挑选出恰好包含青春期前、衣着不全的儿童的无辜家庭视频。

谷歌没有人计划创建一个系统，将家庭视频变成恋童癖者的色情片。所以发生了什么事/span>

这里的部分问题是指标在推动 财务上重要的系统。如您所见，当一个算法有一个指标需要优化时，它会尽其所能来优化这个数字。这往往会导致各种边缘情况，与系统交互的人将搜索、查找和利用这些边缘情况和反馈循环以获得优势。

有迹象表明，这正是 2018年 YouTube 推荐系统所发生的事情。《卫报》刊登了一篇名为 “一位前 YouTube 内部人员如何调查其秘密算法”的文章，讲述了前 YouTube 工程师 Guillaume Chaslot，他创建了一个网站， 跟踪这些问题。在罗伯特·穆勒 (Robert Mueller) 的“关于俄罗斯干涉 2016 年总统选举的调查报告”发布之后，查斯洛特在图 3-5中发布了图表 。

图 3-5。穆勒报告的报道

今日俄罗斯对穆勒报告的报道是极端的 有多少频道推荐它的异常值。这表明俄罗斯国有媒体《今日俄罗斯》在玩 YouTube 推荐算法方面取得了成功的可能性。不幸的是，像这样的系统缺乏透明度使得我们很难发现我们正在讨论的各种问题。

我们对本书的一位审稿人 Aurélien Géron 领导了 YouTube 的视频分类团队从 2013 年到 2016 年（远在此处讨论的事件之前）。他指出，问题不仅仅是涉及人类的反馈循环。也可以有没有人的反馈循环！他告诉我们一个来自 YouTube 的例子：

对视频的主题进行分类的一个重要信号是它来自哪个频道。例如，上传到烹饪频道的视频很可能是烹饪视频。但是我们怎么知道一个频道的主题是什么吧……部分是通过查看其中包含的视频主题！你看到循环了吗如，许多视频都有说明，说明使用什么相机拍摄视频。因此，其中一些视频可能会被归类为有关“摄影”的视频。如果某个频道有这样一个错误分类的视频，它可能会被归类为“摄影”频道，这使得该频道上的未来视频更有可能被错误归类为“摄影”。这甚至可能导致类似病毒的分类失控！打破这种反馈循环的一种方法是对带有和不带有通道信号的视频进行分类。那么在对通道进行分类时，只能使用没有通道信号得到的类。这样，反馈回路就被打破了。

有一些人和组织试图解决这些问题的积极例子。Evan Estola，首席机器学习工程师 聚会，讨论了这个例子男性对科技聚会的兴趣高于女性。因此，将性别考虑在内可能会导致 Meetup 的算法向女性推荐更少的技术聚会，结果，更少的女性会发现并参加技术聚会，这可能导致算法向女性推荐更少的技术聚会，等等在一个自我强化的反馈循环中。因此，Evan 和他的团队为他们的推荐算法做出了不创建这样一个反馈循环的道德决定，明确地不在他们模型的那部分使用性别。令人鼓舞的是，一家公司不仅不假思索地优化了一个指标，而且考虑了它的影响。根据 Evan 的说法，“您需要决定在您的算法中不使用哪个功能……最优化的算法可能不是投入生产的最佳算法。”

虽然 Meetup 选择避免这样的结果，但 Facebook 提供了一个 允许失控的反馈循环疯狂运行的示例。与 YouTube 一样，它倾向于通过向对一种阴谋论感兴趣的用户介绍更多内容来激化他们。正如虚假信息泛滥的研究员 Renee DiResta所写：

一旦人们加入一个有阴谋论的 [Facebook] 组，他们就会通过算法被路由到大量其他人。加入一个反疫苗小组，您的建议将包括反转基因、化学追踪观察、flat Earther（是的，真的）和“自然治愈癌症”小组。推荐引擎不是将用户从兔子洞中拉出来，而是将他们推得更远。

记住这种行为是可能发生的，并且当你在自己的项目中看到它的第一个迹象时，要么预测一个反馈循环，要么采取积极的行动来打破它，这一点非常重要。要记住的另一件事是偏见，正如我们在前一章中简要讨论的那样，它会以非常麻烦的方式与反馈循环交互。

偏见

在线讨论偏见往往很快就会变得相当混乱。这 “偏见”这个词有很多不同的意思。统计学家经常认为，当数据伦理学家谈论偏见时，他们正在谈论术语偏见的统计定义——但事实并非如此。他们当然不是在谈论作为模型参数的权重和偏差中出现的偏差！

他们谈论的是社会科学概念来源：Sonhhxg_柒