观点：社区建设、机器学习与人工智能的未来

[音乐]

系列介绍： 您正在收听的是Ideas，一个深入探讨技术研究和代码背后深刻问题的微软研究院播客。在本系列中，我们将探索塑造我们未来的技术以及推动它们前进的宏大思想。

[音乐渐弱]

JENN WORTMAN VAUGHAN： 大家好，欢迎收听。我是Jenn Wortman Vaughan。本周，世界各地的机器学习研究人员将参加一年一度的神经信息处理系统大会，即NeurIPS。我对今年的NeurIPS尤其兴奋，因为它将举办一个并行的活动——第20届机器学习领域女性研讨会（WiML），我将以导师和主题演讲人的双重身份出席。

为了庆祝WiML成立20周年，我今天请来了我的长期合作者、同事、密友，也是机器学习领域女性研讨会的联合创始人Hanna Wallach。

你知道，我们认识彼此已经很久了。在很多方面，我们都遵循着非常平行且经常相交的道路，直到我们俩都在微软从事负责任的AI工作。所以我想，以一段我们交织的轨迹故事开始这个播客可能会很有趣。

我们从大约20年前，也就是我们产生WiML想法的时候开始吧。你当时在哪里，在忙些什么？

HANNA WALLACH： 是的，我当时是剑桥大学的博士生，与已故的David MacKay共事。我专注于机器学习在文本分析中的应用。在那时，我刚开始研究用于文本分析的贝叶斯潜在变量模型，我的研究重点是尝试将n元语法模型与统计主题模型相结合，以建立能更好地模拟文本的模型。

我当时还在做一件非常奇特的“两国同步”的事情。我的博士学业在剑桥，但在博士第一年结束时，我作为访问研究生在宾夕法尼亚大学待了三个月，我非常喜欢那里，以至于在三个月结束时我说，我能再延长一年吗？剑桥同意了；宾大也同意了。所以我这样做了，实际上又延长了一年，又一年，又一年，等等。

但在我在宾大的第一个完整学年，我认识了你，那是在访问学生周末。院系里的教职人员告诉我，我必须非常努力地招募你。我当时并不知道，那将是我们20多年友谊的开始。

WORTMAN VAUGHAN： 是的，我至今还记得那个访问周末。我实际上在那天见到了你；见到了我的丈夫Jeff；还见到了我的博士导师Michael Kearns。所以当时我并不知道，但那对我来说是意义重大的一天。

所以在我开始在宾大攻读博士学位的时候，我研究的是机器学习理论和算法经济学。所以即使在那时，你知道，就像我现在一样，我对人与人工智能系统的交叉点很感兴趣。但由于我的训练背景是理论，我的“人”倾向于那些数学上理想化的人，他们有着明确的偏好和信念，行为方式也非常明确。

从事学习理论工作很吸引我，因为它非常整洁和精确。它完全没有现实世界的混乱。你只需写下你的模型，其中包含你所有的假设，从那里得出的一切在某种程度上都是客观的。

所以我非常喜欢这项工作，当时有你也在系里也让我非常兴奋。你知道，说实话，我也很喜欢宾大。那里的环境非常好。我几周前刚回去做了一次演讲。我度过了非常愉快的时光。但坦白地说，当时计算机科学系非常男性主导。在我入学的博士生中，我们有20名新生，我是唯一的女性。但我们设法建立了一个社区。我们有每周的女士早午餐，我非常喜欢，这些事情在我的博士期间一直支撑着我。

WALLACH： 是的，我喜欢那个女士早午餐。那对我帮助很大，也“支撑”我度过了博士阶段。

和我一样，我一直对人很感兴趣。在攻读博士学位的过程中，我意识到我并不对分析文本本身感兴趣，对吧？我感兴趣是因为文本是人们相互交流的一种方式。你知道，人们写文本不是为了写文本本身。他们写作是因为他们试图传达一些东西。而我真正感兴趣的是这个。我对文本的这些社会方面感到非常着迷。

所以博士毕业后，我找到了一个博士后职位，专注于分析文本，将其作为这些更广泛的社会过程的一部分。从那里，我最终在马萨诸塞大学（UMass）获得了一个教职岗位，成为马萨诸塞大学计算社会科学研究所的四名创始成员之一。所以，一位在计算机科学领域，一位在统计学，一位在政治学，还有一位在社会学。在很多方面，这是我的梦想工作：我获得报酬去开发和使用机器学习方法来研究社会过程，并回答社会科学家想要研究的问题。这很棒。我想你在同一时间也开始了一个教职职位，对吗？

WORTMAN VAUGHAN： 是的。我做了一个博士后。首先，我在哈佛大学待了一年，那非常有趣。然后我于2010年在加州大学洛杉矶分校（UCLA）开始了计算机科学系的终身教职职位。

同样，你知道，那是一个非常男性主导的环境。我的系里几乎都是男性。但可能比这更重要的是，我真的在那里没有一个网络。你知道，感觉很孤独。唯一的例外是Mihaela van der Schaar。她当时在UCLA，不在我的系里，她“收留”了我。所以我非常感谢我得到了那份支持。但总的来说，那个职位对我来说并不合适，我当时承受的压力比我能记住的生命中任何其他时刻都要大。

WALLACH： 是的。所以那时，你最终转到了微软研究院（MSR），对吗？

WORTMAN VAUGHAN： 没错。

WALLACH： 你为什么选择MSR [微软研究院]？

WORTMAN VAUGHAN： 是的，那是在2012年。MSR当时刚在纽约市开设了新的实验室，在这个实验室工作基本上是我的梦想工作。我想我在他们还没有正式开业的时候就尝试申请了，当时我只是听说这件事正在发生。

所以当时这个实验室关注三个领域：机器学习、算法经济学和计算社会科学。我当时的研究横跨了所有这三个领域。所以这感觉像是一个完美的机会，可以在我的工作能很好地契合并得到真正重视的领域工作。

当时算法经济学小组正在致力于建立预测市场来汇总关于未来事件的信息，他们在这样做的时候，已经在我的理论研究基础上进行了构建，这真的很酷。所以那很令人兴奋。而且我已经认识了这里的几个人。我认识John Langford和当时在经济学小组的Dave Pennock，因为我之前在雅虎研究院（Yahoo Research）和他们两人一起实习过，然后他们才来到微软。我非常高兴能再次和他们一起工作。

你知道，即使在我加入实验室的时候，也是13个男人和我。所以再一次，数字不太理想。而且我认为这对我来说尤其艰难，因为我天生比较害羞，而且我还没有在职业生涯中建立起我应该具备的信心。但另一方面，我觉得研究的契合度太完美了，我无法拒绝。我猜你也能理解这一点，因为你在一两年后也加入了纽约实验室。你为什么做出这个转变？

WALLACH： 是的，我本来以为我会喜欢我的教职工作。它关注所有我非常兴奋的事情。但出乎意料的是，我并不喜欢。并不是说有一件特别的事情我不喜欢。这更像是一些事情的混合体。不过我确实喜欢我的研究，这一点对我来说很清楚。但是我不快乐。所以我花了一个夏天的时间与尽可能多的人交谈，他们从事着各种不同的工作，目标是了解他们日常的工作情况。你是我交谈过的人之一，但我还和很多人谈过。

通过这样做，那个夏天结束时，我决定申请行业工作，我申请了很多地方，也收到了很多录用通知。但我最终决定加入微软纽约研究院，因为在我考虑的所有地方中，他们是唯一一个说：‘我们喜欢你的研究。我们喜欢你所做的。你想来这里做同样的研究吗？’

这对我非常有吸引力，因为我热爱我的研究。当然，我希望来这里做我同样的研究，尤其能和像你、Duncan Watts（多年来我一直非常敬佩的人）这样优秀的人一起工作，他当时也在那里。那里确实非常注重计算社会科学，但多了一点行业视角。还有那些了不起的机器学习研究人员。和你的原因差不多，我对加入那个实验室感到非常兴奋，尤其对能再次和你一起在同一个组织工作感到兴奋。

WORTMAN VAUGHAN： 是的，我愿意为……

WALLACH： 哦，是的。

WORTMAN VAUGHAN： ……多年前把你招进微软而揽下一点点功劳……

WALLACH： 哦，是的。

WORTMAN VAUGHAN： 是的。我非常高兴你也能加入，尽管我想那时我的时间安排让你错过了我头几个月，因为我当时正在休我大女儿的产假。我应该说我有两个女儿，我非常自豪地分享在这个播客中，她们俩都对数学和阅读非常感兴趣。

WALLACH： 是的，她们都很棒。

嗯，然后我们就一起在同一个地方工作了。但尽管如此，我们还是花了几年时间才真正开始合作研究。你还记得我们是如何开始合作的吗？

WORTMAN VAUGHAN： 是的。我过去经常讲这个故事。实际上，我当时在华盛顿特区参加了一个关于AI与社会问题的座谈会，我想大概是2016年。座谈会上有人说，很快我们的人工智能系统就会变得如此出色，以至于我们决策中的所有不确定性都将被消除，而关于这一点的一些说法真的激怒了我，因为我觉得这太……

WALLACH： 我记得。

WORTMAN VAUGHAN： ……不负责任了。所以我回到纽约，我想我在实验室里向你抱怨这件事，这次谈话让我们开始了一场更长的讨论，关于沟通不确定性的重要性，以及解释你所做预测背后的假设，以及所有这些。

WALLACH： 所以这是……我对此非常兴奋，因为作为一名贝叶斯主义者，这几年里一直有人向我灌输这种思想。贝叶斯统计，它构成了我所从事的机器学习类型的大部分基础，核心思想是明确陈述假设和量化不确定性。所以我对这些事情非常坚持。

WORTMAN VAUGHAN： 是的。所以我们所有的讨论不知怎么地引导我们去研究当时机器学习社区中关于可解释性的文献。当时涌现出很多论文，声称模型是可解释的，但没有停下来定义模型是对谁可解释，或为什么目的可解释。从未真正地将这些模型放在真实的人面前。我们想改变这一点。所以我们开始对真实的人进行对照实验，发现我们往往无法相信自己关于什么能使模型可解释的直觉。

WALLACH： 是的。在那项工作中经常出现的一个问题是，如何衡量可解释性这类模糊的抽象人类概念，它们很难定义，更不用说量化和测量了。

WORTMAN VAUGHAN： 完全正确。所以我想我们在这条工作线中首先努力解决的问题之一就是，可解释或可理解或当时所说的任何这些术语意味着什么。

嗯，我们和我们的同事Forough Poursabzi、Jake Hofman和Dan Goldstein做了一些研究，这仍然是我最喜欢的论文之一……

WALLACH： 我也是。

WORTMAN VAUGHAN： ……在这项研究中，我们发现将可解释性视为一种潜在属性会非常有用，这种属性可能受到模型或系统的设计中不同属性的影响。比如模型具有的特征数量，或者模型是线性的，甚至是模型的用户界面。

这对我来说是一个入门项目，因为它是我第一个真正感到兴奋的、更偏向于人机交互（HCI）的项目，而不是像我过去一直在做的理论项目。它在我心中点燃了巨大的兴奋火花。当时我觉得它比我正在做的其他事情更重要，我只是想做更多更多这样的工作。

我想对我有类似影响的另一个项目，也是我们当时一起做的，是我们与Ken Holstein一起绘制的行业从业者在AI公平性领域面临的挑战。

WALLACH： 哦，是的。好的，是的。那个项目，太有趣了，我从中收获良多。如果我没记错的话，我们最初是把Ken，他当时是卡内基梅隆大学的HCI博士生，作为实习生……

WORTMAN VAUGHAN： 没错。

WALLACH： ……来和我们一起为Fairlearn工具包这样的公平性工具创建用户体验。我们开始这个项目——那是与Miro Dudík和Hal Daumé合作——我们通过让Ken与微软和其他组织的许多从业者交谈开始这个项目，以了解他们如何以及为何使用Fairlearn工具包。

我想指出，当时学术研究界非常关注所有这些简单的定量指标，用于评估预测和预测性机器学习模型的公平性，其基本理念是，可以构建这些工具来帮助从业者评估其预测模型的公平性，甚至可能做出更公平的预测。所以Fairlearn工具包最初就是为此目的而开发的。所以我们最初问所有这些从业者只是作为我们认为将用这个实习项目做什么的先决条件。

我们还向从业者询问了他们当前在工作中与公平性相关的实践和挑战，以及他们对支持的额外需求。也就是说，他们在哪些方面觉得他们拥有合适的工具、流程和实践，哪些方面觉得缺少东西。这确实是开阔眼界，因为我们发现的结果与我们的预期大不相同。有两件事给我们留下了深刻的印象。

我们发现的第一个是，我们发现的应用范围远远超出了预测。我们一开始假设所有这些从业者都在处理预测性机器学习模型，但事实上，我们发现他们正在做各种各样的事情。有很多无监督的，有很多，你知道，基于语言的——所有这些事情。事后看来，考虑到生成式AI的兴起，这可能听起来并不奇怪，而且整个机器学习和人工智能领域不再像过去那样狭隘地关注预测，也就是分类回归那种方式。但在当时，这真的令人惊讶，特别是考虑到学术文献在谈到公平性时对预测的关注。

我们发现的第二件事是，从业者经常难以利用现有的公平性研究，部分原因是当时最热门的那些定量指标，并不适用于从业者在现实世界中面临的复杂场景。这有很多不同的原因，但其中一个突出的原因是，这并不完全是关于底层模型什么的，而是实际上涉及各种数据挑战，例如数据收集、敏感属性的收集，而你必须收集这些才能实际使用这些公平性指标。

总而言之，这件事的后果是，我们从未完成我们最初打算用那个[笑声]实习项目做的事情。我们……因为我们发现了研究与实践之间存在的巨大差距，我们最终发表了一篇论文，描述了这种差距，并提出了未来研究的重要方向。这篇论文做的另一件事是强调进行这种定性工作的重要性，以真正了解实践中正在发生什么，而不是仅仅假设从业者在做什么或不做什么。

另一件产生的事情是，我们四个人——你、我、Miro和Hal——都从Ken那里学到了关于HCI和定性研究的大量知识，这非常有趣。

WORTMAN VAUGHAN： 是的，我开始面对这样一个事实：我再也不能合理地忽视所有这些现实世界的混乱了，因为你知道，在某种程度上，负责任的AI就是关于这些混乱的。

所以我想这个项目对我们俩来说都是一个很大的转变。在某种程度上，参与这项工作和可解释性研究使我们积极参与了微软在负责任AI领域发生的早期努力。我们所做的研究直接为公司政策提供了信息，感觉这是一个我们可以产生巨大影响的领域。所以这非常令人兴奋。

那么，换个话题。Hanna，你还记得我们是怎么第一次想到WiML的吗？

WALLACH： 是的，我记得。我们在NeurIPS上。那是2005年。所以当时的NeurIPS与现在非常不同。现在有成千上万的人参加，在大型会议中心举行。是的，那里有研究人员，但也有来自科技行业的各种人参加，但当时并不是那样的。

所以在2005年左右，总共大约有600人[1]，主会议每年在温哥华举行，然后会议上的每个人都会坐上这些巴士，我们都会前往惠斯勒参加研讨会。

WORTMAN VAUGHAN： 没错。

WALLACH： 所以这和现在完全不同。那是我第三次参加这次会议。但我第一次和其他女性共用一个酒店房间。我记得在惠斯勒的研讨会上，我们五个人围坐在一个酒店房间里，我们谈论着有五个女性坐在一起交谈是多么令人惊讶。我们简直不敢相信有我们五个人。我们当时都是博士生。所以我们决定列一个清单，开始弄清楚机器学习领域其他女性是谁。我们想出了大约10个名字，我们很惊讶机器学习领域竟然有10个女性。我们认为这是一个巨大的数字。我们非常兴奋。然后我们开始讨论把她们都聚在一起可能会很有趣。

所以我们从NeurIPS回来后，你我一起吃午饭来制定策略。我仍然记得我们一起走出系里去吃午饭，你走在我前面。我能想象出你走在我前面时穿的外套。所以我们策略了一下，并最终决定，与另一位女性Lisa Wainer一起，向格蕾丝·霍珀会议（Grace Hopper conference）提交一个提案，希望在会议上有一个环节，让机器学习领域的女性对她们的研究进行简短演讲。

我们联系了我们在酒店房间里写下的10个名字，在这个过程中，我们实际上发现了更多机器学习领域的女性，最终在最终提案中有大约25名女性。我记得我们之间有一封电子邮件，其中一个或另一个说：“天哪！我简直不敢相信机器学习领域有这么多女性。”

所以我们提交了这个提案，但最终，该提案被格蕾丝·霍珀会议拒绝了。但我们对这个想法非常兴奋，并且到那时已经投入了巨大的精力，所以我们决定在格蕾丝·霍珀会议前一天举办我们自己的并列活动。我必须说，你知道，20年后，我不知道我们当时是怎么想的。就像，对于三个博士生来说，这是一个非常大胆的举动。而且我们不得不完全……[内容被截断]