预测解释:增加机器学习的透明度

邮寄人

机器学习的有效使用和采用要求算法不仅准确,而且易于理解。为了满足这一需求,BigML现在包括了允许beplay2网页登陆预测解释,分类和回归预测的模型独立解释。在这篇文章中,我们将总结预测是“可解释的”意味着什么,为什么这很重要,并分享一个预测解释起关键作用的用例。

机器学习算法不是用一组穷尽的“if-then”规则硬编程,而是基于大量示例数据集“学习”规则。了解这些规则是什么,以及它们如何应用于新数据,通常称为可解释性解释这是模型的一部分。而不太复杂(高偏差)的算法通常基于对被评估数据结构的更广泛的基本假设,因此通常在某种程度上可说明的,更复杂的模型,如神经网络,尽管在很大程度上起着“黑匣子”的作用,但仍被越来越多地利用

模型可解释性

为什么是现在?

在涉及人类行为和决策的预测性应用中采用机器学习算法的深远影响促成了欧盟内部态度的范式转变,从而建立了一般资料保护规例(GDPR)2018年5月25日生效。尽管该法规的大部分内容集中在个人数据的保护和存储上,但GDPR也包括了关于应用于欧盟公民数据的机器学习算法的“解释权”。这项规定的法律含义尚不明确,但有一点是明确的:那些负责设计和实现影响人类主体的机器学习算法的人也负责理解和解释它们是如何工作的。

机器学习算法的基本逻辑可以在两个层次上理解:全局解释和局部解释。

  • A.全球解释指特定算法的总体功能,对于深度神经网络等方法而言,这可能是一项具有挑战性的任务。对于决策树模型,全局变量重要性直接与每个变量分裂点的深度和频率相关。
  • 相反地方解释确定哪个特定的变量对个人决策有贡献,这对于处理人类受试者和/或在高度管制的行业中的应用来说是一个日益重要的要求。需要注意的是,在算法的全局解释中,最重要的变量是必须与局部预测中最重要的变量相对应。

beplay2网页登陆BigML模型字段重要性

beplay2网页登陆BigML预测解释

全球解释

局部解释

模型依赖

模型不可知

评估所有预测

评估单一预测

理解ML模型提供给定预测的原因

当试图理解机器学习算法为何得出特定结论时,特别是当该结论影响到具有“解释权”的个人时,局部解释通常更相关。一个典型的例子是贷款违约风险评估。申请贷款的个人可以根据其拖欠贷款的可能性批准或拒绝申请。为了更具体地说明这个场景,我们将评估贷款违约风险的可用数据集beplay2网页登陆比格姆画廊,使用新推出的预言的解释工具下面显示的是该数据集中的前五个功能,尽管总共有21个字段,由分类变量和数字变量组成。此数据集的目标字段是“类”字段,其值为“好”或“坏”。

贷款储蓄数据

按照这个数据集中1000个实例的标准训练测试分割,我们训练了三个不同的模型:a对数几率回归表演团体树模型和深海网使用BigML仪表板的一键式功能。在调查字段重要性或预测解释之前,首先检查模型是否beplay2网页登陆达到了超出随机机会的某种性能水平是至关重要的。在这种情况下,这三种模型的表现相当相似,都有一个f-measure顶级机型的价格为0.6842美元,是一款Ensemble。

为了进一步研究训练模型是如何工作的,选择了集合的预测页面。此页面允许用户手动输入或调整模型考虑的每个变量的值,并查看预测的概率或置信度。除了更改输入字段外,还可以选择禁用特定输入字段、调整概率阈值和为目标字段选择正类。虽然此仪表板提供了一个很好的工具,可以观察各种输入如何影响预测,并为特定感兴趣的单个实例生成预测,但它在最终明确解释哪些变量驱动输出方面做得不够。这就是BigML的位置beplay2网页登陆预测解释进入,可在页面底部选择:

dashboard-pe.png

预测解释表示给定输入值的单个预测中模型考虑的最重要因素。每个输入值将产生一个相关的重要性,所有输入字段的重要性总和为100%。预测解释是通过对输入数据的随机扰动,利用一千多个不同预测的结果计算出来的。对于某些输入字段,在重要值旁边有一个“+”图标,它允许您收集关于应用于输入数据的特定规则的更多信息,以实现最终预测。例如,在下面的图中,43.51%字段“savings_status”的重要性并不是用它的精确值来解释的。而是因为该字段值大于100而小于500。

explanation_scores

白盒的预测

在过去的十年中,我们经历了大量使用机器学习的预测性应用,而这仅仅是一个开始。值得注意的是,这些用例中的许多已经远远超出了对物理系统的建模,并且广泛地对细微的人类行为和决策进行建模。将人类置于机器学习算法的决策之下并非没有相当大的道德含义,最近的畅销书如数学毁灭武器凯茜奥尼尔。

如果你无法解释你的模型的预测,那么你不仅要看到监管机构的反对,也要看到利益相关者的反对。这些情况导致了大量的“可解释人工智能”计划,比如美国国防部高级研究计划局资助一个650万美元赠款俄勒冈州州立大学工程学院研发出可信赖、可理解的人工智能系统,由托马斯·迪特里奇博士北京大学智能系统研究中心主任、特聘教授(荣誉退休)俄勒冈州立大学BigML的联合创始人和首席科学家。beplay2网页登陆

与我们不断努力降低机器学习的障碍相一致,BigML的最新功能可以对不透明的统计技术进行简单的白盒解释。beplay2网页登陆预测解释,现在变得非常简单。

一个评论

留下一个回复

在下面填写详细信息或单击图标登录:

掘墓人
WordPress.com徽标

你在用你的WordPress.com账户进行评论。(注销/改变)

谷歌照片

您正在使用您的Google帐户进行评论。(注销/改变)

Twitter图片

你在用你的Twitter账户发表评论。(注销/改变)

Facebook的照片

你在用你的Facebook账户评论。(注销/改变)

正在连接到%s