AI须以牺牲可理解性为代价吗?
作者:编辑部
2023-07-25
摘要:希望将人工智能整合到业务中的公司应该三思而后行,不要为了复杂的算法而放弃更简单、更容易解释的人工智能算法。

从信贷审批、在线产品推荐到招聘,人工智能在我们生活的方方面面不断突破界限,更好更快地做出复杂决策。企业纷纷加入人工智能的行列,投资自动化工具,以跟上时代(和技术)的步伐,尽管它们并不总是能够向客户解释它们的算法是如何得出决定的。

2019年,苹果公司的信用卡业务被指控存在性别歧视,因为它拒绝了一位女士的信用额度提升请求,而她的丈夫却获得了20倍于她的信用额度。据报道,当她投诉时,苹果公司的代表告诉她:“我不知道为什么,但我发誓我们没有歧视。这只是算法问题”。

当企业对其人工智能工具如何做出决策知之甚少或一无所知时,就会面临真正的风险。研究表明,缺乏可解释性是高管们对人工智能最常见的担忧之一。这也严重影响了用户对人工智能产品的信任和使用意愿。但是,许多组织仍在继续投资那些算法无法解释的人工智能工具,认为它们在本质上优于更简单、可解释的算法。这种观点被称为“准确性与可解释性之间的权衡”。

准确性与可解释性之间的权衡是否真的存在?

要理解这个难题,必须区分所谓的黑盒和白盒人工智能模型:白盒模型通常包括一些简单的规则,可能是决策树的形式,也可能是参数有限的简单线性模型。规则或参数数量少,使得这些算法背后的过程更容易被人类理解。

另一方面,黑盒模型使用数百甚至数千个决策树(称为“随机森林”),可能包含数十亿个参数(如深度学习模型)。但根据认知负荷理论,人类最多只能理解七个规则或节点的模型,这使得观察者实际上无法解释黑盒系统做出的决定。

人们普遍认为,可解释性较低的黑盒模型往往更准确,与此相反,我们的研究表明,准确性和可解释性之间往往并不存在权衡。在与安特卫普大学Sofie Goethals的合作研究中,我们对黑盒和白盒模型在近100个代表性数据集(即所谓的基准分类数据集)上的表现进行了严格的大规模分析。

我们发现,在定价、医疗诊断、破产预测和购买行为等领域的近70%的数据集上,可以使用解释性更强的白盒模型,而不会牺牲准确性。这与其他探索可解释人工智能模型潜力的新兴研究是一致的。

在早前的研究中,一个研究团队创建了一个简单的模型来预测贷款违约的可能性,其准确率仅比同等的黑盒模型低不到1%,而且简单得足以让普通银行客户理解。另一个备受瞩目的例子与COMPAS工具有关,该工具在美国司法系统中被广泛用于预测未来被捕的可能性。事实证明,复杂的黑盒工具并不比只考虑年龄和犯罪史的简单预测模型更准确。

了解您正在使用的数据

虽然在某些情况下黑盒模型是理想的选择,但我们的研究表明,公司应首先考虑更简单的方案。白盒解决方案可以作为基准,用于评估黑盒解决方案的实际表现是否更好。如果差异不大,则应采用白盒方案。不过,也有一些条件会影响或限制选择。

选择的考虑因素之一是数据的性质和质量。当数据有噪声(包含错误或无意义的信息)时,相对简单的白盒方法往往有效。摩根士丹利(Morgan Stanley)的分析师发现,简单的交易规则在高噪声的金融数据集上效果很好。这些规则可以简单到“如果公司价值被低估、近期表现不佳且规模不大,则买入股票”。

数据类型是另一个重要的考虑因素。黑盒模型在涉及图像、音频和视频等多媒体数据的应用中可能更具优势,例如基于图像的航空货物安全风险预测。在其他复杂的应用中,如摄像头的人脸检测、自动驾驶汽车的视觉系统、面部识别、基于图像的医疗诊断、非法/有毒内容检测,以及最近的生成式人工智能工具(如ChatGPT和DALL-E),黑盒方法有时可能是唯一可行的选择。

需要透明度和可解释性

透明度是建立和维护信任的重要因素,尤其是在决策公平或某种形式的程序正义非常重要的情况下。一些组织在这方面的教训是惨痛的:荷兰的一个人工智能福利欺诈检测工具在2018年被关闭,因为批评者称它是一个“大而不透明的黑洞”。在招聘、移植器官分配和法律决策等敏感决策中使用简单、基于规则的白盒人工智能系统,可以降低组织和用户的风险。

事实上,在某些司法管辖区,法律要求组织能够解释其人工智能模型做出的决定,白盒模型是唯一的选择。在美国,《平等信贷机会法》要求金融机构能够解释为何拒绝向贷款申请人提供信贷。在欧洲,根据《通用数据保护条例》(GDPR),雇主必须能够解释候选人的数据是如何被用于做出招聘决定的,候选人有权对该决定提出质疑。在这种情况下,可解释性就不仅仅是一个可有可无的功能了。

您的组织做好人工智能准备了吗?

在数字化发展程度较低的组织中,员工对人工智能的理解和信任程度往往较低。因此,最好先让员工熟悉使用人工智能工具,从简单易懂的白盒模型开始,待团队习惯使用这些工具后再逐步过渡到更复杂的模型。

即使企业选择实施不透明的人工智能模型,也可以降低由于缺乏可解释性而带来的信任和安全风险。一种方法是开发可解释的白盒代理,以近似的方式解释黑盒模型如何得出决策。增加对模型的理解可以建立信任,减少偏见,提高用户对人工智能的采用率,并帮助开发人员改进人工智能。如果企业对模型如何做出决策的洞察力非常有限,开发白盒代理也不可行,那么管理者就可以在对内对外谈论模型时优先考虑透明度,承认风险并坦然应对。

研究表明,在大多数情况下,简单、可解释的人工智能模型与黑盒替代模型的表现一样好,公司在考虑更复杂的解决方案之前,应首先考虑白盒模型。但最重要的是,管理者只有充分了解使用案例的数据、用户、背景和法律管辖范围,才能做出更明智、更有意识的选择。


热门文章