算法“黑箱”下AI信任存疑，可解释性AI迎来发展“元年”

天才在左，疯子在右，天才与疯子只有一线之隔。

对于AI而言，人们由于不清楚AI是如何对决策进行判断的，某些场景下，“人工智能”到“人工智障”往往也只有一步之遥。

而打破这种问题的关键，在于对AI技术的可解释性。 可解释AI的概念，对于业界来说，既是一个新话题，也是一个老话题。

AI一路发展至今，对其不信任的言论始终如影随形，究其根源，还是由于人们对AI在决策过程中的不了解引起的。

在现阶段，除了部分领域之外，可解释性现已成为AI的关键要求。

01

机器学习中的AI算法“黑箱”

随着AI已经成为通用型的技术，人类对AI一直抱有更高的期待。

不少人坚信，科幻电影《Her》中的AI机器人可对行为做出解释，从而帮助人类做出决策，甚至与人类产生深度交流的一幕，迟早也会出现在人们的日常生活之中。

当然，这些过于理想化的场景目前还只能存在于科幻作品中，实践中的可解释AI不论在技术上还是在体验上都还没达标，但产业的发展已经起步并快速成为行业热点。 刚刚过去的2021年，被业内专家公认为是AI的可解释元年，而不仅仅是在学界，产业界也在积极探索让AI更加透明、可解释。

其实，人工智能的可解释以及科技伦理等问题已经成为AI领域的必选项，2021年的“十四五”规划里面也明确强调要健全科技伦理的体系。 国外主流的科技公司很早就成立了自己内部的科技伦理委员会，同时还在积极研发相关的技术解决方案。

国内的互联网企业也开始采取类似的做法，如美团两次发文阐释外卖配送的相关规则，微博也公开了的热搜算法规则等。 在了解什么是可解释性AI之前，我们需要明白一个概念：可解释性。

从广义角度讲，可解释性就是当我们需要解决一件事情或者对其做决策的时候，我们需要从这件事中获得可以足够理解能帮助我们做决策的信息。

比如说，在科学研究中，当科学家们面临一个新的技术的时候，需要查阅大量资料来了解这个技术的现状和基本概念，从而对接下来的研究方向做出指导。

相反的，如果在一些场景中我们无法获得足够的信息，那它对我们来说就是不可解释的，在AlphaGo大战柯洁一战中，AlphaGo被输入的指令是“赢得比赛”，但是它在比赛过程中思考下一步棋应该怎样走的原理，我们不得而知。

具体到机器学习领域，这种输入的数据和输出答案之间的不可观察的空间通常被称为“黑箱”。 AI的算法“黑箱”，有时候甚至连开发人员都不能很好地去理解算法运作的具体细节，这就导致了AI模型的透明度和可解释性的问题。

如果不解决这两个问题，不仅影响用户对AI应用的信任，而且也可能会带来算法歧视、算法安全和算法责任等方面的相关问题。

02

可解释的AI是人工智能持续发展的必然产物

AI可解释性问题之所以受到重视，主要因为AI的发展虽然变得越来越强大，但也变得越来越“黑”，再者AI虽然变得越来越实用，其可靠性和应用范围也得到提高。

“在一些重要的应用领域，对于AI可信任性、安全性等方面的要求也越来越高，可解释性就是满足上述要求的认知基础。 事实上，机器学习模型通常被认为是无法解释的黑匣子；深度学习中使用的神经网络是人类最难理解的部分；偏见（通常基于种族、性别、年龄或位置）一直是训练AI模型所面临的长期风险。

此外，由于生产数据与训练数据不同，AI模型性能可能会受到影响甚至降低。这使得持续监控和管理模型以促进AI可解释性变得至关重要。

可解释的AI有助于促进最终用户的信任、模型可审计性和AI的高效使用，同时还降低了使用AI所面临的合规性、法律、安全和声誉风险。

对于用户来说，AI可以帮助他们做决定，但是理解为什么要做这个决定也是非常有必要的。

尤其是在军事、金融安全、和医疗检测等领域，如果不能理解AI的决策行为，一旦AI失手，将会极大的损失用户的利益。 对于AI系统开发者来说，AI的可解释性可以帮助他们在AI系统出现问题的时候更加精准的找到问题的根源所在，省去“地毯式排查”需要耗费的人力和时间，极大的提高开发效率。

另外，对于企业来说，深入了解AI做出决策的原理有利于保证决策的公平性，维护品牌和公司的利益。 除了以上几点之外，2018年，欧盟在GDPR（GeneralData Protection Regulation欧盟一般数据保护条例）上面要求，AI的算法如果参与决定，则必须要有解释的能力。

政府机构对用户数据隐私的保护监管，也让企业和研究机构对可解释性AI愈加重视。

03

“可信任”与“可解释”成为未来AI发展主要方向

AI想要模拟人的智力，就需要像人一样学习如何思考、如何解释。

每个人都具备显性的知识和隐性的知识，其中显性知识就是我们后天习得的计算能力、逻辑判断能力，而隐性的知识就是我们的直觉、对一件事情的主观看法。 人在做决定的时候，可以做到将两种知识有效结合在一起做出判断，但是当我们做出解释的时候，这个解释一定是要显性的才可以被别人理解。

现阶段AI在深度学习领域，只做到了通过概率模型来获得隐性的知识，但是在其他领域，还有许多知识图谱等系统，在模拟显性知识。

对于AI下一步的发展和应用落地来说，现阶段最大的挑战，就是如何有效的在处理问题时候，做到将显性知识和隐性知识二者结合，输出结果。 目前来看，国内企业在可解释AI实践方面还比较零碎，没有达到系统化的程度，但就整体而言，产业一直都是朝着可解释的方向有发展。 比如在医疗卫生领域，可以加速诊断、图像分析和资源优化，提高患者护理决策的透明度和可追溯性，同时还能简化药品审批流程。

在金融服务领域，通过透明的贷款和信贷审批流程改善客户体验，加快信用风险、财富管理和金融犯罪风险评估，加速解决潜在的投诉和问题，提高对定价、产品推荐和投资服务的信任度。

在刑事司法领域，则可以优化预测和风险评估流程。在DNA分析、监狱人口分析、欺诈检测和犯罪预测方面使用可解释的AI加速解决问题。 当今时代，人们迫切需要可解释的AI，而“负责任”和“可解释”的AI也确实将会是取得利益双方信任及满足未来合规需求的基石，但想要实现这一目标无疑是道阻且长的。

AI不应取代人类决策，它应该帮助人类做出更好的决策。如果人们不相信AI系统的决策能力，这些系统就永远不会得到广泛采用。

为了让人类信任AI，系统不能将所有秘密都锁定在黑匣子里，可解释AI恰恰提供了这种必要的解释。

原文标题:算法“黑箱”下AI信任存疑，可解释性AI迎来发展“元年”