下载掌阅APP，畅读海量书库
立即打开
随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展，我们的经济和社会发展纷纷迎来了变革性的机遇。
但与此同时，AI系统中很多算法背后的运作机制是未知的，在AI深度学习模型的输入数据和输出结果之间，存在着人们无法洞悉的“黑盒”，即使是专家也无法完全理解这些“黑盒”。
这种未知带来了难以管理的风险，包括安全性、隐私保护、公平性等。AI系统的透明度、可解释性正逐渐成为热点，甚至上升到立法和监管方面的高度。可解释AI也成了各大主流科技公司研究的新兴领域，学术界与产业界等纷纷探索理解AI系统行为的方法和工具。
围绕这一主题和方向，我们邀请了来自行业前沿的多位专家，共同探讨可解释AI的概念、价值、挑战和未来趋势。
主持人：
杨 健，腾讯公司副总裁，腾讯研究院总顾问
嘉 宾：
杨 强，加拿大皇家科学院、加拿大工程院两院院士
姚 新，南方科技大学计算机科学与工程系主任
朱 菁，厦门大学人文学院院长
吴保元，腾讯AI Lab顾问
何凤翔，京东探索研究院算法科学家
郑冶枫，天衍实验室负责人
姚 新： 大家在讨论AI算法的透明性和可解释性的时候，首先应该考虑三个问题——Who、What和Why。
首先，到底对谁讲透明和可解释？因为就科学研究来讲，任何一项研究都必须透明和可解释，否则论文是发不出来的。因此，对科学家透明和可解释的内容，不一定是对大众透明和可解释的。其次，解释什么？解释模型做出来的结果还是解释这个模型的工作原理？最后，解释总要有一个目的，比如是要追究责任还是要帮助理解这个模型的科学原理。
根据对这“3W”的不同回答，关于透明性和可解释性的解决办法可能也不一样。不管怎样，考虑透明性和可解释性的时候， 大家首先要有一个概念上的共识，知道我们是在讲同样一件事情，而不是用了同样一个名词，却在不同的抽象层次讲不同的问题。
吴保元： 可解释性是可信任AI的重要组成部分，是可信的前提条件之一，但是相比鲁棒性、公平性等可信特性，我觉得可解释性不是独立存在的概念。姚新老师提到我们到底在解释什么，其他特性都有明确的数学定义，如鲁棒性、公平性等，但是可解释性没有，因为我们单独提到它的时候，背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释性研究思路这么多，却没有一个明确的框架，我觉得最主要的原因是它的解释对象不一样，没有办法统一到一起。
基于这种理解，我个人有一个小的想法， 不应该把其称为可解释性，把其称为可解释力或许更准确。 称为可解释性，大家就可能会误认为它是一种独立存在的性质；而可解释力是一种可解释的能力，就像我们说的理解力、领导力等，它是一种手段、一种行为、一种操作存在。我觉得以后提到它的时候，应该准确地描述它是针对什么特性的可解释力，而不是笼统地对它进行描述。
朱 菁： 人们对于人工智能系统可解释性、透明性的要求，大致有四个层次：
第一个层次是针对直接用户。直接用户需要了解人工智能产品、服务背后的原理是什么，这是建立可信任AI的重要基础。可解释AI实际上支撑了可信任AI。
第二个层次是针对政策和监管部门。政策和监管部门希望通过解释原理来了解人工智能产品的公平性、可问责性，归因的过程是我们进一步问责、追究责任的基础，所以可解释AI是与负责任的AI、可问责的AI联系在一起的。
第三个层次，从技术工程与科学的视角看，我们希望了解为什么某些算法能够成功，它成功背后的奥秘是什么，它的应用范围是什么，它能否在更大的范围内使用这样一些算法或者一些技术。
第四个层次，是公众理解AI。如果公众普遍关心AI，大家就能够在这方面了解相应的技术，以及系统大体的工作原理是什么。
何凤翔： 在现在的AI系统中，其实很多算法背后的运作机制是未知的，这种未知带来了难以管理的风险，包括安全性、鲁棒性、隐私保护和公平性等。
这些特性又关系到社会运转中非常关键的领域，如医疗、自动驾驶。这就会带来很大的应用方面的困难，以及社会对AI的不信任。因为 当AI算法运作机制是未知的时，它的风险机制、风险大小、风险尺度就是未知的，我们就难以管理风险、控制风险。
姚 新： 我的一个学生跟着我做了一点儿公平性方面的研究工作，得出的结果跟其他文献的发现非常一致： 模型的准确性和公平性之间是相互矛盾的。 性能最好的模型从公平性的角度来测量不见得最好，要考虑在实际过程中怎么来找一个折中的方案。
吴保元： 可解释性本身的不可行、不可取，也是值得我们思考的问题。比如，我们在研究犯罪率或者疾病的传播率、发病率等问题的时候，如果我们拿现成的统计数据，如在不同种族、不同地域采集的数据，就很有可能得出某些种族或者某些地域犯罪率很高的结论，这是因为数据采集的时候就是这样的。
这样一来，如果可解释给出的类似结论被公开，就可能造成种族或者地域歧视。但实际上，在数据背后，是我们在采集的时候没有采集其他特性。比如，为什么这个地域的传播率很高？很有可能是因为政府投入不足，或者其他因素。
因此，这也启发我们，可解释性本身的准确性和公平性是否忽略或者夸大了某些特征。由于它的鲁棒性特征，是不是把样本变化一点儿，它的可解释性就截然相反，这些都需要我们进一步思考。
另外，我跟很多研究可解释性的专家聊过，他们的困惑在于现在的可解释性方法是不可印证的，这就引出了可解释性方法本身的可信度问题。
何凤翔： 在我看来，理解深度学习算法的运作机制，大致有理论和实践两条路径。在理论方面，当前的研究无法完全解释，在理论上泛化性较差的深度模型为何能在多领域取得如此成功。这种理论与实践的矛盾，就像物理学中的“乌云”一样，反映出人们对于机器学习理解的缺失，而这是在理论上提升算法可解释性的一个难点。
从实验角度看，很多实验学科中的做法对于机器学习研究也非常有启发，如物理学、化学和医疗。物理学、化学的研究对控制变量实验有严格要求，如在药物研发流程中的合格检验需要做双盲实验。类似的机制能否在AI研究中严格执行呢？我觉得这可能是另外一条路径。在我看来， 现有很多对于AI算法的解释是启发式的，而在关键领域中我们需要的是证据，这需要在理论和实验方面做很多工作。
朱 菁： 实际上，关于人工智能的可解释性问题是多元性的，就是要允许有多种不同层次、不同方式的解释在此起作用，针对不同的领域、不同的对象，使用不同的解释方式。
当可解释性有某些局限或者其他目标，需要做出权衡取舍的时候，我们可以从多个层面来做出替代性的、补充性的策略，如监管部门对于可解释性的要求和面向公众或专家层面的要求会有所不同。在专家层面上有更好的沟通理解，而对于社会公众而言，这里面就需要有一些转换，同时需要一些有公信力的部门向社会做一些说明和认定。
姚 新： 我觉得现在大家用深度神经网络有一个原因，即所要解决的问题本身就比较复杂，那么相应的可解释性就不会特别好理解。因为要对付这些复杂性问题，其相应的模型也必然是复杂的。
因此，我觉得透明性、可解释性和性能之间有一个固有矛盾，如果现在从技术上讨论怎么找一个折中方案， 根据不同的场景、可解释的目的找折中方案 ，就有可能会催生一些比较具体的技术，或者可以促进这些技术落地。
吴保元： 我们尝试过用一些从技术上可行的方案去量化各种可信特性，但要实现统一量化很困难，如公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单地组合到一起的时候也很难优化，因为它们的准则是高度不对齐的，差异非常大，这就涉及怎么去对齐这些特性坐标。
我认为，想要找到一个全局坐标系是非常困难的。我们可以从局部出发，针对某种场景，如医疗场景，首先把隐私性当作前提，在金融或自动驾驶场景， 我们把鲁棒性当作前提，然后去研究其他特性，这样或许能够一步步地找到这种坐标系。
郑冶枫： 总体来说，我们现在还缺乏非常好的理论框架，所以我们针对一些问题，创造性地得出一些算法，试图提高这个系统本身的可解释性。给大家举两个例子来说明一下天衍实验室在这方面的探索。
深度学习可能有千亿、万亿个参数，这对于医生来说太复杂了，医生很难理解这个算法的底层原理，而且算法本身也可能缺乏一个全局的可解释性。但是深度学习框架的准确率非常高，所以我们不可能不用。而可解释性非常好的模型就是回归模型，但这类模型的主要问题就是准确率太低。因此， 我们做了一个探索， 希望把这两个模型结合起来，使其具有非常高的准确率，还有一定的可解释性（不是完全可解释性）。
我们把这个混合模型用于疾病风险预测，根据患者历次的就诊记录，预测患者在未来6个月之内患某个重大疾病的概率，如其患脑卒中的概率。患者每次的就诊记录都包含大量信息，我们需要从中提取一些跟预测目标相关的重要信息。而深度学习网络最擅长的就是自动特征学习，所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量，接着我们利用回归模型，把多次就诊记录综合起来，预测未来6个月之内患者患脑卒中的概率。
这里我们用的是稀疏线性回归模型，从患者几十次、上百次的历年就诊记录里面，选取几次与预测目标最相关的就诊记录，给相应的权重，得出最后的风险预测。这种稀疏线性回归模型的可解释性非常好，因为它只关注很少的变量，很容易理解。这是一个全局性的可解释性，比深度学习要好很多。
杨 强： 我们在审视各种算法及其对应的可解释性关联问题上，发现了一个有趣的现象，比如，在机器学习里，深度学习属于效率非常高的，但是其对应的可解释性却很差。同样，线性模型的效率没有那么高，但是其对应的可解释性相对强一些。这样，我们往往需要做一个取舍，就是在可解释性和高效率这两个维度里选择哪一个，现在还没有可以兼得的算法。
郑冶枫： 各行业对可解释性和透明性的要求都不同，我结合医疗AI场景给大家分享一下我的体会和理解。大家或许知道，医疗在全世界范围内都是被强监管的领域，一款医疗产品要上市必须拿到医疗器械注册证，辅助诊断算法AI产品属于三类医疗，即监管最严格的级别，所以我们要披露的信息很多，大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性，后者则重视披露我们的算法真正在临床试验中、临床应用时的性能。
此外，测试样本也需要有很好的多样性，覆盖不同区域、不同医院、不同患者群体、不同厂商、不同扫描参数等。临床试验则更加严格，首先我们要固化算法的代码，在临床试验期间是不能改代码的，不能一边做试验一边改代码，这就失去了临床试验的意义。
因此，医疗AI的监管是非常严格的，药监局要求我们披露很多信息，有非常严格的书面要求，以提高医疗AI产品的透明性。深度学习网络天然不具备很好的可解释性，虽然可以做一些中间增强，可以在一定程度上有所改善，但正因为可解释性差，所以要求的透明性更高。
何凤翔： 我觉得提供AI系统的说明书有两个路径。第一个路径是从生成AI系统的过程出发，在这方面现在已经有一些实践，比如开源代码，说明使用了什么数据，数据是如何使用的、如何预处理的。这会增强人们对AI的信任和理解，这也像郑冶枫老师提到的，申请医疗相关的资质时，我们需要把生产细节汇报给相关机构。
第二个路径是从生成的AI系统所做出的预测及决策的指标来入手做算法的说明书，如对AI系统做一些测评，对于刚才我们提到的指标，包括可解释性、鲁棒性、准确性、隐私保护、公平性，找到一些比较好的量化指标和评测算法，将这些指标纳入AI系统的使用说明书。
杨 强： 我期待在未来的人工智能领域，人和机器能和谐共存，在共同解决我们所面临的问题的前提下，越来越成熟。我非常看好这个领域。
朱 菁： 我期待对这个领域的进一步探讨，不同领域的学者都能够参与进来。我主要做的是科技哲学。在科技哲学领域，实际上对于“解释”有将近100年的积累和探索，这里面应该有很多可以借鉴、发掘的资源，可以纳入目前这样一个很有意思、很有挑战性的话题里。
何凤翔： AI本身是一个跨学科领域，它可能会用到数学、统计、物理、计算机等各个领域的知识。而今天提到的很多点，如隐私保护、公平性，都与人文学科、法律、社会学等领域的知识密切相关，所以这就意味着研究可信AI及可解释性等方面，需要各个学科领域的人合作起来，共同推进这个领域的发展。
姚 新： 对于做研究来说，我希望将来可以有一些聚焦的讨论。就如我刚才讲的，到底我们要解决透明性、可解释性的哪一部分、对谁而言。比如在医疗领域，是对法规的制定者而言还是对医生而言，又或者是对患者而言，甚至是对这个系统的开发者而言，我觉得这里有非常多可以发挥想象力和能力的地方。
吴保元： 我们希望今后的AI研究者具备综合的思考能力，不只关注于某一个特性，如关注准确度。希望把可信当作一个前提条件，作为多种特性之间的关联，这是值得思考的。希望AI的研究者和人文学者多多交流，开拓视野。对于公众和政府来讲，希望通过讨论可以了解到当前的发展现状，希望用一种包容的心态了解这个领域。
郑冶枫： 对算法人员而言，我们当然希望将来科学家能够找到具有良好的可解释性，同时准确性又非常高的算法，真正做到鱼和熊掌兼得。