清华大学史作强副教授专访：用流形、偏微分方程揭秘人工智能

基础理论的缺失是人工智能进一步发展的瓶颈之一，国内外很多学者正在从各个学科的角度，为揭开AI算法黑匣子探索新的突破口。而本文介绍的嘉宾，智源学者史作强近年来则独辟蹊径地将常用于物理学研究的数学工具——微分流形和偏微分方程应用于机器学习、深度学习的研究，并承担了智源研究院课题项目《数据中的流形建模、理论及算法》。

 

史作强，清华大学数学科学系副教授，博士毕业于清华大学周培源应用数学研究中心，后赴美国加州理工学院应用与计算数学系做博士后，并曾作为访问学者在美国加州大学洛杉矶分校数学系访问一年。史作强一直在偏微分方程的数值方法等领域耕耘不辍、成果颇丰，那么他眼中用数学理解新事物的妙用有哪些？流形、偏微分方程和人工智能具体有哪些关联？能解决哪些具体问题？同时他这种跨学科的灵感、问题视角，得益于什么样的研究方法和学术成长模式？

 

最近，带着这些问题，智源社区编辑采访了史作强老师。

整理：王炜强，常政

 

01

数学之美：

抽离现实，理解现实

 

智源：您从何时开始对数学产生了兴趣？数学的哪些特质吸引了您？

 

史作强：很多人可能自小就对数学保有浓厚的兴趣，但我并不是，甚至我高考的第一志愿也并不是数学，而是后来“*”调剂到清华数学系的。随着我的学习和研究逐渐深入，我才逐渐领悟到了数学的有趣与迷人之处。这样看来，以数学作为我的职业方向颇有些误打误撞的意味。

 

数学给我最大的感觉是它特别地“美”。在应用数学领域，可以通过数学将一些生活中的实际问题转化成数学模型，并且用数学的方式去理解它、证明它、分析它，这对我而言是数学最大的魔力。

 

其实，数学与真实世界并没有直接的关联，它是人类运用智慧创造出的自成逻辑的体系，但就是这样一个抽离出现实的事物，却可以帮助我们理解现实世界，进而改造现实世界。并且，每当我完成一个数学证明的时候，也会生出十足的成就感，可能这些都是数学能够深深吸引我的特质。

 

智源：您从2011年开始在清华大学任教，您在清华的主要研究方向是什么？取得了哪些研究成果呢？

 

史作强：我从攻读博士起就一直从事偏微分方程及其数值方法相关的研究工作，来到清华之后主要研究流形上偏微分方程的数值方法。

 

概括来讲，我近年来的产出主要围绕在所谓的流形，或称“点云”上求解偏微分方程的数学方法，及其在人工智能、机器学习、数据分析中的一些问题应用。比如用低维流形模型(Low Dimensional Manifold Model)，来描述描述高维数据空间中的低维结构等。

 

02

流形理论：

用数学描述高维数据中的低维结构

智源：从数学理论到机器学习，一直研究数学的您又因何会对人工智能产生兴趣？

 

史作强：与人工智能结缘是在2016年，我曾去UCLA（加州大学洛杉矶分校）访问。在这个过程中，我发现之前研究的理论和方法，都可以在图像分析领域、数据分析领域得到应用。此后我就开始进行机器学习、人工智能方面的问题研究，再加上这两年我又发现偏微分方程与深度学习、神经网络存在一定的关系，所以我在人工智能问题上的研究也就更加走向了深入。

 

智源：流形理论、偏微分方程与机器学习之间具体存在哪些联系？

 

史作强：用流形理论结合偏微分方程来研究机器学习，是近年来学术界一个很新颖的视角，它有望对机器学习、深度学习进行更有效率地优化建模，分析、构建人工智能算法中的一些基本理论等。

 

以一个最经典的图像分类问题为例，我们先假设一个简单的模型：每一幅图像都由像素构成，那么100×100的一张图像就可以看作有1万个象素，因为每一个像素反映在计算机中都是一个数，所以这幅图片将通过计算机中的1万个数来表示。从几何的角度，这1万个数可以看作是1万维空间中的一组坐标，比如一副100×100的猫或狗的图片，可以被表示成1万维空间中的一个点。在如此高维的空间中，即使我们有再大量的数据也不可能塞满这个空间。我们可以想象一下，如果每个维度放两个点，要充满这个1万维空间的话，实际上需要放2的1万次方个点——这样大的数量级是计算机根本处理不了的。一种普遍的想法是，我们要研究的数据实际上落在了这个高维空间中的某种低维结构上面它包含的少量特征其实已经足以刻画诸如猫、狗图这样的研究对象了。寻找这种特征结构的过程，便是机器学习领域说的Dimensionality Reduction（降维），而流形理论正好可以提供一套有用的工具，能比较好地通过数学化的语言来描述高维数据空间里面的一些低维结构。同时根据我们的研究发现，如果再将偏微分方程结合进来，可以更好地研究流形结构，进一步揭示隐藏在数据中的各种信息。所以我们认为它们是研究机器学习问题和理论的一个非常好的切入点。

03

流形+偏微分：

AI算法的“稳定剂”和“扩散剂”

 

智源：您准备用流形结合偏微分方程来解决人工智能的哪些具体问题？它们可能带来哪些应用？

 

史作强：我们希望来解决目前“对抗攻击”和“半监督学习”中的问题。

 

首先来看对抗攻击。近年来，人们发现神经网络在一些场景中的稳定性不佳，这里有个很著名的案例：一幅熊猫的图像，即使加上一点小小的、肉眼看不出的扰动，神经网络都可能在判别中出现错误（如图1）。这就是所谓的神经网络在对抗攻击下的不稳定性。由于神经网络的不稳定性，他人可以有针对性地设计所谓的攻击方法，导致其发生判别错误。对抗攻击在自动驾驶或者安全等领域是很致命的问题，比如一些交通指示牌，可能只是被加上一些小泥点，便可能导致训练出来的神经网络发生判断错误。

 

图1：细小扰动导致“大熊猫”被识别成“长臂猿”

在对抗攻击问题中，我们采用流形结合偏微分方程来建模，是因为发现神经网络和物理学中的对流方程，有十分相似的特性。比如对流方程描述的空气对流，是很复杂、混乱的，甚至可能产生湍流等，这就对应了神经网络的不稳定性如果把这个神经网络的输出看作一个函数f（x），x即使进行很小的变化都会对f（x）产生很大的影响，从数学的角度来说，则说明函数f(x)实际上可能产生了类似跳跃的性质。所以我们可以借鉴物理学中对流方程的思路，从偏微分方程的角度，添加一个扩散项（或称“黏性项”）来抑制奇异性，让解更加光滑，从而提升神经网络的稳定性。从流体的角度来理解，好比空气、水容易产生湍流，但黏性较高的沥青便很难发生。用偏微分方程建模，举例来说，最简单的黏性项就是所谓的拉普拉斯算子（Laplace Operator）。

 

对于半监督学习，我们的思路是研究有标记样本和无标记样本之间的关联，然后基于这个关联，将标记的信息从标记的样本散播到没有做标记的样本中去。这个过程，我们同样用偏微分方程进行建模，通过它的扩散项构建出要一个标记的扩散模型。这好比标记的内容，相当于某种流体物质的浓度，当我对这种物质设置了一定的条件后，它就慢慢地扩散出去。如果有标记内容和无标记内容的关联比较强，它扩散的速度就会比较快，反之就比较慢等。

 

智源：据您所知，在目前国内外学者中，利用流形理论和偏微分方程解决人工智能问题取得的主要进展有哪些？您现在的研究有什么创新之处？

 

史作强：目前在国内外，用流形研究人工智能的学者有一些，但是利用偏微分方程来研究的人较少。前些年，机器学习领域与偏微分方程相关的研究主要集中在椭圆方程在半监督学习中的应用。近年来随着最优输运（Optimal Transport）理论在机器学习中的发展，与其相关的偏微分方程也逐渐引起了很多关注。

 

我们和其他学者最大的不同，就是把流形跟偏微分方程结合起来进行研究，我们目前取得的进展主要集中在对抗攻击上，我们去年在NeurIPS上发表了一篇有关利用偏微分方程研究对抗攻击的论文[1]，其结论是我们的算法确实可以提高神经网络的稳定性，比当时报道的最好方法还能提高2到3个百分点。此外，在前年发表的一篇文章里[2]，我们利用这个偏微分方程与神经网络的一些联系，将原来的神经网络进行了一些改动，也呈现出了较好的结果。

   

智源：您认为在当前的研究中，面临的主要问题和挑战是什么？你希望智源研究院能在哪些方面给与更多支持？

 

史作强：主要挑战是它需要很丰富的知识储备，尤其是在机器学习、人工智能这些充满交叉的学科领域，我们在研究过程中会发现它们与其他很多事物都有联系，如随机偏微分方程与优化、动态规划等知识存在联系。所以我非常希望在智源研究院里能够找到相关领域的专家学者，向他们请教或者进行合作研究。

 

04

学术交流：

注重培育发散型思维

 

智源：在您的研究经历中，最让您受益的研究方法是什么？

 

史作强：对于应用数学这样一门交叉学科，我们作为研究人员，一定要重视发散型思维的训练，我们正在研究的世界其实很神奇，它有很多看似无关的内容，实际上是可以彼此联系的，比如偏微分方程可以同深度学习、神经网络联系在一起。

 

培育发散性思维的方法，首先要多读多看，形成一定量的知识储备；其次是开展工作时一定要有开放的心态，不能固步自封、自我限制，不能因为自己只从事某个研究方向就对其他领域不闻不问。

 

智源：您平时主要通过哪些方式与其他学者进行学术交流？其中哪些方式会让您比较受益？

 

史作强：对于学术交流，我主要通过这些方式：参加国内外的学术会议和各类活动；出国做访问学者，或者邀请别人来进行访问。对我个人而言，外出交流更加让我受益，较为典型的就是去UCLA做访问学者的那次经历。

 

我共有两次在国外研究的经历，第一次是在加州理工大学做博士后，第二次是去UCLA做访问学者。加州理工和UCLA都是举世闻名的学校，但风格却各有不同。加州理工的风格是小而精，其学生、老师数量都很少，当时我所在的院系只有四五个教授，且每个教授的团队也都不大，所以那时候的交流主要是与老师进行的一些交流。比如当时应用数学有一个非常热门的研究领域叫压缩感知（Compressed Sensing），其代表人物Emmanuel Candès 恰好和我同在一个系，这使得我比较早地接触到了压缩感知方面的知识。

 

UCLA的风格正好与加州理工大学相反，其研究团队比较大，包含了各类研究领域的学者。在那里，尽管研究组的指导教授和大家交流不多，基本上两、三周开一次讨论会，但我获得了大量和研究组里其他学者们（包括老师、博士后、博士生等）互动的机会。他们的学术背景迥异，包括纯数学、计算数学、计算机和生物等不同学科，使得你无论想研究什么，总能方便地找到相关的学者来激发你更多的思考。大家平时交流的时候，基本也没有什么特别的目的性，主要是通过吃饭、出去活动等形式在一起闲聊，但就是在这样不经意且密切的互动中，往往会让你在某一天脑海里突然产生一些新的想法。

 

智源：您觉得国内的学术交流跟国外相比，有哪些特色或不同？您心目中理想的学术交流模式是什么样的？

 

史作强：我觉得国内的学术交流，有时候目的性更强一点，比如“我有个什么问题，看看你能不能解决？”像在进行某个工程问题的技术攻关等。当然了，在一些场景下确实是需要明确目标、大家集中力量解决某个问题，但就我们所研究的领域来说，我觉得在一种相对轻松、发散些的目标氛围下，大家一起头脑风暴更容易碰撞出一些好的思想火花。

 

04

寄语青年学子：

到最顶尖的平台去

 

智源：请史老师结合您自己的经历和成功经验，给现在的青年学者、学生们提几个学术成长方面的建议。

 

史作强：我认为对于学术成长而言，最重要的是能够到你从事的研究方向最顶尖的地方去访问，只有跟着最顶尖的人做一些研究，对自己的成长才是最有帮助的。跟着最顶尖的人做研究，一方面他能帮助你开拓视野，在与他们的交流过程中，你会发现他们看问题的角度与他人并不一样，他们往往能够站在更高的层次上；另一方面，只有最顶尖的人才能领导最顶尖的团队，最顶尖的团队里各种不同学科背景的人在一起工作，很容易就会产生思想的碰撞，也有助于自己借鉴别人的一些想法，从而产生一些新的研究思路。

 

在这方面，我感觉自己非常幸运。我在加州理工学院从事博士后工作之时遇到了侯一钊老师，随后我在UCLA访问的时候，遇到了应用数学界非常著名的Stanley Osher教授，这两位老师对我的帮助非常大。

 

侯老师非常擅长鼓励年轻人探索一些他认为较为重要的课题方向。应用数学是一个非常大的领域，在我当时还没有太多经验，有点迷失其中的阶段，恰好遇见了侯老师，他扮演了我的指路人角色，使得我的未来之路一下子清晰了。

 

Stanley Osher教授则给年轻人创造了一个非常开放、有利于成长的学术平台。Stanley Osher 本人在应用数学领域就是一个**人物，他涉猎广泛：从早期的流体计算、到图像处理，再到现在的深度学习、机器学习等，其**之处在于他研究的每一个问题，后来均被证明为该领域最重要的问题之一，甚至引领出一个学术潮流。他在学术上具有十分敏锐的直觉，善于直击问题的要害，他主持的研究团队，在他的影响下显得思想颇为开放，氛围很轻松，非常适合做应用数学的交叉研究。

 

智源：请为我们概括一下，Stanley Osher教授的研究平台，具体有哪些特点适合年轻学者成长？

 

史作强：我认为Stanley Osher教授的研究小组，最大的特点是学术交流的效率非常高。不仅在于他组里拥有不同背景的学者，而且全球各个领域的资深教授们会经常受邀来访问或做学术报告。所以如果我们对某个特定领域感兴趣，可以比较容易地找到对应领域的专家们进行交流、寻求建议，包括如果有新的想法，其可行性也可以迅速从他们那里得到验证。

 

另一个特点，这个平台能给年轻人提供一个很好的职业学术生涯。Stanley  Osher教授的学生们遍布在不同的高校，所以在他指导过的年轻人们往往能有更好的出路，相对应的，学生们往往也更有动力为能看得见的美好未来而去努力奋斗。

 

参考文献

[1] B. Wang et al. ResNets Ensemble via the Feynman-KacFormalism to Improve Natural and Robust Accuracies. NeurIPS. 2019.

[2] B. Wang et al. Deep Neural Networks with Interpolating Function as Output Activation. NeurIPS. 2018.