人工智能技术影响人类社会 如何把存储器做到CPU里？

过去的十年以深度学习为代表的人工智能技术深刻影响了人类社会。但人类要进入真正意义上的智能时代，还需要更强大的智能技术。而向人脑学习，借鉴人类大脑的智能产生机理被认为是一条非常值得期待的道路。反过来，AI技术也在深刻改变着脑科学的研究方法。在“观测脑”手段不断变革的基础上，AI技术为脑科学提供了越来越强大的分析、展示和科学发现手段。

2020年4月25日，青创联盟发起的YOSIA Webinar特别推出了“AI+X”科学系列主题，第一期主题为AI+脑科学，主要针对人工智能与脑科学的发展以及两者间的相互影响进行了分享。

本次参与者有六位嘉宾，他们分别是来自浙江大学计算机学院的唐华锦教授，清华大学微纳电子系教授、副系主任吴华强，清华大学计算机科学与技术系副教授胡晓林、中国科学技术大学神经生物学与生物物理学系主任毕国强、北京师范大学认知神经科学与学习国家重点实验室毕彦超教授以及北京大学信息科学技术学院长聘教授吴思。主持人为未来论坛青年理事会轮值主席、中科院计算所研究员、博士生导师山世光教授。

唐华锦发表了《神经形态计算机》的主题分享，他认为模拟大脑智能是计算机科学领域长久以来的目标，成为过去几十年人工智能的发展的重要推动力。

人工智能和脑科学在各自领域独自发展，且都取得了很大突破，我们亟需以新的眼光和视角重新建立两者的联系，特别是从脑科学的角度探索人工智能的新思路和新方法。报告从探讨神经元-突触为计算载体的信息处理和计算形式、记忆的形成和存储，以及高级认知的产生，探讨基于脑科学、神经科学的人工智能的展望。

他分享了如何来设计未来的神经形态计算机。首先必须具备异构的网络结构，其次包含时序动力学的神经元非线性，要构建基于突触可塑性的信用分配算法不仅实现模式识别这样深度学习里面已经非常成功应用的各种算法，而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知识的学习、认知以及环境的交互。

吴华强则进行了《大脑启发的存算一体技术》的分享，他提到，人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活。并且人工智能的研究和应用已经取得了突飞猛进的发展，但是运行人工智能深度神经网络算法的计算平台主要是超级计算机群(成百上千个CPU和GPU),不但需要巨大的硬件投入，而且占用的空间和消耗的能源也非常可观。

受限于存储计算分离对芯片性能的限制，同时CMOS工艺微缩速度放缓，以及人工智能应用对计算存储需求的不断提升，当前的技术将面临诸多新的挑战。

因此，我们需要类脑计算、存算一体，这也是向生物找答案，向大脑找答案。用脑启发设计新的人工智能芯片是非常必要也是急需的。

在这一背景下，新器件的出现变得至关重要，通过引入新原理的半导体器件，不但可以拓展芯片的功能，甚至可以颠覆传统电路理论，突破当前芯片面临的能效、速度瓶颈，大幅提升芯片性能。

基于过渡族金属氧化的忆阻器件显示出了优越的存算一体的特性，能够规避存储和计算之间数据搬运的功耗并且能够实现大规模集成，进而实现高性能计算。

胡晓林则从AI的发展，神经网络的发展来谈如何促进神经科学的研究。他阐述了《神经元稀疏发放在视听觉通路上的作用》，受Barlow高效编码理论的启发，上世纪90年代人们通过计算建模的方式发现神经元的稀疏发放对于哺乳动物的视觉和听觉系统的前期的信息处理机制有着重要作用，但是稀疏发放对于更上层的功能区域有什么作用一直不是很清楚。

在报告中胡教授介绍了目前他们的发现，通过用深度学习对脑的视听觉通路的建模的两个案例，建模后发现，高级视听觉区域的神经元的稀疏发放与它们的一些独特功能有着密不可分的关系。该结果暗示高效编码理论可能在高级感觉区域也是成立的，从而推广了前人在感觉通路低级区域发展出来的高效编码理论。

在问答环节里，六位嘉宾探讨了脑科学为AI提供了哪些思想、技术和方法，同时进行了相应的转化，而AI也为研究脑科学提供了分析工具，并提供了更多思路。

“我们理解一个事情，我们需要能创造它才能做它。”从AI和脑科学的整体关系，是科学和工程的关系。作为正在被打开的两个“黑箱”，二者在互相影响和碰撞，等待更大空间的研究被发现和释放。

怎么样培养更多的交叉学科的人才成为了重点讨论问题。嘉宾们认为这是一个很大的挑战，作为交叉学科的人，要对两个学科都要有充分的把握，而这两个学科都是很难的学科，挑战很大，因此需要鼓励青年人要真正追求自己的兴趣，如果真的想研究，要花别人双倍的力气把这两个学科都学好。

以下为AI+脑科学主题分享速记：

主题报告

分享一：《神经形态计算机》—唐华锦

唐华锦，浙江大学计算机学院教授

唐华锦教授分别于浙江大学、上海交通大学完成本科和硕士学习，2005年新加坡国立大学获得博士学位。2008-2015年于新加坡科技研究局资讯通信研究院担任Robotic Cognition实验室主任，2014年起担任四川大学类脑计算研究中心主任，目前为浙江大学计算机学院教授。主要研究领域为神经形态计算、类脑智能芯片、智能机器人。获2016年度IEEE TNNLS杰出论文奖、2019年度IEEE Computational Intelligence Magazine杰出论文奖。担任/曾担任IEEE TNNLS、 IEEE Trans. on Cognitive and Developmental Systems、Frontiers in Neuromorphic Engineering，Neural Networks等期刊的Associate Editor，担任国际神经网络学会(International Neural Networks Society)理事及评奖委员会成员等。

唐华锦： 大家好!我今天很荣幸被邀请来分享这样一个主题，我的主题是以神经形态计算机为中心来探讨一些开放问题以及对这个领域做一些展望。

我今天报告提纲分以下几条：

一、首先简述计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示;

二、接着讨论关于神经形态计算机的必要组成以及介绍大脑如何完成各种计算任务的;

三、之后介绍目前算法的进展以及硬件方面设计的成果;

四、最后提出对这个领域的个人的总结和展望。

计算机与大脑的区别以及大脑对开发更加新型智能计算机的启示

大家知道，目前的计算机体系是基于冯·诺伊曼架构，这已经非常成功的引领计算机科学技术的发展几十年。在这个计算机架构的基础上我们的深度学习在近年取得了飞速发展，在各个领域取得非常成功的应用。同时，冯·诺伊曼架构发展到现阶段也存在一些制约，比如说由于存在风险带来的I/O性能的瓶颈制约以及功耗的制约，这种制约随着大数据、深度学习为基础的计算架构带来的拥挤会凸显的越来越严重，比如大量数据读写严重降低整体效率。和大脑的计算方式相比，大脑处理的步骤非常少，但它的运行速度非常高。其次由于突触和神经元同时可以做激发和存储，所以不存在冯·诺伊曼架构的I/O的吞吐带来的瓶颈。就能耗来说，大脑的计算能耗非常低，大致只有20W左右，所以带来的计算效率非常高。另外非常显著的区别，计算机实现的或者处理大量的实值数据，大脑神经元处理的(或者说编码的)都是稀疏的事件或者神经科学称之为脉冲。从如何构建一个非冯·诺伊曼体系的新型智能计算机体系，不仅是计算机科学也是我们计算机工程以及硬件芯片发展的一个重要方向。随着新的计算体系结构以及硬件方面的实验，我们预测可能带来新一代的人工智能的算法的硬件以及架构上的新突破。

关于神经形态计算机的必要组成以及介绍大脑如何完成各种计算任务的

下面我从大脑主要的计算过程来解释一下我们如何来设计未来的神经形态计算机。

第一，网络结构。生物神经元有多种神经元类型，这里以锥体神经元(Pyramidal神经元)为例，锥体神经元是多个环节、多个部件组成的复杂的神经元模型结构，包括轴突的远端和近端，对生物神经元的输入前馈和反传，发生在神经元的不同部位，对于I/O来说做了充分的简化，把它作为一个典型神经元，没有远端轴突和近端轴突的区别，从网络结构上来说，大脑存在着大量稀疏的异构的连接结构，目前ANN主要依赖的深度网络是前馈全连接的网络结构。当然在不同的网络结构处理的实际方式也有显著不同。基于深度网络的空间算法，往往采取一个全区的优化函数来达到最优值来调解。而对于生物神经网络来说，由于存在大量的局部连接以及远程连接，有丰富多样的突触可塑性，可以更加灵活的调整神经元之间的连接来完成对目标函数的优化。

第二，大脑的计算模式采用的是更加接近生物的个性的方式，比如脉冲神经元的输入，在人工神经元里面不需要考虑输入时间的特性，输入是一个实值，典型的ReLU函数或者Sigmoid激活函数做了一个这样的简单的非行为数据，但是对于生物神经元来说，它不仅采用了输入输出的映射，还具有四个典型的时间的非线性动力学，一是膜电位积分，二是漏电效应，三是不应期，四是需要阈值来判定脉冲发放或不发放。这样导致脉冲神经元输入脉冲编码的不连续性，以及输出脉冲的不连续性。这样导致后面的第三个问题就突出来，即信用分配问题。信用分配在人工神经网络里常常说成是优化算法，最典型的一个优化算法是误差反传，就是梯度下降算法，但是这里梯度下降算法存在一个误差，要求前向和反向权值要完全对称，因为全局的目标函数，设定了一个这样的网络结构，这是典型的ANN的学习模式以及处理方式。

第三，生物神经元同样的信用分配机制，但是采用完全不同的处理方式。神经元之间依赖于脉冲发放时间，导致他们可以采用基于脉冲时间的学习方式，最典型的在神经科学里面应用非常广泛的是STDP(脉冲时间依赖的突触可塑性)，基于脉冲时间前后发放的时间差来调整权值，实现局部的无监督学习。此外，我们也可以考虑设计输入脉冲和期望脉冲序列之间的序列差，来有监督式的学习和训练脉冲，发放一定的脉冲。

其次依据多巴胺的神经科学的发现，可以构造这样一个强化学习的脉冲实验网络，把每个神经元和突触都当做一个智能体，把发放脉冲或者不发放脉冲作为一个它的行动，来构成这样一个强化学习网络，这样不仅实现更加灵活的行为，而且是生物性更加强的一种学习算法。

第四点，大脑的计算机制，重要的是学习与记忆的融合。在前馈网络里，权值训练完之后，当新的任务进来，往往权值会被抹杀或者权值遗忘的作用，但是在生物神经元里面，有大量的专门负责记忆的细胞，比如海马体中存在各种记忆细胞，尤其是对位置细胞的编码，对空间的感知认知，它可以记忆熟知的场景，对这个空间进行编码。所以依据皮层-海马等脑区，可以实现神经元大脑对外部输入的表达，学习及记忆构成一个基于学习、基于融合的认知计算。(图)右侧是一个对皮层以及海马体主要微脑区的神经电路结构，基于这样的电路结构，我们可以实现基于海马体的联想记忆、持续记忆以及对空间的记忆模型。

目前算法的进展以及硬件方面设计的成果

下面初步介绍一下我们在这个领域的初步成果。因为时间有限，只是展示冰山一角。

对于信息的编码，把输入信息经过脉冲神经元的编码转变成一系列的时空脉冲信号，可以对输入信息进行编码以及重构。下图是Nature的一篇文章，上图是做的编码神经元的算法。

同时可以对新型的神经形态视觉算法进行脉冲编码和表征处理，分别处理动态的视觉信息，发表在2020年TNNLS的一篇论文上。

另外，信用分配算法可以高效的解决脉冲神经网络由于时间动力学带来的训练困难问题，不仅在空间上进行误差反传，可以同时把误差信息传递到脉冲的时间信息上，经过这样的设计我们提出了基于脉冲簇的学习算法，不仅是可以训练神经元在指定时间发放脉冲，而且是指定发放脉冲簇。

这是目前几种典型的脉冲损失函数，各自具有一些不同的缺陷，我们改造这样的损失函数，可以不断的训练发放，训练这样一个脉冲簇。它的优点是能够训练神经元对复杂的时间序列的神经元的响应特性，左图显示的是杂乱无章的神经元响应，右侧是训练后神经元能够显示出对某些特定信号的选择性响应。这是一个新型的深层的脉冲网络，在训练性能上已经超越专门设计和训练的CNN的网络。

学习与记忆融合，我们构建多层的模仿多层脑区的结构，实现神经元的编码以及监督学习和无监督学习，同时实现联想记忆和时序记忆。右侧是神经硬件电路图，是北大黄如院士团队合作的FPGA硬件的记忆模型的设计和实现。

在感知-认知-交互闭环上我们做了一个初步的成果，把海马体电路搬到机器人上，通过硬件模式来实现机器人对空间感知、认知交互的闭环。在Communications of ACM 2018专题介绍了这样的工作，来解释大脑如何帮助机器人对复杂环境空间的感知，依赖空间位置神经元对空间的记忆以及编码的作用。

无独有偶，在Deepmind，今年也开展了这样类型的工作，但与我们基于模型、大脑结构方式的不同，Deepmind在基于学习和训练的网络来训练神经元，发放基于网格细胞的效应特性，右图展示了他们在虚拟环境下的网络的效果。有兴趣的朋友可以看一下论文。

在硬件实现上的一些成果。通过数字或者模拟集成电路可以实现神经元、突触以及各种突触可塑性，在这个领域上已经有大量的神经形态芯片的成果，比如SpiNNaker、BrainScaleS、Truenorth、Loihi、ROLLS、清华“天机”芯片、浙大“达尔文”芯片等，都是属于在数字模拟电路上实现架构。另外，在对于未来类脑芯片的潜在突破，忆阻器及阵列，忆阻器可以分别实现突触和神经元，实现模拟矩阵运算即存算一体。

下面我举了北大杨玉超、黄如老师的工作，以及清华吴华强老师的工作，发布在Nature communications上，吴老师随后会更加详细的介绍，他们实现一体机的阵列来设计构建了这样模拟矩阵的运算，实现快速的存算一体的神经网络的计算模式。

关于神经形态计算机，我个人提出一些不太成熟的总结与展望。首先必须具备异构的网络结构，其次包含时序动力学的神经元非线性。要构建基于多种突触可塑性的信用分配算法，不仅实现模式识别这样深度学习里面已经非常成功应用的各种算法，而且要实现学习-记忆融合的认知计算，我们未来把大脑搬进机箱让它实现知识的表达、知识的学习、认知以及环境的交互。

分享二：《大脑启发的存算一体技术》—吴华强

吴华强 清华大学微纳电子系教授、副系主任

清华大学微纳电子系，长聘教授，副系主任，清华大学微纳加工平台主任，北京市未来芯片技术高精尖创新中心副主任。2000年毕业于清华大学材料科学与工程系和经济管理学院。2005年在美国康奈尔大学电子与计算机工程学院获工学博士学位。随后在美国AMD公司和Spansion公司任高级研究员，从事先进非易失性存储器的架构、器件和工艺研究。2009年，加入清华大学微电子学研究所，研究领域为新型存储器及存算一体技术，先后负责多项自然科学基金、863、973和重点研发计划项目和课题。在Nature, Nature Communications, Proceedings of the IEEE等期刊和国际会议发表论文100余篇，获得美国授权发明专利30余项，获得中国授权发明专利40余项。

吴华强：今天和大家分享一下我们做的一点工作，题目是“大脑启发的存算一体技术”。

我的报告将从硬件的挑战，研究进展以及展望三方面来介绍大脑启发的存算一体技术。

人工智能无处不在，从云端到我们手机端都有很多人工智能。不同的人工智能应用对芯片的需求是不一样的,比如数据中心、汽车无人驾驶要求算力特别高，而智能传感网、物联网和手机希望耗能低，追求高能效。不同应用对芯片的不同需求给了芯片领域很多机会。

人工智能的三个发展浪潮和硬件算力也有关系。从第一款神经网络Perceptron网络AI开始火起来，到70年代进入低谷，一个非常重要的因素是，虽然有很好的理论模型，但是没有足够的算力。后来专家系统出现，第二波浪潮又起来。这时候很多人做专门围绕人工智能的计算机。同时代摩尔定律快速推动芯片的发展，通用计算机的性能飞速上扬，专业计算机能做的通用计算机也能做，因此逐渐占据市场，第二波浪潮又下去。第三波浪潮，深度神经网络的提出到利用GPU加速网络训练，GPU成为AI的主要训练平台。有了更大的算力，网络规模快速提升。AlphaGo Zero需要5000个TPU训练40天才成为地表最强的围棋选手，花费的时间还是很大的，因此人工智能的广泛应用需要硬件能力革新，支撑人工智能的发展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一台计算机ENIAC出现在1947年，算力是每秒钟5000次左右。英特尔2019年的CPU大约是20.8GFLOPS。我们看到它的变化是围绕着摩尔定律，即每18个月翻一番的集成度来提升算力。但是目前AI的需求是每3.4个月翻一番。因此需要寻找新方法提供算力。

算力提升越来越困难有两个原因，一是过去摩尔定律是把器件做的越来越小，现在器件尺寸缩小已经接近物理极限了，所以摩尔定律逐渐失效。二是传统计算架构发展带来的性能提升日趋缓慢。现代计算系统普遍采用信息存储和运算分离的冯诺依曼架构，其运算性能受到数据存储速度和传输速度的限制。具体来说，CPU的计算速度小于1纳秒，但是主存DRAM是百纳秒左右，也就是存储的速度远远低于计算速度。在能耗上，以TSMC45纳米的工艺为例，加减乘小于一个pJ，但是32位DRAM的读要高达640个pJ，这一比也是百倍的差距。因此存储速度远远低于CPU的速度，而存储的功耗也远远高于CPU的功耗。这还没有讲存储的写，写的功耗会更高。这样整个系统的性能受到数据存储速度和传输速度的限制，能耗也因为存储读的功耗和写的功耗很大，导致整个系统功耗都很大。

现在可以看到很多新的计算出来了，量子计算、光计算、类脑计算、存算一体。所以当我们要思考未来的计算时，我自己觉得量子计算、光计算是向物理找答案，类脑计算、存算一体是向生物找答案，也就是向大脑找答案。

著名的人机大战，人工智能选手AlphaGo用了176个GPU、1202个CPU，功耗是150000W。而我们大脑体积大概1.2L，有1011个神经元，1015个突触，思考的时候功耗是20W。大脑的功耗这么少，这么聪明，这里面还有这么大容量的神经元、突触。所以我们希望用脑启发设计新的人工智能芯片。

我们想通过向生物学家学习、向神经学家学习，来看看大脑是如何处理计算的。大脑有几个特点，一个是有大量的神经元连接性，以及神经元加突触的结构，一个神经元将近连接了1万个突触。第二个它的时空信息的编码方式是用脉冲的方式。我们希望模仿大脑的结构和工作机制，用脉冲编码的形式来输入输出。

生物突触是信息存储也是信息处理的最底层的生物器件。我们想在芯片上做电子突触新器件，做存算一体的架构。新器件方面我们主要研究的是忆阻器，它的特点是可以多比特，同时非易失，即把电去掉以后可以保持这个阻值，并且它速度很快。还有很关键的一点，它和集成电路的CMOS工艺是兼容的，可以做大规模集成。近十年我们一直围绕这个器件来做其优化和计算功能。

美国DARPA的FRANC项目提出用模拟信号处理方式来超越传统的冯·诺依曼计算架构，希望带来计算性能系统的增加。任正非在2019年接受采访时说，未来在边缘计算不是把CPU做到存储器里，就是把存储器做到CPU里，这就改变了冯·诺依曼结构，存储计算合而为一，速度快。阿里2020年的十大科技趋势里提到计算存储一体化，希望通过存算一体的架构，突破AI算力瓶颈。存算一体的理念也是受大脑计算方式启发的。

基于忆阻器的存算一体技术可以分为三个阶段：第一个阶段是单个器件的发展阶段。2008年惠普实验室的Stan William教授首次在实验室制备了忆阻器，之后美国密西根大学的卢伟教授提出了电子突触概念，美国UCSB大学的谢源教授提出了基于忆阻器的PRIME存算一体架构，引起广泛关注。第二个阶段开始做阵列，2015年UCSB在12×12的阵列上演示了三个字母的识别，我们团队2017年在128×8的阵列上演示了三个人脸的识别，准确率能够大于95%，同时期还有IBM，UMass和HP等研究团队实验实现了在阵列上的存算一体;第三个阶段是存算一体芯片，我们以芯片设计领域的顶会ISSCC上近几年发表的文章为例，2018年松下展示了多层感知机的宏电路，2019年台湾地区新竹清华大学和台积电联合演示了卷积核计算的宏电路，今年清华和斯坦福合作做的限制玻耳兹曼机宏电路。也是今年我们清华团队完成的一个全系统集成的完整的存算一体芯片，从系统测试结果来看，这个芯片能效高达78.4TOPs/W，是相当高的。我们还做了一个对比，一个是存算一体的芯片和系统，一个是用了树莓派28纳米的CPU。我们的芯片跑完一万张图片是3秒，而他们是59秒，我们的速度要快很多，准确率却相当。

今年1月我们在Nature上发表了一个忆阻器存算一体系统的工作。这个工作主要是把多个阵列放在一起组成一个系统，并验证是否能用作模拟计算来实现AI的工作。我们提出新型混合训练算法，实现了与软件相当的计算精度。还提出了新型卷积空间并行架构,成倍提升了系统处理速度。

为什么忆阻器存算一体适合人工智能呢?因为交叉阵列结构特别适合快速矩阵向量乘法。存算一体可以减少权重搬移带来的功耗和延时，有效地解决目前算力的瓶颈。另外，人工智能更关注系统准确性，而不是每个器件的精度，这特别符合忆阻器和模拟计算的特点。

我们还和毕国强老师合作了一篇综述文章。利用脑启发来设计人工智能芯片，我们把大脑从I/O通道，到突触，神经元，到神经环路，到整个大脑的结构，都和电子器件做了对比。文章题目叫《Bridging Biological and Artificial Neural Networks》，发表在2019年的Advanced Materials上面，如果大家感兴趣可以读这个文章。

展望未来，希望能够做一个存算一体的计算机系统。以前是晶体管加布尔逻辑加冯·诺依曼架构，现在是模拟型忆阻器加模拟计算和存算一体的非冯架构。

人工智能无处不在，从云端到我们手机端都有很多人工智能也在深刻影响我们生活，前几天听说谷歌用人工智能预测天气预报，比过去物理模型做的好很多，所以说人工智能的应用会越来越广泛。

分享三：《神经元稀疏发放在视听觉通路上的作用》

胡晓林 清华大学计算机科学与技术系副教授

2007年在香港中文大学获得自动化与辅助工程专业博士学位，然后在清华大学计算机系从事博士后研究，2009年留校任教至今。他的研究领域包括人工神经网络和计算神经科学，主要兴趣包括开发受脑启发的计算模型和揭示大脑处理视听觉信息的机制。在IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Image Processing, IEEE Transactions on Cybernetics, PLoS Computational Biology, Neural Computation, European Journal of Neuroscience, Journal of Neurophysiology, Frontiers in Human Neuroscience, Frontiers in Computational Neuroscience等国际期刊和CVPR, NIPS, AAAI等国际会议上发表论文80余篇。他目前是IEEE Transactions on Image Processing和Cognitive Neurodynamics的编委，曾担任IEEE Transactions on Neural Networks and Learning Systems的编委。

胡晓林：各位嘉宾好，各位在线朋友们好!非常荣幸今天有机会和大家交流，今天我分享的主题和前面两位嘉宾分享的正好相反，前面两位嘉宾讲的都是我们神经科学怎么样启发做新的器件，因为这个主题是AI和脑科学的交互，我来讲另外一个方面的工作，就是AI的发展，神经网络的发展，怎么样促进神经科学的研究。

我对神经科学和AI方面都比较感兴趣，两方面的工作都在做。今天主要是讲从AI到BI这方面的两个小工作。我今天介绍的内容和前两位嘉宾有点不同，前两位嘉宾讲的都是非常宏大，我今天只是介绍两个点上的工作。

神经网络和神经科学与大脑视觉皮层是有一定关联的

首先看一下背景。左边是视觉系统大致的通路，信息从视网膜到LGN到脑皮层。中间是听觉皮层，也是一个层次化结构，信息从耳蜗一直传到听觉皮层。右边是典型的神经网络。从图上可以看到，至少我们现在的神经网络和视觉、听觉系统有一定的相似性，至少是层次化的结构。基于这种相似性是不是可以利用现在神经网络的飞速发展来促进神经科学的研究，促进我们对大脑的视觉、听觉或者其他感觉皮层工作机制的理解呢?这是我们今天要重点讨论的问题。

这个方面的工作，比较早期的一个工作，是2014年MIT的教授他们做的一个工作，他们用一个神经网络，一个CNN去训练了一个图片分类的模型，然后同样的图片给猴子看，可以记录猴子不同的视觉区域，比方说V4和IT两个区域神经元的发放，最后去比较神经网络不同层和猴子的不同皮层V4和IT这两个区域神经元的相关性。发现不同神经网络层的神经元反应的特点正好对应猴子IT、V4区域反应的特点。这是第一次证明神经网络和神经科学和大脑视觉皮层是有一定关联的。

这是一个神经科学的发现，我们先简单介绍一下这个神经科学发现，然后对比一下。这是2013年纽约大学的一个工作，他们做了一个实验，让猴子和人去看两种不同的图片，这是从原来的自然图片通过算法合成的两种不同的图片，中间的比较像自然图片，右边是噪声图片，不完全是噪声，是从自然图片合成的噪声。然后给猴子这两类图片，NT是中间那一列，SN是右侧一列，V1区域记录猴子的发放，发现V1的神经元对这两类图片的反应差不多，基本上分不开。但是到V2神经元对于NT一类的图片反应高一些，对于SN类的图片反应低一些，也就是在V2有一个区分。他们定义了Index，一个神经元的Index如果越高，就说明这个神经元越喜欢比较上面的图片，那个图片从数学定义上来讲是含有高阶统计特性的图片，时间关系，不展开讲它具体的数学定义，什么叫含有高阶统计特性。总而言之V1区域，所有的神经元的Modulation Index都集中在0附近，在0左右对称。在V2，大部分神经元的Modulation Index都是正的，也就是大部分的神经元都是喜欢这种比较像自然图片的图片。

2015年的时候日本的一个研究小组在另外一个区域，就是猴子的V4区域，他们发现了同样的结论。V4的神经元相对V1来讲，他们更喜欢具有高阶统计特性比较像自然图像的图片，而不是噪声。

为什么会又有这样的结果?为什么V2和V4的神经元他们喜欢像自然图像的图片而不是那种噪声呢?为了研究这个问题，有两种选择，一种是用传统的计算模型，计算神经科学领域早期的模型都是单层的，现在为了研究这个问题显然单层模型没有办法的，因为研究的是视觉皮层的高级皮层，如果没有下面的这些层，上面就没有办法研究，所以需要一个层次化的模型，所以我们考虑用深度学习的模型来研究这个问题。

这是我们的模型，我们构建了这样一个模型，这是很标准的深度学习模型，有输入输出，我们用同样的方式从自然图片中创造出一种像自然图片的图片，一种是噪声图片，这个噪声不是随机噪声，它也是具有一定语义的，但是它和像自然图片的图片有所不同。我们把这两类图片输入到模型里面去，然后记录每一层神经元的反应。我们也可以定义每个神经元的Modulation Index，这个Modulation Index比较大就说明这个神经元比较喜欢具有高阶统计特性的图片。

结果非常有意思。有三行，第一行是AlexNet，第二行是VggNet，大家如果做深度学习的话是非常熟悉的，这两类非常典型的卷积神经网络。这两个神经网络有很多层，我们把他们分成五个大层，AlexNet本身就有五个卷积层，Vgg因为中间有很多max pooling，以此为界可以把相邻的几个卷积层分成一个大层，总共也会有五个层，统计每个大层的Modulation Index，就是蓝色的柱状图，基本上随着层数越高，它的Modulation Index越高，右边的图显示的每一层，Modulation Index的分布，可以看到在LAYER1的时候，Modulation Index集中在O，左右差不多对称，越往后面去，Modulation Index越来越正，最后大部分集中在1，也就是说比较顶层LAYER5大部分神经元就是特别喜欢高阶统计特性的图片。下面还有一个网络这是一个无监督模型，我们叫它SHMAX，它的结构跟上面两个结构基本是一样的，唯一区别是它的学习是一种无监督学习，我们可以得到同样的结果，蓝色柱状图和后面的Modulation Index分布都是一样的结论。刚才最后的模型，每一层的学习是Sparse codind，Sparse coding的公式在这儿，我想很多朋友应该听说过这个模型，这是经典模型，1996年就提出来了，这是一个无监督学习模式，也就是对于图片不需要监督，就可以进行学习。我把这个模型堆叠很多层，先学一层，把它的输出作为下一层的输入，在下一层继续用同样的过程进行学习，就可以得到刚才说的第三个模型。

也就是说对于有监督学习模型和无监督学习模型，他们的Modulation Index都是随着乘数的增加而增高的。到底是什么样的因素导致了这些神经网络具有这样的特性，我们考察了很多因素，最后我们发现，Response Sparseness非常重要，它跟Modulation Index成正相关的关系，比如我们看AlexNet、VggNet、以及SHMAX，你看他们的稀疏性Sparseness，你给它看很多图片，很多时候神经元是不发放的，因为它有一个ReLU，有些时候是不发放的，有些时候是发放的，Sparseness定义的是神经元在多大的比例是不发放的，可以看到随着层数上升，Sparseness会越来越强，正好跟Modulation Index趋势差不多，我们做了对照实验，AlexNet每一层的稀疏性越高，Modulation Index也会越高，SHMAX也是一样，稀疏性越高，Modulation Index就会越高。

简单总结，我们通过三个深度学习模型上发现和猴子视觉皮层高层反应特点类似的一个结论。当然也可以做一些预测，时间关系，这些模型预测我就不讲了。

稀疏发放的特点和神经科学的发现是呈正相关的关系

第二个工作，这是一个关于听觉的。刚才已经提到听觉皮层也是层次化的结构，人们在听觉通路上也发现了很多有意思的一些结果，比如说在耳蜗后有一个nerve fiber(59：03)，你给它一些刺激，它的反映特别是呈这样的小窝的形式，在下丘这个地方，这些神经元它们的感受也是可以测出来的，横轴是时间、纵轴是频率。在听觉皮层，人们发现在皮层里面有很多神经元或者有很多Local area，他们可以特异性的一些音素比较喜欢，音素是比音节更小的单元，比如“a”里面有辅音“b”，元音“a”，元音辅音这些东西又叫音素。

作为计算能力科学怎么解释这些结果?计算机科学已经用Sparse coding解释了nerve fiber 和下丘(IC)的神经元的反映情况，具体是这样的，这个模型还是Sparse coding模型，X是输入、S是Response，如果你的输入不再是图片如果是语音，最后解出来A，A是每个神经元的感受野，它就长成这样小波的形式。在IC区，用同样模型只是把输入改了一下，输入不再用位子格式的输入，而是进行视频转换，输入频谱图，把频谱图当成X，再去求解一个Sparse coding模型，就会得到神经元的感受点也呈这样的形式，神经科学家已经发现IC区的神经元的感受点的形状就是长这样。

前面两个层级的神经元的反应特点已经被解释了，第三层级，就是最高层，这个现象怎么解释呢?核心含义是给病人插一些电极，做手术的病人插一些电极，可以发现有些电极特别喜欢d、g、e、h、k、t这几个辅音，有些电极喜欢摩擦音，还有的喜欢元音o、e、i。总而言之他们发现在人类的Quarter上面，神经元对音素有特异化的表达，这种表达是怎么出现的呢?就是我们要回答的问题，我们为什么有这样的表达。第二个问题是前面比较低的皮层用Sparse coding解释了他们的现象，同样的Sparse coding模型能不能解释高层的现象呢?为了回答这两个问题我们做了层次化的稀疏编码模型，典型的CNN结构，只不过我们每一层的学习不再用BP算法，而是用Sparse coding，第一层学习完以后再学习第二层，第二层学完以后再学第三层，就这样从底层一直到高层学习，我们的输入就是时频格式的信号。

有意思的是，构建了这样的层次化的稀疏编码模型，我们把靠中间的层拿出来，S2第二卷积层，把这个地方的神经元的感受画出来，可以看到这些感受野和神经科学家在下丘测出来的神经元的感受野有类似的形状，这些感受野的形状参数的分布也和在猫的下丘这个地方测的参数分布是一致的。最有意思的是到顶层以后，我们发现顶层Layer C6，这里很多神经元特异性的喜欢一类音素，比如B、P、L、G，还有一些神经元喜欢元音，a、o、e。而且聚集效应在顶层最明显，在下面这些层也有，只不过这个效应低一些，数值越低就是说它的聚集效应低一点。也就是说这个模式并不是陡然在顶层出现的，其实下面的层级也出现了，只不过神经科学家们没有测到下面那些区域神经元有这样的表达，当然这是我们的推测。

总结一下，我们发现一些深度学习的模型在中层和高层这些地方，这些神经元的反应和视觉和听觉的中层和高层的真实的神经元的反应有一定的一致性，这个结果并不是一个非常Trivial的结果，我们并没有尝试Fit数据，所有的学习准则要么是使得分类的准确率高，要么是使得重建的输入准确，并没有Fit任何生理学的数据，但是就是出现了这样的特性，所以我们觉得这样的结果还是非常有意思的。第二个结论，稀疏编码，前面研究的这些深度学习模型都有一个稀疏发放的特点，而且稀疏发放的特点和神经科学的发现有重要的关系，当然这些深度神经网络去研究神经科学的问题也是存在巨大的缺陷，就是他们模型的细节结构和生物上的系统还是存在着非常大的差异，所以没有办法用很粗糙的学习模型去研究细节的神经科学的问题。

感谢大家!

讨论环节

山世光：谢谢胡老师给我们分享了两个非常具体的案例，试图去建立AI特别是深度学习模型和我们脑的神经网络之间在某一些层面的一致性。

再次感谢三位嘉宾的精彩分享，接下来我们进入嘉宾讨论环节。

我们今天的讨论嘉宾除了刚刚已经给大家介绍过的作分享的三位老师外，我们有幸邀请到两位讨论嘉宾，他们分别是来自来自中国科学技术大学神经生物学与生物物理学系系毕国强老师，来自北京大学信息科学技术学院长聘教授吴思老师。

吴思：我先介绍一下自己，我是来自北京大学的吴思，我的研究方向是计算神经科学。简单说，计算神经科学就是用计算的方法来研究脑科学，很显然这样的研究会有很多附产品，可以启发我们发展人工智能的算法。

我课题组目前有50%的精力在做计算神经科学，另外50%做类脑计算。目前比较关注的课题包括：神经编码的机制与模型，如大脑表征信息的正则化模型，大脑如何做贝叶斯推理，以及多模态信息整合的问题;另一个大的方向是关于视觉信息的加工机制，如神经反馈的作用，皮层下的视觉通路计算功能，以及皮层上和皮层下通路之间如何实现信息融合。另外，我们也做一些脑启发的类脑计算研究，如用连续吸引子网络大脑实现物体跟踪，尤其是在加入负反馈的情况下实现预测跟踪;同时受皮层下视觉通路启发，我们也发展一些算法，可以做运动模式的识别、物体全局信息识别等，这些都太细节，这里就不详细介绍。

首先感谢未来论坛的邀请，今天的主题是关于AI和脑科学之间的关系。在很多不同的场合总有人问我这个问题。从大的方面说，AI就是我们要创造一个人工的智能体，这是个工程问题;而脑科学，尤其脑科学中关注信息处理的研究，是要解析生物的智能体，这是一个科学问题。因此，AI和脑科学的关系从某种意义上说就是科学和工程的关系。在AI中，大家最近经常强调深度学习的有可解释性，就是我们要打开深度学习网络的黑箱，这其实也是脑科学研究一直在干的事情，只不过打开的是生物体智能的黑箱。两者都是在干同一个解析智能的问题，一个是从工程的角度我们怎么去创造一个智能体，而另一个是从科学的角度去解析大脑的工作原理。因此，两者之间的互动和互补是很显然的。一方面，大脑是自然界已经存在的智能体，我们了解它肯定能够帮助AI发展;另一方面，创造AI也有助于我们真正了解生物智能。有一种说法是了解一个事物，最佳的方法就是你去制造它。

AI和脑科学互助从逻辑上说是非常自然的。大脑是宇宙中已知的最好的智能体，发展人工智能当然要从大脑中去学。脑科学的确已经给了AI启发，但目前还远远不够。从我自己的研究经验看似乎经常是AI帮助我做脑科学，而不是脑科学对AI有什么帮助。这个问题出在什么地方呢?一个很大的问题是吴华强老师刚才说的，现在的算力不够;即便计算神经科学发展了一些好模型，如果没有很好的算力，就实现不了，体现不出脑启发的优点。此外，我觉得还有两个问题经常被大家忽视。一是目前AI的应用其实关注的任务相比我们人脑的高级认知功能来说还是太简单。比如AI的很多应用涉及的核心任务是目标识别，但大脑在我们日常生活所面临的计算远远不是简单的目标识别。当AI应用以后走向更复杂的任务，可能脑科学能够提供更多的帮助。还有一个问题涉及当前实验室科学的研究，计算神经科学要根据实验数据，但当前的实验范式通常都太简单了，比如对猴子呈现一个简单的刺激，然后记录大脑内神经元怎么反应，即便我们把整个计算过程揭示出来，它对我们认识大脑的高级认知功能还相差很远。所以实验科学家也要加把劲，把整个实验范式设置的更复杂，更多揭示大脑如何实现高级认知功能，在此基础上计算神经科学的建模、以及发展的算法才能对AI有用。

第一：脑科学已经为AI发展提供了什么思想、方法和技术?有哪些典型案例?

毕国强：华强老师说的树突计算非常有意思，我听到华强的结果也非常兴奋，最后的效能提升是由于什么原因?是不是树突的滤波性质或树突本身的构架?这种构架可能把突触变得不太一样，一般人工神经网络构架中每个突触的基本性质是一样的，树突构架可能引入了异质性。另外，树突结构本身的层级结构的复杂性也可能会对最终产生的计算能力有一些影响。关于异质性，我刚提到的突触可塑性，STDP应用到人工神经网络效果不好，一个可能的原因就是异质性。所以华强的这个工作，把树突结构加进去，非常值得进一步看到底是哪些特征产生了这些性能的提升或者改变。

当然从哲学层次上来说，生物的大脑和神经系统是很多年进化的结果，是经过自然选择，证明是能够Work的东西。但这里面又有多个尺度上的复杂性，从最小尺度上，即使只是看突触不到一微米大小的设备，其实真实的突触非常复杂，然后到环路、到整个大脑的结构。我们去模仿大脑，可能在不同尺度、不同层次上都可以获得不同的启发。这个时候关键的一点是我们从中得到的东西要分析出来是哪些特性能够对AI起到正面的作用。我觉得短时间内要全面地模仿大脑肯定是不现实的，所以我们需要从复杂的层级结构中抽提出关键特性一步一步模仿。

第二：从脑科学可以转化到AI来的，大家可以不可以分享一些更好的案例?

胡晓林：刚才的问题是问脑科学已经为AI提供了什么样的帮助，有很多工作其实是从脑科学启发过来，追根溯源到1943年，麦克和皮茨这两个人第一次提出人工神经元MP神经元，如果没有他们提出人工神经元，后面的这些CNN等等都是不存在的，他们其实是做神经科学的，他们尝试发明计算模型并解释大脑的工作，他们提出了这种逻辑运算的MP神经元。后来Rosenbaltt把MP神经元扩展了一下，得到了多层感知机。后来在1989年、1990年的时候Yan LeCun等人提出来CNN，当时是受了Neocognitron模型的启发，Neocognitron是日本人Fukushima提出来的，我真的找过他那篇论文，Neocognitron的结构和现在CNN的结构一模一样，唯一区别是学习方法不一样，Neocognitron在1980年提出来时还没有BP算法。Neocognitron怎么来的呢?它是受到一个神经科学的发现，在猫的视觉皮层有简单细胞、复杂细胞两种细胞，从这两种细胞的特点出发构建了Neocognitron尝试去解释大脑怎么识别物体的。后来才发展到CNN。MP神经元和Neocognitron这是两个具有里程碑意义的方法，这是很典型的神经科学给我们AI的启发的工作，甚至可以说是颠覆性的工作。

坦白说到这次神经网络、人工智能的腾飞，这次腾飞期间我并没有看到特别多令人非常兴奋的脑启发的工作，我本人也做了一些这方面的工作，发现目前一些受脑科学启发的计算模型好像都没有我刚才说的那两个模型的意义那么大。希望这个领域能出现一些新的脑启发的方法，哪怕它们现在的性能非常差，但是十几年、几十年以后，它们也许会成为奠基性的工作。

山世光：SNN还需要时间再去进一步观察，因为目前还没有到那么强大的地步。吴华强老师做存算一体，不知道很可能会成为未来值得关注受脑启发做计算的模型。

胡晓林：有可能。

第三：AI怎么助力了脑科学的发展， AI对脑科学的发展有什么典型的帮助?

吴思：我们要看我们怎么定义AI。如果泛泛的包括信息理论、动力学系统分析、统计学习等，那么这些都是计算神经科学每天在用的工具，它们一直在助力脑科学的发展。如果一定要强调最新的，比如说深度学习，那么如何将AI用于脑科学是目前的一个研究热点。国际上有多个组，也包括清华的胡晓林老师，大家把视觉系统当成一个深度学习网络，然后训练这个深度学习网络，同时加入一些生物学的约束，然后用对比的方法看这个系统能学习到什么，进而回答生物视觉认知的问题。

山世光：我们看到一些工作也都是在验证，深度网络和人的大脑之间似乎在层上有一定的对应性。

唐华锦：我补充一下吴思老师讲的，在传统上AI提供了很重要的大数据分析工具，视觉神经、视觉皮层，现在的AI提供了很重要的大数据工具，尤其是在高通量的脑成像方面，建立非常精细的脑模型，AI大数据起到重要的作用。还有实时的脑活动的分析上，比如斑马鱼的活动，如何同时实时记录以及把这些神经元的活动匹配到那些神经元上，这是大量AI深度学习帮助脑科学家在分析数据、统计数据上，包括三维重建，包括树突、轴突之间连接的结构也会起到非常重要的作用，AI还是提供了很好的工具在深入的解释上面。

胡晓林：我接着吴思老师刚才的观点和大家分享，吴思说现在国际有一个热点，用深度学习的方式去研究以前在生物学实验当中的结果，在这个模型当中能不能出现这个结果。我想说的一点，这是第一步，我们首先要来看一下深度学习模型是不是具有这样的特点。如果发现它具有这样的特点，你能干什么。深度学习模型是你自己构造的，这个模型你所有神经元都可以测。不像生物体会受到实验条件限制，有些地方测不到。这个模型是你自己构造的，所有神经元的特点都可以测。如果有了一个等价模型，在等价的人工智能模型上做一些实验和解释，做一些原理性的探索，会比在动物那种“黑箱”上做容易一些。

我给大家再分享一个话题，去年的时候MIT有一个组，DiCarlo实验室，刚才提到了他们2014年的工作，他们去年有一个更进一步的工作，在猴子的高级皮层，神经科学家很难用一个刺激让这些神经元能够以一个很大的发放率去发放。如果做实验的话会发现，越往高层就越难让一个神经元发放。为解决这个问题他们做了一个实验。他们先构造了一个神经网络CNN，然后把中间的某一层L3层取出来和猴子V4区域的神经元反应做简单的映射，这个映射可能是一个小网络，然后学出参数。学出来之后，他们认为从视觉刺激(这只猫)到你的眼睛通过L1、L2、L3再到V4这是一个通路，这个通路上经过的是人工神经网络，而不是真正的生物系统，真正的生物系统是下面的通路，看到这只猫然后经过V1、V2、V3最后传到V4。所以他们其实构造了一个视觉通路的替代模型。你可以通过这个替代模型，这个神经网络，用BP算法反求一个刺激，使得V4区的神经元反应最大，最后发现反求出来的刺激像下面这张图的样子。然后再把这些刺激给猴子看，去测V4区神经元反应是不是最大。发现V4区的神经元反应远远超出以前用任何刺激所带来的反应，也就是说如果不用他们这种反求的方式去做刺激，用自然数据是很难让这个神经元发放这么强烈的。这个就解决了他们做生理学实验的一个痛点。我和做听觉的老师聊过，他们在猴子的听觉皮层发现大部分神经元都是不反应的，很多人觉得猴子的听觉神经元不是干听觉这件事的，很多人想不通为什么这样，我觉得可能是我们没有找到合适的刺激。

山世光：这本身对AI，我们现在深度学习的模型也是一个黑箱，在过去三年里AI领域已经把AI的可解释AI或者XAI这个研究问题突出出来了，很多人做了非常漂亮的工作解释黑盒子模型，我相信在接下来的时间里肯定会有更多的发展。这个话题还有哪位老师发言?

毕国强：我再补充一句，刚才几位老师已经说的非常透彻了，AI在脑科学研究中能够起到很多助力作用，从基本的大数据分析到更高层次的模拟，对大脑的模拟。在最后一步，对大脑的模拟有不同深度，早期的人工神经网络以及现在很多深度神经网络所模拟的只是神经元和突触连接的一些非常基本的性质。用这样简单的性质来模拟大脑，能够得到的一些似乎和大脑里面发生的类似的现象，这确实反映了非常根本的机制。但是很可能很多事情是没有办法用目前的人工神经网络来解释的，这时候需要用进一步的模拟，也可能叫计算神经科学的模拟，刚才吴思提到AI和计算神经科学没有本质上的严格边界，这种更深层次模型通过加入更多的脑神经系统的特性就可能模拟神经系统更多的行为，然后可以再反过来看哪些性质是哪些行为必须的。当然最后这还是一个大脑理解大脑的复杂性问题。

第五：我们面临的是两个黑盒子，深度学习和大脑这两个黑盒子怎么互相对比?能不能把这个黑盒子打开?

山世光：脑科学研究需要什么样的AI技术来解决什么样的前沿脑科学问题，哪位老师就这个话题再说几句。

吴思：我特别期望望神经形态研究的发展，就是唐华锦和吴华强老师他们将的东西来帮助来帮助计算神经科学的发展。我们研究脑科学，提出了各种模型和机制后，如果有一个类脑的硬件系统验证一下，就能更好证明这个机制和模型是否生物学合理，能否在AI中得到应用。

第六：我们还有一个话题关于人才培养，这是未来论坛秘书处觉得非常重要的话题，我们看哪位老师对交叉学科培养有经验或者想法?

毕国强：这是非常重要的，可能目前整个领域，尤其是在国内发展的真正瓶颈，就是怎么样培养更多的交叉学科的优秀人才。这是一个很大的挑战，因为真正的AI-脑科学交叉学科人才可能需要对两个学科都要有充分的把握，而这两个学科都是很难的学科，计算机科学、神经生物学都很难，而且它中间重叠的部分又不多，不像是计算机和应用数学，或者生物学和化学相对容易一些，如果想把AI和脑科学这两个连在一起，你需要几乎双倍的专业知识。国外有很多值得借鉴的经验，但最关键是需要鼓励青年人追求自己的兴趣，你如果感觉大脑很神奇或者AI很神奇，真的想研究它们，理解它们，那就花别人双倍的力气把这两个学科都学好，这是最重要的。我读物理研究生时很容易，英语听不懂照样去考试，但读生物研究生的时候发现不光英语听不懂，翻译成中文也听不懂，我只拿录音机录下来，仔细查，把所有东西一点一点搞清楚，这样花了一个多学期的时间之后，就开始真正能理解生物学家说的话，可以开始去做这方面的研究。另一方面，国内很多课程设置有专业限制，不同专业间的壁垒还是很大的。在生物系和计算机系这两个学科的要求差别非常大，这时候需要设计真正的交叉学科的课程体系，科大在这方面做过一些努力，比如温泉老师教物理系学生计算神经科学的课，深圳在建的中科院深圳理工大学也希望建立AI+脑科学的智能交叉学科专业方向，建成培养交叉学科顶尖人才的机制。我想后面会慢慢好的，大家在北大、清华、浙大，在这方面都有很重的责任。

山世光：我今天早上还在看心理所要设计本科专业，课程体系里我看到人工智能的课他们有一门，我就在想这个人工智能的课谁来讲、讲什么，对他们来讲前面没有计算机变成课，上来就有人工智能，给心理所的人讲，确实课程体系建设方面有有非常多的地方需要努力。

唐华锦：浙大这边新招的人工智能专业本科生专业设置了AI+脑科学的交叉课程，在推动培养新一代的AI+脑科学方面的交叉人才上已经在布局，相信清华、北大也有类似课程的设计。

胡晓林：我个人认为在毕老师你们那儿开人工智能课，前面没有编程基础，上来就讲人工智能很难的。我觉得反过来，如果在信息科学这样的院系开设脑科学相对来讲应该是比较容易的，因为就我这点不成功的经验来讲，学神经科学可能不需要特别系统的、像数学、编程那样要经过好几年的培养。浙大这样的做法可能是比较好一点。在我的课题组，我是鼓励同学们做一些脑科学的事儿，但是目前为止不是特别成功。现在计算机信息学科的学生更加关注的还是AI，偏纯AI，技术本身。这是另一个方面的困难。

山世光：也不容易，我本人也学了好几年，现在刚刚能做到脑科学、神经科学说的词汇我基本能理解，但是更深刻的思考也做不到，感觉也不是那么容易。

胡晓林：要真正有兴趣，真的觉得这个东西不解决，AI这个领域可能也没有特别大的发展。

山世光：还是要投入双倍的时间和精力。

现场问答环节

第七、 大脑如何完成学习-记忆融合的?能不能稍微展开讲一下。

唐华锦：因为时间关系我简单陈述一下。这涉及到我们对记忆的理解问题，首先记忆通过神经元的群组编码实现，比如对某个概念，必须有一组神经元对这个概念进行表述，这组神经元就要通过学习对这个概念进行响应，比如通过快速学习，这个神经元群组之间要加强它们之间的连接。把这个概念和另一个概念之间，如果它们之间存在联想关系，不同的神经元群组间要形成一个新连接，这个连接要把不同概念联系起来。群组内的神经元连接以及群组间的神经元连接都要通过学习方式实现。要么通过无监督STDP学习规则，或者通过有监督的学习规则来实现学习和记忆的融合。

第八、刚才提到多模态融合很感兴趣，能不能介绍一下人脑是如何进行多模态融合的?

吴思：多模态信息整合是我们大脑的一个基本功能。人为什么有五官?实际上它们是我们从不同的物理、化学和声音等信号来感知这个外界世界，这些信号需要在大脑里有效地融合起来。从数学角度说，多模态信息整合的最好算法是贝叶斯推理。有意思的是，行为上已经证明大脑能做数学上优化的贝叶斯多模态信息整合，在神经数据上猴子实验也证明，在计算模型上也得到了验证。我们最近做一个模型工作来解释其机理。基本的思想是各脑区有分工，分别负责处理视觉信号、听觉信号等，但同时这些脑区之间又有连接，这些连接编码不同信号之间关联的先见知识。这样多个脑区间通过信息交流，最终以并行分布的方式实现了优化的多模态信息整合。

第九、突触可塑性可以看成一种局部优化规则，大脑是如何进行全局学习和调控的?

毕国强：这是一个很好的问题，我刚才提到一点，我们研究学习或者可塑性，一方面是看突触本身发生的变化，另一方面我们希望，实际上还没有真正做到，就是在全局尺度上或者环路尺度上看这些可塑性是怎样发生变化的。这也分多个层次，一是在全局上面，哪些突触可以发生可塑性变化，这需要突触前后神经元的活动，任何一个需要学习的内容在整个网络里面以不同的神经元活动表达出来的时候，就会有相应的突触发生变化。

另一方面，全局尺度上还有神经调质的作用，比如说情绪或者是奖励的信号，受到奖励的时候大脑里多巴胺系统会对整个网络有一个全面的调控。但调控具体影响还有待深入研究，但是一般来说它可能让在这段时间受到影响的突触的可塑性变化更容易。这样就在全局尺度上可以把很多突触的变化协调起来。

第十、信息专业的学生如果希望自己入门脑科学相关内容，应该从哪里入手?

吴思：最好能进到一个课题组，多听报告，参与做具体的课题，这样才更有效。如果光看书，刚开始坚持一个月还可以，你能坚持一年吗?而且你学的东西得不到应用，你可能很沮丧，你可能就放弃了。所以找一个合作课题是最佳的。

山世光：我一直在建议未来论坛青创联盟我们搞一个奖学金，能够鼓励一些信息科学或者脑科学的人互相进入对方，然后给他们提供支持，当然这也很难。

毕国强：这是非常好的办法。我原来在的匹兹堡大学和CMU有一个联合的CNBC Program，就是试图把实验神经生物学和计算神经科学和计算机科学实验室都联合到一起，学生拿到CNBC的奖学金，如果他属于计算实验室的他需要到一个生物实验室去做一个学期或者更长时间，反过来也是一样。当然对每个人，我还是要强调每个人的效果不同，最终还是要看个人的坚持，你有多强烈的兴趣和你想花多大的力气。

刚才我提到花双倍的力气，很多人就有双倍的力气，这些人可能就适合做这件事情。

山世光：而且双倍的力气可能只是在开始。

唐华锦：确实建议很好，要放在一个具体团队或者项目里去做，一个是提升你的成就感，也不会学了一年之后感到很沮丧。中科院这一点做的很好，你们的“脑中心”甚至强制要求人工智能和神经科学蹲点。还有浙大，“双脑”中心也是强调人工智能和神经科学在一块儿在一个团队，至少你要找两个这样的导师，然后去做这方面的工作，效果会很好。

吴思：计算神经科学的教材，网上有“cosya”(音)课程很好。我看观众提问中已经提到这一点。

山世光：从点到线再到面，不能上来就到面。

第十一、脑科学领域对常识的研究，有哪些资料可以推荐?

唐华锦：回答是肯定的，一定是存在误差反传，比如说肯定有全局信号、奖励信号，只是反传方式不一样，传统人工智能的反传是基于梯度下降，但是在神经科学里很难实现，因为要求对称的传播，我觉得是具体实验方式的不同，但是一定是存在的。如果对这个问题感兴趣可以看最近一篇论文“Backpropagation and the brain”(Nature Reviews Neuroscience，2020)。

山世光：今天非常高兴，我们三位演讲嘉宾和三位讨论嘉宾给我们呈上了一盘丰盛的科学盛筵，今天的活动到此结束，我们AI+科学的系列专题，下一期AI+科学计算将在5月10日举行，欢迎大家关注，再次感谢各位嘉宾的分享，感谢大家。我们下次再见!

关键词： 存储器 CPU