浙江大学周昆：人工智能计算平台加速科研成果转化进程

“在新计算平台上，比如智能手机和人工智能，应用基础研究成果的产业化落地周期大幅缩减，很多不超过五年”。近日，IEEE Fellow、教育部长江学者、浙江大学CAD&CG国家重点实验室主任和“浙江大学—相芯科技智能图形计算联合实验室”主任周昆教授，在普华资本主办的科技创新高峰论坛上表示。

在题为《虚拟现实与脑科学》的主题演讲中，周昆教授回顾了他和团队过去几年在虚拟化身和彩色3D打印方向取得的研究成果，剖析了从现实世界到虚拟世界(虚拟现实)和从虚拟世界到现实世界(智能制造)应用中的技术挑战和解决思路，进而介绍了团队即将开展的脑信息学方向的研究课题，表示脑科学和人工智能理论基础研究还有待时日取得突破。在最后总结中，周昆教授表示，人工智能计算平台大大加速了应用基础研究成果的产业化进程，同时也有效推动了相关领域的理论基础研究。

以下为演讲主要内容(有删减)：

周昆：各位领导、各位朋友，上午好。很高兴受邀来普华资本主办的科技论坛分享我的科研工作和一些思考。我的演讲题目是《虚拟现实与脑科学》。

主要包括三部分内容，第一部分是一个关于从现实世界到虚拟世界的课题，即通常所说虚拟现实，是六年前开展的课题;第二部分是一个从虚拟或者数字世界到现实世界的课题，与智能制造有关，是三年前做的;最后是我们即将要开展的研究课题，与脑科学有关。

一、从现实到虚拟

举个例子——虚拟化身。

在现实世界里，我们每一个人都有音容笑貌，有穿着打扮，这些构成了我们的形象。通过这样的形象，亲朋好友会对我们有一个印象和认知。在现实世界如此，那在数字世界或网络空间里，又是如何?

其实，在微信、QQ等社交网络中，我们也有一个形象。但这个形象具体是什么?一个ID字符串还是一张头像图片?这就是我们这个课题想要解决的问题——为每个人构造出一个具有“音容笑貌”的、可以互动的虚拟形象，并让其可以应用到多个领域中，我们称之为虚拟化身。

这里涉及到两方面的核心技术。首先是虚拟化身的创建。经过大量用户调查和研究，我们发现，大多数用户想要的虚拟形象必须一眼看过去“像本人”，同时又要比本人漂亮，因为爱美之心人皆有之，每个人都想要一个更好的自己。怎么样高效快捷地为用户创建出这样的形象是个难题。其次是虚拟化身的互动。在当前广泛普及的智能手机上，我们希望能够支持包括视频、语音和文本在内的三种虚拟化身互动方式。

在虚拟化身创建方面，经过几年时间，我们研制了一项通过单张肖像照片就能全自动创建出三维虚拟形象的技术。我们设计了一种深度学习算法，采用大量图像数据训练了一个端对端神经网络模型，能够从单张照片中提取出用户的脸型、五官、头发等特征，进行全自动生成与照片相对应的三维虚拟形象。同时还提供了多种方式使得用户可以对三维形象的脸型、肤色、服饰等进行修改和定制。

有了这项技术，任何用户都可以通过提交一张图片来生成一个虚拟化身，构成一个虚拟化身世界。在这个世界中，每个人都有一个独属于自己的数字形象，千人千面。

在虚拟化身互动方面，第一种交互方式是基于视频。通过智能手机拍摄的用户视频，我们可以自动计算出用户的头部运动和脸部表情运动，并把这些运动参数作用在一个虚拟化身上，从而实现虚拟化身的实时动画。第二种方式是语音，通过输入一段语音，可以是唱歌、朗诵或者聊天语音，就能生成虚拟化身动画，实现真正具有“音容笑貌”的虚拟化身。最后一种方式是文本，通过输入一段文字，可以同时生成与文字相对应的语音和虚拟化身动画。这项技术在智能助手、智能客服、聊天机器人方向有很多应用。

前面演示的虚拟化身看上去都很漂亮很可爱，但是和现实世界中的真人形象相比较还远不够真实。有些用户更想要一个非常接近真实自己的虚拟化身，就像照片一样。我们在这方面也研究了一些技术，例如只需要一张用户的肖像照片，我们可以直接生成照片中人物的表情动画，看上去就像是真实的人物动画一样。这就是虚拟化身的进一步发展，我们称之为虚拟替身。

我们在虚拟化身方向已经做了六年的工作，在国际顶级期刊和会议上发表了20多篇论文，在国际上引领了这个方向的研究。这些技术也已经广泛应用到视频直播、短视频、社交、在线教育等多个领域，在包括美国迪士尼、法国欧莱雅和中国华为在内的400余家企业得到应用，SDK月均访问量超过8亿人次。

二、从虚拟到现实

举个例子——3D彩色打印。

这个课题研究如何把设计师设计出来的三维数字模型在现实世界中生产制造出来，得到与数字模型完全一样的真实物体。注意，数字模型外表面具有五颜六色的图案，因此我们也需要在真实物体表面生成同样的彩色图案。

与这个课题紧密相关的技术就是3D打印。大家知道，3D打印技术发展很快，是个性化产品定制的赋能技术，已经在机械制造、医疗、文化创意等众多行业得到应用。3D打印技术的一个最重要优势是能够生产出形状和拓扑高度复杂的产品。

另一方面，当前3D彩色打印技术还非常不成熟。打印成本很高，更重要是打印出来的色彩很不真实，完全达不到目前二维喷墨或激光彩色打印机的彩色效果。

那在现实生活中，表面色彩丰富的商品和实物是怎样制造出来的呢?这里有很多传统工艺，包括贴花纸、电镀、上釉等。但这些传统工艺都严重依赖手工操作或一些特殊设备。如何给一个复杂的三维物体表面精确地上颜料，这是一个没有解决的难题。以瓷器生产为例，目前大多数生产流程都已实现半自动或全自动的批量生产，但“贴花纸”这一步还要全部依赖手工。

2015年，我们发明了一项新技术——计算水转印，用普通二维彩色喷墨打印实现全彩色3D打印。具体的做法是：给一个设计师设计的3D彩色模型，用单色3D打印机打印出表面没有彩色图案的素模，然后通过我们发明的水转印模拟计算得到对应于彩色模型的二维图案，再用普通二维喷墨彩色打印机把这个图案打印在水转印膜上，最后通过水转印操作，把这个二维图案转移到三维素模表面，最终得到表面具有彩色图案的实物。

水转印这项工艺已经有几十年历史了。将一张涂满颜料的水转印高分子膜放置在水面上，然后将需要上色的物体浸入水里，在水压力的作用下，高分子膜上的颜料就会附着在物体表面上，这就是水转印上色的全过程。这项工艺在汽车、电子产品、家具等各领域有大量应用。

但目前这一工艺还只能处理像大理石、迷彩色等重复性图案，无法进行复杂图案的精准上色。我们发明的技术为整个水转印过程建立了一个可计算的模型。通过精确计算和控制水转印的每一道工序，来最终实现3D全彩打印的效果。

这项成果2015年公布后，成果视频在Youtube上被观看了100万余次。国内外各大媒体包括中央电视台、新华社、美国的《Wired》等都进行了专题报道。

三、脑信息学

这是我们接下来将要开展的一个研究课题。前不久，华中科技大学牵头联合浙江大学和几家科研院所一起申请到国家自然科学基金委信息科学部的一个重大项目。

这个项目旨在研究脑空间信息中脑连接的高分辨光学成像与可视化，实际上就是研究脑组织中神经元形态和神经元连接结构。整个项目包含四个课题，第一和第二课题是做测量，通过光学或其他测量手段来获得脑连接结构和动态数据。这些数据提供给第三课题来进行信息处理和可视化。最终，第四课题会形成脑连接数据库并绘制脑图谱。浙江大学负责第三课题研究。

为什么要做这方面研究?这里借用北京大学黄铁军教授的一张PPT来说明。把大脑的工作机理搞清楚是一个非常长期的目标，但是现在我们已经有很好的手段可以测量大脑的结构。如果能弄清楚脑神经元连接结构，计算机科学家就可以构造和模拟出具有类似于脑神经元网络结构的计算机，一方面可以在一些特定功能上使得计算机像大脑一样工作，另一方面也能反过来推动对大脑工作机理的研究。

因此，搞清楚脑连接结构是一个很重要的问题。

要搞清楚脑连接结构需要非常高精度的测量，会产生大量的数据。以小鼠为例，一立方厘米脑容量，测量得到的原始数据量可以达到8TB。而人脑数据量会超过10PB，相当于20万部4K高清电影。

如此大量的数据必然带来很多挑战，例如标准化、知识化和可视化。首先，只有建立标准化的处理流程才能支持工业化大科学研究，才能支持科研机构和国家间的数据共享和合作;其次，要通过AI技术从原始数据中抽取出特征，将数据知识化;最后，还需借助可视化工具或软件来辅助数据分析。这些内容也就是我们第三课题将要开展的研究工作。

四、总结

最后总结一下在这三项课题研究中我学习到的几点体会。从计算机技术发展的角度看，我们所经历的计算平台在过去几十年已经发生多次演化，从最早的大型计算机，到个人计算机、互联网、云计算、智能手机，再到今天如火如荼的AI平台，每一次计算平台的演化，都带来了新的机遇和挑战，推动了产业发展。

我的第一点体会是AI作为新的计算平台将会比过去计算平台带来更广泛和更深入的影响，会赋能到很多行业和产业，也将促进相关学科的研究。前面我们谈到的虚拟现实、智能制造和脑信息学都是很好的例子。

第二点体会，在新的计算平台上，应用基础研究成果的产业化落地周期将会大幅缩短。二十年前我们研究出来的一些技术可能要经过10年甚至15年时间才能真正在产业界得到广泛应用。在今天，很多应用基础研究成果，特别是AI应用研究成果，都能快速在产业界落地。近几年涌现的大批技术驱动型初创企业很好地说明了这一点。如果说在云计算平台上，以阿里云为代表中国企业已经在全球市场上做到了几分天下，那么在智能手机和AI计算平台上，中国科技企业可能具有更大的领先机会。

最后一点体会，尽管新计算平台极大地促进了理论基础研究，但要实现重大突破还需要耐心。例如前面提到的要造出真正像大脑一样工作的计算机还需要很长时间，也需要国家和社会各界的长期支持。