继“让机器听懂你的声音”，钛坦白又请来六位钛客，探讨如何让机器看懂这个世界。本文根据浙江大学CAD&CG国家重点实验室副教授、Rokid科学家顾问张宏鑫在钛坦白的分享整理。

张教授是浙江大学理学博士、香港科技大学计算机系博士后。曾先后在微软亚洲研究院、德国亚琛工大等做访问合作研究。近年来已完成论文30余篇，其中多篇论文被SCI/EI/ISTP收录，并获得了较高的文献引用率。在浙江大学 CAD&CG国家重点实验室，系统并深入地研究了数字几何处理、计算机图形硬件加速、三维重建、可视化和计算机视觉的理论，将离散微分方程、卷积理论成功应用于快捷三维造型。与阿里云合作研发了渲染云系统，并参与了Rokid家庭陪伴机器人的研发。

以下是张宏鑫教授在钛坦白的分享：

大家好，我是浙江大学CAD&CG国家重点实验室的张宏鑫，也是Rokid机器人研发团队科学家顾问，感谢各位听众，也感谢钛媒体给了我这么一个机会，和众多人工智能行业的大佬们一起来做这个分享。

我虽然做机器学习相关的应用研究已经十多年了，但还算不上一个真正的搞机器学习或者人工智能的专家，勉强可以算是一个资深的玩家，因为我自己的研究兴趣其实主要在图形学和计算机视觉交叉的领域，后来慢慢扩展到对数据的可视化分析。借此机会，我想通过我个人的一些经历，反映我们这一代人的想法，进而讲一些我对人工智能的粗浅认识，供大家研讨。

缘起

我们这代人属于70后，我记得我最小时候最喜欢看的一个动画片是《铁臂阿童木》，最早看的科幻电影应该是《星球大战》三部曲，当时对电影里面的R2D2等等机器人特别特别的着迷，这些片子使得我们这代人对智慧机器人有了最早的直观认识。但是说实话，最早并不知道什么叫“人工智能”，只是单纯的觉得这是科学，这些可爱的机器人总有一天会出现在我们的生活当中，会成为我们人类的好朋友。

机缘巧合，直到两年前的一天，我的好朋友——Rokid公司的创始人Misa找到我，说“我们做机器人吧”，我没有任何犹豫脱口说“好吧，我们一起干！”于是，和Rokid的团队一起开始了这个有趣的探索之旅。在这个探索的过程当中，发现有很多的研究问题大有可为，所以现在也算是乐在其中。

种子

回想起来，从小学到中学随着年龄的增长，我非常喜欢看几本杂志分别是《科学画报》、《飞碟探索》还有《奥秘》，也很喜欢背后的物理跟数学。然后再大一点的话，喜欢看《无线电》。但是后来发现，《无线电》里面很多简单的小制作还可以，但是复杂的制作的话需要很多仪器，对于一个初中生、高中生来说是买不起的。所以觉得不如退一步，因为数学自己还不错吧，就以数学为基本工具来探索这个世界。后来也比较幸运，考上了浙江大学，就读数学系，算是了却了自己的心愿。也就是在大学里，有一次很偶然的机会认识了Misa同学，因为他和我一样很喜欢弹吉他，没想到两个人因为弹吉他在一起，断断续续合作了很多年。

在大学三年级的时候，大概是1996年前后，有一个很有趣的事情。当时的数学系主任是陈叔平教授，他有一次找我们一帮学生来聊天，问我们对什么东西感兴趣。轮到我讲的时候，脑子里就突然冒出了三个字——机器人。然后我就对陈老师说，我很想做机器人。陈老师当时愣了好一会儿，微笑着鼓励我说，“以后要多学习专业知识，和自动化还有计算机的老师多合作”，也许就是因为师长的这种鼓励，后来促使我花了很多时间去学计算机的技术，并辅修了偏工程的电气专业。

所以说在大学期间的这些经历，在我们70后这一代人的身上埋下了现在做这些智能设备、智能技术的种子，才有了今天Rokid的产品。也正是因此，我们愿意跳出自己的小圈子，把电子器件、计算机技术，以及很多数学的算法逻辑等等元素组合在一起。说实话，是因为喜欢弹吉他，喜欢音乐，当年我们这帮人才能够聚拢来，去探索这个有点离经叛道，但有些跨界的美物。

也正是因此，我觉得人工智能，不能简单理解为是一组算法所形成的自动化逻辑，它是软硬件技术的结合体，只有实物化才是王道。

小数据时代

后来很幸运，顺利保送浙大硕士以及直接转为博士，师从数学系的王国瑾教授。他当时给我的论文题目是《复杂形体建模与绘制的离散方法研究》。在这个课题当中，其实我们研究的是一种样条理论，试图通过一种过程式的细分曲面方法来表达三维场景。所以在当时，我广泛的探索了各种各样的三维模型如何去进行表达，怎么样去进行有效绘制之类的问题。

在博士期间，大概2001年左右，我去微软实习了一段时间。加入了微软沈向阳博士领导的视觉组，在他那边做实习生。当时到这个组，给了我一个专门的问题，希望我做重光照（relighting）技术方面的研究。什么是重光照？具体而言，就是研究从一张图片或者多张图片中，首先是恢复三维场景，然后再根据这个三维场景的信息进一步猜测计算物体的材质属性（补：最后是对三维场景重新打光）。当时来说，这是一个很难的问题，而且需要用到很多的计算机视觉技术，包括图像分割、立体视觉还有很多数据统计的方法。这些方法都是可以看作是人工智能的一种形态，也是机器学习里面的一些典型方法。当时在微软，有非常好的氛围。我记得当时有很多很厉害的人，现在都已经成为了研究员、教授，比如说孙剑、刘策等等，大家在一起广泛讨论了很多机器学习的方法。

我在微软的工作属于“可视计算”领域。可视计算这个方向实际上是计算机图形学和计算机视觉的交叉领域，这两个方向其实可以说是天生的一对。计算机图形学，是一种正向从三维的场景或者数据去生成二维图像的一个过程；而计算机视觉恰恰是反过来的，是从二维的图像反向去猜测或者是预测三维的结果，特别是基于图像的重建那块的内容，可以说图形学跟计算机视觉是不可分家。所以，在学术界把这两者加在一起叫“可视计算”。

微软期间我印象最深刻的是，从那个时候开始接触所谓的小样本学习方法。因为当时我们有一个讨论班，例如孙剑、王天树、刘策，还有别的一些朋友，包括朱颂春老师，大家在一起讨论各种各样的视觉方法。期间，我们重点研读了，SVM发明人Vapnik博士所写的一本很有名的书叫《统计学习理论的本质》。在这本书里面他广泛研讨了SVM方法的理论。全文的宗旨是希望通过比较小的样本，就能够学习获得一个很好的统计模型，这个模型是通过数据进行计算来获得的。在当时的这样一种氛围底下，其实大家都在探索各种各样的机器学习的方法，除了SVM方法以外，还有比较重要的是一些降维的技术。

博士毕业后，我在香港科大做了一年的博士后，当时在那边合作的老师是戴秋兰教授，跟她一起做的是基于草图的人机交互。香港科大在当时如日中天，集合了一大帮来自于五湖四海的科研人员，有的在那边做博士后的，也有在那边当教员的。这期间我很荣幸结识了张志华老师，大家亲切的把他称为“老张”，他现在在上交大和北大任教。老张既是我的老师，也是我的朋友，我们经常饭后一起在香港科大的海边散步。散步的时候，他就跟我讲好多统计的方法。为此，我们后续合作做了一些数据降维的工作。最终，其中一个算法被用于图形学中的模型分解跟纹理映射。在当时大家都特别推崇小样本的统计方法，用了很多统计学里面的理论和计算技巧。但是当时大家都比较鄙视神经网络方法，这是挺特有意思的一个过程。

大概在2005年到2006年左右的时候，我有幸访问了德国亚琛工大，在那边访问的教授是Leif Kobelt。他当时主要做很多关于三维网格处理的研究，其课题组的很多技术其实最后都输出给宝马汽车，因而有很多的横向课题。在访问Kobelt教授期间，我主要致力于将机器学习技术进一步引入到图形学当中，用于三维模型的处理和分析。因为在当时，我跟浙大CAD实验室的一位博士生叫许栋，做了一个很有趣的工作。我们这个技术，可以在不同的三维模型之间进行插值，背后用的计算理论是网格上的微分方法，我们将其称为“泊松形状插值”。

泊松形状插值的方法，Kobelt教授也非常感兴趣，因为他发现这个技术也许可以用于宝马汽车的外形设计。后来，我们也逐渐意识到这一技术，也许是一种物体的本质表达方法。但是怎么样去验证这件事情不好说，因为需要大量的数据。因此，从这个项目开始，我就越来越关注图形数据库方面的一些进展。这当中我们发现很多数据，其实适合去做一些数据驱动的方法。如果能累积较多数据，不光是能够去做图形的形状分析与搜索，还能够去驱动一些相关的物理仿真。

记得有一年，我和一个叫宋超的博士合作做了一个关于物理仿真的技术。在这个仿真技术里边，我们不光用了是事先采集好的一些形状数据，而且还融汇了一个物理力学模型。我们把两者结合起来，来做到一个比较真实，但是速度非常快的物理仿真效果。

但当时做了这一系列的研究之后，说实话我们在学术方面其实有些迷茫，特别在图形学方向。该方向已经发展到一个非常高的高度，进入了一个平台期。所以我们在做一些尝试，想从别的角度去进行一些挖掘，看看还有没有别的路可以去走。这一点恰恰把我们70年代的人引入到大数据的时代来了。

大数据时代

大概是在2010年左右，我们前前后后做了三个不同的项目，我把这三个项目总结为三个“大”。

• 大计算

在2010年左右的时候，阿里云的王坚博士找到我们，希望把我们已有的图形计算渲染，这种非常复杂的计算过程，搬到阿里云上。后来这个项目通过两到三年的努力成型后，成为阿里云第一个上线的saas应用。

有一次，我们两边合作总共调集了6500台计算机，或者说计算节点，来完成一部动画电影的渲染任务，这个片叫《昆塔传奇》，是我们杭州本地的一家广告企业博彩传媒拍摄的。我们把这么大规模的计算资源调度起来，做这么一个复杂的计算任务，其实是非常了不起的。正是因为能够大规模的去调动这种计算资源的经历，使我后面可以说是开窍了，让我很兴奋，觉得这种大的计算能力真的可以做一些事情。

• 大并发

我们在完成了阿里云这个项目之后，浙江大学的相关领导对我们很看重，把浙江大学研究生信息系统的改造项目，交给了我的课题组。为此，我们课题组经过三年的努力，加上研究生院的老师一起，对整个研究生院的业务系统进行了一次改造。

在这个改造项目当中，最难的一点在于我们浙大每年有五千名研究生入学。然后这五千人一旦入学之后，会进行一次集中选课，而且这个选课的流程是比较复杂的。可以说这个业务系统，就需要支撑五千个人同时进到这个系统进行选课。这是一个高并发的项目。我们通过自己的努力，加上一些朋友帮忙，设计了一个很好的基于云的架构。目前这个项目已经顺利结题，并已经上线。我们浙大五万师生目前每天都在使用这样一个系统。

• 大数据

在2010年代，我们接触的第三个项目才真正让我认识到什么叫做大数据。当时在杭州本地有一家创业公司叫做淘淘搜。因为淘淘搜的CEO，也恰恰是我们浙大的同事，他有一次来找我，说我们能不能合作，把淘淘搜的图像库给利用起来。这个图像库有多大呢？当时的数据是大概有四千万张图像。我们从中抽取了大概两百万张图像，主要是四类——衣服、包、鞋子、裤子。我们希望能设计出一种新的交互方法，这个基本上重用了我们之前的一些技术，就是草图交互，我们希望通过草图交互做一个以图搜图的功能。

在整个项目实施过程当中，我们其实也借鉴了很多数据库的相关技术，把数据库里所谓的倒排索引技术，应用到了我们图像索引里面来。通过它，我们提供给用户一个非常舒服方便的交互界面，使得用户通过简单的勾勾画画，就可以选中相关的图象数据，后来我们上线了一个专门的App应用放在苹果的商店里叫“服饰绘”。通过这个应用，用户可以进行勾画、搜索最后形成购买。

通过这三个项目，以及各方面科研，我们有很多深刻的体会。在2010年代开始之后，整个业界拥有的计算能力非常强大了，也有了大规模的数据。而且这些数据就是由大规模的人群产生，因为高并发往往背后是一个大规模的普通用户人群的出现。

这三者的合力其实给了我们一些契机，让我们觉得数据驱动方法已经不能只局限于以前的小规模小样本的数据，这个大数据的时代真的是来临了。

但在这个心里面，其实一直记得当时有一个宿愿，就是怎么样做机器人这件事情？因为对于机器人，我们总是觉得它是很有智慧，很有力量的。它的这种能力的来源，是不是可以通过这种大计算、大并发与大数据的依托去做呢？这是当时放在脑子里的一个问题。

智能家居时代

正是因为我们在2010年左右完成的这一系列项目，使得各方面的合作纷至沓来，我们也有机会结合一些具体的项目来思考大数据如何应用到机器人。后续我们做了两个方面的探索：一个是在原有可视计算方面的探索，另一个是对人工智能与可视分析方法的探索。而这两个探索的背景，是我们观察到，最近几年整个IT行业已进入到智能家居时代。

• 可视计算方面

我们发现了一个趋势，那就是视觉技术的重新兴起。比方说我们在Rokid做了很多新的技术研发，特别是人脸方面。我们从人脸检测、人脸识别、人脸表情、年龄判断到性别判断，做了一系列的工作。最近一段时间，我们在人脸年龄识别方面，在某一个人脸数据库上已经刷到了世界第一，因为我们找到了一种新的计算方法。

另外，我们在手势识别方面也做了一些很有益的探索。当时我们在设计Rokid的时候，有一个初衷，希望除了人能通过语言跟Rokid进行交互，还能通过视觉通道来做各种各样场景的交互，手势是其中非常重要的一种手段。

人脸也好，手势也好，其实我们发现，思路基本上都是通过大量数据的累积，来训练合适的模型。这种模型再结合具体的场景，进行进一步的改造跟提升，就能使它更加实用化。这其实是一个非常有意义的探索。在这个过程当中，不仅仅是简单去用深度学习等大数据处理方法，也要把之前小样本学习里面的各种技术，比方说各种统计的方法要综合利用起来。

Rokid是家庭里面的伙伴，所以我们觉得对Rokid这样的设备，对家庭环境的认知其实是非常重要的。所以我们结合相关项目的需求，着重做了几件事情：第一个，我们研发了一个技术，就是如何从建筑平面图当中能够快速的重建室内三维结构。因为对于整个家庭环境来讲，整个三维结构的建立是非常重要的，而让一般人去做一个交互生成一个三维的建筑平面图，并不是每个人都可以完成的。所以比较合适的、折中的方式，就是尽量通过一些比较容易获取的手段拿到这个三维信息。一个思路是，比如说楼道里经常有一些建筑平面图，类似于消防方面的信息，我们的技术可以通过这个图直接进行构建。另外一个思路是，我们也做过尝试，就是怎么样从深度图像里面去重建三维场景，这也是最近大家比较关心的一块内容就是SLAM。只有你对三维场景有认知之后，很多家庭的应用，场景里面的应用就可以真的做起来了。

还有一个很有趣的点，怎么样把视觉的方法跟语音的方法结合起来，或者说，做所谓的多模态识别？举个例子，当Rokid看到一个人的时候，不光是“见其形”，也是“闻其声”。只有在此基础上，我们对于见到那个人有更多的认知，对他的了解或者判断会更加的准确。所以其实在这里是有很多的事情可以去做的，我们最近也在做这方面的一些探索。总的来说，这些内容是在可视计算方面与智能家居的一个结合点。

• 人工智能与可视化分析

智能家居时代跟可视化分析是紧密结合在一起的。一个重要原因是在于：像这样的智能家居设备，会产生大量的后台日志信息，而如何重用这些信息，本来就是一件非常有趣的事情。

举几个我们最近几年研究的案例。比方说我们在后台搜集Rokid的一个应答内容，它是一种短文本信息。当时我们为了做实验，大概搜集了200万条短文本信息。我们希望通过这个短文本信息，能够做一个应答场景的判断。比方说，你跟Rokid讲一句话，“若琪，我想听歌”，其实应该是个音乐场景；而“若琪，今天天气怎么样”是一个天气的问答场景。后来，我们就是拿了这200万条的数据，采用了一个深度学习的神经网络模型进行了训练。在这个方法当中，我们做了一个特别的尝试，就是“不分词”。因为Rokid的主要用户是讲中文、普通话的人群，所以我们需要对中文进行针对性的处理。

我们知道，中文处理往往面临一个问题需要对中文进行分词。但是实际上我们后来发现，中文未必需要进行分词。我们可以把中文里面的每一个字看成是一个单元，然后把它作为一个构建神经网络的基础，来进行一个深度学习的网络构建。通过这个网络的构建，我们就能够做出一个很好的分类模型，当时我们用了GPU来进行数据的训练之后，大概能达到97%的准确率。所以从这个方面来说，是一个很有意义的尝试。虽然我本身不是做自然语言处理的，但是因为这些问题背后面临的数据，在那些问题里是相通的。使得我们有机会来做一个有益的尝试。

从而我们发现，这个数据本身虽然是大规模的，但每一条数据单位的信息量很少。只有集合在一起，这个数据的价值才是很高的，才有丰富的内涵值得我们去挖掘。在Rokid短文本的训练当中，我们还得到了一些启示：是不是可以对一般的数据，也采用类似的自然语言处理的方法，来进行学习训练，最后获得一些好的分析结果。

当时正好有一位朋友，给了我一个千万级的手机日志数据。所以我们在这个数据集合上面，做了一些探索。这个案例里，我首先介绍下这个数据本身。大家知道，现在手机在运行过程当中，后台会产生大量的数据，这些数据会由一些专门的日志分析公司进行搜集。我所拿到这份数据里，是一份每个手机里面安装的应用表的数据。现在好多HR在面试人的时候，经常会问对方要手机，看对方的手机里面装了什么样的应用，因为可以通过一个人在手机里面安装应用，大概能够分析出这个人的兴趣、爱好，平常喜欢干些什么。我们就是利用这个原理，抽取了这么一个千万级用户的应用列表，希望通过这个应用列表来分析用户的兴趣点，也就是通常所说的用户画像。在这个应用当中，其实我们是把后台的日志数据通过某种形式的转化，转化成了一个个“文本”。通过这个“文本”再做一些语义分析，我们就获得了人群的聚类信息，相当于我们给每个人或者说“文本”做了一个量化，量化成了一个向量。

有了这个量化信息之后，我们在这么一个大规模的数据上面，就可以再进一步进行可视化。我们分别做了两种可视化，包括宏观的和微观的。通过这个可视化，我们可以看到各个人群的兴趣和爱好，他是不是对游戏感兴趣，或者说他是不是对于QQ、聊天之类的感兴趣。这个其实是有很大的业务场景可以去应用的。

这样的数据如果只是数据层面去进行分析，去进行统计的话，是不直观的。所以在这项研究当中，我们充分利用了最近大家都在谈的地理信息可视化方法。我们把所有的数据都投在一个地图上面，投在这么一个空间上面，做时空数据的分析。为此，我们找了很多专家，让他们去看我们的可视化结果，大家都觉得这个很有意思，因为可以从这个地理信息的可视化上直接发现一些端倪和趋势。

后来我们又延续了这个思路，分析了杭州市运营车辆的数据。这个数据规模也差不多是一个十万级别车辆的数据，总共一个月的信息，我们做了一个统计跟可视分析。在这个案例里边，我们同样的是把汽车的轨迹转化成像文本一样的内容。你可以认为一条汽车轨迹就是一个文本，既然是一个文本的话，我们就可以来进行量化分析，用自然语言的方法来进行处理。通过这个量化处理之后，我们就又可以对每条轨迹做一个画像，然后千千万万的轨迹汇聚在一起，我们最后可以对一天24小时获得24个不同的交通转换图。有了这个图之后，我们就可以进一步的来看看每个时段在城市里面各个关节要点，是如何在进行各种车辆之间的转换的。是不是某时段从城西到城东去买东西的很多？或者在某一个区间段到机场会比较繁忙？

这两个应用案例里面，其实没有用到太多的深度学习方法，但是其实里面也包含了一种人工智能的智慧。因为我们是对这种大规模的数据进行了深度的分析，看起来真的是有一点智能。而在这样的案例当中，人也参与到了整个的分析过程当中，起到了对数据进行进一步梳理，设计整个处理过程的作用。

对于云计算，之前我们搞过那些大计算的任务，也做过类似的一个研究。因为我们在做渲染云的时候，曾经遇到过云计算后台有大规模的数据在那里。对于整个并行计算运行的数据，那些CPU，对内存的占用等各种信息，其实我们都有，但是靠人是看不过来的。然而机器可以，机器可以把这些数据给记录下来，然后计算。所以我们就想了一个方法，是不是能够把机器记录下来的数据进行可视化，再让人来做进一步的分析。这个方面的问题，其实我们前前后后做了将近三四年的研究。开始的话也没有什么眉目，直到最近两年我们通过跟UC Davis的马匡六教授合作，做了一个有趣的工作，发表在了今年的IEEE TVCG上面。我们把云计算各种各样的指标做了一个综合，而这些指标通过可视化的系统可以展现出来。通过这么一个可视化的方法，我们把他称为行为线，英文叫Behavior Line。对于每一台机器，对于一个集群里面的每一个计算节点，我们都可以进行刻划，然后通过这些行为线的汇聚进行可视化之后，我们可以分析清楚在一个集群当中很多分布式的计算任务是如何进行调度的，他整个的计算生命周期当中的各种资源是如何进行变化的。通过这种分析，我们可以进一步知道，在一个云计算集群里面，计算资源是如何分配，可以如何进行优化的。

最后一个案例也是关于Rokid的，上半年我们做的一项很有趣的工作，把Rokid的很多日志数据按照时间，按照月、星期、天进行了一个可视化，我们把这样的分析称为“可视化叙事分析”。因为我们希望知道一个用户或者一群用户在使用Rokid的时候，一天做了哪些事情？在这个项目当中，我们把整个日志数据进行了清洗，进行各种各样的整理，也通过类似前面所讲的自然语言处理的方法，进行了分类。用户的行为，通过这种方法，还真可以显现出来他每一天的规律。可以说是“跃然图上”了。

未来

从我非常个人的理解来说，人工智能是一种基于数据的累积，是一种数据驱动的方法。这个跟我个人的研究经历有关系。从小数据时代到大数据时代，到后面的智能家居，对各种各样应用数据的处理，我们深深的体会到这种数据驱动方法是无处不在的。而且人工智能应该是人的智慧与机器智能的融合。因为在我们的研究当中，特别是最近一段我们在可视分析领域的些微进展，让我特别确信这一点。在这个过程当中，存在人与机的互动。这个最早在我们开始做人机交互的时候，其实我隐隐当中已经觉得有这种因素在。因为在这个过程当中，机器往往负责的是机械逻辑方面的一些计算，各种数据的清洗，非常繁复的工作，而且转得非常快。人负责思考，进行数据的整理，从宏观方面，从逻辑方面，进行进一步的分析。同时这种机器和人之间的互动形成了一个闭环。我相信这种闭环对于我们这种数据科学，对人工智能，甚至对因人工智能而所产生的智能家居设备，它的制造、生产以及设计各个环节，都会是有很大的助益的。

最后，我想响应一下钛坦白这个系列的题目“AI已来”。我真的觉得，在最近一段时间，有林林种种各种各样的视觉硬件，比如说基于TOF的相机，各种视觉硬件在不停的冒出来。同时，因为深度学习、增强学习等，这些算法的重新兴起与重新发展，相关的一些类脑智能芯片硬件正在出现。这些新的视觉硬件、新的智能处理器件，对于发展机器人或者人工智能领域，是有极大的促进的。可以相信这些技术都将逐渐融汇到像Rokid这样的智能家居设备当中，让Rokid，让这样的家居设备能够通过这些方法更加懂我们，懂我们人类，然后帮助我们人类。最后跟我们在一起，融为一体，我想这个才是人工智能的真谛。

另，最近rokid的同事们在自然语言处理、语音识别、远距离唤醒、视觉识别方面都有了新的突破，大家可以期待。（本文独家首发钛媒体，根据浙江大学 CAD&CG国家重点实验室副教授、Rokid科学家顾问张宏鑫在钛坦白上的分享整理）

………………………………………………

钛坦白第28期，也是“AI已来”系列第二期，精彩分享今晚继续！

干货会陆续发布：https://www.tmtpost.com/tag/1508094

报名入群：在微信公号“钛媒体”（taimeiti），发送“钛坦白”

推荐钛客、赞助、合作：请与钛坦白负责人佳音联系，邮箱jiayinge@tmtpost.com