智东西（公众号：zhidxcom）
作者 | 信仪
编辑 | 漠影
智(zhi)东(dong)西(xi)2月(yue)3日消息，中科院(yuan)香(xiang)港(gang)创新(xin)研究院(yuan)人工智(zhi)能与机器(qi)人创新(xin)中心人工智(zhi)能前(qian)沿论坛昨日开幕(mu)，在上(shang)午的开幕(mu)及主旨演(yan)讲环节，来(lai)自清华大学(xue)、欧洲科学(xue)院(yuan)、香(xiang)港(gang)理(li)工大学(xue)和香(xiang)港(gang)科技大学(xue)的四位教(jiao)授分别分享了关于(yu)类(lei)脑计(ji)算、深度(du)学(xue)习等人工智(zhi)能前(qian)沿领域的最新(xin)见解。
中(zhong)(zhong)(zhong)国科(ke)(ke)学(xue)院自动化研究所所长、香港创(chuang)(chuang)新研究院人(ren)工智能与机器人(ren)研究中(zhong)(zhong)(zhong)心主(zhu)任(ren)徐波研究员在(zai)论(lun)坛致辞中(zhong)(zhong)(zhong)说，中(zhong)(zhong)(zhong)国科(ke)(ke)学(xue)院香港创(chuang)(chuang)新研究院是(shi)中(zhong)(zhong)(zhong)科(ke)(ke)院在(zai)香港设立的首个(ge)科(ke)(ke)研机构，是(shi)建设粤港澳(ao)大湾区具有全球影响(xiang)力(li)国际科(ke)(ke)技创(chuang)(chuang)新中(zhong)(zhong)(zhong)心的重要组成部分。
▲中(zhong)国科(ke)学院自(zi)动(dong)化研(yan)究(jiu)所所长徐(xu)波（左一(yi)） 中(zhong)国科(ke)学院自(zi)动(dong)化研(yan)究(jiu)所副所长刘成林（右一(yi)）
徐波研(yan)究(jiu)员称(cheng)，创新(xin)中心将(jiang)围绕新(xin)一代人工智能(neng)基础理论(lun)、新(xin)型人机交(jiao)互技(ji)术(shu)和(he)设(she)备，面(mian)向健康和(he)无障碍(ai)的智能(neng)技(ji)术(shu)、人工智能(neng)开放(fang)平台及似乎等方面(mian)开展研(yan)究(jiu)工作，充分(fen)结合内地和(he)香港(gang)在不同领域的优势(shi)，以帮(bang)助大(da)湾区(qu)进(jin)行科(ke)创建设(she)。
在论坛(tan)中，清华大(da)学(xue)教(jiao)授(shou)(shou)(shou)施路平、欧洲(zhou)科学(xue)院外籍院士陶(tao)大(da)程、香港(gang)理工大(da)学(xue)讲(jiang)席(xi)教(jiao)授(shou)(shou)(shou)张磊(lei)、香港(gang)科技大(da)学(xue)教(jiao)授(shou)(shou)(shou)James Kwok分(fen)(fen)别在线上(shang)进(jin)行(xing)了报告，以分(fen)(fen)享他们对(dui)各自(zi)相关领域(yu)研究(jiu)最新(xin)进(jin)展的见解。
一、施路平：计算机和人工智能发展面临的挑战呼唤类脑计算
施路平教授是清(qing)(qing)华大学(xue)精密仪器教授，清(qing)(qing)华大学(xue)类脑计算(suan)研(yan)究(jiu)中心(xin)主任，研(yan)究(jiu)领域涉及类脑计算(suan)、信息存(cun)储、集成光电子、智能仪器。
▲施路平教(jiao)授主旨演讲
他在2013年(nian)加入(ru)清华大学，创建类脑(nao)计算(suan)研(yan)究中(zhong)心，并提出异构融合类脑(nao)计算(suan)架构，研(yan)制了全球首款异构融合类脑(nao)计算(suan)“天机芯”，利(li)用(yong)一款天机芯构建了人工通用(yong)智(zhi)能研(yan)究演(yan)示平台——自动行驶自行车(che)，相(xiang)关成果被作为封面文章于2019年(nian)发(fa)表在《Nature》杂志上(shang)。
▲全球首款异构(gou)融合类(lei)脑计算“天机(ji)芯”
2020年，施路(lu)平教授及(ji)团(tuan)队在《Nature》杂志上(shang)再次(ci)发(fa)文，借鉴计算(suan)机发(fa)展思路(lu)，与(yu)合(he)作者提出了类脑计算(suan)完备性基础理论及(ji)软硬件(jian)去耦合(he)的(de)类脑计算(suan)系(xi)统层(ceng)次(ci)结(jie)构。
施路平教授说：“类脑计算是人工通用智(zhi)能竞争的基石(shi)，可(ke)以赋能各(ge)行各(ge)业。”
在论坛上(shang)，施(shi)路平(ping)教授做了题为《类(lei)脑(nao)(nao)(nao)计算(suan)(suan)研究的(de)(de)挑战(zhan)与机遇(yu)》的(de)(de)报告(gao)。他(ta)讲道，量子计算(suan)(suan)和(he)类(lei)脑(nao)(nao)(nao)计算(suan)(suan)是国际半(ban)导体协(xie)会(hui)确(que)定的(de)(de)后(hou)摩尔时(shi)代(dai)两个最(zui)有前途的(de)(de)新(xin)技术。其中(zhong)，类(lei)脑(nao)(nao)(nao)计算(suan)(suan)是借鉴人脑(nao)(nao)(nao)存储处理信息的(de)(de)方(fang)式，面向人工通用智能发展的(de)(de)新(xin)型(xing)计算(suan)(suan)技术。
类脑计算(suan)系统是能基于神(shen)经形态工程，打(da)破(po)“冯·诺依曼”架构(gou)束缚(fu)，适于实时处理非(fei)架构(gou)化信息，具(ju)有学习能力(li)的超低(di)功耗(hao)新型计算(suan)系统。
但是(shi)目前类(lei)(lei)脑(nao)计(ji)(ji)算(suan)仍处于起步阶段(duan)，尚(shang)未形成公认技术(shu)方(fang)(fang)案。施路平教授从“为什(shen)么(me)要做(zuo)类(lei)(lei)脑(nao)计(ji)(ji)算(suan)、类(lei)(lei)脑(nao)计(ji)(ji)算(suan)主要做(zuo)什(shen)么(me)、怎(zen)样做(zuo)类(lei)(lei)脑(nao)计(ji)(ji)算(suan)”三(san)方(fang)(fang)面，阐述了(le)类(lei)(lei)脑(nao)计(ji)(ji)算(suan)发展(zhan)(zhan)背景和领域内最(zui)新(xin)进展(zhan)(zhan)、面临的(de)(de)主要挑战(zhan)和可能解决的(de)(de)方(fang)(fang)法，并对利用双脑(nao)驱动融合发展(zhan)(zhan)类(lei)(lei)脑(nao)计(ji)(ji)算(suan)的(de)(de)方(fang)(fang)式进行了(le)探(tan)讨，以促(cu)进人工通用智能的(de)(de)研究。
▲什么是类脑计算
施路平教授提到，2016年(nian)(nian)是类(lei)脑(nao)计算元年(nian)(nian)，2016年(nian)(nian)4月(yue)(yue)6日(ri)，美国IBM的(de)TrueNorth硬件上线，2016年(nian)(nian)3月(yue)(yue)21日(ri)，德(de)国的(de)BrainScales架(jia)构(gou)和英(ying)国的(de)SpiNNaker架(jia)构(gou)同时(shi)上线，而(er)后续在2020年(nian)(nian)2月(yue)(yue)，我(wo)国研制(zhi)的(de)全球首款异构(gou)融合类(lei)脑(nao)计算“天机(ji)芯”入选(xuan)“2019年(nian)(nian)度中国科学(xue)十大进展”。
电脑(nao)虽然能完成很多人脑(nao)做不(bu)到的事(shi)情，但(dan)在(zai)人能相对(dui)容(rong)易(yi)做到的“感(gan)觉、适应、理(li)解、学习、创新”等(deng)方面，电脑(nao)的能力却不(bu)及人脑(nao)。
▲电脑与大脑的对比
计算机(ji)如今面(mian)临(lin)着(zhe)冯·诺(nuo)依曼(man)架构瓶颈(jing)、物理微缩、大部分数据(ju)生命周期短、数据(ju)大、多样(yang)性(xing)、变化(hua)快(kuai)的(de)挑战，同时(shi)又有着(zhe)更低成本，更优能耗、安全(quan)和(he)性(xing)能的(de)机(ji)遇。2018年(nian)图灵奖得(de)主David Patterson和(he)John Hennessy曾说：“计算机(ji)体系结构将迎(ying)来(lai)一个黄金十年(nian)。”
再将(jiang)目光转向(xiang)人工(gong)智(zhi)(zhi)能领域。人工(gong)智(zhi)(zhi)能有充足的(de)数据，确定(ding)的(de)问题(ti)，完整的(de)知识，静态，以及单一(yi)的(de)问题(ti)五个条件，同时也(ye)有不可理解(jie)、不可解(jie)释(shi)，一(yi)点偏(pian)差可以产生(sheng)巨大(da)错误的(de)缺陷。
▲人工智能的挑战
目前(qian)，人工(gong)智能需要(yao)在(zai)思想、知(zhi)识(shi)、算法、算力、数据(ju)五个方面进行突破(po)。
图灵奖得主(zhu)Geoffrey Hinton曾说：“相信克服人工智能局(ju)限(xian)性的(de)关键在于搭建(jian)‘一(yi)个连(lian)接(jie)计(ji)算(suan)机科学(xue)和生物学(xue)的(de)桥梁’。”而类(lei)脑计(ji)算(suan)，是将(jiang)这二者联系(xi)起来的(de)方式之一(yi)。
施路平(ping)教授说，现在的人工(gong)(gong)智(zhi)能(neng)(neng)(neng)依(yi)托(tuo)传(chuan)统计算机和(he)冯·诺依(yi)曼(man)架(jia)构(gou)，未来(lai)的人工(gong)(gong)通用(yong)智(zhi)能(neng)(neng)(neng)将(jiang)依(yi)托(tuo)类(lei)脑(nao)(nao)计算机和(he)类(lei)脑(nao)(nao)架(jia)构(gou)。而类(lei)脑(nao)(nao)人工(gong)(gong)通用(yong)智(zhi)能(neng)(neng)(neng)不是简单的人工(gong)(gong)智(zhi)能(neng)(neng)(neng)升级(ji)版(ban)，其(qi)更多是人脑(nao)(nao)和(he)电脑(nao)(nao)的融合。
▲类脑计算图示
施路(lu)平教授认为，计(ji)算机和人工智能发展(zhan)面临的(de)挑(tiao)战正在呼唤(huan)类脑(nao)计(ji)算，而双脑(nao)融合(he)驱动是类脑(nao)计(ji)算发展(zhan)的(de)关键。同时(shi)，类脑(nao)计(ji)算需要理论、芯(xin)片、软(ruan)件(jian)、系统(tong)和应用协同发展(zhan)。
▲主要类脑计算芯片
二、陶大程：对可信深度学习的见解
陶大程(cheng)院士主要从(cong)事人工智能领(ling)域的(de)研究(jiu)，并先(xian)后当选IEEE/AAAS/ACM Fellow、欧(ou)洲(zhou)科学院（Academia European）外(wai)籍(ji)院士，以及澳大利亚科学院院士。
▲陶大成院士(shi)主(zhu)旨演讲
在论坛中，陶大程院士分享了(le)其团(tuan)队(dui)在“可信(xin)深度学习”这个领域上的进(jin)展(zhan)。
他讲(jiang)到(dao)，2016年随着AlphaGo战胜(sheng)李世石，AI的(de)力量让人们(men)震惊，也让人们(men)对(dui)AI解(jie)放(fang)工(gong)作甚至代替人类的(de)未来充满担忧(you)。而(er)从(cong)2016年到(dao)2020年，科技(ji)不断发展，但人们(men)对(dui)AI的(de)看法却在(zai)不断变得(de)冷静。
▲三次人工智能浪潮
“第(di)三次人(ren)工智能热潮(chao)主要(yao)是由于深(shen)度学(xue)习引起的(de)，但有一(yi)些人(ren)认为，这其中遇到的(de)一(yi)些问题逐渐浮现(xian)，需要(yao)人(ren)们进入(ru)到人(ren)工智能热潮(chao)的(de)第(di)四个阶段。那时，人(ren)工智能将(jiang)寄希望于和人(ren)的(de)价(jia)值(zhi)(zhi)联系起来，将(jiang)人(ren)工智能的(de)方式(shi)方法与人(ren)的(de)价(jia)值(zhi)(zhi)观保(bao)持(chi)一(yi)致。” 陶大程院士讲道。
他在演讲中举(ju)了(le)谷歌“fixed”、“Deepfakes”例子，表明(ming)人(ren)们应该控制(zhi)人(ren)工智能的使用范围。
▲“fixed”、“Deepfakes”的(de)案例(li)
目前，人(ren)(ren)工(gong)智能(neng)技术在机(ji)(ji)器(qi)视(shi)觉上取得了很(hen)大成(cheng)功。陶大程院士(shi)展(zhan)示了其(qi)团队最新的(de)一个机(ji)(ji)器(qi)视(shi)觉成(cheng)果，可(ke)以估计人(ren)(ren)的(de)姿态，理解人(ren)(ren)的(de)表情和简单的(de)行(xing)为动作。除(chu)了理解视(shi)频，现在的(de)人(ren)(ren)工(gong)智能(neng)还能(neng)帮助人(ren)(ren)们进行(xing)表情编辑(ji)和音频编辑(ji)，提供效(xiao)果很(hen)好(hao)的(de)视(shi)频演示效(xiao)果。此(ci)外(wai)，有了超级计算，研究人(ren)(ren)员可(ke)以更方便有效(xiao)训练模(mo)型。
▲陶大程院(yuan)士(shi)团队最新的一个机(ji)器视(shi)觉成(cheng)果
尽管神经网络仍然(ran)存在(zai)一些问题，但研究人员依旧对(dui)现在(zai)的(de)深度学习抱(bao)有一定期(qi)望。他们希望模型的(de)鲁棒性(xing)更高，耗能更低，可(ke)解(jie)释性(xing)更强，能适(shi)应动态环境，能注重人的(de)隐私(si)安全且易(yi)于使(shi)用。
从神经网(wang)(wang)络(luo)(luo)的(de)历史变化(hua)上来看，陶大(da)程院(yuan)士称(cheng)，网(wang)(wang)络(luo)(luo)是(shi)越(yue)(yue)来越(yue)(yue)深的(de)，同时最近研究人(ren)员也在思考(kao)采用网(wang)(wang)络(luo)(luo)模型的(de)压缩技术和(he)机(ji)器学习等技术用小的(de)网(wang)(wang)络(luo)(luo)模型实现更好(hao)(hao)的(de)效果。无论如何(he)，要(yao)想取(qu)得好(hao)(hao)的(de)效果，就一定(ding)需要(yao)达(da)到(dao)一定(ding)深度(du)。此外，网(wang)(wang)络(luo)(luo)越(yue)(yue)深，模型的(de)泛化(hua)能力也会越(yue)(yue)强，但要(yao)想网(wang)(wang)络(luo)(luo)性能好(hao)(hao)，还要(yao)保证数据(ju)的(de)误差非常小。
此(ci)外(wai)，他还(hai)提到团队在(zai)去年的(de)ICLR（International Conference on Learning Representations）会议(yi)工作中(zhong)，拓展(zhan)(zhan)了(le)一(yi)些条(tiao)件，覆盖了(le)非线性损(sun)害(hai)曲(qu)面研(yan)究(jiu)中(zhong)几乎(hu)所有的(de)现实情况，具体来(lai)说(shuo)扩展(zhan)(zhan)到了(le)任意深(shen)度、任意的(de)可微损(sun)失函数(shu)(shu)、任意维(wei)输出和任意线性激活函数(shu)(shu)。
总之，未来人工智能与人的价值观更加贴(tie)合，在推广的同时注(zhu)重对(dui)人的隐私保护。
三、张磊：深度神经网络学习归一化方法的两项最新进展
张磊自2006年加入香(xiang)港理工(gong)大学计算机系(xi)，至今(jin)已有15年。他(ta)的研究重点主要集中在(zai)计算机视觉、图像和视频分析、模式识别和生物(wu)识别等(deng)。
▲张磊教授主题演讲
他分(fen)享(xiang)了题为《Two Recent Advances on Normalization Methods for Deep Neural Network Learning（深度(du)神经网络学习归(gui)一化方法的(de)(de)两(liang)项最新(xin)(xin)进展(zhan)）》的(de)(de)演讲，新(xin)(xin)进展(zhan)可以提(ti)高模型(xing)的(de)(de)优化和泛化。优化在这里是指提(ti)高模型(xing)的(de)(de)准(zhun)确性，而泛化则(ze)是指机(ji)器学习算法对新(xin)(xin)鲜样本的(de)(de)适(shi)应能力(li)。
他(ta)提到，归一化(hua)方(fang)法对于(yu)有(you)效和(he)高效地(di)优化(hua)深度神(shen)经网络（DNN）非(fei)常(chang)重要。诸如均值和(he)方(fang)差(cha)之类(lei)的统计(ji)信息可用(yong)于(yu)规范化(hua)网络激活或(huo)权重，以使(shi)训练过程(cheng)更加稳(wen)定。
在激活归(gui)(gui)一化技术(shu)中，批量归(gui)(gui)一化（BN）是最常见的(de)一种。但是，在训练(lian)中批量较(jiao)小时，BN的(de)性能较(jiao)差。
张磊教(jiao)授团队在(zai)研究中发现，在(zai)推(tui)断阶(jie)段BN的(de)(de)(de)公式(shi)化存在(zai)问(wen)题，因(yin)此提(ti)出了一种更正(zheng)的(de)(de)(de)方(fang)法。在(zai)训(xun)练(lian)阶(jie)段没(mei)有(you)任何(he)变化的(de)(de)(de)情况下(xia)，在(zai)小批(pi)量训(xun)练(lian)时，校(xiao)正(zheng)后的(de)(de)(de)BN可以(yi)显著提(ti)高推(tui)理性(xing)能(neng)。
另一(yi)种常(chang)见的(de)归(gui)一(yi)化方(fang)法(fa)则是(shi)对权重进(jin)行(xing)操作，如权重归(gui)一(yi)化（WN）和权重标准化（WS）。团队(dui)也相(xiang)应提出了一(yi)种简单有效的(de)DNN优化技术：即梯度中心(xin)化（GC）。
▲使用GC的示意图
这(zhei)种方法直接(jie)对权重(zhong)的梯(ti)度(du)(du)进行(xing)操作(zuo)，简单(dan)地通过梯(ti)度(du)(du)中心化向量使其(qi)集中到零(ling)均值，它可(ke)以很容易就嵌入当前基于梯(ti)度(du)(du)的优(you)化算(suan)法，而这(zhei)个过程只需(xu)一系列代码(ma)就可(ke)完成。
尽管(guan)简(jian)单，但GC达到了多个期望效(xiao)果，比如加速(su)训(xun)练过(guo)程，提高泛化性能，以及对于微调预训(xun)练模型的(de)兼容(rong)性。
▲GC方(fang)法的几何解释
四、James Kwok：自动化机器学习的最新进展
James Kwok是香港科技大(da)学(xue)计算机科学(xue)与(yu)工(gong)程学(xue)系教授，也是IEEE杂志神经网络与(yu)学(xue)习(xi)系统交易、神经网络工(gong)作、神经计算、人(ren)工(gong)智(zhi)能方面的副主编。
▲James Kwok教授的主(zhu)旨演(yan)讲
在论坛中，他(ta)对自动化机器学习的最新进展进行了分享。
James Kwok观察(cha)到(dao)，机(ji)(ji)器学(xue)(xue)习(xi)很强大，与(yu)此(ci)同时，世界各地对机(ji)(ji)器学(xue)(xue)习(xi)知识的需求量同样很大。而(er)自动化(hua)机(ji)(ji)器学(xue)(xue)习(xi)（AutoML）可以在一定程度(du)上减少机(ji)(ji)器学(xue)(xue)习(xi)的人才缺口(kou)。
AutoML旨在(zai)从(cong)数据(ju)中(zhong)自(zi)动构建机(ji)器学(xue)习(xi)解决方案。在(zai)演讲中(zhong)，James Kwok结构了对最新使用(yong)(yong)AutoML进(jin)行有效的神经网络设计，搜索捕获(huo)推荐系统中(zhong)项目和(he)用(yong)(yong)户之间交互的功能，以及在(zai)机(ji)器学(xue)习(xi)应用(yong)(yong)程序中(zhong)有大(da)量噪声样(yang)本时，将(jiang)样(yang)本选(xuan)择(ze)到(dao)训(xun)练过程中(zhong)的几个进(jin)展。
经过(guo)广泛(fan)实(shi)验表明，AutoML确(que)实(shi)是有效的。因此(ci)在(zai)很多不同的场(chang)景中(zhong)，AutoML可以获得比最先进的机器(qi)学(xue)习方法更好的性能。
▲James Kwok教授演讲结论
结语：人工智能学术与日常生活密不可分
除了(le)四场主旨演讲，论(lun)坛(tan)还覆盖了(le)包括《自监(jian)督上下文建(jian)模(mo)及底层视觉应用》《大(da)规(gui)模(mo)机器学(xue)习(xi)模(mo)型(xing)选择理论(lun)研(yan)究》等(deng)6场学(xue)术报告(gao)，在(zai)线上为(wei)业(ye)内人士提供了(le)一场人工智能知识盛宴。
伴(ban)随着科技发展突飞猛进，人(ren)工智(zhi)能所(suo)引发的技术革命正在(zai)深刻地改变人(ren)类(lei)的生活，也被人(ren)们的生活及(ji)需(xu)求所(suo)影响。
包括机器(qi)学习、计算机视觉(jue)等(deng)领域的人工(gong)智能(neng)研究在性能(neng)、效率上不断升级的同(tong)时，也在逐渐与(yu)人的价值观相贴合。
