「AI新青年(nian)讲(jiang)座」将(jiang)邀请世界顶尖AI研(yan)究机构和大学的科(ke)研(yan)新青年(nian)，主讲(jiang)他们在计算机视觉、机器学习等人工智(zhi)能领域的最(zui)新重要研(yan)究成(cheng)果(guo)。

AI新青年是(shi)加速(su)人工(gong)智(zhi)(zhi)能(neng)(neng)前(qian)沿研(yan)究(jiu)的(de)(de)(de)新生(sheng)力(li)量。AI新青年的(de)(de)(de)视频(pin)讲解和(he)(he)直(zhi)播答疑(yi)，将(jiang)可以(yi)帮(bang)助大家增进对人工(gong)智(zhi)(zhi)能(neng)(neng)前(qian)沿研(yan)究(jiu)的(de)(de)(de)理解，相应领域(yu)的(de)(de)(de)专(zhuan)业(ye)知识也能(neng)(neng)够得以(yi)积累(lei)加深。同时(shi)，通过与(yu)AI新青年的(de)(de)(de)直(zhi)接交流(liu)，大家在AI学习和(he)(he)应用AI的(de)(de)(de)过程中遇到的(de)(de)(de)问(wen)题，也能(neng)(neng)够尽快解决。

「AI新青年讲(jiang)座」目前(qian)已完结(jie)122讲(jiang)，错过往期讲(jiang)座直(zhi)播的朋(peng)友，可(ke)以点击文章底部(bu)“阅读(du)原(yuan)文”进(jin)行回看！

有兴趣分享学术(shu)成果的朋(peng)友，可以与智东西公(gong)开课教研团队进行邮(you)件(jian)（class@k193.net）联系。

在自动驾(jia)驶等应(ying)用愈加炙手可热的(de)(de)背景下，三(san)维深度学(xue)习和激光(guang)雷达视觉受(shou)到(dao)越(yue)来越(yue)多(duo)的(de)(de)关注。激光(guang)雷达为自动驾(jia)驶系统提供(gong)了精(jing)确(que)的(de)(de)空间信息，然而如何处理采集到(dao)的(de)(de)三(san)维点云给车上较为有限(xian)的(de)(de)硬件(jian)资源带来了巨大(da)的(de)(de)挑战(zhan)。

传统的(de)三(san)维深(shen)度学习方法大多都受限于较(jiao)大的(de)内存开销和不(bu)规(gui)则的(de)内存访问(wen)。基于这些(xie)问(wen)题，麻(ma)省理工学院HAN Lab在读博士(shi)刘志健等人，在近年来对自(zi)动(dong)(dong)驾(jia)驶高效三(san)维深(shen)度学习做了一系(xi)列(lie)的(de)探索，包括如何(he)设计高效的(de)三(san)维深(shen)度学习组件(jian)PVCNN、自(zi)动(dong)(dong)的(de)搜索三(san)维神经(jing)网(wang)络(luo)架构SPVNAS和加速三(san)维稀疏(shu)卷(juan)积的(de)计算TorchSparse等。

PVCNN（Point-Voxel CNN）将点云处理领域的(de)(de)(de)两类(lei)思路： 基于栅格和(he)(he)直接处理点云的(de)(de)(de)方法进(jin)行了(le)结(jie)合，是(shi)一(yi)种在(zai)计算(suan)效率与内存利(li)用(yong)率都(dou)更高(gao)效的(de)(de)(de)3D点云处理框架。在(zai)语义分割和(he)(he)部(bu)件(jian)分割数据集上，PVCNN的(de)(de)(de)性能比基于体素的(de)(de)(de)基准(zhun)高(gao)，且(qie)GPU内存减(jian)少(shao)到(dao)10%，同(tong)时(shi)，相比于基于点的(de)(de)(de)方法，PVCNN实现了(le)平均(jun)7倍(bei)的(de)(de)(de)运(yun)算(suan)加速。值得一(yi)说的(de)(de)(de)是(shi)，PVCNN可以部(bu)署在(zai) Jetson Nano上并且(qie)达(da)到(dao)实时(shi)的(de)(de)(de)效果(guo)，其速度与精(jing)度都(dou)明显高(gao)于PointCNN和(he)(he)PointNet。

虽(sui)然PVCNN在(zai)小物体和较小的(de)(de)区域理解中展现了(le)强劲(jing)的(de)(de)性能，但在(zai)大规模室外场景上(shang)仍然无法高效部署(shu)。为(wei)解决这一问题(ti)，刘志健等(deng)人又提出了(le)一种新的(de)(de)三维(wei)点(dian)云计(ji)算模块稀疏点(dian)云-栅格卷(juan)积 (SPVConv) 和3D神经网络结构(gou)自动搜索(suo) (3D-NAS)。这也是(shi)业界(jie)最早在(zai)3D计(ji)算机视觉领(ling)域，进行神经网络结构(gou)自动搜索(suo)的(de)(de)工(gong)作(zuo)之一，SPVNAS在(zai)极具挑战的(de)(de)室外场景雷(lei)达点(dian)云语义(yi)分(fen)割任务上(shang)，完(wan)胜该领(ling)域此前的(de)(de)设计(ji)，在(zai)自动驾驶的(de)(de)权威(wei)评测榜SemanticKITTI 上(shang)，更是(shi)位列单帧3D场景语义(yi)分(fen)割榜首。

针对(dui)点云(yun)数据(ju)的(de)处理(li)计算，刘志健博士等人还开源(yuan)了(le)一个高性(xing)能(neng)神经网络加速库TorchSparse。该库最(zui)新版本在运(yun)行(xing)标准的(de)稀疏(shu)卷积网络时能(neng)相对(dui)于此前学术界最(zui)先进的(de)开源(yuan)库MinkowskiEngine获得1.9倍的(de)加速。同(tong)时，这项工作也获得了(le)麻省理(li)工学院-IBM沃(wo)森人工智能(neng)实验室(shi)、赛灵思(si)、ON Semi、三星以及AWS的(de)支持。

6月9日(ri)，「AI新青年(nian)讲(jiang)座」第123讲(jiang)邀请到麻(ma)省理工(gong)学(xue)院HAB Lab在读博(bo)士刘志健参与，主讲(jiang)《高效的点(dian)云神经网络设(she)计及开源(yuan)加速库》。

讲者
刘志(zhi)健(jian)，麻省(sheng)(sheng)理工(gong)学(xue)(xue)院(yuan)HAN Lab在(zai)读博(bo)士(shi)(shi)；导师为韩松(song)教(jiao)授(shou)，2018年从(cong)上海交通大学(xue)(xue)获得学(xue)(xue)士(shi)(shi)学(xue)(xue)位，2020年从(cong)麻省(sheng)(sheng)理工(gong)学(xue)(xue)院(yuan)获得硕士(shi)(shi)学(xue)(xue)位；研究兴趣主要是高效和(he)硬件友好的(de)深度学(xue)(xue)习及其在(zai)计算机(ji)视觉和(he)机(ji)器人中的(de)应用，在(zai)NeurIPS、CVPR、ICRA等国际一(yi)流(liu)会议上发表多篇学(xue)(xue)术论文。

第123讲

主 题
《高效的(de)点云神(shen)经网络设计(ji)及开源加速库》

提 纲
1、点云算法在自动驾驶车辆上部署的难点
2、点云神经网络算法PVCNN设计
3、轻量级点云神经网络架构搜索SPVNAS
4、高性能开源神经网络加速库TorchSparse
5、在自(zi)动驾(jia)驶汽车上的部(bu)署和测试表现

直 播 信 息
直播时间：6月9日10:00
直播(bo)地点：智东西公开课知识(shi)店铺

成果
PV-CNN：《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection》
//proceedings.neurips.cc/paper/2019/file/5737034557ef5b8c02c0e46513b98f90-Paper.pdf

SPVNAS：《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》
//arxiv.org/pdf/2007.16100.pdf

TorchSparse：《High-Performance Neural Network Library for Point Cloud Processing》
//github.com/mit-han-lab/torchsparse