智东西（公众号：zhidxcom）
文 | Lina

3月9日，由智(zhi)东西主办(ban)(ban)，极果和AWE联合举办(ban)(ban)的(de)(de)中(zhong)国首场(chang)(chang)(chang)AI芯片峰会在(zai)(zai)上(shang)海(hai)浦东成(cheng)功(gong)举办(ban)(ban)。本次大会共吸引近(jin)万(wan)名观(guan)众(zhong)参加，到场(chang)(chang)(chang)人数比(bi)预计翻了3倍。即(ji)使是下午场(chang)(chang)(chang)，依然(ran)爆满，有的(de)(de)观(guan)众(zhong)宁愿站着(zhe)也(ye)要听完(wan)全场(chang)(chang)(chang)。在(zai)(zai)大会现场(chang)(chang)(chang)，近(jin)40位人工智(zhi)能及AI芯片业界(jie)翘楚共聚一堂，系统(tong)地探(tan)讨了AI芯片在(zai)(zai)2018年的(de)(de)技术前景(jing)和产业趋势。

在(zai)上午(wu)场(chang)的(de)演(yan)讲中，芯(xin)(xin)片(pian)(pian)巨头(tou)英(ying)伟达AI技术中心亚太首席技术官Simon See博士发表(biao)了(le)主题为《端到(dao)端的(de)AI计算》的(de)演(yan)讲，深(shen)入探讨(tao)了(le)深(shen)度学习在(zai)越来(lai)越多(duo)的(de)行业中落地应用的(de)同时，数据量也随之(zhi)增加(jia)，由此对(dui)于AI芯(xin)(xin)片(pian)(pian)的(de)打(da)造者来(lai)说带来(lai)了(le)不少新挑(tiao)战；此外，Simon See博士还详细解(jie)读了(le)两(liang)种压缩神经网络、增加(jia)芯(xin)(xin)片(pian)(pian)效率的(de)方法：降低计算精(jing)度与剪枝网络（Purne）。

以下为Simon See博士演讲的要点精析。

一、AI行业应用大幅铺开，催生各类新兴AI芯片

Simon See博士首(shou)先介绍道(dao)，从(cong)2012年的(de)ImageNet比赛(sai)开始，深度神经网络(luo)开始逐渐走进(jin)人们的(de)的(de)视线当中(zhong)，并从(cong)此之后一直不断(duan)发展，以图像分(fen)类为首(shou)的(de)深度学习应用(yong)准确度越(yue)(yue)来越(yue)(yue)高(gao)、性(xing)能越(yue)(yue)来越(yue)(yue)强、应用(yong)领(ling)域(yu)也越(yue)(yue)来越(yue)(yue)广(guang)。

基于这(zhei)些技术，又逐(zhu)渐衍生出来基于图像的物体检(jian)(jian)测、场景(jing)检(jian)(jian)测、风格检(jian)(jian)测等不同(tong)能力，并产生出智慧城市、智能医疗、安(an)防(fang)监(jian)控等不同(tong)行业应用。

由于AI的(de)(de)广泛铺开，也催生(sheng)了目(mu)前市场上一大(da)批(pi)新(xin)兴AI芯(xin)片创业公司(si)的(de)(de)出现。PPT里的(de)(de)大(da)多是国(guo)外代表公司(si)，中国(guo)也差(cha)不多有几十家(jia)公司(si)在研发新(xin)型(xing)AI芯(xin)片。

二、深度神经网络日趋复杂，对芯片要求增加

那么(me)为什么(me)会需要这(zhei)种芯片呢？第一我们需要看到算法(fa)。刚刚魏老师也说过，这(zhei)个算法(fa)一直在改变，无论(lun)是CNN、DNN、GANs，还有其他Deep Q-Learning，尤其是用在AlphaGo这(zhei)方面。

这(zhei)些种(zhong)种(zhong)AI芯片(pian)兴(xing)起的(de)另一个(ge)(ge)原(yuan)因，则是AI对于算力要(yao)求的(de)不断提升。在2014年的(de)时候，10层(ceng)神经网络的(de)计(ji)算就需(xu)要(yao)30多个(ge)(ge)GPU；而AlphaGo的(de)第一个(ge)(ge)版本（不是最新那个(ge)(ge)AlphaZero），在训练时则需(xu)要(yao)50个(ge)(ge)GPU训练超过三(san)个(ge)(ge)星期才(cai)能(neng)做到。

而(er)(er)在这(zhei)期(qi)间，CNN、RNN、GANs、Deep Q-Learning等算(suan)法不断变得(de)复杂(za)(za)(za)，更是对(dui)深度学习计算(suan)硬件提出(chu)了(le)新挑战。与2015年相(xiang)比，翻译神(shen)经网(wang)络(luo)的复杂(za)(za)(za)度提高(gao)了(le)10倍(bei)；与2014年相(xiang)比，语音神(shen)经网(wang)络(luo)的复杂(za)(za)(za)度提高(gao)了(le)30倍(bei)；而(er)(er)与2012年相(xiang)比，图像深度神(shen)经网(wang)络(luo)的复杂(za)(za)(za)度则提高(gao)了(le)350倍(bei)。

除了深度神经网(wang)络日趋(qu)复(fu)杂之外，数(shu)据量(liang)也在不(bu)断增(zeng)加(jia)。举(ju)个(ge)例子，一(yi)个(ge)采集225×225图像(xiang)(xiang)、采用(yong)ResNet-50网(wang)络的(de)无人驾驶(shi)车(che)的(de)摄(she)像(xiang)(xiang)头需(xu)要(yao)230Gops/30fps的(de)计算量(liang)，需(xu)要(yao)运行77.2亿次计算。而(er)一(yi)台(tai)无人车(che)需(xu)要(yao)12-24个(ge)摄(she)像(xiang)(xiang)头，其计算量(liang)以指数(shu)级增(zeng)加(jia)。

以(yi)上种(zhong)种(zhong)原因，使得AI对于硬件计算(suan)的(de)(de)(de)要求(qiu)越(yue)来越(yue)高(gao)。不过如(ru)果(guo)我们(men)仔细(xi)研究(jiu)神经网络，就(jiu)会发现(xian)深度学习(xi)中的(de)(de)(de)基(ji)本(ben)处理是(shi)最简单的(de)(de)(de)矩阵运(yun)(yun)算(suan)，如(ru)果(guo)你(ni)可以(yi)把他们(men)全(quan)部都(dou)放在一起的(de)(de)(de)，你(ni)就(jiu)可以(yi)高(gao)度并行化地计算(suan)。而最早由图像处理起家(jia)的(de)(de)(de)英伟达(da)，其GPU芯片设(she)计本(ben)就(jiu)是(shi)为了矩阵运(yun)(yun)算(suan)而生的(de)(de)(de)，随后英伟达(da)又(you)在GPU中加(jia)入了深度学习(xi)相关加(jia)速。

三、神经网络压缩的两大发展方向

神经(jing)网(wang)络的(de)压缩与简化则是(shi)一个学术界与工程界都(dou)在(zai)(zai)研究讨论(lun)的(de)重要问题。目前(qian)的(de)深度神经(jing)网(wang)络普遍较大，无(wu)论(lun)是(shi)在(zai)(zai)云(yun)端还是(shi)在(zai)(zai)终端，都(dou)会(hui)影响网(wang)络速度，增大功(gong)耗(hao)。

在演讲中，Simon See博(bo)士提到了优化AI芯片(pian)效率的(de)这两大(da)方(fang)向：一(yi)个是降低计算(suan)精(jing)度(du)。图中不同精(jing)度(du)的(de)数值的(de)计算(suan)功(gong)耗，可以看(kan)到精(jing)度(du)越(yue)高、功(gong)耗越(yue)大(da)。为此，英伟达推出TensorRT，它是一(yi)款可编程推理(li)加(jia)速器(qi)，能加(jia)速现有(you)和未(wei)来的(de)网(wang)络(luo)架构，包含一(yi)个为优化在生(sheng)产环境中部署的(de)深度(du)学习模型(xing)而创建的(de)库，可获取经过(guo)训练(lian)的(de)神经网(wang)络(luo)（32位或16位的(de)数字），并通过(guo)降低精(jing)度(du)来优化网(wang)络(luo)运算(suan)。

此外(wai)，还可以通过(guo)网(wang)(wang)络(luo)来进行(xing)网(wang)(wang)络(luo)剪枝（Purne），先(xian)构造好整个算法网(wang)(wang)络(luo)，然后再尝(chang)试(shi)消(xiao)除多余的节点，压缩(suo)网(wang)(wang)络(luo)大小(xiao)。

结语：从云到端、从硬到软

在演讲(jiang)中(zhong)，Simon See博士对于AI芯(xin)(xin)片(pian)保持(chi)着(zhe)十分(fen)积极(ji)的态度(du)，他(ta)认为，从交通(tong)到(dao)健康，越(yue)来越(yue)多的行业开(kai)始拥抱AI；而随着(zhe)数(shu)据量的激增(zeng)，AI芯(xin)(xin)片(pian)也变得越(yue)来越(yue)重要。

不(bu)过，由(you)于AI芯片仍属于一个技(ji)术早期的前沿科技(ji)产品(pin)，在有(you)了芯片硬(ying)件之(zhi)后，配(pei)套(tao)的软件生(sheng)态(tai)（如编译器(qi)器(qi)、模拟器(qi)、开(kai)发(fa)者套(tao)件等(deng)）也(ye)需要(yao)配(pei)合跟上，打(da)造(zao)从云到端、从硬(ying)到软的AI环境。