智东西（公众号：zhidxcom）
文 | 轩窗
3月9日，由智能行业(ye)第一媒体和(he)产业(ye)服务平台智东西主办的(de)(de)“GTIC 2018 全球AI芯片创新峰会(hui)”在上海(hai)召开，本(ben)次大会(hui)以“走(zou)进AI世(shi)界 从(cong)芯看(kan)未来”为(wei)主题，邀请到(dao)32名重磅嘉宾(bin)到(dao)场分享，从(cong)上游产业(ye)链(lian)、到(dao)炙手(shou)可热的(de)(de)创业(ye)项(xiang)目、再(zai)到(dao)各领域在AI芯片推动(dong)下的(de)(de)产业(ye)升级新思(si)考，系统地探讨AI芯片在2018年(nian)的(de)(de)技术(shu)前景和(he)产业(ye)趋势。
本次峰(feng)会(hui)上(shang)，国内AI芯片(pian)行业(ye)四小龙之一的(de)深鉴科(ke)技,其联合创始(shi)人兼CEO姚(yao)颂，以“AI芯片(pian)行业(ye)新思维”为(wei)演讲主题，并分(fen)享了自己对整(zheng)个AI芯片(pian)行业(ye)的(de)思考。以下是智东(dong)西为(wei)您整(zheng)理的(de)姚(yao)颂演讲核心(xin)干货(huo)。
一、怎样定义AI芯片
本(ben)次峰会是关于AI芯(xin)(xin)片(pian)的(de)(de)峰会，但是到(dao)底(di)怎样(yang)的(de)(de)芯(xin)(xin)片(pian)才能称(cheng)为AI芯(xin)(xin)片(pian)？一开场，姚(yao)颂先从(cong)现在(zai)大家谈论的(de)(de)不同的(de)(de)AI范围就从(cong)这一问题说起：“AI是一个(ge)相(xiang)当宽泛(fan)的(de)(de)概(gai)念，到(dao)底(di)该如何定(ding)义AI芯(xin)(xin)片(pian)呢？这里面(mian)隐含着(zhe)一个(ge)逻辑，现在(zai)当我们(men)说到(dao)AI的(de)(de)时候，其实指的(de)(de)只(zhi)是AI中机器学(xue)习(xi)(xi)的(de)(de)那一部(bu)分；当我们(men)现在(zai)说机器学(xue)习(xi)(xi)时，大部(bu)分指的(de)(de)又是其中深(shen)度学(xue)习(xi)(xi)的(de)(de)那一部(bu)分；而目前流行的(de)(de)神经网络算法也只(zhi)是深(shen)度学(xue)习(xi)(xi)中的(de)(de)一部(bu)分”。
无(wu)论(lun)是深(shen)度学(xue)习(xi)还是机器(qi)学(xue)习(xi)，又都分为训练(lian)侧和推理(li)侧，两个独立部(bu)分。在神(shen)经(jing)网络中(zhong)又会(hui)有VGG网络、ResNet-50网络等分类，在这些(xie)网络之上又会(hui)有SSD、Faster R-CNN等面(mian)向对象的框(kuang)架。所以当大家(jia)谈到AI的时(shi)候(hou)，首先要明确(que)具体指的是哪一层面(mian)。今天，我们谈到AI时(shi)，更多地指的是机器(qi)学(xue)习(xi)和深(shen)度学(xue)习(xi)。
在对(dui)(dui)人们所(suo)说的(de)(de)AI的(de)(de)范围(wei)进行了梳理后，姚颂进一步指出对(dui)(dui)AI不(bu)同(tong)的(de)(de)定义，则(ze)(ze)会造成整个芯(xin)(xin)片(pian)(pian)设(she)计(ji)的(de)(de)不(bu)同(tong)，难(nan)易程度也会不(bu)同(tong)，针对(dui)(dui)机器学习(xi)等高层级(ji)的(de)(de)设(she)计(ji)理念，其(qi)通(tong)(tong)用(yong)(yong)性(xing)则(ze)(ze)越强，针对(dui)(dui)某种特(te)定的(de)(de)神经网络开发(fa)的(de)(de)芯(xin)(xin)片(pian)(pian)，其(qi)专用(yong)(yong)性(xing)则(ze)(ze)越强。如(ru)果是想做(zuo)(zuo)具有高质(zhi)量通(tong)(tong)用(yong)(yong)性(xing)能的(de)(de)芯(xin)(xin)片(pian)(pian)，比如(ru)设(she)计(ji)CPU这样的(de)(de)芯(xin)(xin)片(pian)(pian)，是相(xiang)当困难(nan)的(de)(de)事情。如(ru)果是要做(zuo)(zuo)最简单的(de)(de)芯(xin)(xin)片(pian)(pian)，则(ze)(ze)只需要先(xian)把算法做(zuo)(zuo)好，再把算法硬化到(dao)芯(xin)(xin)片(pian)(pian)上，这是最容易设(she)计(ji)和实现(xian)的(de)(de)一个思路。因此，姚颂认(ren)为从(cong)设(she)计(ji)层面(mian)上来看，大部(bu)分(fen)AI芯(xin)(xin)片(pian)(pian)的(de)(de)设(she)计(ji)比CPU 、GPU等通(tong)(tong)用(yong)(yong)芯(xin)(xin)片(pian)(pian)更容易设(she)计(ji)。
对此(ci)(ci)，姚颂还举(ju)出目前市面(mian)上(shang)所出现的(de)(de)(de)，针对不(bu)同层级(ji)AI定义的(de)(de)(de)芯(xin)片的(de)(de)(de)例子。比(bi)如(ru)国外的(de)(de)(de)芯(xin)片巨头如(ru)ARM将CPU上(shang)添加(jia)神经网络加(jia)速库、NVIDA的(de)(de)(de)针对AI训练侧(ce)的(de)(de)(de)GPU、Xilinx的(de)(de)(de)FPGA、针对深度学习推(tui)理侧(ce)的(de)(de)(de)TPU V1、把自动驾(jia)驶(shi)算法写到(dao)芯(xin)片上(shang)的(de)(de)(de)Mobileye Eye Q5 、Intel CPU 、Movidius DSP 等都(dou)是针对不(bu)同层级(ji)的(de)(de)(de)AI芯(xin)片。国内方面(mian)也有(you)不(bu)少企业在AI芯(xin)片上(shang)取得了进展，其(qi)针对的(de)(de)(de)AI层级(ji)也有(you)所不(bu)同，如(ru)寒武纪面(mian)向更(geng)通用的(de)(de)(de)机器学习市场的(de)(de)(de)Cambricon MLU 、 深鉴(jian)科技自家(jia)的(de)(de)(de)DeePhi DPU则更(geng)加(jia)关注深度学习层面(mian)、地(di)平线(xian)的(de)(de)(de)Horizon Journey更(geng)专(zhuan)注于面(mian)向行(xing)业的(de)(de)(de)算法。因此(ci)(ci)，姚颂总结到(dao)：“当(dang)你听到(dao)一(yi)个公(gong)司在做AI芯(xin)片时，首先(xian)需要弄清(qing)楚其(qi)芯(xin)片是针对哪一(yi)个AI层级(ji)的(de)(de)(de)”。
二、做AI芯片需要哪些工作
在明确(que)了(le)不同层级(ji)的AI定义层级(ji)后(hou)，姚颂继续深入到一家做AI芯(xin)(xin)片(pian)(pian)的企业需要做哪(na)些工作。姚颂说做AI芯(xin)(xin)片(pian)(pian)并不像大家想的仅仅做个芯(xin)(xin)片(pian)(pian)这么简(jian)单，他以做CPU为例给(ji)出了(le)从应用到最终(zhong)系统的八(ba)个层次。
姚(yao)颂(song)以压(ya)缩(suo)应用(yong)(yong)为例进行了详细解释(shi)：在这(zhei)八(ba)个(ge)(ge)层(ceng)级(ji)的(de)(de)(de)(de)最上(shang)层(ceng)是(shi)(shi)(shi)应用(yong)(yong)，无论是(shi)(shi)(shi)zip还是(shi)(shi)(shi)rar等格式的(de)(de)(de)(de)压(ya)缩(suo)应用(yong)(yong)，其(qi)下层(ceng)都包含着一(yi)(yi)系列的(de)(de)(de)(de)算法和(he)(he)库。而这(zhei)些算法和(he)(he)库的(de)(de)(de)(de)开(kai)发(fa)和(he)(he)建立(li)，是(shi)(shi)(shi)需要为所有的(de)(de)(de)(de)程序(xu)员和(he)(he)开(kai)发(fa)者提供(gong)一(yi)(yi)个(ge)(ge)可用(yong)(yong)于(yu)开(kai)发(fa)的(de)(de)(de)(de)软件(jian)环境，比如(ru)微软Windows里的(de)(de)(de)(de)Visual Studio就(jiu)是(shi)(shi)(shi)这(zhei)样一(yi)(yi)个(ge)(ge)环境。而软件(jian)环境的(de)(de)(de)(de)建立(li)则(ze)需要下一(yi)(yi)层(ceng)级(ji)的(de)(de)(de)(de)操作系统(tong)、驱(qu)动程序(xu)和(he)(he)编译(yi)程序(xu)的(de)(de)(de)(de)支持，比如(ru)Visual Studio里的(de)(de)(de)(de)MSVC，就(jiu)可将程序(xu)编译(yi)到(dao)最终指(zhi)令。比如(ru)CPU上(shang)的(de)(de)(de)(de)X86指(zhi)令集，就(jiu)是(shi)(shi)(shi)一(yi)(yi)个(ge)(ge)很通用(yong)(yong)的(de)(de)(de)(de)指(zhi)令集，可将上(shang)层(ceng)应用(yong)(yong)和(he)(he)下层(ceng)芯片需要做的(de)(de)(de)(de)事(shi)很好(hao)的(de)(de)(de)(de)割裂开(kai)。
有了指令集后，芯片(pian)(pian)的(de)(de)(de)核(he)心架构就(jiu)可(ke)定义出来了，再(zai)(zai)往下(xia)的(de)(de)(de)层级(ji)芯片(pian)(pian)公司可(ke)选择(ze)做(zuo)(zuo)或(huo)者不做(zuo)(zuo)，比如(ru)ARM做(zuo)(zuo)的(de)(de)(de)就(jiu)是IP授权，而英特尔做(zuo)(zuo)的(de)(de)(de)就(jiu)是芯片(pian)(pian)本(ben)身。再(zai)(zai)往下(xia)的(de)(de)(de)层级(ji)就(jiu)是芯片(pian)(pian)本(ben)身的(de)(de)(de)实现，是制作板卡(ka)还是做(zuo)(zuo)SoC。对于做(zuo)(zuo)CPU的(de)(de)(de)公司，中间两层即(ji)指令集和(he)IP是最重要的(de)(de)(de)，以这一(yi)层往上(shang)和(he)往下(xia)都有两个(ge)相对明(ming)确的(de)(de)(de)边界，对于做(zuo)(zuo)CPU的(de)(de)(de)公司来说向上(shang)和(he)向下(xia)的(de)(de)(de)层级(ji)可(ke)选择(ze)不做(zuo)(zuo)。
但对(dui)于(yu)(yu)做(zuo)AI芯(xin)片的(de)公司来说，该(gai)如何来划定这(zhei)两(liang)条边(bian)界呢？姚颂作为资深AI芯(xin)片设计者，给出了自己的(de)理解。首先，对(dui)于(yu)(yu)AI芯(xin)片来说，其(qi)设计是针对(dui)不同用户的(de)，因此指令集(ji)各异，芯(xin)片上跑的(de)各项需求也(ye)各异，这(zhei)些具有针对(dui)性(xing)和(he)差异性(xing)的(de)指令集(ji)对(dui)于(yu)(yu)AI芯(xin)片公司来说是需要自己开(kai)发的(de)。
芯(xin)(xin)(xin)(xin)片(pian)(pian)底(di)(di)层(ceng)的程序(xu)和(he)应用(yong)算(suan)法(fa)也(ye)(ye)是(shi)(shi)(shi)天差地别的，姚(yao)颂(song)以(yi)做(zuo)(zuo)(zuo)人(ren)脸识别算(suan)法(fa)为例(li)，他(ta)说更多的程序(xu)员(yuan)会选择用(yong)Python和(he)C编(bian)写程序(xu)，有(you)些还需要(yao)(yao)改动(dong)操作系统内核等，而做(zuo)(zuo)(zuo)这(zhei)些之前必须(xu)要(yao)(yao)把(ba)上层(ceng)的设(she)(she)计环(huan)境做(zuo)(zuo)(zuo)好。姚(yao)颂(song)继(ji)续指(zhi)出(chu)，做(zuo)(zuo)(zuo)底(di)(di)层(ceng)设(she)(she)计的人(ren)和(he)做(zuo)(zuo)(zuo)应用(yong)的人(ren)是(shi)(shi)(shi)相互(hu)割裂的。但对于(yu)AI芯(xin)(xin)(xin)(xin)片(pian)(pian)公司(si)来说，是(shi)(shi)(shi)不(bu)是(shi)(shi)(shi)做(zuo)(zuo)(zuo)到(dao)IP这(zhei)个(ge)(ge)层(ceng)面就够了，要(yao)(yao)不(bu)要(yao)(yao)把(ba)芯(xin)(xin)(xin)(xin)片(pian)(pian)做(zuo)(zuo)(zuo)出(chu)来，要(yao)(yao)不(bu)要(yao)(yao)进一(yi)步做(zuo)(zuo)(zuo)称板卡的形式？如果再往上走，算(suan)法(fa)要(yao)(yao)不(bu)要(yao)(yao)做(zuo)(zuo)(zuo)出(chu)来？姚(yao)颂(song)说对于(yu)AI芯(xin)(xin)(xin)(xin)片(pian)(pian)来说，将算(suan)法(fa)做(zuo)(zuo)(zuo)出(chu)来也(ye)(ye)是(shi)(shi)(shi)可以(yi)的，因为用(yong)户(hu)使用(yong)AI芯(xin)(xin)(xin)(xin)片(pian)(pian)来进行(xing)算(suan)法(fa)开(kai)发也(ye)(ye)需要(yao)(yao)一(yi)定的时间。比如英伟达做(zuo)(zuo)(zuo)自动(dong)驾驶芯(xin)(xin)(xin)(xin)片(pian)(pian)，就将最终(zhong)系统到(dao)应用(yong)一(yi)整套都做(zuo)(zuo)(zuo)出(chu)来了，所以(yi)对于(yu)芯(xin)(xin)(xin)(xin)片(pian)(pian)公司(si)来说，决定上下两条(tiao)划分线到(dao)底(di)(di)该划到(dao)哪个(ge)(ge)层(ceng)级，是(shi)(shi)(shi)相当重(zhong)要(yao)(yao)的问题(ti)。
三、怎样建构产品的护城河
在拥有(you)了(le)一款性能非(fei)常好的芯片，并在市(shi)场上有(you)了(le)一定的竞(jing)争力之(zhi)后，AI芯片公司该(gai)怎样构建产品的护(hu)城河呢？
姚颂说到，AI芯片公司(si)最终的目的无非是(shi)让(rang)更多的用(yong)户使用(yong)自家的产(chan)品(pin)，而这(zhei)里可(ke)拆解成三个部分：1、产(chan)品(pin)要有(you)(you)竞争(zheng)(zheng)力；2、要让(rang)用(yong)户接(jie)触到你的产(chan)品(pin)，并愿意使用(yong)；3、产(chan)品(pin)要刚好满足(zu)用(yong)户需求。姚颂更是(shi)提到不做到这(zhei)三点(dian)产(chan)品(pin)是(shi)很难有(you)(you)长(zhang)期的竞争(zheng)(zheng)力的。
从用(yong)(yong)(yong)户(hu)对(dui)产(chan)品的(de)(de)体验(yan)来说，姚(yao)颂也(ye)提(ti)(ti)出分为四(si)个层(ceng)级(ji)：第一(yi)层(ceng)能(neng)用(yong)(yong)(yong)，处于这(zhei)(zhei)一(yi)层(ceng)级(ji)的(de)(de)AI芯片(pian)(pian)可(ke)(ke)以(yi)满足运行机器学(xue)习算法，这(zhei)(zhei)就表示这(zhei)(zhei)块芯片(pian)(pian)能(neng)用(yong)(yong)(yong)了；第二层(ceng)好(hao)用(yong)(yong)(yong)，当一(yi)块AI芯片(pian)(pian)的(de)(de)性能(neng)功耗比(bi)已经很高，随后又有(you)了相应的(de)(de)完整(zheng)的(de)(de)软(ruan)件开(kai)发(fa)工作流，能(neng)够让大家把(ba)这(zhei)(zhei)些软(ruan)件在芯片(pian)(pian)上(shang)使用(yong)(yong)(yong)起来，这(zhei)(zhei)就是(shi)好(hao)用(yong)(yong)(yong)；第三层(ceng)爱用(yong)(yong)(yong)，如果一(yi)款(kuan)芯片(pian)(pian)的(de)(de)操作非常简单，可(ke)(ke)以(yi)傻瓜(gua)式的(de)(de)一(yi)键开(kai)发(fa)，用(yong)(yong)(yong)户(hu)就会爱用(yong)(yong)(yong)了；第四(si)层(ceng)离不开(kai)它(ta)，要相处于这(zhei)(zhei)一(yi)层(ceng)级(ji)，芯片(pian)(pian)公司(si)就需要为客户(hu)提(ti)(ti)供额外的(de)(de)价值，比(bi)如为用(yong)(yong)(yong)户(hu)提(ti)(ti)供一(yi)个平台，其上(shang)有(you)大堆的(de)(de)开(kai)源项目，可(ke)(ke)供用(yong)(yong)(yong)户(hu)进行参考设计(ji)。
在构建产品护(hu)城河时，最重要的(de)(de)基(ji)础部分就(jiu)是(shi)硬(ying)件(jian)，硬(ying)件(jian)良好的(de)(de)性能(neng)功(gong)(gong)耗(hao)比(bi)(bi)将(jiang)支持(chi)功(gong)(gong)能(neng)更多的(de)(de)软(ruan)(ruan)件(jian)功(gong)(gong)能(neng)，这需要不同层级(ji)间(jian)进(jin)(jin)行组(zu)合。比(bi)(bi)如(ru)安防行业，如(ru)果(guo)(guo)像(xiang)大华这样的(de)(de)公司接了(le)项目后，中(zhong)(zhong)(zhong)间(jian)需要有集(ji)成(cheng)(cheng)商进(jin)(jin)行集(ji)成(cheng)(cheng)，比(bi)(bi)如(ru)将(jiang)视频管理软(ruan)(ruan)件(jian)、IP摄像(xiang)头(tou)集(ji)成(cheng)(cheng)到(dao)(dao)芯片系统(tong)上(shang)。如(ru)果(guo)(guo)想把AI加(jia)入到(dao)(dao)摄像(xiang)头(tou)中(zhong)(zhong)(zhong)，其实只需要将(jiang)添加(jia)一个具有AI功(gong)(gong)能(neng)的(de)(de)模(mo)组(zu)，在这个模(mo)组(zu)里面是(shi)芯片和各种模(mo)组(zu)嵌入式软(ruan)(ruan)件(jian)。通过调整集(ji)成(cheng)(cheng)中(zhong)(zhong)(zhong)各软(ruan)(ruan)硬(ying)件(jian)的(de)(de)连(lian)接串口，模(mo)组(zu)逐渐趋(qu)于稳定(ding)，再通过开发环境用(yong)户就(jiu)可将(jiang)集(ji)成(cheng)(cheng)后的(de)(de)系统(tong)使用(yong)起来。
在进(jin)行(xing)层(ceng)级组(zu)合的时候，姚(yao)颂提到(dao)有两件事对于(yu)AI芯片(pian)公(gong)司来说很重要：一是提供的层(ceng)级，离(li)客户(hu)(hu)越近总收入就越高(gao)，离(li)最终客户(hu)(hu)越远分到(dao)的钱就越少；二是芯片(pian)设计(ji)每跨越一个(ge)层(ceng)级，开(kai)发周期就会增(zeng)加6个(ge)月(yue)到(dao)一年，这是一个(ge)非(fei)常长的开(kai)发时间。
想要构建起产品(pin)的护城河，还有一个重要的点就(jiu)是增加产品(pin)的不可(ke)替代性(xing)？对此姚颂也分享了自己的观点，他认(ren)为有五点需要AI芯片(pian)研发(fa)公司注(zhu)意：1、在芯片(pian)设计时(shi)候，明确(que)知道最终用户(hu)(hu)的需求；2、缩短(duan)开(kai)发(fa)周(zhou)期，将芯片(pian)开(kai)发(fa)的难度降到(dao)最低；3、将芯片(pian)集成到(dao)系统(tong)中，使其运行更(geng)加简单(dan)；4、尽(jin)可(ke)能减少第三方的协作(zuo)5、为用户(hu)(hu)提供更(geng)多的参考设计。
对于为用户(hu)提(ti)(ti)(ti)(ti)供更(geng)多(duo)的参(can)考设计，姚颂提(ti)(ti)(ti)(ti)到了一些自己的想法：一是(shi)(shi)尽(jin)可能往应(ying)用层走(zou)，多(duo)了解一些应(ying)用；二(er)是(shi)(shi)花更(geng)多(duo)的精力为用户(hu)提(ti)(ti)(ti)(ti)供便捷使用的软(ruan)件，尽(jin)可能提(ti)(ti)(ti)(ti)供算(suan)法和(he)库(ku)。三是(shi)(shi)尽(jin)可能多(duo)地提(ti)(ti)(ti)(ti)供垂直(zhi)行(xing)业里需要的算(suan)法框架。四是(shi)(shi)尽(jin)可能地提(ti)(ti)(ti)(ti)供系统级(ji)方(fang)案，而不是(shi)(shi)单一的芯片。五是(shi)(shi)尽(jin)可能构建生态环境(jing)，让大家能够(gou)看(kan)到更(geng)多(duo)的用户(hu)生成的内(nei)容。
结语：软件&系统是AI芯片的重要竞争力
最(zui)后，姚(yao)颂总结到，一(yi)款好的(de)AI芯片(pian)(pian)产品需(xu)要精确的(de)算法加上针对整个垂直行(xing)业的(de)全系统(tong)，他(ta)化用爱迪生“天才是(shi)百(bai)分之(zhi)一(yi)的(de)灵(ling)感加百(bai)分之(zhi)九(jiu)十九(jiu)的(de)汗水”的(de)名言说，“研发出(chu)芯片(pian)(pian)本(ben)身只是(shi)完成了整个AI芯片(pian)(pian)的(de)1%，对于AI芯片(pian)(pian)的(de)开(kai)发者(zhe)来说还(hai)有99%的(de)脏活累活要做(zuo)”。
在(zai)这些脏活累活中，AI芯片的(de)开发者们(men)不仅要多(duo)(duo)(duo)关注垂直(zhi)行业(ye)的(de)应用，以此定义系(xi)统和芯片架构(gou)，更(geng)要多(duo)(duo)(duo)关注终端用户，为他们(men)提供(gong)更(geng)多(duo)(duo)(duo)的(de)服务。
当(dang)然(ran)，站在AI芯片行业从业者的角度，姚颂也指出了关于AI芯片公司定位(wei)非常(chang)重要(yao)(yao)的一(yi)点：每家AI芯片公司都需要(yao)(yao)成为一(yi)家软件&系统公司，这样才能在市(shi)场竞(jing)争(zheng)中取得优(you)势。
每日一头条
趋势·深度·犀利·干货，最专业的行业解读
深(shen)喉爆料、投稿：guoren@k193.net
