芯东西（公众号：aichip001）
作者 | ZeR0
编辑 | 漠影
芯东西2月27日报道，今日，Arm发布全球首个Armv9边缘AI计算平台。该平台以全新Arm Cortex-A320 CPU和边缘AI加速器Ethos-U85 NPU为核心，专为物联网应用优化，可支持运行超10亿参数的(de)端侧AI模(mo)型，已获得亚马逊云(yun)科技（AWS）、西门(men)子(zi)、瑞(rui)萨电子(zi)等多家行(xing)业(ye)领先企业(ye)的(de)支(zhi)持。
该平台能(neng)够(gou)支持基于智能(neng)体的AI应用上运行经过(guo)调优的大语言(yan)模(mo)型 （LLM）和小语言(yan)模(mo)型（SLM），开(kai)辟全新(xin)类别的边缘应用场景。未来智能(neng)决策将更接(jie)近数据(ju)采集源头，这不仅能(neng)显著(zhu)减少延迟，还能(neng)有(you)效提(ti)升隐私保护(hu)水平。
Arm物联网事(shi)业部(bu)业务(wu)拓展副总裁马健谈道，大模型(xing)智能体(ti)在(zai)边缘(yuan)的(de)(de)(de)落(luo)地，需要更高性能、更高能效的(de)(de)(de)边缘(yuan)计算平台，保证边缘(yuan)设备(bei)安全(quan)可靠将会成为边缘(yuan)AI大规模部(bu)署的(de)(de)(de)必要条件。作为Arm在(zai)边缘(yuan)计算平台领导(dao)者，Arm在(zai)工业自动化、智能家(jia)居、智慧城市等领域多看到(dao)OEM软件开发者们正在(zai)积极寻求与Arm联手营建AI推理的(de)(de)(de)生态系统。
新型(xing)边(bian)缘(yuan)AI计(ji)算平(ping)台的(de)(de)推出(chu)标志(zhi)着边(bian)缘(yuan)计(ji)算发展的(de)(de)重要(yao)里程碑，Arm现已能(neng)(neng)为物联网提供最为先进的(de)(de)Armv9 Cortex处理器系列(lie)，覆(fu)盖(gai)从极(ji)致(zhi)性能(neng)(neng)到成本和能(neng)(neng)效受限的(de)(de)设备。
超高能效的Arm Cortex-A320有两大突出特点：增强的安全性和增强的AI计算特性。它通过(guo)Armv9架构提高物联(lian)网应用的(de)效率(lv)、性(xing)能和安全性(xing)，推动(dong)工(gong)业(ye)自动(dong)化、智能摄像头等领域(yu)的(de)进步。
Cortex-A320充分发挥Armv9架构的优势，如针对机器模型性能的SVE2。相较于前代产品Cortex-A35，Cortex-A320的机器学习（ML）性能提升了10倍，标量性能提升了30%。这为物联网带来了先进的AI功(gong)能(neng)和开发者优势，将Armv9架构的功(gong)能(neng)扩展到高(gao)能(neng)效(xiao)设备，并提(ti)供全面的软件支持。
全新Armv9边缘AI计算平台兼顾效率、安全和智能，其内部集成的Ethos-U85 NPU支持Transformer算子网络。相较于去年推出的基于Cortex-M85的平台，新边缘AI计算平台的机器学习性能提高了8倍。
边缘设备通常在暴露的环境中运行并处理敏感数据。Armv9边缘AI计算平台所采用的Armv9.2架构还为最小的Cortex-A设备带来了高级的安全功能，例如指针验证（PAC）、分支目标识别（BTI）和内存标记扩展（MTE），能够有效抵(di)御黑客攻击。
当前物联网应用不断攀升(sheng)，包括(kuo)自动驾(jia)驶(shi)车(che)辆在工厂环(huan)境中(zhong)的(de)精准导(dao)航、智能摄像头通过软件(jian)升(sheng)级(ji)灵活调整功能、构(gou)建能够提供更(geng)自然AI交互(hu)体(ti)验的(de)人(ren)机界面(mian)等。为了快速创新和(he)扩展，OEM厂商需要(yao)在合(he)适的(de)位置(zhi)灵活执行AI工作负(fu)载，以实现更(geng)强大的(de)安(an)全性和(he)更(geng)高的(de)软件(jian)灵活性。
边缘AI普及面临的最主要障碍之一是软件开发和部署的复杂性。Arm将Arm Kleidi延伸应用到物联网领域，可实现高达70%的(de)性能(neng)提升，助力(li)全球2000多万Arm开发(fa)者无缝集成领先(xian)AI框架，简化边缘AI开发(fa)流程(cheng)。
Arm Kleidi是一套面向AI框架开发者的计算库，旨在优化基于Arm CPU的AI和ML工作负载，无需开发者额外操作。KleidiAI已集成到常见的物联网AI框架中，如Llama.cpp、ExecuTorch、LiteRT（通过XNNPACK），加速了Meta Llama 3 和Phi-3等关键模型的性能。例如在Llama.cpp上运行微软的Tiny Stories数据集时，KleidiAI为新的Cortex-A320带来了高达70%的性能提升。
在当今快节(jie)奏的(de)技(ji)术环境中，产(chan)品的(de)上市速度往往决定其成(cheng)(cheng)败。新边缘AI计(ji)算平(ping)台确保了与(yu)更(geng)高性能(neng)Cortex-A处理器在软件层面的(de)无缝兼容，使开发者能(neng)够打造可(ke)随需求变化而灵活调整的(de)解决方案，加快产(chan)品上市时间，并降低(di)总体(ti)拥有成(cheng)(cheng)本(ben)。
马健认(ren)为，除了带来商业化(hua)机遇外(wai)，AI还会对一些更广(guang)泛的(de)全球性问(wen)题产生(sheng)(sheng)深远(yuan)影(ying)响(xiang)，比如减少人类活动对气(qi)候的(de)影(ying)响(xiang)、改(gai)(gai)善(shan)生(sheng)(sheng)物多样性、保护濒危野生(sheng)(sheng)动物、改(gai)(gai)变医疗健康领域(yu)等，我们正站(zhan)在这(zhei)一变革(ge)的(de)起点。
据亚马逊云(yun)科技(ji)物联网技(ji)术负责人Yasser Alsaied分享，全新Arm边缘(yuan)(yuan)(yuan)AI计算平台为客(ke)户(hu)实现(xian)(xian)了在(zai)Armv9技(ji)术上(shang)运行(xing)AWS IoT Greengrass的(de)(de)轻量级设备运行(xing)时环境—— Nucleus Lite，从而(er)让(rang)边缘(yuan)(yuan)(yuan)设备以(yi)最低的(de)(de)内存需求高效运行(xing)。这两项技(ji)术的(de)(de)无缝集成为开发者提供了优(you)化(hua)的(de)(de)解决(jue)方(fang)案，支持构(gou)建现(xian)(xian)代边缘(yuan)(yuan)(yuan)AI应用，例如(ru)精准农业中、智能制(zhi)造(zao)和自动(dong)驾驶的(de)(de)异常检测。
Arm全(quan)新边缘(yuan)(yuan)AI计算(suan)平(ping)(ping)(ping)台提供了构建下一(yi)代多(duo)样(yang)化(hua)(hua)物联(lian)网(wang)设备的(de)基础，将助力(li)各行各业打(da)(da)造(zao)出(chu)更(geng)智能(neng)、更(geng)高效、更(geng)安全(quan)的(de)AI应(ying)用。Arm高级副总(zong)裁(cai)兼物联(lian)网(wang)事业部总(zong)经(jing)理Paul Williamson谈道：“AI的(de)革新已不(bu)再局(ju)限于云端。随着世界的(de)互联(lian)和智能(neng)化(hua)(hua)水平(ping)(ping)(ping)的(de)日益提升，从(cong)智慧(hui)城市到工业自动化(hua)(hua)，在边缘(yuan)(yuan)侧处理AI工作负载不(bu)仅带来显(xian)著(zhu)的(de)优势，其必要性更(geng)是不(bu)可或缺(que)。专为物联(lian)网(wang)打(da)(da)造(zao)的(de)Armv9边缘(yuan)(yuan)AI计算(suan)平(ping)(ping)(ping)台的(de)推出(chu)，标志着这一(yi)发展趋(qu)势迈入(ru)了重(zhong)要的(de)里(li)程(cheng)碑。”
