网站首页 > 高端访谈 >
Arm加速推进边缘AI发展进程
发布时间:2024-04-12 18:01:43 · 赵法彬

(文/赵法彬)如今,以4G/5G手机为代表的智能终端已经成为现代人的标配,其功能越来越强大,极大地方便了人们的生活、娱乐、购物、学习、工作等,由此也产生了海量数据需要网络进行传输与处理。因此,将计算资源部署于边缘和终端,在提升响应速度与可靠性、节省带宽资源、保护隐私与数据安全以及降低成本等方面都具有明显优势。Arm物联网事业部业务拓展副总裁马健(Chloe Ma)表示,我们已处在每个人口袋里都有一个或者多个“超级计算机”的时代,而Arm则在这个时代的演进中起到了至关重要的作用。

  QQ截图20240412111159

Arm物联网事业部业务拓展副总裁马健(Chloe Ma)


关注边缘智能演进,赋能边缘智能创新

马健介绍说,边缘智能的演进历史可以追溯到早期嵌入式系统,比如家用空调、电表等设备都会内置嵌入式处理器,从而实现控制和设备管理等简单功能。本世纪初,随着网络和互联网技术的进步,物联网(IoT)应运而生,并通过Wi-Fi、蓝牙、ZigBee、窄带物联网(NB-IoT)、LoRa等协议连接万物。有了连接,电表就可以实现远程抄表功能,这些产品所配备的传感器也越来越丰富,产生了极具价值的数据。数据是产生洞察与发现规律的宝藏,而机器学习(ML)和人工智能(AI)技术则是发掘宝藏的利器。马健认为,物联网的兴起极大地推动了边缘计算设备的普及,让这些设备开始具备更强的处理能力和连接性,使得数据处理更加靠近数据源。随着ML和AI技术的发展,智能设备不仅能执行任务,而且还能学习和适应。近来,伴随着Transformer与大模型的发展,AI模型的普适性、多模态支持以及模型微调效率,都有了质的突破,加上低功耗的AI加速器和专用芯片被集成到终端设备中,边缘智能正变得越来越自主和强大。

边缘AI潜力巨大,有望助力多个领域的持续智能化演进与转型。马健告诉记者,Arm的客户与生态伙伴更是在智能家居、智能零售与智能制造等领域不断创新,进而实现感知、决策与行动的闭环,提高自动化水平。诸多基于Arm架构的边缘AI解决方案的成功部署,使Arm更加坚信AI需要硬件和软件之间的紧密结合。Arm在过去十年中进行了大量投资,并优化性能,从而实现AI算子延展与部署简化。她进一步介绍说,Arm在边缘AI领域厚积薄发,已取得了令人振奋的进展。起初,Arm聚焦在优化各类传感器必需的嵌入式处理器上,致力于实现超低成本、低功耗和小面积,并支持控制级代码的开发。随着万物互联的发展,连接使边缘算力和安全性变得越来越重要,Arm为此推出了Armv8-M和Arm TrustZone等技术来增强算力与安全。而随着边缘与端侧AI推理需求的增长,Arm在嵌入式领域引入了Armv8.1-M,Arm Helium技术使CPU能够执行更多计算密集型的AI推理算法。Arm此后又推出了Arm Ethos系列AI加速器,以满足更高性能和更复杂的AI工作负载。

系统变得愈加强大,其复杂度也随之提升,软硬件必须协同工作才能释放AI处理的最大潜能。马健说,Arm不仅聚焦于处理器IP,而且在软件与工具链方面加强投资,确保领先于行业,以满足更简单、快速的高性能边缘AI系统的开发需求,支持诸多AI算子与应用在Arm计算平台上的优化运行,使边缘AI在Arm平台上枝繁叶茂。Arm通过与生态伙伴齐心协力以不断推动边缘 AI 的发展。生态是计算之本,从电子爱好者、初创公司,到世界上最大的微控制器(MCU)和消费电子供应商,智能物联网市场正汇聚于Arm平台,Arm也在持续推动着边缘AI的革新。在Arm软硬件计算平台上已经涌现了大量创新,例如恩智浦半导体(NXP)的i.MX系列、瑞萨电子(Renesas)的RA8系列、英飞凌(Infineon)的PSoC Edge和Alif Semiconductor的Ensemble等边缘AI芯片方案。同时,Arm也在与一系列软件算法与工具伙伴合作,以确保为边缘AI系统开发者提供其所需的工具和支持。马健强调,只有Arm拥有足够的技术广度和经验,可以强有力地支持整个边缘计算生态系统抓住AI机遇。

简单易用才更适于普及推广,这也是为什么随着边缘AI的持续扩展,物联网生态链上下游的芯片与系统供应商、算法软件开发者与集成商们越来越汇聚在Arm计算平台。马健表示,只有Arm计算平台才能提供AI从云到端、现代敏捷开发和部署流程中所需的特性和功能,实现基于量产验证的一致架构,并采用统一工具链的AI转型。包括开发者、数据科学家、学术界在内的AI研究开发社区,不仅持续受益于Arm生态系统与合作伙伴提供的丰富信息与知识,也围绕Arm计算平台构建日益增长的软件和工具生态系统,以及开源软件库和AI框架。此外,由于Arm特有的IP授权许可模式和开放生态,OEM和ODM可以有多种基于Arm架构和计算平台的芯片与模组选择,更灵活地开发适于最终应用的系统方案。AI的普及与大模型和生成式AI的迅猛发展,为Arm物联网生态系统合作伙伴带来了前所未有的发展机遇。边缘AI生态系统正在聚焦于Arm,将其作为实现商业成功的首选平台。马健坚信,只有Arm才拥有如此丰富的经验和领先的技术广度,能够最有力地支持合作伙伴们拥抱边缘AI机遇。


Arm推出新一代Ethos-U AI加速器,全新物联网参考设计平台

随着边缘AI的部署规模持续扩大,芯片创新者必须应对日趋复杂的系统和软件、不断激增的AI性能需求,以及加速产品上市进程的压力。与此同时,软件开发者需要更加一致、简化的开发体验,并能更轻松地与新型的AI框架和库实现集成。为了加速实现语音、音频和视觉系统的部署,Arm于4月9日正式推出Arm® Ethos™-U85神经网络处理器(NPU)以及全新物联网参考设计平台——Arm Corstone™-320。

马健介绍说,Arm Ethos-U NPU系列是业界首款AI微加速器,英飞凌、恩智浦半导体、奇景光电(Himax)、Alif Semiconductor和Synaptics等领先企业均已推出搭载Ethos-U的量产芯片。本次推出的全新Arm Ethos-U85为高性能边缘AI应用带来了四倍的性能提升,20%的能效提升,并保持了一致工具链,从而实现无缝的开发者体验。它支持从128到2048个MAC单元的配置,在最高性能配置下提供4TOPs的AI算力,以可持续的方式支持未来的应用场景。我们期待看到Ethos-U85在智能家居、零售、工业等新兴的边缘AI应用场景中得到持续部署,满足对更高性能计算的需求,并支持最新的AI框架。在算子支持方面,Ethos-U85增加了对Transformer架构网络的支持,这是优化大模型边缘落地微调时间、提升模型泛化的一个关键特性。

马健告诉记者,Ethos-U85不仅提供卷积神经网络(CNN)所需的权重矩阵乘的运算,还支持矩阵相乘,这是Transformer架构网络的一个基本组成部分。基于Transformer的模型具有优异的泛化功能,它将更快地驱动新AI应用的发展。Transformer在视觉和生成式AI用例中,比如视频理解、图文结合,图像增强与生成、图像分类和目标检测等方面都极有价值。Transformer架构网络的注意力机制容易利用并行计算来实现,提高硬件使用效率,使得这些模型能够部署在计算资源有限的边缘设备上。开发者可以通过选用针对Transformer架构网络优化的设计,发掘边缘AI的新机遇,使这些应用可实现更快的推理、更优化的模型性能和可扩展性。马健说,Ethos-U85不仅支持低功耗MCU系统中的AI加速,而且能够很好地支持高性能边缘计算系统的需求,加之Arm领先的Armv9 Cortex-A CPU,将为基于应用处理器的智能物联网平台上运行的AI任务实现加速。这将使Ethos-U85能够在工业机器视觉、边缘网关、可穿戴设备和消费类机器人等应用中,带来高效能的边缘推理。

在万物智能的驱动下,无处不在的MCU和嵌入式系统对性能和AI加速的需求与日俱增。为了帮助合作伙伴简化系统开发,加快上市时间,Arm推出了全新的智能物联网参考设计平台——Arm Corstone-320。马健表示,Corstone-320包含了Cortex-M系列最高性能的嵌入式处理器Cortex-M85,以及全新的Ethos-U85 NPU AI加速器。由于视觉在多模态感知中起到了关键作用,许多边缘MCU和传感器系统越来越依赖于视觉和图像感知,Corstone-320还包含了Arm Mali-C55 ISP,以实现为视觉应用优化的低功耗系统。这个参考设计是针对实际工作负载开发的,参考用例包括部署在智能家居中的电池供电摄像系统,以及在工业和零售系统中的低帧率网络摄像头。同时,Corstone-320参考设计提供了有安全保证的软硬件组合,使得在此参考设计基础上开发的合作伙伴们能够顺利地通过PSA Certified Level 2认证,实现对区域和全球安全标准的合规。她坚信,通过Corstone-320预先集成、预先验证的参考设计模版,Arm定能帮助合作伙伴减少边缘智能芯片开发的成本和时间。

马健说,Corstone-320不仅提供芯片计算子系统IP组合,而且还附带了软件、AI模型库和开发工具,以实现软件的复用,同时也利用了Arm强大的生态系统。它还附带了仿真Corstone-320完整系统的Arm虚拟硬件,以及单独的CPU和NPU的固定虚拟平台(FVP)模型,以简化开发并加速产品设计,支持软硬件并行协同开发。马健认为,这种提供边缘AI和智能物联网计算子系统全套软硬件和工具链的方法,使得合作伙伴能够在一系列性能点上快速开发,并聚焦于打造差异化价值。

最后,马健总结说,此次Arm推出的Ethos-U85与Corstone-320旨在加速AI系统的快速落地,促进未来多模态智能应用的全方位部署。Ethos-U85和Corstone-320满足了边缘AI用例对更高性能计算的需求,为最新的AI模型、框架提供了原生支持,并沿用Arm软件与AI开发者已经熟知的工具链,具有投资复用、上手容易等优势。这些最新的产品与参考设计加入了Arm丰富的IP产品和技术组合中,使Arm技术能够覆盖更广泛、多样化的智能物联网应用,并满足最新边缘AI市场的性能、成本和能效需求。智能必须无处不在,云边端缺一不可,而边缘侧Arm架构芯片的支持,关系到各行各业智能化的成败。目前,全球约有90%的AI都运行在基于Arm架构的CPU上,这些持续投入使Arm成为全球最普遍的AI计算平台之一,吸引了越来越多的开发者加入,而Arm也将与生态伙伴们砥砺奋进,释放前所未有的AI潜力。

本站部分文章来自互联网,文章版权归原作者所有。如有疑问请联系QQ:1633373438