|
無AI，不終端，如今AI向邊緣下沉已成為大勢所趨。邊緣AI處理器需要在具備高運算效率的同時，具備低成本、低功耗等特性，而要實現(xiàn)這一構想，MCU無疑是最佳選擇之一。通過將AI功能集成到MCU上，AI算法可在本地進行實時處理和響應，無需依賴云端或其他遠程服務器，使設備能夠更迅速地做出決策和反應，且能在低功耗條件下實現(xiàn)高效的AI計算。據(jù)預測，到2025年，75%的數(shù)據(jù)將在邊緣側進行處理，端側AI MCU市場潛力巨大。 
▲ 2021—2026全球主要市場領域中具備邊緣機器學習能力的設備總出貨量 所有落地AI應用，都需要硬件的算力支持，而算力的提升，則離不開NPU（Neural-network Processing Unit，神經網絡處理器）。它是一類基于DSA (Domain Specific Architecture) 領域專用架構技術的專用于人工智能（特別是人工神經網絡、機器視覺、機器學習等）硬件加速的微處理器。相比于CPU、GPU，NPU在硬件架構上更適合神經網絡運算。通用處理器的計算能力提升大部分不能直接轉化為神經網絡處理能力的提升，而NPU針對神經網絡設計，無需考慮神經網絡并不需要一些計算單元。相較于CPU擅長處理任務和發(fā)號施令，GPU擅長進行圖像處理、并行計算。NPU更擅長處理人工智能任務，通過突觸權重實現(xiàn)存儲和計算一體化，提高運行效率。很多支持AI應用的消費類處理器里，都有NPU的身影，比如蘋果的A15、特斯拉的FSD芯片、地平線的征程系列芯片、OPPO的馬里亞納X芯片等等。而隨著AI向邊緣下沉，MCU產品也開始集成NPU模塊。MCU的CPU核并不適合做AI和ML運算，這將會極大地占用其計算資源，也會帶來功耗的上升，從系統(tǒng)角度來看并不合適。因此，在通用MCU中添加一個硬件NPU，成為了解決問題的優(yōu)選，讓CPU核專注于自己擅長的計算任務，將AI ML的運算交給NPU。實際上，MCU大廠們早就開始布局了。讓我們看看目前市場上有哪些帶NPU或AI加速功能的MCU。 去年末，NXP推出MCX N微控制器產品，這是一個融合了LPC和Kinetis傳統(tǒng)優(yōu)勢的通用MCU平臺，在通用MCU中增加了一個NXP自研硬件NPU，以專門加速邊緣通用的AI運算。NPU作為CPU的AI運算協(xié)處理器，其內部擁有專門的計算通道。
未來，該NPU還可以擴展到更高的性能或更小的單元。NXP整個MCU、MPU家族都會采用統(tǒng)一的NPU架構，提供更高性能的NPU加速器，同樣的算法也更容易從MPU遷移到MCU平臺上。
MCX的應用場景是針對MCU現(xiàn)有應用場景的拓展，如在醫(yī)療設備、無人機，或者工業(yè)控制中加上智能識別、故障檢測、語音控制等應用；也衍生出很多新應用，如日常生活中識別物體的秤；醫(yī)學中檢測含瘧疾的紅細胞；交通出行中幫助汽車識別障礙，自動做出判斷和處理等等。近日，NXP宣布與Aptos-Eta Compute合作，將其以人工智能為核心的芯片和軟件工具集成到Aptos的MLOps平臺上。Aptos可以針對該芯片優(yōu)化和調整人工智能模型，從而實現(xiàn)更高的模型效率和性能，簡化低功耗邊緣處理器的模型開發(fā)、部署和管理。 2022年，ST推出了帶有NPU神經網絡硬件處理單元的通用微控制器——STM32N6，ST首款帶有神經處理單元硬件加速器的MCU。據(jù)稱與其STM32MP1微處理器相比，這款MCU的推斷速度提高了25倍。其中NPU單元并不是來自Arm發(fā)布M55時配套的U55的NPU核，而是ST自己研發(fā)的NPU IP——Neural-Art加速器。為展示STM32N6的算力優(yōu)勢，ST在STM32H747（Cortex-M7，480MHz）開發(fā)套件上和在STM32N6開發(fā)板上同時運行YOLO衍生神經網絡，演示結果顯示，在最大運行頻率不到STM32H7 的2倍時，STM32N6處理的幀數(shù)是STM32H7的75倍。
演示還顯示，執(zhí)行人員檢測和定位任務幾乎占用了STM32H7所有的處理能力，沒有剩余資源進行屏幕刷新。相比之下，基于STM32N6的顯示器則超級流暢、響應靈敏，可以完美地跟隨個人的動作。這是因為STM32N6將其AI計算任務重定向到ST Neural ART加速器?以及STM32N6的機器視覺流水線的預覽功能，使Cortex-M核能夠靈活處理其他任務。ST還為該產品添加了新IP和外設，如MIPI CSI攝像機、機器視覺圖像信號處理器（ISP）、H.264視頻編碼器和支持時間敏感網絡（TSN）端點的千兆以太網控制器。此外，STM32N6是一款通用STM32產品，符合工業(yè)客戶的所有要求，包括在高溫環(huán)境中工作。在生態(tài)系統(tǒng)方面，STM32Cube.AI可用于在任何STM32上優(yōu)化映射神經網絡，STM32N6也不例外。該工具自動將所有支持的操作和層映射到神經處理單元，以最大限度地提高推理的效率。未來，ST還會將STM32N6開發(fā)板添加到STM32Cube.AI開發(fā)者云平臺中。此外，ST的軟件工具STM32CubeMX中也集成了AI模塊，可以方便客戶將訓練好的AI模型轉換為MCU上運行的軟件。ST通過STM32Cube.AI和NanoEdge AI Studio軟件工具，并整合NIVIDIA TAO和STM32Cube.AI工具，讓開發(fā)者在STM32微控制器上無縫地訓練和實現(xiàn)神經網絡模型。 英飛凌也于近日推出PSoC Edge系列微控制器，為邊緣操作機器學習的設備提供高性能和安全性。 ▲ PSoC Edge 系列MCU框架除了支持Cortex-M55 DSP和Ethos-U55 NPU之外，PSoC Edge系列MCU板載ML硬件加速，集成了英飛凌專有的神經網絡硬件加速器NNLite，能夠用于需要響應計算和控制的各種應用，包括智能家居、可穿戴設備和人機交互設計。為了更好支持AI功能開發(fā)，英飛凌還推出了ModusToolbox機器學習工具，能夠快速評估ML模型并將其部署到英飛凌MCU上。為支持汽車人工智能和車輛虛擬化的趨勢，英飛凌還與新思科技合作推出了針對AI加速的Aurix TC4x平臺，該MCU集成了一個高性能AI加速器，稱為并行處理單元 (PPU)，由Synopsys DesignWare ARC EV處理器IP提供支持。PPU具有實時處理性能，可加速循環(huán)神經網絡、卷積神經網絡和多層感知器等AI算法。2023年5月，英飛凌收購初創(chuàng)公司Imagimob AB，以提升其微控制器和傳感器上的TinyML邊緣AI功能。 去年，瑞薩推出了內置視覺AI加速器的RZ/V2MA系列產品，實現(xiàn)了精確圖像識別和多攝像頭圖像支持功能。RZ/V2系列是一種內置瑞薩電子獨家硬件加速器 “DRP，動態(tài)可配置處理器-AI”的AI專用微處理器。DRP-AI專為嵌入式機器視覺類AI/ML應用優(yōu)化設計，可提供實時AI推理和圖像處理功能，同時兼具了高AI推理性能和低功耗特性，家族化產品支持0.4~80TOPS不等的可擴展AI算力，為資源有限的嵌入式端側AI應用提供差異化有競爭力的解決方案。近日，瑞薩電子再次推出強大的RA8系列MCU，新型RA8系列MCU部署了Arm Helium技術，即Arm的M型向量擴展單元。相比基于Arm Cortex-M7處理器的MCU，該技術可將實現(xiàn)數(shù)字信號處理器（DSP）和機器學習（ML）的性能提高4倍。在AI軟件方面，瑞薩電子也在持續(xù)布局，去年中旬完成對Reality AI的收購，可為汽車、工業(yè)和消費類產品中的高級非視覺傳感提供嵌入式AI和微型機器學習(TinyML)解決方案。 ADI推出的邊緣AI解決方案MAX7800X系列MCU，由兩個微控制器內核（ARM Cortex M4F和RISC-V）加上一個卷積神經網絡（CNN）加速器構成。這一架構針對邊緣AI應用進行了高度優(yōu)化，數(shù)據(jù)的加載和啟動由微控制器內核負責，而AI推理由卷積神經網絡加速器專門負責。據(jù)了解，ADI的邊緣AI解決方案具備速度快、無需外部存儲、時鐘控制靈活和超低功耗等四大特色，因此對于需要使用電池供電、需要及時決策的物聯(lián)網設備來說特別合適。對比傳統(tǒng)MCU+DSP的方案，ADI的MAX7800X的CNN加速器可以將功耗降低99%以上，而且算法在CNN上執(zhí)行的效率也比DSP上更高。對于單純采用微控制器的方案，MAX7800X的CNN加速器具備更高的數(shù)據(jù)吞吐量，可以將速度提高100倍以上。 作為眾多MCU芯片廠商的內在賦能者，Arm近年來連續(xù)發(fā)布了帶有算力的內核MicroNPU Ethos U55、U65等系列。Arm在短時間內連續(xù)發(fā)布兩代針對MCU的microNPU，一方面說明MCU市場對于AI和AI加速器確實有很強的需求；另一方面也表明MCU和MPU甚至CPU之間的性能差距正在縮小，這將為未來智能MCU生態(tài)帶來新的變化。從通用MCU到IoT MCU，再到具備AI特質的MCU，微控制器的發(fā)展與整個消費電子設備的演進浪潮緊密相連。MCU的進化需要兼顧硬件和軟件兩個方面。在硬件層面，要求更高的處理能力、更多的安全組件、多種連接能力以及更低功耗；在軟件層面，操作系統(tǒng)從任務調度發(fā)展為IoT OS平臺，軟件復雜度大幅增加，需要平臺級軟件及工具；在生態(tài)系統(tǒng)層面，各種云服務公司進入嵌入式系統(tǒng)生態(tài)圈，并且與算法公司、純軟件公司合作增多。這就是NXP、ST、瑞薩電子、英飛凌等MCU大廠在不斷加碼MCU+AI的同時，也在加強AI軟件和生態(tài)系統(tǒng)建設與產業(yè)合作的原因。
|
