今年的“理化生三諾獎(jiǎng)” 都與復(fù)雜系統(tǒng)相關(guān)，而當(dāng)今處理復(fù)雜系統(tǒng)最有效的方法和理論之一就是神經(jīng)網(wǎng)絡(luò)類(lèi)機(jī)器學(xué)習(xí)基礎(chǔ)上的深度學(xué)習(xí)，所以在Hassabis和Hinton這兩個(gè)AI方面的專(zhuān)家獲得化學(xué)和物理諾獎(jiǎng)確實(shí)出人意外的同時(shí)，也展現(xiàn)了多類(lèi)融合發(fā)展的必然性。

都說(shuō)在MCU上跑AI會(huì)成為常態(tài)，不過(guò)實(shí)話講，很多工程師在實(shí)際工作中部署AI的場(chǎng)景還沒(méi)那么多，而且畢竟再學(xué)一門(mén)技術(shù)，又會(huì)增加很多時(shí)間成本。

不過(guò)，隨著全行業(yè)AI化行動(dòng)加深，MCU廠商接連推出自己的AI工具，并且在開(kāi)發(fā)上手難度和使用便捷性進(jìn)行了優(yōu)化。尤其在最近一段時(shí)間，不斷炫技，可謂是徹底拼了。

eIQ機(jī)器學(xué)習(xí)軟件于2018年推出，經(jīng)過(guò)不斷發(fā)展，可支持系統(tǒng)級(jí)應(yīng)用和機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)。這個(gè)軟件工具集的特點(diǎn)是專(zhuān)業(yè)人士和非專(zhuān)業(yè)人士都很方便使用，抱著玩一玩的心態(tài)也可以跑起來(lái)應(yīng)用。用官方的話說(shuō)就是實(shí)現(xiàn)“機(jī)器學(xué)習(xí)人人可用”。

整體開(kāi)發(fā)流程方面，既可以只提供數(shù)據(jù)集然后借助eIQ工具箱完成從模型訓(xùn)練到模型部署，又可以提供已經(jīng)訓(xùn)練好的模型，然后借助eIQ工具箱對(duì)其進(jìn)行轉(zhuǎn)換/量化以及部署工作。最后，調(diào)用eIQ inference engines對(duì)所生成的模型進(jìn)行推理，得到最終的預(yù)測(cè)值。

今年3月，NXP與NVIDIA達(dá)成合作，將NVIDIA TAO API直接集成到恩智浦的eIQ機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境中。NVIDIA TAO低代碼人工智能框架通過(guò)遷移學(xué)習(xí)，讓開(kāi)發(fā)人員能夠更輕松地利用經(jīng)過(guò)訓(xùn)練的人工智能模型，并針對(duì)特定用途對(duì)模型進(jìn)行微調(diào)和優(yōu)化。換句話說(shuō)，開(kāi)發(fā)人工智能只在這一個(gè)平臺(tái)上就可以了。

AI并不只是大語(yǔ)言那么高不可攀的應(yīng)用，AI已經(jīng)無(wú)處不在。這是今天下午NXP發(fā)布會(huì)上看到的最常見(jiàn)的一些AI/ML應(yīng)用，他們已經(jīng)發(fā)生。在分享的同時(shí)，我也試著梳理下，在這種AI/ML everywhere的時(shí)代，嵌入式工程師又該怎么把握機(jī)遇，不被甩下車(chē)？

電動(dòng)工具中的電機(jī)的AI——自動(dòng)停止

在電動(dòng)工具行業(yè)中將AI/ML技術(shù)與電機(jī)控制結(jié)合應(yīng)用的案例。通過(guò)使用MCU和AI技術(shù)，可以更智能地控制工具并增加安全功能，如自動(dòng)停機(jī)。
AI/ML + Motor Control to Enable Power Tools

• AI/ML + 電機(jī)控制：NXP的MCX N系列微控制器集成了AI/ML功能，用于電動(dòng)工具應(yīng)用中。

• eIQ工具包：為用戶提供數(shù)據(jù)集訓(xùn)練和驗(yàn)證的效率，使用戶能夠輕松構(gòu)建屬于自己的AI/ML模型。

• 芯片解決方案：一個(gè)芯片既可以實(shí)現(xiàn)AI/ML啟用的自動(dòng)停止功能，也能執(zhí)行電機(jī)控制。
  
  

將MCU用于能源領(lǐng)域，尤其是逆變器和能源存儲(chǔ)系統(tǒng)中，增強(qiáng)檢測(cè)能力并通過(guò)邊緣計(jì)算進(jìn)行智能化控制。
Power Conversion to Enable Inverter & Energy Storage System (ESS)

• 電力轉(zhuǎn)換：使能逆變器和能源存儲(chǔ)系統(tǒng)，突出使用電弧故障斷路器（AFCI）作為區(qū)分特性。

• MCX N微控制器：提供邊緣處理能力，用于檢測(cè)和保護(hù)。

• MCX W微控制器：通過(guò)藍(lán)牙將逆變器/ESS設(shè)備的結(jié)果傳輸?shù)街鳈C(jī)中心或網(wǎng)關(guān)。

• 系統(tǒng)解決方案：NXP提供了包括硬件參考設(shè)計(jì)、軟件包和eIQ機(jī)器學(xué)習(xí)工具包在內(nèi)的系統(tǒng)解決方案。
  
  

AI/ML技術(shù)在醫(yī)療設(shè)備中的應(yīng)用，通過(guò)檢測(cè)鼾聲來(lái)幫助治療呼吸睡眠障礙。
AI/ML Sound Detection to Enable Healthcare

• AI/ML聲音檢測(cè)：用于醫(yī)療保健，特別是檢測(cè)鼾聲以優(yōu)化CPAP（持續(xù)氣道正壓）設(shè)備的效果。

• i.MX RT交叉微控制器：提供AI/ML聲音頻譜計(jì)算，推理時(shí)間低至6毫秒。

• CPAP中的一體化芯片解決方案：包括控制、顯示和AI/ML算法。
  
  

AI/ML技術(shù)如何用于智能工廠中的缺陷檢測(cè)，以提高制造業(yè)的智能化水平。
AI/ML Vision Detection to Enable Smart Factories

• AI/ML視覺(jué)檢測(cè)：用于智能工廠中的缺陷檢測(cè)，以提高效率、準(zhǔn)確性和靈活性。

• i.MX系列處理器：在邊緣設(shè)備上實(shí)現(xiàn)高性能CNN視覺(jué)算法推理。

• NXP WiFi產(chǎn)品：提供低延遲以便將制造結(jié)果通知到控制中心。

• 支持大量市場(chǎng)客戶：通過(guò)廣泛的第三方支持和EBS生態(tài)系統(tǒng)，加速客戶的評(píng)估和采納。
  
  

如何通過(guò)大語(yǔ)言模型和智能邊緣計(jì)算來(lái)增強(qiáng)智能家居的用戶體驗(yàn)，允許用戶自然語(yǔ)言控制家居設(shè)備。
AI/ML Large Language Models to Enable Smart Home User Experiences

• 大語(yǔ)言模型（LLM）：為智能家居用戶帶來(lái)更高質(zhì)量的用戶體驗(yàn)。終端用戶可以使用自然語(yǔ)言與家居設(shè)備交互。

• i.MX 95應(yīng)用處理器：為邊緣AI計(jì)算提供強(qiáng)大的能力。

• NXP系統(tǒng)解決方案：提供包括連接、安全、AI計(jì)算和軟件支持的完整智能家居解決方案。

---
AI/ML無(wú)處不在的時(shí)代，嵌入式工程師需要不斷適應(yīng)和提升自己，以充分利用這項(xiàng)技術(shù)趨勢(shì)。
埋頭敲代碼，忙于搬磚的同時(shí)，也應(yīng)該思考下，自己的學(xué)習(xí)方向

1. 學(xué)習(xí)基礎(chǔ)AI/ML知識(shí)

• 學(xué)習(xí)基礎(chǔ)的機(jī)器學(xué)習(xí)概念，例如分類(lèi)、回歸、聚類(lèi)、神經(jīng)網(wǎng)絡(luò)等。

• 熟悉常見(jiàn)的機(jī)器學(xué)習(xí)算法（例如決策樹(shù)、隨機(jī)森林、SVM和神經(jīng)網(wǎng)絡(luò)等），理解它們的應(yīng)用場(chǎng)景。
  
  

2. 掌握嵌入式AI框架和工具

• 學(xué)習(xí)如何在嵌入式系統(tǒng)上運(yùn)行AI模型。例如，NVIDIA Jetson平臺(tái)、ARM的Cortex-M微控制器系列、Google的TensorFlow Lite等工具和框架可以在嵌入式環(huán)境中執(zhí)行AI模型。

• 了解TinyML（用于資源受限設(shè)備的AI/ML）及其相關(guān)工具，如TensorFlow Lite for Microcontrollers、Edge Impulse等。
  

3. 理解硬件加速器和處理器架構(gòu)

• 深入了解用于AI/ML的硬件加速器（如GPU、TPU、NPU）及其在嵌入式系統(tǒng)中的應(yīng)用。嵌入式系統(tǒng)通常對(duì)功耗敏感，因此了解如何高效地執(zhí)行AI任務(wù)非常重要。

• 研究硬件架構(gòu)如何影響AI模型的推理性能，學(xué)會(huì)根據(jù)不同任務(wù)優(yōu)化嵌入式系統(tǒng)。
  

4. 學(xué)習(xí)數(shù)據(jù)處理和模型優(yōu)化

• 嵌入式系統(tǒng)通常資源有限（如處理器、內(nèi)存、功耗等），因此需要學(xué)習(xí)如何裁剪和優(yōu)化AI模型。

• 學(xué)習(xí)模型量化、剪枝、壓縮等技術(shù)，使復(fù)雜的AI模型能夠在資源受限的嵌入式系統(tǒng)上運(yùn)行。

• 研究如何有效地收集、處理和管理嵌入式設(shè)備產(chǎn)生的數(shù)據(jù)。
  
  

5. 實(shí)時(shí)性和邊緣計(jì)算

• 嵌入式系統(tǒng)通常需要處理實(shí)時(shí)任務(wù)，因此嵌入式工程師需要確保AI模型能夠在嚴(yán)格的實(shí)時(shí)性要求下高效運(yùn)行。

• 研究邊緣計(jì)算，即在靠近數(shù)據(jù)源的嵌入式設(shè)備上執(zhí)行AI任務(wù)，從而減少延遲和帶寬需求。
  
  

6. 提升編程技能

• 掌握C/C++、Python等嵌入式編程語(yǔ)言，同時(shí)學(xué)習(xí)如何在低級(jí)別優(yōu)化代碼。

• 熟悉并行編程，尤其是在嵌入式系統(tǒng)中利用多核處理器和硬件加速器來(lái)執(zhí)行AI推理任務(wù)。
  
  

7. 關(guān)注應(yīng)用領(lǐng)域

• 關(guān)注AI在嵌入式系統(tǒng)中的實(shí)際應(yīng)用場(chǎng)景，例如物聯(lián)網(wǎng)、智能家居、自動(dòng)駕駛、醫(yī)療設(shè)備、工業(yè)自動(dòng)化等。

• 針對(duì)不同的應(yīng)用領(lǐng)域，了解如何將AI/ML模型集成到嵌入式系統(tǒng)中，從而為產(chǎn)品增值。
  

8. 與AI/ML團(tuán)隊(duì)協(xié)作

• 在團(tuán)隊(duì)合作中與AI/ML專(zhuān)家緊密合作，理解他們的需求，協(xié)助將AI模型部署到嵌入式系統(tǒng)中。

• 嵌入式工程師需要在軟件工程、系統(tǒng)集成和性能優(yōu)化方面發(fā)揮重要作用。
  

---

最后，放一張思維導(dǎo)圖供大家參考