物聯網結合機器學習（ML）在許多應用中越來越受歡迎，從小型物聯網設備到大型數據中心等。由于各種原因，如實時/離線操作、節省電池，甚至安全和隱私考量，最理想的是在生成數據的邊緣運行ML算法和數據處理。這些低功耗物聯網設備可以是嵌入式微控制器、無線SoC或集成到傳感器設備中的智能器件。

為了實現這一目標，半導體產品制造商需要小型、低功耗處理器或微控制器，以有效的方式運行必要的機器學習（ML）軟件，有時還支持內置在芯片中的硬件加速器。評估一個特定設備的性能并不簡單，因為它在ML應用程序中的有效性比原始的數字運算更重要。

MLCommons?(一個開放的工程聯盟)開發了三個基準測試套件來比較來自不同供應商的ML產品。MLCommons專注于協作工程工作，通過基準測試、指標、公共數據集和最佳實踐使機器學習行業受益。

這些基準測試套件稱為MLPerf?，在將訓練好的ML模型應用于新數據時，測量ML系統在推理時的性能。基準測試還可選擇測量完成推理任務所使用的能量。由于基準是開源的，并經過同行評審，因此它們提供了一個客觀、公正的性能和能源效率測試。

在MLCommons提供的三個基準測試中，Silicon Labs（亦稱“芯科科技”）已經提交了MLPerf Tiny套件的解決方案。MLPerf Tiny是針對最小的低功耗設備，通常用于深度嵌入式應用，如物聯網或智能傳感。

Silicon Labs系統基準測試

Silicon Labs提交了EFR32MG24多協議無線SoC進行基準測試。該SoC包括一個Arm Cortex?-M33核心(78 MHz, 1.5 MB Flash / 256 kB RAM)和一個Silicon Labs硬件加速器子系統。它支持多種2.4GHz射頻協議，包括低功耗藍牙(Bluetooth Low Energy)、藍牙mesh、Matter、OpenThread和Zigbee。它是網狀物聯網無線應用的理想選擇，如智能家居、照明和樓宇自動化。這個緊湊的開發平臺為智能和機器學習開發提供了簡單、省時的路徑。

SoC正在運行TensorFlowLite for Microcontrollers軟件，該軟件使ML推斷模型能夠在微控制器和其他具有小內存的低功耗設備上運行。它使用了Silicon Labs Gecko軟件開發工具包（SDK）中的CMSIS-NN庫中的優化神經網絡內核。

測試結果

MLPerf?Tiny v1.0基準測試結果突出了Silicon Labs EFR32MG24平臺片上加速器的效率。推理計算從主CPU上卸載，允許它執行其他任務，甚至將其置于睡眠模式，以進一步節省電力。

這對于滿足ML增強的低功耗無線物聯網解決方案日益增長的需求至關重要，允許設備在一個硬幣電池上運作長達十年。這些最新結果表明，與之前Tiny v0.7結果中的其他基準ML模型相比，速度提高了1.5到2倍，能耗降低了40-80%。

隨著機器學習在嵌入式物聯網應用中得到越來越廣泛的應用，這種以低功耗運行推理的能力是必不可少的，這將使產品設計師能夠在新的用例和不同的設備中應用機器學習。