在嵌入式開發中，人工智能(AI)在嵌入式計算中的到來導致了潛在解決方案的激增，這些解決方案旨在提供在高速率下對流視頻執行神經網絡推理所需的高性能。盡管ImageNet challenge等許多基準測試在相對較低的分辨率下工作，因此可以由許多嵌入式人工智能解決方案處理，但零售、醫療、安全和工業控制等領域的實際應用要求能夠處理分辨率高達4kp60或更高的視頻幀和圖像。

　　可擴展性至關重要，但對于提供主機處理器和神經加速器固定組合的片上系統(SoC)平臺來說，可擴展性并不總是一個選項。雖然它們通常提供了一種在原型制作期間評估不同形式的神經網絡的性能的方法，但這種一體化實現缺乏現實世界系統通常需要的粒度和可伸縮性。在這種情況下，工業級AI應用將受益于更加平衡的架構，其中異構處理器(如CPU、GPU)和加速器的組合在一個集成的管道中合作，不僅對原始視頻幀執行推理，還利用預處理和后處理來改善整體結果或處理格式轉換，以便能夠處理多種攝像機和傳感器類型。

　　典型的部署場景是智能攝像機和edge-AI設備。對于前者，要求將視覺處理和對神經網絡推理的支持集成到主相機板中。相機可能需要執行一些任務，如計算房間內的人數，并且如果對象進出視圖，能夠避免計算兩次。智能相機不僅要能夠識別人，還要能夠根據相機已經處理過的數據重新識別他們，以免重復計算。在嵌入式開發中，這需要一個靈活的圖像處理和推理管道，其中應用程序可以處理基本的對象識別以及復雜的基于推理的任務，如重新識別。

　　構建智能攝像機和邊緣人工智能設備

　　通常，在智能攝像機設計中，主機處理器將傳感器輸入轉換為適合推理的形式:將幀數據調整大小、裁剪和歸一化為適合高通量推理的形式。一個類似但更高度集成的用例是edge-AI設備。這需要從多個聯網的傳感器和攝像機獲取輸入，這要求能夠處理多個同時壓縮(或編碼)的視頻流。在這種多相機場景中，處理能力必須能夠擴展以處理執行推理所需的格式、色彩空間和其他轉換，并且還能夠處理多個并行推理。

　　雖然固定的基于SoC的實現處理特定的用例，但可擴展性需求指向根據需求調整平臺的能力，并隨著客戶需求的變化內置對可擴展性和升級的支持。因此，重點關注那些能夠輕松擴展硬件功能的平臺非常重要，這些平臺不需要因需要指定采用不同架構的設備而對代碼進行重大更改。很少有人能負擔得起這意味著的移植開銷。

　　許多嵌入式開發人員采用了恩智浦半導體和高通等廠商銷售的嵌入式處理平臺，因為它們提供了廣泛的性能、功能和價格選擇。例如，恩智浦i.MX應用處理器涵蓋了廣泛的性能需求。與固定SoC平臺不同，恩智浦處理器系列受益于供應商的長期支持和供應保證，這是許多嵌入式計算市場所必需的。i.MX 8M等設備為edge-AI設備需求提供了良好的基礎。其內置的視頻解碼加速使得在一個處理器上支持四個壓縮的1080p流成為可能。通過將i.MX應用處理器與Kinara的Ara-1加速器相結合，可以對多個流執行推理或處理復雜的模型。

　　運行多個模型的要求

　　每個加速器可以在每個幀上運行多個AI模型，切換時間為零，主機處理器上的負載為零，提供了實時執行復雜任務的能力。與一些依賴批處理多個幀來最大化吞吐量的推理管道相比，Ara-1針對批處理大小1和最大響應性進行了優化。

　　這意味著，如果加速器正在對另一幀或一幀的一部分執行推理，則智能攝像機設計不需要依賴主機處理器來執行重新識別算法。兩者都可以卸載到Ara-1上，以利用其更高的速度。在需要更高性能的情況下，例如在edge-AI設備中，不同的應用可能需要執行推理任務，可以并行使用多個加速器。

　　不僅支持智能攝像機或設備PCB上的芯片級集成，還支持插件升級，從而實現更高程度的可擴展性。在嵌入式開發中，對于芯片級集成，Ara-1支持工業標準和高帶寬PCIe接口，可輕松連接到集成了PCIe第三代接口的主機處理器。第二種集成方式是使用可以直接插入可升級主板的模塊，利用PCIe接口，并提供處理多達16個攝像頭輸入的能力。對于使用現成硬件的系統和原型，另一個選擇是利用對USB 3.2的內置支持。簡單的電纜連接提供了在筆記本電腦上測試人工智能算法的能力，使用硬件評估套件啟動生產，或對現有系統進行簡單升級。

　　無縫過渡的軟件基礎設施

　　開發人員可以選擇多種方法來簡化加速器與處理器及其相關軟件堆棧的集成。模型可以在運行時使用C++或越來越常見的Python應用程序編程接口(API)進行部署和管理，這些接口在Arm上的Linux環境或x86上的Windows環境中運行。Kinara的運行時API支持加載和卸載模型、傳遞模型輸入、接收推理數據以及完全控制推理和硬件設備的命令。

　　GStreamer環境提供了訪問加速器性能的另一種方式。在嵌入式開發中，作為一個為構建媒體處理組件的計算圖而設計的庫，GStreamer可以輕松地組裝過濾器管道，這些過濾器管道可以組裝到更復雜的應用程序中，這些應用程序可以對輸入視頻和傳感器饋送中不斷變化的情況做出反應。

　　對于人工智能推理，Kinara等SDK可以采用許多不同形式的訓練模型，包括TensorFlow、PyTorch、ONNX、Caffe2和MXNet，并為數百個模型提供直接支持，如YOLO、TFPose、EfficientNet以及transformer networks。這為通過量化優化性能提供了一個完整的環境，使用自動調整來確保模型準確性，并在運行時調度執行。有了這樣的平臺，就有可能提供對模型執行的洞察，以促進性能優化和參數調整。一個比特精度的模擬器可以讓工程師在部署到芯片之前評估性能。

　　總而言之， 隨著人工智能成為越來越多的嵌入式系統不可或缺的一部分，能夠將推理功能集成到廣泛的平臺中以滿足不斷發展的需求是非常重要的。在嵌入式開發中，這意味著能夠部署具有相關SDK的靈活加速器，以允許客戶將高級人工智能加速與現有或新的嵌入式系統相結合。