視頻處理算法的不斷改進使得人們可以在越來越低碼率的情況下獲得更高的處理質量。 這些好處也造就了更多的基于視頻處理的應用需求， 包括基于流媒體的機頂盒，數字視頻錄像機（DVR），數字視頻廣播（DVB），網絡監控攝像頭以及可視電話（videophone）等等。 這些應用共同之處在于它們都要求對視頻的處理，處理的方式包括對視頻數據的編碼和解碼，例如MJPEG, MPEG4,H.263以及目前相當受關注的H.264；或者實現對不同壓縮制式之間的轉碼（Transcode）。這些應用都要求主處理芯片有非常強的視頻處理功能。在對視頻質量要求不斷提高的同時，還要求整個設計實現保持很低的成本和功耗水平。

　　基于Blackfin的視頻應用系統

　　對于設計工程師們來說選擇一款合適的處理器來滿足視頻應用中日益提高的要求是一件挑戰性的任務。為滿足當前視頻應用的需求，處理器首先必須有足夠強大的視頻處理能力，尤其在實現基于MPEG4 及 H.264 這樣的復雜視頻處理算法的應用時。在這些高性能視頻應用中，通常數據運算量極大。PAL和NTSC電視信號分別為25幀/秒和30幀/秒，編解碼器需要每秒處理162000個宏塊(Macro Block)。在H.264的編解碼處理中要對每個宏塊進行整型變化和反整型變化,運動搜索，宏塊重構1。沒有經過深入優化的H.264 CIF大小編碼大約需要50,000萬到1000，000萬指令周期。

　　此外，隨之而來的困難還包括如何將豐富的系統應用層和復雜的音視處理模塊高度集成來實現低成本的解決方案。 傳統的方法是在系統中同時加入一個MCU和一個數字信號處理器。MCU用于實現系統控制及應用層，包括象網絡TCP\IP協議等各種協議棧。而DSP用來完成一些大數據量的運算，象H.264編解碼之類的視頻處理。在這種結構下，工程師在系統實現時不得不面對兩種不同的處理器，這使得系統的設計和調試都顯得不太容易。 并且一個多個處理器并存的系統很難滿足低成本和低功耗的苛刻要求。

　　不過讓工程師們覺得興奮的是，過去因為帶寬和處理能力的限制，只能在簡單音頻處理領域發揮作用的數字信號處理器，由于性能的不斷提高，也開始在復雜視頻應用領域大顯身手。如今，工程師們可以在一個單一的結構中，這里指的是一個單一的處理器，來實現包括系統應用層和視頻編解碼處理。例如Analog Devices Inc 推出的Blackfin系列媒體處理器。

　　Blackfin 處理器是一類專為滿足當今嵌入式音頻、視頻和通信應用的計算要求和功耗約束條件而設計的新型 16～32 位嵌入式處理器，如圖1。Blackfin 處理器基于由 ADI 和 Intel 公司聯合開發的微信號架構（MSA），它將一個 32 位 RISC 型指令集和雙 16 位乘法累加（MAC）信號處理功能與通用型微控制器所具有的易用性組合在了一起。 這種處理特征的組合使得 Blackfin 處理器能夠在信號處理和控制處理應用中均能發揮出色的作用 -- 在許多場合中免除了增設單獨的微控制器（MCU）的需要。該能力極大地簡化了硬件和軟件設計和實現難度。

圖1 ADSP-BF561系統結構示意圖

　　目前，Blackfin 處理器在產品中可提供高達 756MHz 的性能，還提供了低至 0.8V 的業界的功耗性能。

　　下面我們以IP視頻可視電話為例來看看采用Blackfin來設計實現基于IP的復雜視頻應用。

　　IP視頻電話產品應該不算是一個新的產品概念了。目前市面上有的IP視頻電話多采用H.263和H.264編解碼格式。對于一般的用戶，大多要求CIF（352x288）的分辨率，實時幀率為25或30幀每秒。但隨著視頻處理技術的不斷發展，在確保高質量實時視頻的同時，對網絡帶寬的需求可以大幅減少。H.264/AVC是ITU-T視頻編碼專家組和ISO/IEC運動圖像專家組聯合提出的一代的視頻編碼標準。在采用H.264格式時，在低碼率下，甚至64kbps 的碼率時也可以獲得高質量的音視頻。 H.264格式的視頻電話可以比H.263格式的視頻電話節省近一半的帶寬。所以新的IP視頻電話都將以H.264為標準格式。

　　作為單芯片方案，我們采用ADSP-BF561媒體處理器作為系統的核心處理器。 ADSP-BF561處理器是Blackfin 處理器系列中的新型對稱多處理器成員。ADSP-BF561內部有兩個高性能的MSA架構的Blackfin內核，提供有專用的視頻處理指令。此外還有多達328kbytes的片上高速內存。既可以很好的支持豐富的應用功能如GUI，SIP或H.323協議棧，還能夠完成復雜的音視頻編解碼處理，例如H.264單通道CIF的編解碼。硬件平臺的設計如圖2所示。系統中視頻數據的輸入輸出由兩個獨立的PPI承擔，Blackfin的PPI 端口能夠支持BT656兼容的視頻數據。音頻的輸入輸出由Blackfin?的Sport完成，Sport能夠支持標準的I2S和TDM傳輸模式。此外，可以通過外頻高至133MHz的異步總線接口上擴展以太網驅動芯片來提供高速的網絡傳輸。一些輔助的控制外設象紅外接口,可以由Blackfin提供的專門支持IrDA的Uart來支持。

圖2 基于ADSP-BF561的視頻可視電話系統結構

　　在系統軟件結構上，ADSP-BF561提供非對稱多處理（AMP）和對稱多處理（SMP）兩種不同的處理架構。工程師可以根據具體應用的情況選擇合適的處理架構。

　　在視頻可視電話的應用中,采用H.264的視頻編解碼格式，我們在前面也提到相對于H.263而言H.264算法的一些優勢，當然也顯而易見的是H.264對處理器的處理能力有著更為苛刻要求。因此在ADSP-BF561平臺上，采用如圖3所示的非對稱多處理架構。由CoreA獨立的完成H.264的編解碼及音頻的處理，CoreB則承擔所有應用層的任務,例如操作系統uclinux，圖型界面GUI，可視電話網絡協議H.323等等。容量高達128Kbytes的L2內部存儲單元可以用于雙核之間的數據交換和共享。

圖3 基于ADSP-BF561的非對稱多處理架構

　　在AMP的架構下，CoreA的資源可以由H.264編解碼器全部支配，可以極大的提高編解碼處理的效率。下面看看如何在ADSP-BF561上實現CIF分辨率的實時H.264編解碼處理。

　　要實現30fps的H.264實時編解碼要求對算法實現進行優化設計。優化主要分為算法結構優化，指令優化兩個主要部分。

　　算法結構優化的核心就是針對處理器架構的特點來選擇一種優化的存儲區分配管理和數據處理模式。

　　眾所周知，處理器內部存儲器的訪問速度比外部SDRAM的訪問速度要快很多。但嵌入式處理器的內部存儲空間通常比較小。雖然ADSP-BF561 有多達328kbytes的片上空間，可但相對于視頻處理對存儲空間的要求而言還是有限。怎樣分配和管理系統的存儲空間對處理效率有著很大的影響。對數據區來說，在H.264中，象VLC和VLD的查表數據因為訪問非常頻繁則應該放在處理器的內存中。對程序存儲區而言，算法的核心代碼例如整系數變換，運動搜索（ME），運動補償(MC), 內環的Loopfilter等等都分配到內部程序存儲區。對于無法放置到內部存儲區的部分代碼和大量的視頻數據則全部分配到外部的SDRAM中。同時為了提高對存放于SDRAM的數據和代碼的訪問速度，ADSP-BF561提供了一級緩存（Cache）來管理外部SDRAM存儲區。

　　此外，ADSP-BF561提供了多達3個DMA引擎并可以支持2D-DMA傳輸。有了DMA的支持系統可以在后臺完成大量的數據搬移。以幀為單位的視頻數據太大必須存儲在外部SDRAM中，這樣處理速度會受到SDRAM訪問速度的影響。但在H.264的處理中，就可以利用ADSP-BF561強大的DMA引擎，將算法的處理模式優化成按宏塊（Macro Block）進行處理。可以在每個MB處理前將相關MB的數據用DMA從外存搬到內部存儲器中。這樣每次MB處理的數據都是內存的訪問，可以顯著的提高視頻處理的速度。

　　對編解碼算法進行指令優化的挑戰就是如何盡可能的實現指令的并行處理。利用ADI提供的強大的程序優化器可以基于Blackfin?內核的特點進行指令優化，從而獲取對處理器內核處理單元的利用。ADSP-BF561的內核中除了兩個傳統的ALU處理單元，還集成4個針對視頻應用的8bit ALU。基于這種內核處理單元架構，Blackfin?提供了視頻處理指令來加速關鍵視頻處理模塊，比如整系數變換、ME等等。

　　在基于上述方法的優化后，工程師們可以輕松的在ADSP-BF561的一個單核上實現具有CIF分辨率，超過30幀每秒的H.264實時編解碼處理。

　　功耗和成本控制

　　如今，對于工程師而言，不僅要設計出滿足不斷出現的新需求的系統，更大的挑戰在于如何盡可能的降低設計成本和系統功耗而又不犧牲系統性能和功能。

　　降低成本的一個趨勢就是減少系統中芯片的數量，盡量做到單芯片或SOC解決方案。在類似上述IP視頻可視電話的應用中，因為要求同時承擔復雜的視頻處理和多種應用控制和協議處理。傳統方案中總是必須同時集成有DSP和MCU。在基于Blackfin的方案中則可實現單一處理器同時完成視頻處理和協議控制的功能。Blackfin特有的DSP及RISC融合的內核架構可以輕松的支持這類設計要求。

　　除了成本的要求外，功耗也是需要工程師們重點關注的。Blackfin系列處理器充分考慮了手持式應用對功耗的苛刻要求，在處理器內部提供動態電源管理模塊，借助該模塊可以根據當前工作的復雜度對工作頻率和工作電壓進行獨立的動態控制，從而達到降低功耗的目的。此外，Blackfin?還支持Full on, Active, Sleep，Deep Sleep, Hibernate等多種工作模式，使得系統在空閑狀態時可以有選擇的進入休眠狀態，在這種狀態下大部分的功能單元的供電將被斷開以減少不必要的功耗。

　　結論

　　對于設計實現一個低成本低功耗的復雜視頻應用系統，選擇合適的處理器對系統成敗是非常關鍵的。象Blackfin?這樣，將DSP強大的處理能力和RISC的MCU特性融合一體，可以很好支持操作系統和應用協議棧同時還能輕松完成象H.264這樣的復雜視頻應用的單芯片解決方案，無疑是開發者的一個很好的選擇。因為其成本和功耗也是非常有競爭力的。

　　參考文獻：

　　1. "Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T Rec. H.264/ISO/IEC 14 496-10 AVC," in Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG, JVTG050, 2003.

　　2. Analog Devices Inc.,ADSP-BF561 Blackfin Processor Hardware Reference,Rev0.1,July, 2006