早期嵌入式處理系統通常由一個微控制器和一系列外設構成。這些系統通常用來完成獲取少量數據、處理數據、做出決策、基于決策結果輸出信息等工作。在某些情況下會實現簡單的人機交互接口如讀取鍵盤并顯示結果。處理需求、同時產生需求，以現在的標準來看似乎微不足道。現代嵌入式系統通常需要處理和分析十億字節級的海量數據，而且常常在確定性和低延時運算上還有一些額外要求。許多應用還要求系統在滿足相關行業標準的同時可靠符合可靠性和安全性要求。
目前，似乎還不可能在單一處理器上同時滿足處理高帶寬數據、執行系統應用程序、響應實時請求并滿足行業安全標準。然而，多核異構芯片卻可以實現這些功能。這樣的設備具有多個處理單元，每一個單元都有能力負責處理一個或多個前述需求，我們稱這樣的設備為異構處理系統。
1 什么是異構多處理呢？
一個異構多處理系統由不同類型的多個單核心或多核心處理器構成，異構多核處理系統最簡單的形式是由一個多核處理器和GPU組成。然而，現代科技讓一顆芯片上的異構多處理系統包含以下模塊：
①多核應用處理器（Multicore Applications Processors）；
②多核圖形處理器（Multicore Graphics Processors；
③多核實時處理器（Multicore Real-Time Processors）；
④平臺管理單元（Platform Management Unit）；
⑤配置和安全系統（Configuration and Security Unit）；
⑥在FPGA可編程邏輯上實現特定多核處理器。
本文所引用的異構多核處理系統包括上述的多個分類。使用FPGA邏輯實現多核處理器的優勢是：它可以創建自定義特殊應用處理器，通過并行Pipes和多Pipeline stages來實現二維并行數據處理，使得在一個時鐘周期里可以完成大量的計算。
多核處理器可以設計用來執行通用計算或者是專用計算。和通用處理器執行相同功能相比較，專用計算在減小硅片封裝、提高單時鐘周期吞吐率、低功耗的同時能實現數據優化處理。
2 含可編程邏輯的異構處理系統演變
Xilinx在2002年推出了第一款帶PowerPC405應用處理器的FPGA，在接下來的FPGA里，Xilinx在單片內集成了更高性能的PowerPC單核或雙核處理器。不像現今產品代的器件處理系統是一個集成的ASSP（包含處理器、互聯、存儲控制器和外設），早期產品需要大量的FPGA資源將各部分資源連接在一起形成一個ASSP-like的解決方案。
2011年，Xilinx推出了Zynq-7000系列高集成度的器件，它集成了ARM Cortex-A9 MPCore處理器、互聯單元、內存控制器、外設以及基于Xilinx 7系列FPGA的可編程邏輯。有人肯能會認為Zynq-7000系列是第一代“異構多處理”系統，因為片上的可編程邏輯使得創建和使用專用處理單元成為現實。
3 含可編程邏輯的最新一代異構處理系統
2015年，Xilinx發布并且開始供貨新一代異構多處理器件Zynq UltraScale+ MPSoC。之前的器件集成了可編程邏輯和一個或多個應用處理器，Zynq UltraScale+ MPSoC器件集成了：
①多核應用處理器：四核ARM Cortex-A53應用處理器；
②多核圖形處理器：雙核ARM Mali-400圖形處理器；
③多核實時處理器：雙核ARM Cortex-R5實時處理器，可同步運行安全性要求苛刻的應用；
④平臺管理單元：一致性三冗余處理器用于power、錯誤管理和功能安全管理；
⑤配置和安全單元：一致性三冗余處理器用于系統配置和安全管理；
⑥FPGA可編程邏輯：用戶可編程邏輯用于定制處理器、處理單元和外設。
Zynq UltraScale+ MPSoC Block Diagram
多核應用處理器是傳統的用于通用計算的重負載處理器。這些處理器一般工作在SMP模式，運行一個Linux或Andriod操作系統，當然也支持虛擬管理運行多操作系統。
圖形處理單元是繼浮點運算單元之后最流行的協處理器。GPU從應用處理器分擔圖形處理負載，實現復雜的用戶界面和復雜的圖形渲染。對Andriod或Windows CE之類的操作系統而言，這些都是必須的基本功能。通用目的GPU（GPGPU）除了圖形處理，還可以勝任數據陣列通用計算。
實時處理器可以低延時響應事件，和應用處理器比較通常也更具確定性。在大多數情況下會運行支持低延時中斷處理和確定性應答的實時操作系統。在功能安全性應用中，實時處理器通常會運行在雙核鎖步模式下，這樣可以檢測雙處理器中一個處理器出現的錯誤。
平臺管理單元負責管理關鍵的系統功能和服務。這些功能包括系統錯誤處理、功耗管理和功能安全任務等。作為系統的心臟，該單元不容失敗。因此，這里使用了包含表決邏輯的三冗余處理器，這使得即使有一個處理器核發生錯誤事件，子系統也可以繼續運行。
配置和安全單元負責系統配置，包括加載處理器第一級Bootloader、可編程邏輯的配置bit stream，程序代碼和bit文件均有可選的加密認證和解密功能。配置和安全單元還可提供持續的安全監控，比如過壓或欠壓、低溫或高溫、試圖提取系統信息訪問等。
片上可編程邏輯為異構處理帶來了充分的靈活性。可以通過添加額外的現成的軟核來處理特殊應用的計算任務，也可以在不同層級添加多pipeline和多pipeline stage自定義軟核實現數據流的大規模并行處理。
4 異構多處理系統實例
機器人拾取和放置裝配線是一個很常見的機器視覺和控制應用實例，這個應用通常有以下基本功能：
①高分辨率相機視頻采集系統；
②包括亮度對比度調節、失真校正和消除死點等功能的視頻圖像處理；
③目標檢測和識別；
④標記組件在裝配中正確位置的算法決策；
⑤機器手臂運動路徑選擇；
⑥電機驅動控制；
⑦安全事件檢測和關機；
⑧用于狀態顯示和系統控制的圖形用戶界面；
⑨配置和安全管理。
上述的每一個功能都可能需要特定的處理能力，比如，讓通用處理器來處理實時HD圖像，處理器很容易就會負載過重無法在特定時間完成處理。
那么，就讓我們考慮使用這種異構多處理系統實現可能的解決方案。為了有助于更加形象的理解，Xilinx將會以Zynq UltraScale+ MPSoC控制機器人系統在平板電腦上玩紙牌游戲的例子來詮釋。系統的部分功能已經實現并在“Embedded World 2016”展會上展示。
4.1 視頻獲取和處理
1080P60視頻流要求3Gbps（373MB/s）的數據率，視頻流路徑上需要做的處理可能包括：亮度、對比度調節，白平衡，失真校正，死點剔除等。這些bit級處理用可編程邏輯完成非常高效，無需處理器太多參與。
4.2 目標檢測和識別
初始對象檢測通常需要掃描整幅圖像尋找類似細節目標輪廓之類的關鍵特征，這項功能一般由可編程邏輯實現。一旦目標被判定為疑似目標，那么就可能需要執行更為復雜的算法對目標進行更進一步的決策判定。應用處理器通常負責目標識別的下一級數據量變小但算法更加復雜的處理。
在這個機器人紙牌游戲案例中，所有的圖像都是通過可編程邏輯掃描，識別紙牌邊界和定位游戲紙牌，以及紙牌的排列和花色。隨著數據量明顯降低，紙牌排列和邊界圖像被遞交給應用處理器通過圖像識別算法來識別排列和花色。
4.3 算法決策
算法決策一般是很復雜的處理，通常通用應用處理器可以很好的完成。在我們的例子里， 新牌打出的時候觸發應用處理器計算新的關于牌的角色和運動可能的決策集。
4.4 運動路徑選擇
兩點之間，直線最短，這樣的路徑會導致目標在兩個端點之間發生沖突。運動路徑通常被分為多段，并且需要從傳統的笛卡爾坐標系中翻譯到機器人運行系統坐標系。在我們的多核異構系統中，這既可以通過應用處理器完成也可以通過實時處理器完成。
機器人紙牌游戲相對而言會比較簡單，因為在平板電腦上運動路徑沒有潛在的障礙物。我們在應用實例里選擇了Delt機器人，Delt機器人結構通常是三個并聯手臂連接到一個和受動器相關的通用關節執行器上。因此，受動器在3D笛卡爾坐標系中的運動必須翻譯成三個獨立馬達的運動矢量，在這個應用中所需的x,y,z坐標參數傳給實時處理器來計算三個機械手臂各自的運動路徑。
4.5 電機驅動控制
電機控制算法用于控制加速、正常運行和減速，對機械約束允許的最小運動時間進行優化，確保在加減速的過程中不會對部件造成損害，減小能量消耗等等。上述計算和運動驅動一起，通常都是通過實時處理器來實現，實時處理器在這些方面體現出卓越的性能，在我們的例子里也是如此。實時處理器工作在鎖步模式下來增加可靠性。
4.6 安全事件檢測和關機
安全事件可以是人進入機器人視野，而機器人可能會對人類造成傷害，能夠識別這一事件并且在一定程度上快速響應保護人類對系統而言至關重要。我們機器人紙牌運動員在其周圍構建了一個紅外線墻，當某一光束中斷，機器人的電源會馬上關閉，然后系統會立馬停止。在這個例子里，可以使用三冗余平臺管理單元，這個高度可靠的處理單元可以接收來自紅外線墻的輸入，在事件檢測時關閉機器人。
4.7 圖形用戶接口
圖形用戶接口（GUIs）通常運行在Linux操作系統上層，Linux支持從基本的窗口管理器擴展到完整桌面環境。
這個紙牌機器人系統需要顯示紙牌桌界面，實時預覽HD相機圖像，紙牌排列和花色檢測窗口顯示以及游戲狀態窗口等等。Ubuntu桌面環境提供了一個很好的平臺，在這上面前述內容都可以實現很好的顯示，并且可以通過這些用戶界面控制游戲。多核應用處理器是運行Linux和Ubuntu桌面的完美選擇，集成的多核GPU用于融合顯示2D、3D和視頻數據。
4.8 配置和安全
處理系統需要啟動操作系統和應用程序，可編程邏輯也需要配置。開發者越來越希望保護他們的代碼和知識產權核不被競爭對手和黑客獲取，因此代碼和配置數據的加密和驗證對確保代碼正確加載至關重要。一旦運行，系統就需要保護免受外界影響。
在這個例子里面，配置和安全單元在紙牌游戲運行之前執行驗證和解密代碼及配置數據。燒錄的E-Fuses可以保護配置和數據不能通過JTAG之類的接口回讀。
系統攻擊可能會導致信息泄露或者不正常的運行。這些攻擊可能包括過壓/欠壓或者是超高溫/超低溫等，這些攻擊可以被檢測到并按需鎖定系統。
5 總結
早期的嵌入式系統通常包含一個或幾個微處理器來處理包括用戶接口、數據采集、數據處理、外部控制和應用處理等各種各樣的功能。接下來的各代產品帶來更高性能的處理器、多核處理器、專用處理器和實時處理器。FPGA最初以膠合邏輯角色出現，隨著他們邏輯量變大，已經用于實現額外的外設、狀態機和大規模并行數據處理。最新一代Xilinx Zynq UltraScale+ MPSoC是一個單片異構多處理系統，它由多核應用處理器、多核圖形處理器、多核實時處理器 、一個平臺管理單元、一個配置和安全管理單元以及可實現多處理組件的編程邏輯組成。這樣的器件使得軟件和硬件都可以根據特定應用完全定制來充分滿足目標嵌入式應用的要求。