摘 要： 結(jié)合SoPC技術(shù)裁剪靈活的特點(diǎn)和嵌入式Linux操作系統(tǒng)高性能多任務(wù)的特性，設(shè)計(jì)了基于Linux和輕量級(jí)圖形庫(kù)FTK的虛擬試妝系統(tǒng)。以帶MMU的Nios II處理器和Linux操作系統(tǒng)為基礎(chǔ)，采用自行設(shè)計(jì)的模塊實(shí)現(xiàn)影像采集和存儲(chǔ)，通過(guò)在觸摸屏上移植輕量級(jí)圖形庫(kù)FTK實(shí)現(xiàn)交互界面開發(fā)。最終實(shí)現(xiàn)了具有商品瀏覽、模擬化妝、真人上妝等功能的虛擬試妝系統(tǒng)。
關(guān)鍵詞： Linux；FTK；自定義控件；虛擬試妝
隨著社會(huì)的進(jìn)步，人們對(duì)自身形象愈加重視，化妝成為女性一門必修課。如何選擇合適的化妝品對(duì)于不少女性來(lái)說(shuō)是一項(xiàng)難題。近幾年針對(duì)該問(wèn)題提出了多種虛擬試妝解決方案。包括通過(guò)瀏覽器進(jìn)行本地與遠(yuǎn)程服務(wù)器交互方案及使用Visual C++開發(fā)上位機(jī)軟件[1]等。
以Altera公司的SoPC技術(shù)和Linux操作系統(tǒng)為基礎(chǔ)，設(shè)計(jì)了一款嵌入式虛擬試妝系統(tǒng)。該系統(tǒng)在SD卡中存儲(chǔ)信息，通過(guò)攝像頭采集用戶面部圖像，用戶可通過(guò)觸摸屏瀏覽、選擇商品對(duì)影像進(jìn)行上妝，并查看試妝效果，最終達(dá)到選購(gòu)化妝品的目的。系統(tǒng)具有體積小巧、方便易用等特點(diǎn)，適合于各種商場(chǎng)的化妝品柜臺(tái)。
1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)
系統(tǒng)以DE2-70為核心板，外接PS2鍵盤錄入信息，通過(guò)擴(kuò)展口分別接入LTM觸摸屏和D5M 500萬(wàn)像素?cái)z像頭。為使用Linux操作系統(tǒng)，構(gòu)建了基于帶MMU的Nios II處理器的SoPC。通過(guò)SDRAM運(yùn)行內(nèi)核和RAM文件系統(tǒng)，使用SSRAM作為顯示緩存，將硬件編程代碼燒入EPCS，而將壓縮的內(nèi)核、文件系統(tǒng)與引導(dǎo)代碼一起燒入Flash。系統(tǒng)采用Altera大學(xué)計(jì)劃IP中的PS2 Controller和Video IPs分別管理PS2接口和觸摸屏的顯示部分，自行編寫硬件模塊實(shí)現(xiàn)觸摸屏的配置、攝像頭采集和SSRAM多路復(fù)用。此外，系統(tǒng)還使用SPI模式管理SD/MMC卡以及第三方IP管理網(wǎng)絡(luò)物理芯片。系統(tǒng)結(jié)構(gòu)框圖如圖1所示。
2 系統(tǒng)硬件設(shè)計(jì)
2.1 運(yùn)行Linux的最小系統(tǒng)搭建
Linux操作系統(tǒng)對(duì)SoPC系統(tǒng)的構(gòu)建有特殊要求，包括帶MMU處理器設(shè)置、全功能定時(shí)器啟用、通信終端設(shè)定等。表1總結(jié)了基于Linux系統(tǒng)所需要添加的SoPC組件以及關(guān)鍵設(shè)置[2]。
2.2 影像采集和存儲(chǔ)方案設(shè)計(jì)
圖2所示為本系統(tǒng)使用的影像采集和存儲(chǔ)方案。在SoPC系統(tǒng)外，通過(guò)Cam_CFG_CAP模塊配置和采集攝像頭數(shù)據(jù)，經(jīng)由SSRAM_WRITE模塊合成指定格式數(shù)據(jù)并生成SSRAM寫時(shí)序送入SSRAM_2PORT進(jìn)行仲裁；SSRAM_2PORT既接收SSRAM_WRITE的數(shù)據(jù)寫入SSRAM的指定區(qū)域，又允許SSRAM Controller訪問(wèn)SSRAM獲取相應(yīng)數(shù)據(jù)。
(1)SSRAM_WRITE
該模塊分別提取Cam_CFG_CAP傳入RGB分量的高5、6、5 bit數(shù)據(jù)，拼接成16 bit數(shù)據(jù)，讀入兩個(gè)像素合成32 bit，同時(shí)生成對(duì)應(yīng)的21 bit SSRAM地址，將其傳遞給SSRAM_2PORT。
(2)SSRAM_2PORT
該模塊對(duì)來(lái)自SoPC系統(tǒng)的SSRAM控制器和SSRAM_WRITE的讀寫請(qǐng)求做出仲裁。在CPU讀請(qǐng)求有效期間，SSRAM_2PORT模塊讀取SSRAM中的數(shù)據(jù)發(fā)送給Avalon總線；超出讀請(qǐng)求有效期則接收SSRAM_WRITE模塊圖像數(shù)據(jù)寫入SSRAM。在該模塊中添加兩個(gè)DCFIFO分別作為實(shí)時(shí)圖像數(shù)據(jù)及其對(duì)應(yīng)地址的緩沖空間，實(shí)現(xiàn)不同時(shí)鐘域的數(shù)據(jù)同步。
3 系統(tǒng)軟件設(shè)計(jì)
3.1 開發(fā)包修改及內(nèi)核配置
系統(tǒng)采用NiosWiki社區(qū)發(fā)布的nios2-linux-20090929.tar內(nèi)核開發(fā)包作為軟件開發(fā)基礎(chǔ)。SoPC系統(tǒng)構(gòu)建好后，通過(guò)“sopc-create-header-files --single custom_fpga.h”生成自定義硬件對(duì)應(yīng)的C語(yǔ)言頭文件，將該文件拷貝到“nios-linux/linux-2.6/arch/nios/include/asm/”路徑中。開發(fā)包通過(guò)custom_fpga.h和nios.h兩個(gè)文件中的宏定義管理SoPC組件與Linux內(nèi)核驅(qū)動(dòng)代碼對(duì)設(shè)備的映射，同時(shí)通過(guò)config.c文件內(nèi)置了大量設(shè)備的驅(qū)動(dòng)支持，由內(nèi)核配置生成的config.h文件和nios.h以及custom_fpga.h共同控制。圖3所示為這三個(gè)文件之間的關(guān)系。
默認(rèn)的內(nèi)核開發(fā)包并不能直接使用，需針對(duì)本系統(tǒng)進(jìn)行移植修改，主要內(nèi)容如下：
(1)custom_fpga.h中的串口宏定義和config.c中使用的宏定義不同，將config.c中關(guān)于串口0的宏定義UART0_*改為UART_0_*。
(2)/dev/mmcblk* 系列設(shè)備的主設(shè)備號(hào)與注冊(cè)時(shí)不一致，導(dǎo)致掛載操作失敗，解決辦法是將"nios2-linuxuClinux-dist/vendor/Altera/nios2/device-table.txt"中關(guān)于mmcblk*的主設(shè)備號(hào)修改為179。
圖4所示為本系統(tǒng)進(jìn)行的內(nèi)核配置。
在所有配置中，需要特別注意以下幾點(diǎn)：
(1)內(nèi)核配置菜單中，需將默認(rèn)的“Nios II Configuration--->Nios II FPGA Configuration（MMU DEFAULT）”修改為“Nios II FPGA Configuration（CUSTOM_FPGA）”。
(2)為防止內(nèi)核解壓縮內(nèi)容覆蓋內(nèi)核壓縮文件，設(shè)置“Nios II Configuration--->Link address offset for booting”為0x00F00000。
3.2 應(yīng)用程序開發(fā)
3.2.1 圖形庫(kù)移植
FTK是Funny Tool Kit的縮寫，是一個(gè)專門為嵌入式系統(tǒng)開發(fā)的圖形庫(kù)，其核心代碼只有幾百KB，在傳統(tǒng)控件基礎(chǔ)上可開發(fā)自定義控件，具有主題設(shè)置功能[3]。FTK支持Linux系統(tǒng)，因此在發(fā)行版Linux操作系統(tǒng)上安裝FTK函數(shù)庫(kù)只需下載相應(yīng)代碼，編譯安裝即可。而Nios II平臺(tái)移植FTK需解決以下幾個(gè)問(wèn)題：
(1)Nios II平臺(tái)下png和jpeg編解碼函數(shù)庫(kù)無(wú)法使用，同時(shí)FTK的bmp解碼函數(shù)采用定義整形指針的方式，如“(*(unsigned int*)0x01000000)”對(duì)內(nèi)存進(jìn)行訪問(wèn)會(huì)觸發(fā)異常中斷。解決方法為移除FTK對(duì)png和jpeg格式的支持并修改ftk_image_bmp_decoder.c代碼，將4字節(jié)指針訪問(wèn)修改為4個(gè)單字節(jié)指針訪問(wèn)。
(2)Nios II平臺(tái)通過(guò)觸摸屏設(shè)備進(jìn)行人機(jī)交互。解決辦法：內(nèi)核開發(fā)包中開啟tslib函數(shù)庫(kù)而FTK源代碼進(jìn)行configure配置時(shí)添加“--enable-tslib”參數(shù)。
3.2.2 交互界面設(shè)計(jì)
虛擬試妝系統(tǒng)包含唇彩試妝和自由試妝兩大功能。在唇彩試妝功能中，用戶首先要選擇進(jìn)行試妝所需的唇部影像，然后用戶需手動(dòng)確定唇部區(qū)域，接著進(jìn)入商品挑選環(huán)節(jié)。自由試妝同樣也要經(jīng)歷以上步驟。圖5所示為試妝軟件功能界面劃分的思路及程序流程圖。
FTK界面開發(fā)包含以下幾部分工作：
(1)調(diào)用ftk_init進(jìn)行初始化。調(diào)用ftk_app_window_create函數(shù)創(chuàng)建窗口，設(shè)置控件的大小及位置；
(2)使用類似ftk_XXX_set_clicked_listener函數(shù)關(guān)聯(lián)控件和響應(yīng)函數(shù)。試妝系統(tǒng)每個(gè)功能下均有多個(gè)界面通過(guò)按鈕進(jìn)入，因此在響應(yīng)函數(shù)中需通過(guò)調(diào)用ftk_app_window_create或ftk_dialog_create創(chuàng)建新的界面；
(3)設(shè)計(jì)自定義控件，包括用戶瀏覽圖片控件、描唇控件等。
FTK應(yīng)用程序要在系統(tǒng)硬件平臺(tái)上運(yùn)行，RAM文件系統(tǒng)中至少需要具備四部分內(nèi)容：FTK動(dòng)態(tài)函數(shù)庫(kù)、tslib函數(shù)庫(kù)、FTK配置文件(字體、主題、輸入法)以及應(yīng)用程序。動(dòng)態(tài)函數(shù)庫(kù)在編譯后會(huì)出現(xiàn)在RAM文件系統(tǒng)的lib目錄中，而FTK配置文件需通過(guò)修改rc腳本使Linux內(nèi)核初始化完畢后從SD卡中拷貝到內(nèi)存中。圖6總結(jié)了FTK應(yīng)用程序在Nios II平臺(tái)上運(yùn)行必備條件及設(shè)置方法。
詳細(xì)介紹了本系統(tǒng)的硬件架構(gòu)和Linux開發(fā)方法，側(cè)重闡述了Linux系統(tǒng)運(yùn)行的最小SoPC系統(tǒng)搭建，利用Altera大學(xué)計(jì)劃IP構(gòu)建觸摸屏顯示子系統(tǒng)、攝像頭影像采集和存儲(chǔ)模塊的實(shí)現(xiàn)以及Linux內(nèi)核配置和應(yīng)用程序開發(fā)的重要細(xì)節(jié)。采用移植的FTK圖形庫(kù)完成虛擬試妝軟件編寫。實(shí)踐表明，該系統(tǒng)運(yùn)行穩(wěn)定流暢，效果良好。
參考文獻(xiàn)
[1] 祝秀萍，劉文峰，張海峰．人臉虛擬化妝系統(tǒng)的研究[J]．計(jì)算機(jī)與信息技術(shù)，2008(8)：38－42．
[2] Kyledunn．Creating a Nios II design with an MMU[EB/OL]．http://www.alterawiki.com/wiki/Creating_a_Nios_II_Design_with_an_MMU，2011．
[3] 李先靜．FTK開發(fā)者郵件列表[EB/OL]．https://groups.google.com/group/funnytoolkit，2011．