《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于Android的移動電子穩像系統的研究與實現
基于Android的移動電子穩像系統的研究與實現
來源:電子技術應用2013年第1期
丁 磊, 肖麗萍, 鄧杰航, 林小平
廣東工業大學 計算機學院, 廣東 廣州 510006
摘要: 利用基于Android操作系統的硬件平臺實現了移動電子穩像系統。該系統采用無需人工干預的灰度投影算法,通過行列投影、投影濾波和相關計算獲得運動補償量,根據補償量對視頻進行全局校正。對穩像前后幀的行、列投影及殘差圖像,分析表明,該系統穩像效果良好,且具有攜帶方便的特點,易于推廣到各類移動終端設備。
TP399
文獻標識碼: A
文章編號: 0258-7998(2013)01-0112-04
Research and realization of mobile video stabilization system based on Android
Ding Lei,Xiao Liping,Deng Jiehang, Lin Xiaoping
School of Computers, Guangdong University of Technology, Guangzhou 510006, China
Abstract: A mobile electronic video stabilization system is implemented. It runs on a hardware platform based on Android. This system applies a projection algorithm, which contains three parts: an image gray projection, projection filtering and correlation calculation, to compute the motion offset. According to the offset the video is stabilized at last. In experiments, the comparison of row and column projections between the original frame and the stabilized one, and the analysis of residual images show that the system works well and is easy-carried. It is easy to be extended to other mobile terminals.
Key words : mobile video stabilization; Android; motion estimation; projection algorithm

    對存在抖動的視頻進行高精度圖像拼接、運動目標檢測和跟蹤時,必需對視頻進行穩像處理。視頻的抖動是由于在拍攝時,手的抖動或攝像平臺的不規則運動都會引起視頻圖像序列產生模糊和抖動,嚴重影響了圖像信息的有效利用。穩像技術的目的就是要去除視頻中的抖動,使得視頻播放更連續、穩定。

    近年來,國內外學者在該領域做了大量的研究與努力,并取得了一定的成果。國外對電子穩像技術的研究起步較早,許多發達國家對電子穩像技術在軍事方面的應用進行了較為深入的研究,如美國、加拿大和俄羅斯等國家。美國馬里蘭大學(University of Maryland)主要在軍用穩像技術方面進行研究,開發出了多種穩像方法[1]。中國科學院長春光學精密機械與物理研究所趙紅穎[2]、鐘平[3]等人對電子穩像技術的基本原理和應用范圍進行了初步研究,對船載和機載攝像系統所獲取的圖像序列也進行了穩定的實驗研究,并取得了一定的效果。清華大學朱志剛、楊雨東等人通過采用基于多分辨率金字塔匹配方法的光流法來計算幀間運動矢量,并進行了電子穩像的實驗研究[4]。西安電子科技大學機電工程學院ICIE研究所朱娟娟、郭寶龍等人針對圖像序列的抖動,研究了攝像機的抖動和正常掃描這兩種運動的特點,提出了一種帶運動修正的投影穩像算法[5]。
     但是以上研究都是基于“攝像機—圖像采集卡—計算機”模式進行,存在攜帶不方便的缺點。張博等人研究并設計了基于FPGA的電子穩像專用平臺[6]。該穩像系統是一個專用的穩像系統,難于與目前大多數移動平臺整合在一起,不便推廣。本文根據實際應用中對實時移動電子穩像系統的需求,在以三星公司ARM芯片為核心技術的平板電腦SMDKV210上,基于通用的Android移動操作系統,采用無人工干預的灰度投影算法實現了移動電子穩像系統。
1 電子穩像系統的原理與算法
1.1電子穩像的基本原理
    電子穩像穩定是一個圖像序列,圖像序列的不穩定是由于幀與幀之間圖的像變化,并在圖像顯視器上顯示出來。基于這種分析,電子穩像所要處理的就是通過求出視頻序列中各幀之間的變化,然后以運動補償的方法去除這種變化,達到整個視頻序列穩定的目的。其原理如圖1所示。

    圖1(a)、圖1(b)分別表示當圖像序列沒有抖動時,當前幀B處圖像和參考幀A處圖像相匹配。但當攝像機固定時,由于攝像機載體的運動,導致參考幀中位置A處的圖像移動到了位置C處。在顯示器上觀察時,就會出現抖動現象,影響觀測效果。而電子穩像就是消除或減弱這種抖動現象,通過一定的運動估計算法,估算出A處圖像塊到C處圖像塊的位移和旋轉等參數,再通過運動補償算法,達到校正抖動的目的。
1.2 電子穩像系統的基本結構
    電子穩像系統基本結構如圖2 所示。系統的三個模塊中,圖像預處理模塊用于濾除圖像噪聲,提高整個系統對外界環境變化的穩定性;運動估計模塊是整個系統的核心,可以得到由于攝像平臺抖動而帶來的幀間全局運動矢量和目標物體的運動矢量;運動補償模塊是在運動估計的基礎上,利用前一幀對當前幀進行補償,采用不同的補償方式對最終輸出的圖像序列會產生不同的影響。

1.3 灰度投影算法
    傳統的塊匹配法[7]存在計算量大的問題,而且需設定目標的初始位置,增加了后續穩像的不確定因素。盡管不斷提出對塊匹配算法的改進,但仍然很難滿足實時性的要求。灰度投影算法[8](Projection Algorithm)充分利用了圖像總體灰度分布的變化規律,無需人工干預,只需要對圖像行列的投影曲線做一次相關運算,就能較準確地獲取當前幀相對于參考幀的運動矢量,大大降低了計算量,而且保證了較高的計算精度。灰度投影算法可分解成圖像灰度映射、投影濾波和相關計算三個主要的步驟。
1.3.1 圖像灰度映射[9]
     輸入圖像序列中的每一幀圖像經過預處理后,將初始的二維圖像信息映射成兩個獨立的一維信息。計算公式為:
     

2 基于Android移動電子穩像系統的實現
2.1 硬件平臺

    系統的硬件平臺為SMDKV210平板電腦。處理器型號ARMv7 Processor rev2(v71),單核;集成370 MB內存,2.5 GB SD卡;屏幕大小764×480像素;Android操作系統版本為4.0.3。上位機為Lenovo公司ThinkPad E40系列;Intel(R)酷睿i3處理器,主頻2.53 GHz;內存容量2 GB。操作系統UBUNTU 11.04(natty)。
2.2 Android的系統架構
    Android平臺[10]自底向上由以下4個層次組成:Linux內核層、Android運行時庫和其他庫層、應用框架層、應用程序層。
    (1)Linux內核層:Android系統基于Linux2.6內核,其核心系統服務(安全性、內存管理、進程管理、網路協議以及驅動模型)都依賴于Linux內核。
    (2)Android運行時庫和其他庫層:Android運行時庫包含一組核心庫(提供了Java語言核心庫內的大部分功能)和Dalvik虛擬機。同時Android提供了其他豐富的庫類支持。

    (3)應用框架層:Android系統開發的基礎,很多核心應用程序通過這一層來實現其核心功能。
   (4)應用程序層:Android平臺不僅僅是操作系統,也包含了許多應用程序,如SMS短信客戶端程序、電話撥號程序、圖片瀏覽器及Web瀏覽器等。
    通過使用 Android Eclipse 插件,可在Eclipse 環境中構建 Android 應用程序[11]。
    依次安裝Sun JDK 7,版本號:1.7.0_03;Eclipse IDE,版本號:3.7.2(indigo);Android SDK,版本號:r17;Android開發插件(ADT);Android NDK,版本號:android-ndk-r8。
2.3 移動電子穩像系統的軟件開發
    Android應用工程目錄下主要包含了src、jni、libs、res 4個文件夾和AndroidManifest.xml全局配置文件,project.properties工程屬性文件等。
    src文件夾下存放著Java應用程序,其中必須包含至少一個activity活動。本文中調用攝像頭捕捉幀視頻等工作都是在這里完成,工作流程圖如圖3所示。res文件夾是應用的資源文件夾(如圖片、xml文件等);libs文件夾包含成功編譯后的本地庫;jni文件夾內包含了應用中用到的C/C++穩像源代碼和NDK的編譯腳本Android.mk、Application.mk。這兩個腳本文件是由Makefile語言所寫,寫明了C++程序的編譯流程,在整個應用中起著至關重要的作用。穩像算法原理流程圖如圖4所示。

3 實驗結果與分析
    本文通過平板電腦上的攝像機采集視頻進行穩像處理。經過測試,其處理圖像的穩像速率達到了15.68 f/s,滿足了實時性的要求。
    為了驗證灰度投影算法在電子穩像中的效果,對連續的多幀圖像進行單子穩像仿真實驗。圖5、圖6分別反映的是穩像前后連續6幀圖像的行投影值曲線從圖中可以清楚地看到穩像前各幀圖像的行投影值曲線形狀接近,但位置在橫坐標方向上有較大的波動差異,而穩像后的行投影值曲線形狀和位置基本一致。說明本文的穩像處理算法能夠準確計算出每幀圖像的位移矢量,并根據位移矢量準確穩定圖像。

    為了進一步驗證本文穩像算法的準確性,針對參考幀與當前幀的殘差幀圖像的區別進行了分析。對參考幀與當前幀做差值運算,結果如圖7(a)所示,圖中標識1為參考幀圖像,標識2為目標公交車的輪廓,可以看出幀圖像的大致輪廓,這是由于車身的抖動,穩像前當前幀與參考幀之間存在位移的偏差。重合區域為黑色區域代表差值像素為零。圖7(b)為穩像后對應兩幀的殘差圖像,圖中標識3為目標公交車的輪廓。可見,經過穩像處理后,對應兩幀重合區域大。說明穩像效果較好。

 

 

    本文在研究各種電子穩像技術算法的基礎上,基于Android操作系統的移動硬件平臺,實現了移動電子穩像系統。該系統無需人工干預,采用灰度投影、運動補償算法進行穩像處理。穩像后的行列投影和殘差圖像分析表明,該系統在移動平臺上能夠進行穩像處理,其穩像速率達到了15.68 F/s。而且該系統攜帶方便,易于推廣到各類移動終端設備,并為推動穩像技術的應用和后續的視頻拼接,運動目標的識別、跟蹤等提供幫助。
參考文獻
[1] BALAKIRSKY S B, CHELLAPPA R. Performance charac terization of image stabilization algorithms[J]. Real-Time Imaging,1996(2):297-313.
[2] 趙紅穎,金宏,熊經武.電子穩像技術概述[J].光學精密工程,2001,9(4):353-359.
[3] 鐘平.機載電子穩像技術研究[D]. 長春:中國科學院長春光學精密機械與物理研究所,2004.
[4] 楊雨東, 徐光祐, 朱志剛. 2.5維數字圖像序列穩定方法[J].計算機學報,1988,21(z1):277-284.
[5] 朱娟娟,郭寶龍,馮宗哲.一種基于灰度投影算法的電子穩像方法[J].光子學報,2005,34(8):1266-1269.
[6] 張博,吳芝路,張欣宇.基于FPGA的電子穩像平臺的研究[J].電子技術應用,2004,30(5):56-60.
[7] 張國棟, 王明泉, 郭棟.基于灰度投影算法的實時電子穩像研究[J].微電子學與計算機,2010,27(10):53-56.
[8] 張國棟.基于電子穩像技術的視頻穩像研究[D].太原:中北大學,2010.
[9] 孫輝.快速灰度投影算法及其在電子穩像中的應用[J].光學精密工程,2007,15(3):412-416.
[10] 韓超, 梁泉. Android系統原理及開發要點詳解[M]. 北京:電子工業出版社,2009.
[11] Installing the Eclipse Piugin[EB/OL].[2012-09-10]. http://developer.android.com/sdk/instal-ling/installing-adt.html.

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲美女色禁图| 久久av红桃一区二区小说| 一区二区三区成人| 亚洲国产精品精华液网站| 国内精品国产成人| 国产色综合久久| 国产精品日韩一区二区三区| 欧美日韩在线看| 欧美日韩精品二区第二页| 欧美成人国产一区二区| 麻豆成人在线播放| 噜噜噜噜噜久久久久久91| 久久久999成人| 欧美在线亚洲综合一区| 欧美一进一出视频| 欧美一区二区三区成人| 午夜国产不卡在线观看视频| 亚洲一区日韩在线| 亚洲综合色激情五月| 亚洲影院免费观看| 午夜欧美精品| 久久高清免费观看| 久久精品国产免费看久久精品| 性久久久久久| 欧美一区影院| 久久免费视频在线观看| 久久久久一区二区三区四区| 久久精品日韩欧美| 久久美女性网| 欧美大片在线看免费观看| 欧美黄色日本| 欧美日韩一区二区三区高清| 国产精品成人播放| 国产精品网站在线播放| 国产午夜精品麻豆| 樱桃国产成人精品视频| 亚洲国产欧美一区二区三区久久| 亚洲国产一区二区三区在线播| 亚洲国产一区二区三区在线播| 亚洲人成在线免费观看| 99精品免费视频| 午夜精品久久| 91久久精品国产91久久性色tv| 99精品欧美一区| 亚洲免费伊人电影在线观看av| 小辣椒精品导航| 久久人人97超碰精品888| 久久综合网络一区二区| 欧美精品日韩综合在线| 国产精品男女猛烈高潮激情| 国产色综合网| 91久久国产综合久久| 一区二区三区不卡视频在线观看| 香蕉精品999视频一区二区 | 国产精品99久久久久久www| 亚洲一区二区视频| 亚洲第一福利在线观看| 亚洲另类春色国产| 亚洲欧美999| 麻豆成人综合网| 国产精品久久久久久户外露出| 国产一区久久| 亚洲国产精品久久久| 亚洲每日在线| 欧美一区免费| 日韩午夜在线电影| 欧美在线999| 欧美另类高清视频在线| 国产精品有限公司| 亚洲国产精品久久久久秋霞蜜臀 | 欧美成人激情视频免费观看| 欧美日韩亚洲一区二区三区在线| 国产精品日韩欧美大师| 亚洲高清av| 午夜视频精品| 一区二区欧美国产| 久久久久国色av免费观看性色| 欧美精品在线播放| 国产主播在线一区| 亚洲视频在线观看三级| 亚洲国产成人久久| 午夜精品久久久久久久久久久| 欧美成人亚洲| 国产日韩三区| 一区二区日韩免费看| 亚洲国产一成人久久精品| 性欧美在线看片a免费观看| 欧美激情第8页| 激情欧美一区| 亚洲综合导航| 亚洲一区二区在线看| 欧美大学生性色视频| 国产欧美日韩另类视频免费观看| 亚洲精品一区在线| 亚洲国产日韩欧美综合久久| 午夜亚洲精品| 欧美性一区二区| 亚洲人永久免费| 亚洲国产视频a| 久久久久九九视频| 国产精品美女一区二区在线观看| 亚洲黄网站黄| 亚洲福利在线观看| 久久久视频精品| 国产亚洲va综合人人澡精品| 亚洲天堂av在线免费观看| 一区二区不卡在线视频 午夜欧美不卡在| 久久综合伊人| 激情欧美一区二区| 欧美一区二区视频观看视频| 午夜久久99| 国产精品久久久久久久久久妞妞| 日韩视频在线观看国产| 日韩视频在线免费| 欧美激情a∨在线视频播放| 在线欧美小视频| 亚洲高清资源| 女仆av观看一区| 亚洲黄色成人久久久| 最新国产乱人伦偷精品免费网站| 久久综合国产精品| 在线电影国产精品| 亚洲国产日韩美| 欧美大片免费| 91久久香蕉国产日韩欧美9色 | 亚洲在线视频免费观看| 国产精品第一区| 亚洲少妇在线| 亚洲欧美激情一区二区| 国产精品免费网站在线观看| 亚洲一二三四久久| 欧美亚洲视频在线看网址| 国产精品性做久久久久久| 亚洲欧美日韩电影| 久久大香伊蕉在人线观看热2| 国产亚洲网站| 亚洲第一页自拍| 欧美二区在线看| 亚洲毛片播放| 亚洲欧美经典视频| 国产欧美一区二区三区沐欲 | 欧美在线首页| 免费成人黄色| 亚洲日本欧美天堂| 亚洲一区bb| 国产日韩精品久久久| 久久电影一区| 欧美国产视频在线观看| 亚洲精品一区二区在线观看| 亚洲一级二级| 国产日韩欧美在线播放不卡| 久久国产一区| 欧美激情中文字幕乱码免费| 一本大道久久精品懂色aⅴ| 亚洲综合色噜噜狠狠| 国产日韩欧美中文| 亚洲破处大片| 国产精品黄视频| 欧美在线亚洲在线| 欧美肥婆在线| 亚洲性xxxx| 久久在线观看视频| 日韩一级精品| 久久国产欧美日韩精品| 亚洲国产精品专区久久| 中文无字幕一区二区三区| 国产精品中文字幕欧美| 亚洲激情偷拍| 欧美手机在线| 欧美在线视频网站| 欧美日韩精品一区二区在线播放 | 久久国产精彩视频| 欧美日韩岛国| 香蕉尹人综合在线观看| 欧美高清日韩| 午夜精品久久久久久久99樱桃| 欧美成人精精品一区二区频| 亚洲一区二区精品在线观看| 久久免费午夜影院| 日韩视频精品在线观看| 久久狠狠婷婷| 日韩午夜av在线| 久久精品一区二区国产| aa国产精品| 蜜臀av在线播放一区二区三区| 一区二区欧美激情| 久久亚洲国产成人| 在线视频一区观看| 美日韩精品免费观看视频| 一区二区三区欧美成人| 免费视频一区二区三区在线观看| 亚洲在线电影| 欧美精品在线免费| 欧美一区二区三区电影在线观看| 欧美日韩在线观看一区二区| 亚洲成人资源| 国产精品中文字幕欧美| 一本色道久久综合亚洲二区三区| 韩国女主播一区二区三区| 亚洲一区二区视频|