《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > 基于Android的MJPEG網絡攝像機設計
基于Android的MJPEG網絡攝像機設計
單片機與嵌入式系統,重慶郵電大學
陳家佳,姚俊
摘要: 針對智能家居場景需求,設計了基于ARM9處理器Linux操作系統的網絡攝像機。深入研究了MJPEG視頻壓縮算法,闡述了算法實現過程,并設計出基于Android操作系統的3G手機網絡攝像機客戶端軟件。本系統通過實地安裝與測試達到了預期效果,突破了傳統網絡攝像機客戶端固定地域的限制,有良好的應用前景。
Abstract:
Key words :

1 系統硬件組成與網絡架構
攝像機硬件核心采用三星公司推出的基于ARM9架構的S3C2440A芯片,該處理器主頻達到400 MHz可以滿足實時壓縮,MJPEG視頻流可以達到320×240分辨率25 fps的性能要求。外圍搭配64 MB SDRAM、256 MBNAND Flash,網絡功能由DM9000以太網MAC控制芯片負責,攝像頭模塊由USB控制器控制,系統供電由3片LM71117組成,分別輸出3.3 V、1.8 V、1.25 V電壓,輔助外圍接口構成攝像機硬件結構。S3C2440A系統硬件框圖如圖1所示。

c.JPG


網絡攝像機是互聯網上的TCP/IP設備,系統網絡拓撲圖如圖2所示。其中在家庭區域內根據安防的特點在大門走廊、客廳內、陽臺區域分別布置攝像機,再由網線連接到路由器,配置路由器參數映射每個攝像機獨立端口與IP地址,即完成Internet接入。遠端由固定位置的PC機,移動位置的3G筆記本和隨身攜帶的3G Android手機組成,PC機可以通過WEB瀏覽器訪問與控制網絡攝像機,Android手機通過客戶端實現實時訪問。

c.JPG

2 系統軟件設計
2.1 網絡攝像機軟件設計
搭建攝像機需要Linux系統環境,首先移植Bootloader,對Linux 2.6.32內核進行裁剪,加載Linux UVC(USB video device class)驅動及相關驅動,將編譯好的Linux系統鏡像燒寫到ARM板Nand Flash中,對Bootloader沒置啟動引導地址,即完成軟件運行環境搭建。
分析網絡攝像機性能需求與拓展性,須滿足下列條件:
視頻監控實時性;
支持多客戶端同時連接;
圖像識別算法或預留接口;
功能模塊化滿足后期開發可擴展。
因此,采用多線程架構與互斥鎖機制來保證實時性、模塊化的思想設計代碼結構。軟件程序主流程如圖3所示。

d.JPG


其中主要實現如下功能。
①初始化Linux V4L2接口,必須按照V4L2標準結構初始化結構體,其中包括struct v412_capability cap;struct v412_format fmt;struct v412_buffer buf;struct v412_requestbuffers rb;struct v412_streamparm setfps。此外將視頻設備名、視頻寬度、視頻高度、幀率、視頻格式和抓取方法傳遞給函數init_videoIn(struct vdIn*vd,char*device,int width,intheight,int fps,int format,int grabmethod)實現初始化。值得注意的是眾多USB camera并不支持JPEG格式視頻流直接抓取,針對YUYV格式抓取卻有廣泛支持。后期進行圖像識別算法操作時直接分析YUYV原始圖像數據,將節省JPEG壓縮數據轉換為原始圖像數據的大量運算開銷,因此采用YUYV抓取模式。
②創建核心圖像處理線程。在該線程內實現:抓取功能。
UVC設備單幀抓取,uvcGrab(struct vdIn*vd)函數實現單幀YUYV格式的原始圖像拷貝到內存,采用高效的mmap內存映射方法讀取;
JPEG核心算法實現,JPEG壓縮算法占用大量CPU時間,下一小節將詳細討論。
③創建套接字接口。為實現多用戶同時連接網絡攝像機,必須采用socket服務線程,每當有新用戶連接同時產生一個新線程與之對應,實現多用戶端同步監控。
④搭建基于Web瀏覽器訪問方式的Web主頁。嵌入式設備資源有限,輕量級的Web Server主要有:Boa、Httpd、Thttpd等。本設計選用開源的Boa、交叉編譯Boa源碼配置boa.conf文件,配置系統etc自啟動shell加入Boa程序,將編寫HTML頁面文件放入系統中對應的www目錄后即可正常工作。
2.2 MJPEG壓縮算法研究與實現
MJPEG(Motion Joint Photographic Experts Group)視頻編碼格式,把運動的視頻序列作為連續的靜止圖像來處理,這種壓縮方式單獨完整地壓縮每一幀,編輯過程中可隨機存儲每一幀,可進行精確到幀的編輯。MJPEG單幀壓縮算法為JPEG(Joint Photographic Experts Group)。人眼視覺生理特性決定眼睛對構成圖像的不同頻率成分具有不同的敏感度。JPEG壓縮是有損壓縮,但損失的部分是人類視覺不容易察覺到的部分,利用眼睛對色彩域中的高頻信息部分不敏感的特點,節省大量需要處理的數據信息。一幀原始圖像數據對其進行JPEG算法編碼過程分兩大部分:
①空間冗余度,去除視覺上的多余信息;
②結構(靜態)冗余度,去除數據本身的多余信息。
JPEG編碼中主要涉及包括:DCT、zigzag編碼、量化、RLE編碼、范式Huffman編碼、DC(直流分量)的編碼。JPEG編碼流程如圖4所示。

e.JPG

DCT(Discrete Cosine Transform)變換,又稱離散余弦變換是可逆的、離散的正交變換。它將原始圖像色彩空問域轉換為頻譜域。由于相鄰兩點像素色彩很多是接近的,壓縮這些不需要的數據必須利用圖像信號的頻譜特性。JPEG壓縮原理的理論依據是圖像信號頻譜線大都分布在0~6 MHz范圍內,而且一幅圖像內大多數為低頻頻譜線,而高頻的譜線只占圖像比例很低的圖像邊緣或者細微紋理細節的信號時才出現。根據這一特性,在做數字圖像處理時對包含信息量大的低頻譜區域分配較多的比特數,相反的對于包含信息量低的高頻譜區域分配較少的比特數,達到圖像壓縮的目的,而圖像質量并沒有肉眼可察覺的降低。除了DCT變換,常用的變化算法還有:Walsh-Hadamard沃爾什哈達瑪變換、哈爾變換、傅氏變換等。
DCT變換公式為:
f.JPG
當u=v≠0時C(u)=1,C(v)=1。f(i,j)經過DCT變換之后,F(0,0)是直流系數,其他參數時為交流系數。經過DCT變換后一幅圖像的DCT系數塊集中在8×8矩陣的左上方,這里直流DC系數幅度最大,這一矩陣區域集中了圖像的大部分低頻頻譜分量,離矩陣左上角越遠的高頻頻譜幾乎不含圖像信息。變換過程本身雖然并不產生壓縮作用,但是變換后的頻率系數卻非常有利于碼率壓縮。
量化是對DCT系數的一個優化過程,利用了肉眼的高頻不敏感特性對數據進行大幅壓縮。整個過程是簡易的把頻率域的每個成份除以對應的常數,并對結果四舍五入取整,整個流程的目的是減少非零的系數以及增加零值系數數目。量化是有損運算,是圖像質量下降的主要因素。對于人眼對亮度與色差的敏感性不一致,分別使用亮度量化表與色度量化表。對量化后的數據采用zigzag蛇形編碼,這是因為交流分量中含有大量的零值,zigzag編碼可以產生更多連續的零值,對下一步使用行程編碼非常有利。
行程編碼(Run Length Coding)是一種根據相同數據連續重復多次的情況簡化表示的算法。例如,5555333333999按照行程編碼表示為(5,4)(3,6)(9,3)可以對數據,尤其是大量的零值壓縮數據長度。
編碼后的數據還須通過Huffman編碼來壓縮,Huffman編碼的最大特點是使出現頻率較高的數字小于8位,而出現頻率低的數字大于8位,這使得數據大幅壓縮。
到此數據的壓縮過程結束,對壓縮后的數據按照JPEG文件格式要求進行保存,加上文件開始標記Start Of Image=FFD8,文件結束標記End Of Image =FFD9,量化表標記Deftne Quanttzation Table=FFDB,霍夫曼編碼表標記Ddfine Huffman Table=FFC4,幀開始標記Star Of Frame=FFC0等標記,再加上圖片識別信息字節標記就最終形成完整的可用于傳輸或存儲的JPEG幀圖像,通過套接字接口不間斷地發送JPEG圖像即形成MJPEG視頻流。
為提高CPU效率,減少進程間切換產生的開銷,將壓縮算法函數集成到單一線程里。JPEG核心壓縮編碼函數MCUcode實現如下:
g.JPG
其中Y1、Y2、Y3、Y4對應水平排列的4像素亮度值,CB、CR是水平排列以2像素為1單位像素的色度值。

3 Android客戶端設計
Android是Google公司推出的針對移動設備的操作系統,底層采用Linux內核,應用程序采用類Java語言編寫,并運行于類JVM虛擬機的Dalvik虛擬機之上。該系統具有開放源碼免費授權的優勢,功能完善和成熟,已獲得廠商的廣泛支持和大量市場份額。eclipse IDE開發環境友善,因此選用Android系統作為物聯網攝像機客戶端開發平臺。

Android程序一般由多個Activity、Intent、Content Provider、Service等程序框架組成,其中最基礎的是Activity活動類,該類相當于軟件運行時的一個頁面,在頁面之上可添加各種控件,如button按鍵、ImageView圖片、Text boxes、Lists列表等。除此以外還負責監聽系統事件,負責啟動其他的Activity類。在多個Activity類之間跳轉就需要用到Intent類,Intent類有兩個重要部分:動作和動作對應的數據。常用的動作有MAIN、VIEW、PICK、EDIT等,動作數據則以URI形式表示。通過Intent類還能傳遞參數,作用類似鏈條串起Activity類,Activity類跳轉圖如圖5所示。

h.JPG


解析視頻流須先由網絡獲取數據流,實現的方法代碼如下:
i.JPG
需要注意的是,在AndroidManifest.xml文件中需加上</  uses-permission>語句,表示程序擁有網絡的完整訪問權限。獲取每幀數據后繼承AndroidSDK中提供的viewr.SurfaceView類與graphic s.Canvas類,將收到的完整幀圖像按隊列順序不間斷地顯示在視窗框架類中,對人眼視覺幀率超過5 fps時即有視頻效果,到25 fps即是電影流暢度。對丁定點定位監控,經過測試出于節省帶寬費用考慮設定5 fps即能滿足基本需求,10 fps是較為合理參數。將編譯后應用程序安裝到手機中,Android實時監控截圖如圖6所示。

b.JPG



結語
本文描述了網絡攝像機的軟件設計與MJPEG算法原理,結合Android移動技術,開發了整套系統;并實際應用于驗證系統,取得了良好結果。期望在后續工作中涉足圖像識別算法、物體追蹤算法、人體行為偵測算法等圖像領域,使網絡攝像機變得更智能。

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲五月六月| 亚洲高清在线播放| 激情婷婷亚洲| 国产综合香蕉五月婷在线| 国产精品一区二区在线观看不卡 | 亚洲第一在线视频| 午夜精品视频| 午夜精品久久| 亚洲资源av| 性xx色xx综合久久久xx| 新67194成人永久网站| 亚欧成人在线| 久久国内精品自在自线400部| 欧美亚洲综合久久| 久久成人免费电影| 亚洲国产高清aⅴ视频| 亚洲第一综合天堂另类专| 久久精品成人一区二区三区蜜臀| 久久精品一本久久99精品| 久久精品国产亚洲高清剧情介绍| 欧美在线视频一区二区| 久久精品国产99精品国产亚洲性色 | 亚洲性感美女99在线| 亚洲午夜精品在线| 亚洲欧美日韩在线不卡| 久久精品国产99国产精品澳门| 亚洲高清成人| 日韩亚洲国产欧美| 亚洲毛片av| 亚洲图片欧美日产| 欧美色播在线播放| 国产欧美一区二区三区久久人妖| 国产午夜精品久久久| 黄色成人av网站| 91久久线看在观草草青青| 日韩视频三区| 久久狠狠亚洲综合| 亚洲电影专区| 亚洲毛片播放| 亚洲欧美国产毛片在线| 久久aⅴ国产紧身牛仔裤| 久久狠狠亚洲综合| 欧美成人亚洲| 国产精品久久国产精品99gif| 国产日韩欧美二区| 有坂深雪在线一区| 日韩一级免费观看| 香蕉久久夜色| 亚洲乱亚洲高清| 亚洲欧美在线一区二区| 久热国产精品| 欧美视频中文一区二区三区在线观看| 国产精品亚洲片夜色在线| 狠狠色狠色综合曰曰| 99亚洲一区二区| 西西裸体人体做爰大胆久久久| 亚洲国产毛片完整版 | 欧美一区二区精品在线| 亚洲经典一区| 亚洲一区二区三区在线观看视频 | 久久久久这里只有精品| 欧美久久影院| 国产精品一卡二| 亚洲国产一区在线| 香蕉久久夜色| 亚洲午夜激情网站| 老司机免费视频一区二区| 国产精品国产三级国产 | 亚洲国产日韩欧美综合久久| 亚洲一区二区三区视频播放| 91久久午夜| 欧美一区二区三区四区视频| 欧美精品在线视频| 国产私拍一区| 日韩午夜av在线| 亚洲精品久久久久中文字幕欢迎你 | 国产精品狠色婷| 在线 亚洲欧美在线综合一区| 亚洲性视频h| 亚洲乱码国产乱码精品精可以看| 久久精品国产91精品亚洲| 欧美日韩在线三区| 国产欧美日韩一区二区三区| 欧美日韩一级黄| 永久免费视频成人| 午夜亚洲视频| 亚洲视频二区| 欧美成人一区二区在线| 国产精一区二区三区| 99亚洲一区二区| 亚洲人体一区| 久久免费偷拍视频| 国产精品日韩在线播放| 亚洲精品免费在线| 亚洲高清在线播放| 欧美专区第一页| 欧美美女bbbb| 亚洲第一福利社区| 欧美影院在线| 欧美影院成年免费版| 欧美视频在线免费看| 亚洲精品国偷自产在线99热| 亚洲福利在线观看| 欧美一级片在线播放| 欧美网站在线观看| 伊人婷婷久久| 久久gogo国模裸体人体| 欧美一级专区| 欧美性做爰毛片| 亚洲剧情一区二区| 亚洲精品午夜| 久久全国免费视频| 狠狠干综合网| 亚洲国产91精品在线观看| 久久美女性网| 韩国av一区二区三区四区| 欧美主播一区二区三区| 久久久av毛片精品| 国产亚洲欧洲997久久综合| 欧美一级播放| 久久久国产一区二区三区| 国产日韩欧美精品| 午夜精品久久久久影视| 欧美一区二区三区精品| 国产精品一区免费观看| 午夜精品影院在线观看| 欧美在线观看视频一区二区| 国产欧美一区二区三区另类精品| 亚洲欧美日韩另类| 欧美在线观看一二区| 国产欧美日韩在线 | 校园激情久久| 国产日韩综合| 久久精品国产精品亚洲综合 | 国模套图日韩精品一区二区| 午夜在线a亚洲v天堂网2018| 欧美一区二区视频观看视频| 国产乱子伦一区二区三区国色天香| 亚洲在线一区二区| 性做久久久久久免费观看欧美| 国产欧美日韩精品一区| 欧美中文字幕久久| 麻豆精品视频在线观看| 亚洲韩国一区二区三区| 日韩亚洲国产欧美| 亚洲国产精品va在线看黑人动漫 | 一本久久综合亚洲鲁鲁五月天| 欧美日韩国产综合视频在线观看 | 午夜日韩福利| 国产午夜精品久久久久久久| 亚洲第一伊人| 欧美欧美全黄| 亚洲免费小视频| 久久精品一区二区三区四区| 在线视频成人| 亚洲一区二区三区精品动漫| 国产欧美二区| 亚洲人成精品久久久久| 欧美日韩一级黄| 欧美亚洲尤物久久| 欧美国产日产韩国视频| 一区二区高清在线| 欧美在线短视频| 亚洲国产成人一区| 亚洲永久在线观看| 国产一区二区丝袜高跟鞋图片| 最新69国产成人精品视频免费| 欧美日韩和欧美的一区二区| 亚洲在线网站| 欧美成人激情视频| 亚洲一级特黄| 欧美国产精品日韩| 亚洲欧美制服中文字幕| 欧美成人精品不卡视频在线观看| 亚洲网友自拍| 欧美成人国产一区二区| 亚洲永久网站| 欧美电影免费| 午夜视频在线观看一区二区| 欧美激情亚洲国产| 欧美一区二区播放| 欧美日韩在线观看一区二区三区 | 国产精品一区在线观看| 亚洲毛片视频| 国产一区二区三区的电影 | 亚洲永久精品大片| 亚洲福利视频二区| 久久成人精品视频| 日韩视频在线一区二区三区| 久久久久久久久综合| 夜夜嗨av色一区二区不卡| 久久伊人亚洲| 亚洲伊人伊色伊影伊综合网| 欧美高清hd18日本| 欧美一区二区精品在线| 国产精品av免费在线观看 | 欧美日本亚洲韩国国产| 午夜精品一区二区三区四区 | 国产精品推荐精品| 日韩亚洲国产欧美|