2015年2月1日,來自中科院電子所、中科院微電子所、電子六所的等科研單位,華為、清華同方、大唐移動、展訊通信等知名企業,以及北京大學、北京航空航天大學、北京郵電大學、北京工業大學等高等院校的40余位視頻圖像處理愛好者和FPGA愛好者共聚一堂,參加了電子技術應用?Tech-Workshop之“FPGA與圖像處理技術研討會”,共同打造工程師的圈子生活。
本次研討會上,來自清華大學電子工程系的副教授喬飛博士、Xilinx渠道FAE經理張寧、NVIDIA高級客戶工程師雷昊、某CDN公司流媒體研發總監劉岐與聽眾分享了當前市場環境下圖像處理技術的最新發展趨勢以及FPGA在視頻圖像處理中的應用。
智能圖像處理硬件加速關鍵技術
圖 清華大學電子工程系的副教授喬飛博士
喬飛博士所在的iVip項目組的研究方向是iVip(Integrated Vision, Intelligent Perception),其部分工作涉及的正是面向智能圖像信號處理的硬件加速技術與實現。他指出,多媒體傳感器網絡已經成為未來的一個重要發展方向,無論在學術界還是工業界都得到了廣泛的應用。我們通過在圖像傳感器節點上附加處理能力,使其具備一定的智能處理或信息提取的功能,并以此來解決存儲密集型應用中單片FPGA處理能力不足的問題。此外,喬飛博士還以好奇號火星車、玉兔號月球車、當前市場上廣受關注的Google glass和未來會出現的接觸鏡為例,形象而生動的說明了智能圖像信號處理技術廣闊的應用前景。
面對這些應用場景,傳統的圖像和視頻感知設備存在多方面的問題,例如,數據處理能力不足以應對計算和存儲密集型應用、帶寬不夠、功耗過高、安全、隱私和數據完整性無法保障等。對此,智能傳感器圖像采集設備的解決辦法是將服務器端的信號處理能力與分布式智能節點的處理能力做均衡與劃分,要求智能采集設備具有一定的處理能力,從而大幅降低傳輸的信息量,同時,通過將傳感器和處理器集成在一起,可有效降低功耗與成本。喬飛博士表示,隨著CMOS工業的逐漸穩定以及VLSI技術和計算機視覺技術的日益成熟,智能傳感器圖像采集設備成為必然趨勢。
喬飛博士指出,針對不同的應用,在為智能圖像處理模塊選擇處理器時要考慮物理約束(尺寸、功耗、IO等)、設計約束(時間成本、金錢成本)、外圍電路的需求以及計算的約束(處理功耗、可編程性、軟硬件應用靈活性)。之后,他比較了市場上幾種智能圖像處理模塊的實現方式。其中,集成ARM處理器的實現方案其攝像頭只可做運動檢測和簡單特征的識別,集成SIMD處理器的實現方案功耗過高,相比這二者而言,基于FPGA實現的智能圖像處理模塊成為更佳的選擇。
最后,喬飛博士詳細介紹了基于FPGA的硬件加速實現的雙目立體視覺系統。基本原理是從兩個視點觀察同一場景,獲取不同視角下的圖像對,通過三角測量原理,匹配相應的像素點,計算視差,達到重構場景三維幾何信息的目的。可應用于機器人自主導航、航空和遙感測繪、工業自動化檢測、醫學成像和虛擬現實等領域。
Xilinx視頻圖像處理解決方案
圖 Xilinx渠道FAE經理張寧
與喬飛博士提出的“Smart Camera”不謀而合,Xilinx也早已提出“Smart Vision”的概念。張寧指出,無論是在汽車輔助駕駛ADAS、無人機UAV、安防監控還是機器視覺等應用領域,實時分析都已經成為一個主流的需求。同時,在顯示端,使用者也對顯示畫面提出超高清、3D或其他特殊顯示特性的需求。其中,Xilinx尤為關注實時智能分析、智能傳輸和情景式顯示。針對汽車、機器視覺、廣播與醫療、安防監控等不同的應用領域,Xilinx都提出了不同的應用關注點,以解決智能視頻各環節(包括建立連接、編碼、視頻處理、圖像處理、傳輸、安全等)出現的問題。
張寧稱Xilinx為智能視頻領域的領導者。他表示, Xilinx的28nm產品完美支持智能視頻圖像的處理與傳輸、顯示,在該領域,Xilinx擁有3500家客戶,Xilin為他們提供優化的解決方案,包括IP、工具和FPGA器件。
“為更好地支持Smart Vision,Xilinx努力做好兩方面的工作。一方面是SmartCore,基于Xilinx的IP、工具和器件;另一方面是軟件層面,即系統管理、控制與通信、視頻分析等工作。”張寧非常肯定地說:“相比ASICs和ASSPs,Xilinx的完全可編程解決方案要更加智能。”
手機平板上的Camera Tuning
圖 NVIDIA高級客戶工程師雷昊
雷昊的演講生動而形象,內容涉及Camera調優的方方面面,包括成像系統的基本結構、手機平板成像系統的特征、如何評價一個成像系統以及Camera Tuning的基本流程。
“一個Camera從硬件上來說由光學部件(鏡頭)、機械部件、圖像傳感器、圖像處理器和微控制器/應用處理器組成。”雷昊分析道:“而手機或平板上的Camera具有定焦(不可換鏡頭且鏡頭質量不高)、模組之間差異相對大、后焦距短、傳感器小、單位像素面積小的特點。”為了讓聽眾對手機或平板上的Camera有更深刻的了解,雷昊對單反相機和手機上常用的Medium Format、Full Frame、APS-H、APS-C、4/3、1‘’、1/1.63‘’、1/2.3‘’、1/3.2‘’等幾種規格的Camera做了參數與性能的對比。
雷昊指出,圖像的質量與鏡頭、傳感器、ISP算法緊密相關。評價圖像質量的基本客觀參數有清晰度、紋理細節、噪聲、動態范圍、色彩還原和鏡頭畸變。他表示:“一個完整的Camera Tuning流程,由驅動開發、挑選典型模組、基于典型模組生成基準的ISP參數、客觀標準測試、細調ISP參數使客觀測試結果最優、實際場景測試主觀效果和工廠校準多個環節組成。”最后,雷昊介紹了Camera Tuning的軟件和工具,包括Imatest和DxO Analyzer兩款Camera Tuning的常用軟件以及24-patch ColorChecker、18% gray card、DxO Checkerboard、DxO Dots target和Kodak Q-13/14幾款Camera Tuning涉及到的工具。
基于Linux的FFMPEG
圖 某CDN公司流媒體研發總監劉岐
劉岐就基于Linux的FFMPEG進行了深入剖析,向聽眾描述了FFMPEG實現的轉碼系統、流媒體直播與點播以及流媒體應用場景。
劉岐從FFMPEG的起源談起,所謂FFMPEG是一套由法國著名程序員Fabrice Bellard于2000年發起創建的開源項目,可以用來記錄、轉換數字音頻、視頻,并能將其轉化為流的開源計算機程序。應用該程序,工程師可進行編解碼、容器封裝解析、AVIO、音頻原始數據轉換(重采樣)、視頻原始數據轉換(色彩空間轉換)、音視頻處理(AVFilter)及后期處理(PostProc)。
“互聯網視頻可簡單的分為點播和直播,互聯網多媒體點播應用到的協議有RTMP和HTTP(HLS、HTTP+FLV、HDS),互聯網多媒體直播應用到的協議有HTTP。” 劉岐比較了這些協議的優缺點,并指出,FFMPEG均能對其提供良好的支持。
共同的興趣愛好使得現場的互動交流愉快而熱烈。至此,一場關于FPGA與圖像處理的盛會圓滿落下帷幕。下一站,《電子技術應用》將攜手汽車電子行業資深人士,于上海舉辦電子技術應用?Tech-Workshop之“新能源汽車充電技術”,繼續持力打造工程師的圈子生活!
workshop視頻觀看: