《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 設計應用 > ARM-Linux嵌入式語音終端
ARM-Linux嵌入式語音終端
來源:微型機與應用2011年第5期
李雄飛,黃 冰,梁 艷
(桂林電子科技大學 信息與通信學院,廣西 桂林 541004)
摘要: 基于ARM體系構架和嵌入式Linux操作系統構建了算法平臺的硬件和軟件結構,并在該平臺移植了G.729語音編解碼算法。通過對軟件優化設計以及采用基于ARM指令集的算法優化策略,對G.729編解碼器進行優化,提高了系統運行速度。
Abstract:
Key words :

摘  要: 基于ARM體系構架和嵌入式Linux操作系統構建了算法平臺的硬件和軟件結構,并在該平臺移植了G.729語音編解碼算法。通過對軟件優化設計以及采用基于ARM指令集的算法優化策略,對G.729編解碼器進行優化,提高了系統運行速度。
關鍵詞: ARM;嵌入式Linux;G.729;語音處理

 隨著互聯網的發展,基于網絡的多媒體通信越來越引起人們的關注。多媒體通信的基礎是語音通信,為此國際電信聯盟電信組(ITU-T)創立了G.711、G.723、G.729等多個語音編碼的標準,其中G.729以其較低的編解碼復雜度、較高的語音質量和很低的編解碼延時獲得了人們的青睞。G.729采用的是共軛結構的代數碼激勵線性預測算法CS-ACELP(Conjugate Structure Algebraic Code Excited Linear Prediction),這是一種基于CELP編碼模型的算法。由于G.729編碼器能夠實現高語音質量(MOS分4.1)和低算法延時,所以被廣泛應用于IP電話、移動通信、多媒體網絡等領域。
1 系統介紹
 本文所研究的嵌入式語音終端要求能夠實現點對點的實時語音通信,同時具有占用系統資源少、功耗低等特點。為了滿足設計要求,系統在基于ARM9內核硬件體系構架及嵌入式Linux操作系統平臺上移植了G.729編解碼算法。應用Linux操作系統多進程與多線程編程相結合的方法以及管道通信方式來提高系統運行效率。通過Linux多進程編程機制實現編碼模塊和解碼模塊的同步運行,在編解碼模塊內采用Linux多線程編程機制實現了關鍵數據緩沖區的保護和共享、調度網絡傳輸、音頻數據處理等功能的系統資源分配。
2 系統硬件構架
 本系統采用Mini2440開發板作為算法平臺, Mini2440是一款基于ARM9內核的開發板,它采用Samsung S3C2440作為微處理器,并采用專業穩定的CPU內核電源芯片和復位芯片來保證系統運行時的穩定性,最高主頻達到533 MHz。系統的硬件平臺結構如圖1所示。模擬音頻信號通過音頻接口UDA1341轉換成數字音頻信號后采用DMA方式交由S3C2440微處理器編碼,處理后的數據通過網絡接口與遠端嵌入式語音終端進行語音交互,也可以與計算機網絡的語音終端進行語音交互。系統使用觸摸屏為人機交互介質,基于qtopia軟件編寫用戶使用界面,控制軟件終端的運行。

3 系統軟件設計
 Mini2440開發板已經移植了基于Linux-2.6.32內核的嵌入式Linux操作系統,Linux操作系統能夠方便地構建交互性好、運行穩定、可擴展性強的專用通信設備。系統軟件設計主要分成三部分:(1)對源代碼進行去串行化操作,以便適應于遠程網絡傳輸;(2)是對算法進行優化,提高運行效率;(3)進行系統軟件設計以及優化,這是最重要的一步。系統軟件設計采用服務器—客戶端的模式,應用Linux多進程與多線程相結合的編程方法實現。軟件主要由兩個進程組成,即采樣—編碼—發送進程和接收—解碼—播放進程,系統通過這兩個進程實現點對點實時語音通信。在Linux環境下的項目開發中,一般使用GNU make工具來維護程序模塊關系和生成可執行文件,對G.729算法進行移植。由于采用多線程的編程方法,所以在Makefile文件中需要加入對線程庫的支持。
3.1 源代碼去串行化
 G.729采用的是共軛結構的代數碼激勵線性預測算法,這是一種基于CELP編碼模型的算法。編碼器對10 ms長的語音幀進行處理,逐幀地提取CELP模型參數(LP濾波器系數、自適應碼本和固定碼本索引和增益),然后對這些參數進行編碼和傳輸。在解碼器端,這些參數用來恢復激勵信號和合成濾波器參數,重建語音是使激勵信號通過線性預測(LP)濾波器濾波后得到的。
 ITU-T發布的G.729語音編碼器的源代碼在編碼完畢后進行了“串行化”的操作,使得經過G.729算法處理后的數據流文件看起來比處理前的語音數據更大,這對語音信號遠程網絡傳輸并沒有任何作用,因此不能直接應用于工程項目。ITU-T為了在標準化方針中進行丟幀隱藏測試,對語音編解碼器參考軟件的碼流格式一般要求為ITU-T G.192中規定的格式,即用16位的0x007F表示一個比特“0”,用0x0081表示一個比特“1”,每個幀頭會有同步字和包的長度。對于同步字,0x6B20表示該幀為壞幀,0x6B21表示該幀為好幀,這導致了編碼后數據的增大。
 解決上述問題的方法是去掉串行化代碼。在BITS.C文件中定義了4個函數:
 static void bit2byte(Word16 para,int bitlen,unsigned char*bits,int bitpos);
 static Word16 byte2bit(int bitlen,unsigned char *bits,int bitpos);
 void prm2bits_ld8k(int prm[],INT16 bits[]);
 void bits2prm_ld8k(INT16 bits[],int prm[]);
 這個文件就是編碼后流文件大小沒有變化的關鍵所在,對這4個函數進行改寫就可以得到壓縮后的流文件,這樣標準的ITU-T的G.729語音編碼器和解碼器就基本可以達到1:16的編碼效率。
3.2 程序設計方案
 系統軟件設計采用服務器/客戶端的模式,結合Linux多線程的編程方法,使整個系統能夠流暢地實現多用戶的接入和切換。在系統中使用IP地址作為服務器的編號,用來區分來自于不同用戶的呼叫,軟件啟動后以服務器的形式在內存中運行,等待用戶輸入或者遠程用戶的接入,通信結束后重新返回此處等待。軟件主要由兩個進程組成,在進程之間采用Linux管道技術實現通信和數據傳遞,在線程之間采用互斥鎖的機制對關鍵數據進行保護和實現線程之間的同步,以保證系統的平穩、流暢運行。系統軟件流程如圖2所示。在主進程采樣—編碼—發送進程中創建接收—解碼—播放子進程,然后交由Linux操作系統進行調度。在兩個進程交互執行的過程中,采用Linux管道通信的機制進行數據傳遞,同時使用Linux信號(signal)實現進行間的同步。如在語音通信中子進程接收—解碼—播放進程與遠端語音終端網絡連接好以后將會發送一個同步信號給正在等待的主進程。

 ………
 int  client_ready = 0;
 ………
 //進程間同步
 client_fd=accept(server_fd,(struct sockaddr*)&client_addr,                &sin_size);
 printf("accept a new client\n");
 client_ready = 1;
 mysigval.sival_int=real;
 sigqueue(server_pid,SIGTERM,mysigval);
 ………
 使用多線程編程方法實現進程中不同任務的同步運行,在主進程采樣—編碼—發送進程中,首先對編碼器進行初始化,然后創建采樣和網絡發送線程。
    ………
    //創建子線程
    if(pthread_create(&thread_s,NULL,speechSample,NULL)) {
        printf("pthread_create failed.\n");
        exit(1);
    }
    if(pthread_create(&thread_s,NULL,streamServer,NULL)) {
        printf("pthread_create failed.\n");
        exit(1);
     }
    ………
 為了降低網絡發送線程的運行次數,在程序運行過程中對每20幀編碼后的數據進行tcp包封裝后發送,這樣既提高了軟件執行效率,又降低了程序的復雜度。由編碼主線程維護兩個緩沖區buf1和buf2,buf1緩沖區存放等待發送的20幀數據,buf2緩沖區存放編碼線程正在對其進行操作的后20幀數據,使用流水線方式,循環地把buf2的數據拷貝至buf1。在數據拷貝時采用線程互斥鎖對關鍵數據進行保護,對互斥鎖靜態賦值后使得在同一時刻僅有一個線程對這一部分關鍵數據進行操作。這樣避免了線程間競爭導致數據丟失,同時定義了data_move_ready旗語可以實現線程之間同步。
    ………
    data_move_ready=0;
    ………
    //線程間同步
    pthread_mutex_unlock(&mutex);
    data_move_ready=1;
    memmove(buf1,buf2,buf_count);
    pthread_mutex_unlock(&mutex);
    ………
    經過以上設計,使得網絡數據的采集傳輸和編解碼算法之間的依賴性降低到最低,保證了數據在系統中的流暢性。軟件運行過程中,子進程接收—解碼—播放進程的執行機制與主進程采樣—編碼—發送進程的執行機制一樣,是主進程的一個逆過程。
4 編解碼器的優化
 G.729算法雖然有8 Kb/s的編碼速率,是編碼速率和合成語音質量綜合效率最優的壓縮算法之一,但是直接在ARM上運行的效率卻相當低,因此需要對算法進行優化,提高編解碼效率。編解碼器的優化主要采用代碼優化的方法,針對算法運算強度最大環節或函數,應用ARM指令集將該環節或函數重載,以實現對算法的優化。其次采用匯編語言的目的就是盡量避免ARM處理器流水線上的沖突,充分利用流水線的功能。
 根據語音編碼的特點,編解碼的函數都是由一些基本的加減乘除的簡單函數組織而成,G.729編碼器的運算工作主要集中在LSP矢量量化、自適應碼本搜索和固定碼本搜索環節。通過對算法具體分析可知,算法運算量主要集中在L_mac()、L_mult()、L_add()、Sature()及L_sub()這幾個函數。對這些函數進行優化時可以將其定義為內聯函數,當該類函數被調用時,編譯器自動在目標代碼段展開該類函數,省去頻繁調用函數的開銷。G.729算法中包含大量的char和short類型變量,而32位定點ARM編譯器在每次存儲char和short類型變量時需要額外操作,如果將char和short類型局部變量改為int和unsigned int類型則會大大降低算法的運算量。大量的if語句判斷增加了系統中跳轉指令,影響了流水線的流暢性,所以盡量減少跳轉指令的使用,通過填入其他非相關指令實現合理利用流水線的目的。
 本文提出采用Linux多進程與多線程相結合的設計方案,并根據ARM處理器的特點,進行了系統性能的優化。系統延時為一幀數據處理時間和20幀數據Tcp封裝時間,即10 ms+20×10 ms=210 ms,在算法處理過程中沒有數據堆積,語音處理結果完全達到了預期效果。
參考文獻
[1] 姚天任.數字語音處理[M].武漢:華中科技大學出版社,2007.
[2] ITU-T. Recommendation G. 729-Anneb B A silence scheme for G. 729 optimized for terminals conforming to Recommendation V7.0[S]. Geneva: ITU, 1994.
[3] WU Chienhsuan, Huang Chinyu, Chang Junru. Applation-specific RISC achitecture for ITU-T G.729 decoding processing[M]. IEEE, 2006.
[4] 杜春雷.ARM體系結構與編程[M].北京:清華大學出版社,2003.
[5] 吳海濤.G.729語音編碼算法實現方法研究及DSP實現[J].哈爾濱理工大學學報,2005(6).

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
久久国内精品视频| 亚洲香蕉成视频在线观看| 亚洲精品视频在线看| 激情久久综合| 国产一区二区你懂的| 国产精品视频一| 欧美三区美女| 欧美日韩1区| 欧美精品久久久久久久久久| 免费91麻豆精品国产自产在线观看| 欧美一级成年大片在线观看| 午夜视频一区在线观看| 午夜精品久久久久久久99水蜜桃 | 亚洲一二三区精品| 亚洲最新合集| 亚洲视频一区二区| 中国女人久久久| 亚洲伦理在线观看| 一区二区冒白浆视频| aa级大片欧美三级| 亚洲视频1区2区| 亚洲天堂久久| 亚洲永久免费精品| 亚洲欧美日韩国产中文在线| 亚洲欧美国内爽妇网| 欧美在线免费观看视频| 亚洲风情在线资源站| 亚洲国产天堂网精品网站| 亚洲国产视频一区二区| 日韩午夜电影av| 国产精品99久久久久久白浆小说| 亚洲一区国产视频| 久久爱91午夜羞羞| 老色鬼久久亚洲一区二区| 美女任你摸久久| 欧美成人自拍视频| 欧美日韩国内| 国产精品久久久久久超碰| 国产午夜精品久久久久久久| 精品88久久久久88久久久| 亚洲福利精品| 一区二区三区精品在线 | 香蕉成人久久| 亚洲国产欧美另类丝袜| 一区二区高清在线观看| 亚洲欧美一区二区三区极速播放 | 亚洲二区视频| 99这里有精品| 亚洲欧美欧美一区二区三区| 久久精品噜噜噜成人av农村| 老司机午夜精品视频| 欧美破处大片在线视频| 国产精品欧美日韩久久| 国内自拍视频一区二区三区 | 亚洲一区二区三区在线播放| 欧美中文在线视频| 99国产精品久久| 欧美一区二区在线看| 免费中文日韩| 国产精品成人观看视频免费| 国模吧视频一区| 日韩一级片网址| 先锋影音网一区二区| 亚洲人午夜精品免费| 亚洲永久免费精品| 久久综合狠狠综合久久综合88| 欧美日韩你懂的| 国产一区二区按摩在线观看| 日韩视频精品在线| 欧美中文在线视频| 亚洲图片欧美一区| 久久综合久久综合九色| 国产精品家庭影院| 亚洲国产精品尤物yw在线观看| 亚洲午夜视频在线观看| 亚洲国产日韩欧美在线99| 亚洲在线日韩| 欧美不卡激情三级在线观看| 国产精品美女久久福利网站| 亚洲国产精品成人va在线观看| 亚洲一区二区在线| 亚洲美女区一区| 久久久久久国产精品mv| 欧美视频一区在线| 亚洲国产精品一区二区第四页av | 亚洲欧美激情视频在线观看一区二区三区| 久久久久久亚洲综合影院红桃 | 久久久精品国产免费观看同学| 欧美日韩福利在线观看| 国内外成人免费激情在线视频| 中日韩视频在线观看| 亚洲精品日韩在线观看| 久久精品视频99| 国产精品啊啊啊| 日韩特黄影片| 亚洲精品一区二区三区av| 久久亚洲国产精品日日av夜夜| 国产精品视频一区二区三区| 亚洲免费大片| 亚洲日本成人女熟在线观看| 久久国产免费| 国产精品一国产精品k频道56| 亚洲人成欧美中文字幕| 亚洲国产精品女人久久久| 久久精品中文| 国产手机视频一区二区| 亚洲一级电影| 亚洲欧美另类在线观看| 国产精品v欧美精品∨日韩| 99国产精品久久久久久久久久| 亚洲伦理精品| 欧美另类99xxxxx| 亚洲人成人99网站| 亚洲精品乱码久久久久久蜜桃91 | 免费成人av| 伊人激情综合| 亚洲成色www8888| 久久久青草婷婷精品综合日韩| 国产日韩一区二区三区| 午夜精品久久| 欧美在线视频一区| 国产亚洲人成a一在线v站| 欧美在线二区| 久久综合中文字幕| 在线观看日韩专区| 亚洲精品日韩综合观看成人91| 蜜桃av噜噜一区| 亚洲福利av| 亚洲美女福利视频网站| 欧美人成在线| 夜夜嗨av一区二区三区网页| 亚洲少妇最新在线视频| 国产精品xvideos88| 亚洲一区黄色| 欧美一区二区三区在线| 国产亚洲人成网站在线观看 | 久久高清国产| 麻豆freexxxx性91精品| 亚洲第一毛片| 日韩视频永久免费| 欧美日韩免费观看一区| aaa亚洲精品一二三区| 午夜精品亚洲| 国产一区二区三区久久精品| 亚洲电影视频在线| 欧美精品自拍偷拍动漫精品| 亚洲精品一区久久久久久| 亚洲一区二区动漫| 国产精品五区| 亚洲电影激情视频网站| 欧美高清在线观看| 一本久道久久综合狠狠爱| 欧美一级大片在线观看| 国语自产精品视频在线看一大j8| 亚洲国产裸拍裸体视频在线观看乱了| 欧美福利视频在线| 一区二区电影免费观看| 欧美制服丝袜| 亚洲电影下载| 亚洲欧美日韩第一区| 韩国三级在线一区| 一区二区欧美在线观看| 国产精品视频男人的天堂| 久久精品av麻豆的观看方式| 欧美另类综合| 欧美亚洲在线播放| 欧美激情免费在线| 亚洲主播在线观看| 嫩草影视亚洲| 亚洲天堂av在线免费| 久久精品一区二区国产| 亚洲国产一成人久久精品| 午夜国产精品影院在线观看 | 亚洲国产精品久久人人爱蜜臀 | 久久久不卡网国产精品一区| 亚洲国产一区二区精品专区| 亚洲欧美日韩在线高清直播| 狠狠入ady亚洲精品| 在线亚洲观看| 国产视频亚洲| 一本久道久久久| 国产嫩草一区二区三区在线观看| 亚洲破处大片| 国产农村妇女精品一二区| 日韩写真视频在线观看| 国产区二精品视| 一区二区三区三区在线| 国内精品亚洲| 亚洲欧美日韩国产中文| 1000部精品久久久久久久久| 亚洲欧美日韩国产| 亚洲高清在线观看| 欧美在线免费播放| 亚洲精品影院| 久久夜色精品| 亚洲午夜国产一区99re久久| 欧美国产视频一区二区| 欧美一区视频| 国产精品久久久久影院色老大 | 欧美日本国产精品|