《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業界動態 > 一種基于屬性加權的代價敏感支持向量機算法

一種基于屬性加權的代價敏感支持向量機算法

2009-07-29
作者:戴元紅, 陳鴻昶, 胡海龍

??? 摘 要: 針對實際中存在的各類別樣本錯分造成不同危害程度的分類問題,提出了一種基于屬性加權的代價敏感支持向量機分類算法,即在計算各個樣本特征屬性對分類的重要度之后,對相應的屬性進行重要度加權,所得的數據用于訓練和測試代價敏感支持向量機。數值實驗的結果表明,該方法提高了誤分代價高的類別的分類精度,同時屬性重要度的引入提高了分類器的整體分類性能。該方法對錯分代價不對稱的數據分類問題具有重要的現實意義。
  關鍵詞: 屬性加權; 支持向量機; 代價敏感支持向量機

?

  SVM算法是一種專門研究小樣本情況下機器學習規律的理論,它能夠解決漸進理論所難于解決的過擬合、局部極小和泛化能力差等問題。這一新的機器學習方法表現出很多優于已有方法的性能,迅速引起各領域的關注和研究,并成功地引入到很多領域的應用中,取得了大量的應用研究成果。
  在SVM算法的研究中,提高它的分類能力是所有研究的宗旨和目的,很多學者提出了改進的支持向量機方法:給每一類樣本賦以不同權值的加權支持向量機算法WSVM(Weighted SVM)[1-2],對類別差異造成的影響進行相應的補償,提高了小類別樣本的分類精度,但影響了整體的分類性能;將模糊學引入了支持向量機,提出了模糊支持向量機算法FSVM(Fuzzy SVM)[3-4],減少野值和噪聲的影響;利用樣本的屬性重要度的支持向量機方法[5],給各個屬性設定相應的權值,提高了分類的精度。
  針對實際應用中各類別樣本錯分所造成的不同程度危害,提出了代價敏感支持向量機算法[6],該方法對支持向量機算法進行改進,將分類代價考慮進去,使得分類結果的代價最小,該方法對錯分代價不對稱的數據分類問題具有重要的現實意義,如網絡故障、網絡安全等。
1 支持向量機
  支持向量機的基本思想是對于給定的樣本集(xi,yi),xi∈Rn,yi∈{+1,-1},i=1,…,l,其中xi是n維空間中的向量,yi是xi所屬類的類別標識,尋找將兩類數據正確分開并使分類間隔最大的超平面,該超平面稱為最優超平面,分類情況如圖1所示。

?


  為了尋找最優超平面,需要求解下面的二次規劃問題:


  ???????????????????????????
其中,i>+b=0為所要求解的超平面,w是超平面的法向量,b是超平面的偏移量,C是懲罰因子,(w,xi)表示w和xi的點集,為了較準確地將兩類數據分開,使用映射Φ:X→H將x從輸入空間X映射到一高維的特征空間H。為便于計算,選擇一個核函數k(xi,xj)=<Φ(xi),Φ(xj)>用于特征空間中點積的運算。其Lagrange表達式為: 

    

  這是由Vapnik提出的第一種支持向量機,也被稱為C-SVM或標準支持向量機。
2 代價敏感支持向量機
  考慮兩類的分類問題,類別分別為C+和C-,假定C+的錯分代價大于C-的錯分代價。為了解決分類中的代價不對稱問題,將分類算法SVM進行改造,基本思想就是對C+錯分、C-錯分兩種錯誤分別引入不同的代價函數。這種方法等價于對誤分代價高的類使用更大的拉格朗日算子αi,從而使分類平面遠離C+,而靠近C-,使得未知數據被劃分為C+的概率更大,從而減小了分類中因錯分引起的損失。
  在支持向量機(SVM)中,原始問題為:
  

  在訓練過程中使用C+>C-,得到的分類器的決策平面靠近類別C-,使測試樣本更多地落在C+的區域中,從而減小C+類的樣本錯分的可能性,但也加大了C-類樣本被錯分的可能性。因此需尋找合適的參數,使得兩類樣本的分類結果都盡可能地達到最優。設兩類樣本的約束值的比值為:
  s=C+/C-
  s值通常使用窮舉的方法來確定,先固定C-的值為C,搜索最佳參數C+的值,使得分類的錯誤代價最小。
  代價敏感支持向量機的主要思想就是通過改變兩類的懲罰因子C+和C-的比值,使得分類面向遠離錯分代價高的一類的方向移動,從而使得樣本更大可能地被分為這一類,降低分類錯誤代價,但提高某一類樣本的分類正確率總是以犧牲另一類的分類正確率為代價的。
3 屬性的權值
  樣本屬性重要性的度量是屬性相關分析的主要內容,在模糊集和粗糙集理論方面有許多的研究。這里介紹常用的基于信息熵的屬性權值的計算方法[6]。
  設有數據樣本集合S,該樣本集有m個不同的屬性值和n個不同的類別,分別定義為Ai(i=1,…,m)和Cj(j=1,…,n),si為Ci中的樣本數。根據概率分布和聯合概率分布以及信息論中熵和條件熵的定義,對于一個給定的樣本分類問題所需的期望信息由下式給出:
  
  式中 pi是樣本屬于Cj的概率,其中 pi=si/s。
  設屬性A有v個不同值{a1,a2,…,av},屬性A可將樣本集S劃分為v個子集{s1,s2,…,sv},其中Sj為在屬性A上具有值ai,設sij為子集Sj中類Ci的樣本數。根據A的這種劃分的期望信息為:
    

  式中pij=sij/|sj|,|sj|是sj中樣本屬于類Ci的概率。
  在屬性A上該劃分獲得的信息增益為:
  δ=H(C)-E(A)
  根據上面的計算得到每個屬性的權重系數為:
  
  從分析中知道,該權重系數反應了樣本中各個屬性的重要程度,權重系數值越大則該屬性越重要,對分類的貢獻越大。
在確定了樣本屬性重要度后,就可以構造基于樣本屬性重要度的代價敏感支持向量機。
4 實驗結果
  本文利用MATLAB軟件進行模擬實驗,對+1類和-1類的分類性能進行比較,在三維空間中引入兩類不同的樣本:正類和負類,并引入了一定數量的噪聲和野值數據。為了驗證所提算法的有效性,利用所提算法進行了一系列比較實驗。在實驗中,模擬用的訓練樣本和測試樣本均隨機產生,樣本數據情況如表1所示。


  在實驗中考慮正類的錯分代價大于負類的錯分代價,分別用C-SVM、Cost-sensitive SVM和屬性加權的Cost-sensitive SVM進行性能測試,表2所示為分類準確率的比較。由表2可見代價敏感支持向量機分類算法提高了錯分代價高的類別的分類精度,在進行屬性加權后,總體的分類精度也得到了提高。


  本文在對支持向量機分析的基礎上,提出了對樣本屬性加權型的代價敏感加權支持向量機。數值實驗的結果表明,該方法能夠提高錯分代價敏感的類別的分類精度,同時整體的分類性能也得到了提高。但是如何確定代價系數仍然是一個需要解決的問題,也是筆者下一步要研究的方向。


參考文獻
[1]?范昕煒,杜樹新,吳鐵軍.可補償類別差異的加權支持向量機算法[J].中國圖像圖形學報,2003,8(7):1037-1042.
[2]?賈銀山,賈傳熒. 一種加權支持向量機分類算法[J].計算機工程,2005,10(5):35-39.
[3]?LIN C F, WANG S D. Fuzzy support vector machine [J].?IEEE Trans. On Neural Networks, 2002, 13(2):464-471.
[4]?陳小娟, 劉三陽. 一種新的模糊支持向量機算法[J].西安文理學院學報:自然科學版,2008,11(1):1-4.
[5]?汪延華,田盛豐. 樣本屬性重要度的支持向量機方法[J]. 北京交通大學學報,2007,10(5):43-46.
[6]?趙靖.基于SVM算法的垃圾郵件過濾研究與實現[D].北京:北京交通大學,2005.

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美成年人网站| 国产精品久久久久aaaa樱花| 亚洲午夜精品久久久久久app| 久久国产精品色婷婷| 亚洲一级片在线观看| 最近看过的日韩成人| 欧美不卡福利| 久久久中精品2020中文| 亚洲欧美日韩久久精品| 中文一区字幕| 日韩视频免费| 亚洲乱码精品一二三四区日韩在线| 亚洲电影自拍| 亚洲精品免费在线观看| 亚洲电影第三页| 极品少妇一区二区三区精品视频| 国产午夜精品久久| 国产欧美亚洲视频| 国产麻豆综合| 国产精品自拍视频| 国产精品一区二区在线观看| 国产精品久久看| 国产精品乱人伦中文| 国产精品国产三级国产aⅴ无密码 国产精品国产三级国产aⅴ入口 | 在线一区二区日韩| 在线午夜精品自拍| 正在播放亚洲一区| 亚洲综合精品四区| 欧美一区二区三区视频| 久久国产精品久久w女人spa| 狼狼综合久久久久综合网| 欧美成人午夜免费视在线看片 | 欧美日韩中文字幕在线| 国产精品久久久久久久久免费桃花 | 亚洲欧洲日韩女同| 日韩一级片网址| 亚洲你懂的在线视频| 欧美在线短视频| 亚洲国产欧美日韩| 一区二区三区 在线观看视| 亚洲国产精品v| 亚洲精品久久久久久下一站| 亚洲毛片在线观看.| 国产精品99久久不卡二区| 中文久久乱码一区二区| 亚洲制服av| 欧美一区二视频| 久久九九国产精品| 久久一区二区精品| 久久人人超碰| 欧美成人免费网站| 欧美另类videos死尸| 欧美日韩一区综合| 国产精品卡一卡二卡三| 国产精品日韩久久久久| 国产伦精品一区二区三区视频黑人 | 午夜精品久久| 午夜精品福利在线| 午夜一级在线看亚洲| 久久国产精品久久久久久电车 | 久久精品亚洲精品国产欧美kt∨| 午夜伦欧美伦电影理论片| 亚洲在线国产日韩欧美| 亚洲无限av看| 亚洲淫性视频| 久久免费视频观看| 免费日韩成人| 欧美私人网站| 国产手机视频一区二区| 精品成人a区在线观看| 91久久精品久久国产性色也91| 亚洲免费观看在线观看| 亚洲欧美日产图| 亚洲欧洲日韩女同| 在线亚洲伦理| 欧美一区二区三区在线观看视频| 久久免费视频这里只有精品| 欧美激情麻豆| 国产精品主播| 国精品一区二区| 一区二区亚洲精品| 亚洲精品国产精品国产自| 亚洲一区二区三区在线播放| 亚洲二区免费| 国产精品99久久不卡二区| 久久精品国产一区二区三 | 欧美一区二区三区四区在线观看地址 | 久久一日本道色综合久久| 欧美精品福利| 国产日韩精品一区观看| 一区二区在线看| 一区二区三区四区五区视频 | 亚洲国产视频a| 亚洲一区二区三区免费视频| 亚洲狠狠婷婷| 亚洲影院色无极综合| 久久久免费观看视频| 欧美日韩视频在线观看一区二区三区 | 欧美午夜精品久久久久久人妖 | 性欧美1819sex性高清| 日韩一区二区免费看| 亚洲欧美国产日韩天堂区| 欧美在线精品一区| 欧美不卡高清| 国产精品久久999| 在线观看一区| 欧美亚洲自偷自偷| 亚洲一卡久久| 欧美成人一区在线| 国产一区二区三区的电影 | 洋洋av久久久久久久一区| 久久国产精品电影| 亚洲欧美韩国| 欧美精品aa| 在线日韩欧美视频| 欧美一级艳片视频免费观看| 亚洲综合三区| 欧美日韩激情网| 亚洲黄色有码视频| 亚洲第一区中文99精品| 欧美亚洲三区| 国产精品欧美日韩| 亚洲国产日韩一区二区| 午夜在线精品| 亚洲欧美色一区| 欧美日韩国语| 亚洲激情在线视频| 亚洲激情影院| 麻豆精品91| 精品91视频| 久久精品成人欧美大片古装| 欧美一区亚洲| 国产精品中文在线| 亚洲伊人伊色伊影伊综合网| 99av国产精品欲麻豆| 老牛影视一区二区三区| 国产片一区二区| 亚洲欧美大片| 欧美影院在线| 国产日产高清欧美一区二区三区| 亚洲一区二区免费在线| 亚洲新中文字幕| 欧美视频在线免费| 日韩视频国产视频| 一区二区三区视频在线播放| 欧美日韩国产区| 日韩一区二区精品视频| 一区二区三区视频免费在线观看| 暖暖成人免费视频| 黄色成人小视频| 亚洲大胆人体视频| 巨胸喷奶水www久久久免费动漫| 狠狠色综合网站久久久久久久| 欧美在线999| 久久琪琪电影院| 国产综合久久久久久| 久久精品亚洲一区| 久久综合久久综合久久| 精品999在线播放| 亚洲日本无吗高清不卡| 欧美成人有码| 亚洲另类在线视频| 亚洲精品久久久蜜桃| 久久这里只有精品视频首页| 黄色一区二区三区| 最新日韩在线视频| 欧美日韩不卡一区| 一本色道久久99精品综合| 亚洲一区二区三区午夜| 国产精品夜夜夜一区二区三区尤| 欧美亚洲自偷自偷| 免费成人在线观看视频| 亚洲精品一区二区三区婷婷月 | 欧美视频1区| 午夜精品美女自拍福到在线| 久久精品一二三区| 亚洲福利专区| 中国成人黄色视屏| 国产精品一页| 亚洲福利在线观看| 免费欧美网站| 亚洲第一精品夜夜躁人人爽 | 久久综合成人精品亚洲另类欧美| 亚洲国产精品毛片| 亚洲校园激情| 欧美午夜激情小视频| 亚洲中无吗在线| 久久婷婷一区| 亚洲精品综合精品自拍| 欧美一区深夜视频| 在线电影院国产精品| 中国日韩欧美久久久久久久久| 国产精品视区| 亚洲国产欧美不卡在线观看| 欧美日韩一区二区三区四区在线观看| 亚洲女与黑人做爰| 女人天堂亚洲aⅴ在线观看| 妖精成人www高清在线观看| 欧美一级专区| 国语自产精品视频在线看一大j8|