《電子技術應用》
您所在的位置:首頁 > 嵌入式技術 > 業(yè)界動態(tài) > 一種基于屬性加權的代價敏感支持向量機算法

一種基于屬性加權的代價敏感支持向量機算法

2009-07-29
作者:戴元紅, 陳鴻昶, 胡海龍

??? 摘 要: 針對實際中存在的各類別樣本錯分造成不同危害程度的分類問題,提出了一種基于屬性加權的代價敏感支持向量機分類算法,即在計算各個樣本特征屬性對分類的重要度之后,對相應的屬性進行重要度加權,所得的數據用于訓練和測試代價敏感支持向量機。數值實驗的結果表明,該方法提高了誤分代價高的類別的分類精度,同時屬性重要度的引入提高了分類器的整體分類性能。該方法對錯分代價不對稱的數據分類問題具有重要的現實意義。
  關鍵詞: 屬性加權; 支持向量機; 代價敏感支持向量機

?

  SVM算法是一種專門研究小樣本情況下機器學習規(guī)律的理論,它能夠解決漸進理論所難于解決的過擬合、局部極小和泛化能力差等問題。這一新的機器學習方法表現出很多優(yōu)于已有方法的性能,迅速引起各領域的關注和研究,并成功地引入到很多領域的應用中,取得了大量的應用研究成果。
  在SVM算法的研究中,提高它的分類能力是所有研究的宗旨和目的,很多學者提出了改進的支持向量機方法:給每一類樣本賦以不同權值的加權支持向量機算法WSVM(Weighted SVM)[1-2],對類別差異造成的影響進行相應的補償,提高了小類別樣本的分類精度,但影響了整體的分類性能;將模糊學引入了支持向量機,提出了模糊支持向量機算法FSVM(Fuzzy SVM)[3-4],減少野值和噪聲的影響;利用樣本的屬性重要度的支持向量機方法[5],給各個屬性設定相應的權值,提高了分類的精度。
  針對實際應用中各類別樣本錯分所造成的不同程度危害,提出了代價敏感支持向量機算法[6],該方法對支持向量機算法進行改進,將分類代價考慮進去,使得分類結果的代價最小,該方法對錯分代價不對稱的數據分類問題具有重要的現實意義,如網絡故障、網絡安全等。
1 支持向量機
  支持向量機的基本思想是對于給定的樣本集(xi,yi),xi∈Rn,yi∈{+1,-1},i=1,…,l,其中xi是n維空間中的向量,yi是xi所屬類的類別標識,尋找將兩類數據正確分開并使分類間隔最大的超平面,該超平面稱為最優(yōu)超平面,分類情況如圖1所示。

?


  為了尋找最優(yōu)超平面,需要求解下面的二次規(guī)劃問題:


  ???????????????????????????
其中,i>+b=0為所要求解的超平面,w是超平面的法向量,b是超平面的偏移量,C是懲罰因子,(w,xi)表示w和xi的點集,為了較準確地將兩類數據分開,使用映射Φ:X→H將x從輸入空間X映射到一高維的特征空間H。為便于計算,選擇一個核函數k(xi,xj)=<Φ(xi),Φ(xj)>用于特征空間中點積的運算。其Lagrange表達式為: 

    

  這是由Vapnik提出的第一種支持向量機,也被稱為C-SVM或標準支持向量機。
2 代價敏感支持向量機
  考慮兩類的分類問題,類別分別為C+和C-,假定C+的錯分代價大于C-的錯分代價。為了解決分類中的代價不對稱問題,將分類算法SVM進行改造,基本思想就是對C+錯分、C-錯分兩種錯誤分別引入不同的代價函數。這種方法等價于對誤分代價高的類使用更大的拉格朗日算子αi,從而使分類平面遠離C+,而靠近C-,使得未知數據被劃分為C+的概率更大,從而減小了分類中因錯分引起的損失。
  在支持向量機(SVM)中,原始問題為:
  

  在訓練過程中使用C+>C-,得到的分類器的決策平面靠近類別C-,使測試樣本更多地落在C+的區(qū)域中,從而減小C+類的樣本錯分的可能性,但也加大了C-類樣本被錯分的可能性。因此需尋找合適的參數,使得兩類樣本的分類結果都盡可能地達到最優(yōu)。設兩類樣本的約束值的比值為:
  s=C+/C-
  s值通常使用窮舉的方法來確定,先固定C-的值為C,搜索最佳參數C+的值,使得分類的錯誤代價最小。
  代價敏感支持向量機的主要思想就是通過改變兩類的懲罰因子C+和C-的比值,使得分類面向遠離錯分代價高的一類的方向移動,從而使得樣本更大可能地被分為這一類,降低分類錯誤代價,但提高某一類樣本的分類正確率總是以犧牲另一類的分類正確率為代價的。
3 屬性的權值
  樣本屬性重要性的度量是屬性相關分析的主要內容,在模糊集和粗糙集理論方面有許多的研究。這里介紹常用的基于信息熵的屬性權值的計算方法[6]。
  設有數據樣本集合S,該樣本集有m個不同的屬性值和n個不同的類別,分別定義為Ai(i=1,…,m)和Cj(j=1,…,n),si為Ci中的樣本數。根據概率分布和聯合概率分布以及信息論中熵和條件熵的定義,對于一個給定的樣本分類問題所需的期望信息由下式給出:
  
  式中 pi是樣本屬于Cj的概率,其中 pi=si/s。
  設屬性A有v個不同值{a1,a2,…,av},屬性A可將樣本集S劃分為v個子集{s1,s2,…,sv},其中Sj為在屬性A上具有值ai,設sij為子集Sj中類Ci的樣本數。根據A的這種劃分的期望信息為:
    

  式中pij=sij/|sj|,|sj|是sj中樣本屬于類Ci的概率。
  在屬性A上該劃分獲得的信息增益為:
  δ=H(C)-E(A)
  根據上面的計算得到每個屬性的權重系數為:
  
  從分析中知道,該權重系數反應了樣本中各個屬性的重要程度,權重系數值越大則該屬性越重要,對分類的貢獻越大。
在確定了樣本屬性重要度后,就可以構造基于樣本屬性重要度的代價敏感支持向量機。
4 實驗結果
  本文利用MATLAB軟件進行模擬實驗,對+1類和-1類的分類性能進行比較,在三維空間中引入兩類不同的樣本:正類和負類,并引入了一定數量的噪聲和野值數據。為了驗證所提算法的有效性,利用所提算法進行了一系列比較實驗。在實驗中,模擬用的訓練樣本和測試樣本均隨機產生,樣本數據情況如表1所示。


  在實驗中考慮正類的錯分代價大于負類的錯分代價,分別用C-SVM、Cost-sensitive SVM和屬性加權的Cost-sensitive SVM進行性能測試,表2所示為分類準確率的比較。由表2可見代價敏感支持向量機分類算法提高了錯分代價高的類別的分類精度,在進行屬性加權后,總體的分類精度也得到了提高。


  本文在對支持向量機分析的基礎上,提出了對樣本屬性加權型的代價敏感加權支持向量機。數值實驗的結果表明,該方法能夠提高錯分代價敏感的類別的分類精度,同時整體的分類性能也得到了提高。但是如何確定代價系數仍然是一個需要解決的問題,也是筆者下一步要研究的方向。


參考文獻
[1]?范昕煒,杜樹新,吳鐵軍.可補償類別差異的加權支持向量機算法[J].中國圖像圖形學報,2003,8(7):1037-1042.
[2]?賈銀山,賈傳熒. 一種加權支持向量機分類算法[J].計算機工程,2005,10(5):35-39.
[3]?LIN C F, WANG S D. Fuzzy support vector machine [J].?IEEE Trans. On Neural Networks, 2002, 13(2):464-471.
[4]?陳小娟, 劉三陽. 一種新的模糊支持向量機算法[J].西安文理學院學報:自然科學版,2008,11(1):1-4.
[5]?汪延華,田盛豐. 樣本屬性重要度的支持向量機方法[J]. 北京交通大學學報,2007,10(5):43-46.
[6]?趙靖.基于SVM算法的垃圾郵件過濾研究與實現[D].北京:北京交通大學,2005.

本站內容除特別聲明的原創(chuàng)文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創(chuàng)文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美一区二区三区啪啪| 欧美精品激情| 日韩一二三在线视频播| 久久国产加勒比精品无码| 亚洲免费综合| 在线亚洲激情| 一本色道久久综合| 亚洲美洲欧洲综合国产一区| 亚洲国产mv| 亚洲第一精品福利| 悠悠资源网亚洲青| 在线观看91精品国产入口| 激情五月婷婷综合| 激情久久影院| 亚洲高清不卡一区| 亚洲国产成人精品女人久久久 | 国产精品夜色7777狼人| 国产精品免费一区豆花| 国产精品欧美激情| 国产美女精品| 国产一区久久| 伊人久久综合97精品| 亚洲二区在线| 99国产一区| 亚洲欧美另类综合偷拍| 欧美一区二区三区男人的天堂| 久久成人免费| 亚洲人成网在线播放| 在线视频你懂得一区| 亚洲欧美视频一区二区三区| 欧美在线在线| 欧美电影在线免费观看网站| 欧美日韩精品一二三区| 国产精品久久久久久影视| 国产视频精品va久久久久久| 伊人色综合久久天天五月婷| 亚洲毛片av在线| 亚洲综合国产| 亚洲国产小视频| 一区二区三区视频在线| 香蕉久久夜色精品国产| 久久亚洲综合| 欧美日韩日本网| 国产人久久人人人人爽| 亚洲第一区在线观看| 一区二区三区精品视频| 性做久久久久久免费观看欧美| 亚洲国产精品久久久久婷婷老年| av不卡在线| 欧美中文字幕精品| 欧美精品一区二区三| 国产精品丝袜久久久久久app| 黄色精品在线看| 日韩一级黄色av| 欧美一区观看| 一区二区动漫| 久久九九精品99国产精品| 欧美精品三级| 国产日韩一区二区三区在线| 亚洲人成网站影音先锋播放| 午夜精品久久久久久久 | 一区二区免费在线观看| 欧美中文字幕精品| 欧美日韩国产高清| 国产亚洲福利一区| 一区二区三区国产在线观看| 亚洲高清激情| 欧美一级黄色网| 欧美精品一区二区三区蜜桃| 国产啪精品视频| 亚洲精品乱码久久久久久日本蜜臀 | 一区二区三区高清在线 | 久久成人羞羞网站| 欧美日韩国产电影| 伊人蜜桃色噜噜激情综合| 亚洲一区www| 99国产精品久久久久久久久久| 久久超碰97中文字幕| 欧美日韩性生活视频| 狠狠色丁香婷婷综合久久片| 这里只有精品视频在线| 亚洲国产综合91精品麻豆| 性色av一区二区三区在线观看| 欧美精品亚洲| 在线观看欧美日韩国产| 香港成人在线视频| 亚洲免费视频观看| 欧美日本在线观看| 亚洲第一伊人| 亚洲电影免费观看高清| 欧美一区二区在线| 国产精品成人免费| 日韩一本二本av| 日韩视频国产视频| 免费不卡欧美自拍视频| 国内精品久久久久影院 日本资源 国内精品久久久久伊人av | 久久av免费一区| 国产精品国产三级国产普通话三级 | 一区二区三区日韩精品| 亚洲伦理在线免费看| 久久嫩草精品久久久精品一| 国产欧美日韩精品在线| 亚洲一区二区成人| 亚洲午夜一区二区三区| 欧美日韩另类一区| 亚洲精品精选| 亚洲精品久久久久久久久久久久久 | 久久久久久久精| 国产欧美一区二区三区视频| 亚洲无亚洲人成网站77777| 在线中文字幕日韩| 欧美日本不卡高清| 亚洲看片网站| 一区二区三区成人| 欧美日韩国产免费| 亚洲免费大片| 亚洲午夜一区二区| 国产精品久久9| 中文久久乱码一区二区| 亚洲一区中文| 欧美香蕉大胸在线视频观看| 99视频在线观看一区三区| 一区二区三区视频在线| 欧美日韩一区在线观看视频| 一区二区不卡在线视频 午夜欧美不卡在 | 在线午夜精品自拍| 欧美日韩亚洲免费| 一区二区三区鲁丝不卡| 午夜激情综合网| 国产欧美三级| 久久激情视频| 欧美xxx成人| 亚洲精品国产精品久久清纯直播 | 国产精品theporn| 亚洲在线免费| 久久激情网站| 一区二区三区在线观看欧美| 91久久精品www人人做人人爽| 欧美大秀在线观看| 日韩视频一区二区三区在线播放免费观看 | 亚洲尤物精选| 久久久久久久综合日本| 亚洲电影一级黄| 宅男精品视频| 国产精品永久在线| 久久精品视频免费观看| 欧美国产激情二区三区| 99国产精品久久久久老师| 午夜视频在线观看一区二区| 国产亚洲第一区| 亚洲精品一二| 国产精品欧美日韩久久| 久久成人av少妇免费| 欧美另类69精品久久久久9999| 一本色道久久88综合亚洲精品ⅰ| 欧美一区二区三区日韩| 在线看欧美日韩| 亚洲视频你懂的| 国产午夜精品理论片a级大结局 | 99精品国产在热久久婷婷| 欧美亚洲第一页| 久久成人国产精品| 欧美日韩精品系列| 性色av一区二区三区| 欧美激情综合在线| 午夜久久资源| 欧美另类视频| 午夜精品区一区二区三| 欧美黄色影院| 欧美一级久久久久久久大片| 欧美国产日韩精品| 亚洲欧美韩国| 欧美精品一区二区三区视频| 亚洲男人的天堂在线aⅴ视频| 免费毛片一区二区三区久久久| 在线午夜精品自拍| 欧美gay视频激情| 亚洲在线日韩| 欧美精品导航| 久久成人综合网| 国产精品成人播放| 亚洲精品欧美精品| 国产欧美在线观看| 亚洲天堂av在线免费观看| 狠狠久久婷婷| 午夜国产欧美理论在线播放| 亚洲福利久久| 久久久精彩视频| 亚洲无亚洲人成网站77777 | 99国产麻豆精品| 美女主播精品视频一二三四| 亚洲一区二区三区涩| 欧美激情视频一区二区三区免费| 午夜精品av| 国产精品白丝jk黑袜喷水| 亚洲人成在线影院| 国产一区二区三区高清| 亚洲免费中文| 99精品热视频只有精品10| 欧美成人xxx|