《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 設計應用 > 基于K-means的異常識別方法
基于K-means的異常識別方法
電子技術應用
劉道君,劉帥,張玉松,歐思程
中國長江電力股份有限公司 三峽水利樞紐梯級調度通信中心
摘要: 在工業、電力、交通等領域,異常往往是系統發生問題或故障的先兆。通過異常識別技術,可以及時發現系統異常行為,預防或迅速應對潛在的故障,提高系統的可靠性和穩定性。當前的異常識別算法通常需要引入專家信息(如適宜的參數值),但在許多識別場景中,數據分布以及異常發生原因是未知的,導致專家信息不可信。因此,如何設計一款無需專家信息介入的異常識別算法意義非凡。設計了一種自適應的異常識別算法,通過K-means聚類算法識別出眾多小簇,然后統計各簇中對象數量的分布概率以生成概率分布圖。從概率分布圖中,可以清晰觀察到哪些簇中的對象數量明顯小于其他簇,從而將它們識別為異常簇,其中的對象識別為異常。換句話說,概率分布圖代替了專家信息,可協助使用者在分布以及原因未知情況下識別有效異常。
中圖分類號:TP181 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.245654
中文引用格式: 劉道君,劉帥,張玉松,等. 基于K-means的異常識別方法[J]. 電子技術應用,2025,51(5):62-67.
英文引用格式: Liu Daojun,Liu Shuai,Zhang Yusong,et al. Outlier detection method based on K-means[J]. Application of Electronic Technique,2025,51(5):62-67.
Outlier detection method based on K-means
Liu Daojun,Liu Shuai,Zhang Yusong,Ou Sicheng
China Yangtze Power Co.,Ltd., Three Gorges Cascade Dispatch Communication Center
Abstract: In industry, electric power, transportation and other fields, anomalies are often the precursors of problems or failures in the system. Through anomaly identification techniques, system abnormal behavior can be detected in time to prevent or quickly respond to potential failures and improve system reliability and stability. Current anomaly identification algorithms usually need to introduce expert information (e.g., suitable parameter values), but in many identification scenarios, the data distribution as well as the cause of anomaly occurrence are unknown, resulting in unreliable expert information. Therefore, it is significant to design an anomaly identification algorithm that does not require the intervention of expert information. In this paper, an adaptive anomaly identification algorithm is designed. Specifically, it identifies numerous small clusters by K-means, and then counts the distribution probability of the number of objects in each cluster to generate a probability distribution graph. From the probability distribution graph, it can be clearly observed which clusters contain significantly smaller numbers of objects than other clusters, and thus they are recognized as anomalous clusters in which the objects are recognized as anomalies. In other words, the probability distribution graph replaces expert information and assists the user in identifying valid anomalies when the distribution as well as the cause is unknown.
Key words : outlier detection;probability;decision graph

引言

異常識別在當今社會中具有重要意義,它可以幫助提高安全性、優化效率、預測未來、改善數據質量以及支持決策,在各個領域中推動進步和發展。隨著技術的不斷發展和應用范圍的擴大,異常識別將繼續發揮重要作用,并為人類社會帶來更多的益處。

當前,已有上千種異常識別算法被陸續提出。它們大致可以被劃分為基于統計、基于距離、基于深度學習、基于集成的算法。具體地,基于統計的算法使用數據的統計特性來識別異常值,常見的統計信息包括均值、標準差、中位數、百分位數等。基于距離的算法通過計算對象之間的相似度或距離來識別異常值。基于集成的算法結合多個基本異常檢測模型的輸出,以提高整體的性能和魯棒性。基于深度學習的算法利用多層神經網絡來學習數據的復雜特征,并在此基礎上進行異常檢測。盡管上述類型算法已經被驗證可以在各樣場景下很好地識別數據集中的復雜異常,但大多算法面臨一個共同的問題,就是需要若干輸入參數,且異常識別效果與參數值高度相關。然而,異常識別是一種無監督分析任務,這意味著面對未知數據集時,將無法客觀地預測哪些參數值是適當的。一種名為DPC的算法解決了上述問題,它通過識別簇邊界區域,然后將邊界區域中密度小于密度均值的對象識別為異常,識別過程中不需要輸入任何參數。然而,DPC的異常識別效果易受對象分布的影響。若簇間較為接近時,會有許多正常數據對象被錯誤地識別為異常。顯然,如果構建一個既無輸入參數又有優異的異常識別效果的算法模型將是有意義的。

為了實現上一目標,本文提出了一種全新的名為K-outlier的算法。具體地,K-outlier算法首先將數據集劃分為個簇,其中為數據集中數據對象的數量。由于異常對象分布相對稀疏,因此異常對象將被劃分到只包含少量對象的小簇中。然后,K-outlier算法統計每個簇中對象的數量,并生成數量概率圖,稱之為決策圖。從決策圖中,使用者可以很清晰地識別出哪些簇中的對象數量少且概率低,從而將它們識別為異常簇(因為異常對象的數量遠小于正常對象,且異常對象所在簇中對象的數量也遠小于正常對象所在簇中對象的數量),其中的對象識別為異常。K-outlier算法的主要貢獻:

(1)首次將K-means引入異常識別任務。K-means是最經典的聚類算法,盡管它沒有異常識別能力,但它具有低時間復雜的優勢,可以幫助K-outlier算法快速識別出異常。

(2)生成可視決策圖代替輸入參數。K-outlier算法不再像其他異常識別算法需要輸入參數來識別異常,使用者可以通過決策圖提供的可視信息直接得到異常識別結果。

(3)K-outlier算法的異常識別效果不受對象分布的影響。由于將異常劃分到小簇中,與正常對象進行了物理隔離,因此不受正常對象分布的影響。

(4)通過大量實驗驗證了K-outlier算法的有效性。實驗表明K-outlier算法對密度不平衡數據集、復雜分布數據集具有一定的魯棒性。在7個真實世界數據集上,相比于現有算法,K-outlier算法取得了最優的結果。


本文詳細內容請下載:

http://m.jysgc.com/resource/share/2000006527


作者信息:

劉道君,劉帥,張玉松,歐思程

(中國長江電力股份有限公司 三峽水利樞紐梯級調度通信中心 湖北 宜昌 443000)


Magazine.Subscription.jpg

此內容為AET網站原創,未經授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
欧美三级网址| 亚洲区在线播放| 欧美日韩1区2区3区| 久久亚洲国产成人| 久久精品成人| 久久精品国产久精国产爱| 亚洲免费综合| 亚洲性图久久| 亚洲永久免费观看| 亚洲欧美日韩网| 亚洲欧美一区二区原创| 亚洲欧美国产精品桃花| 亚洲图片欧美一区| 亚洲综合精品四区| 亚洲欧美日韩精品久久| 午夜一区二区三区不卡视频| 午夜精品美女自拍福到在线| 午夜精品久久久久久久白皮肤| 亚洲欧美美女| 欧美一级淫片aaaaaaa视频| 午夜精品视频网站| 欧美伊人久久久久久久久影院| 欧美一区二区三区久久精品| 欧美中文字幕在线观看| 久久精品九九| 久久精品伊人| 欧美成年人视频网站| 欧美 日韩 国产 一区| 免费欧美视频| 欧美三区免费完整视频在线观看| 欧美三区在线视频| 国产毛片久久| 韩国在线一区| 亚洲国产视频直播| 一区二区国产日产| 亚洲视频综合| 欧美一级艳片视频免费观看| 亚洲成人在线视频播放 | 免费看av成人| 欧美日韩直播| 国产欧美一区二区精品仙草咪| 韩国一区二区在线观看| 亚洲青涩在线| 亚洲综合视频网| 亚洲二区免费| 在线亚洲精品| 久久福利资源站| 欧美二区在线播放| 国产精品视频精品视频| 精品99一区二区| aⅴ色国产欧美| 午夜在线观看欧美| 亚洲精品社区| 午夜精品婷婷| 欧美成人自拍视频| 国产精品久久婷婷六月丁香| 激情五月婷婷综合| 亚洲一级黄色片| 亚洲国产一区二区三区高清| 亚洲无限av看| 久热精品视频在线观看| 欧美亚洲第一区| 一区二区三区在线免费视频| 亚洲视频在线观看| 亚洲日本中文字幕免费在线不卡| 亚洲欧美日韩国产成人| 免费观看久久久4p| 国产精品久久久久久久久婷婷| 狠狠色丁香久久综合频道| 一本色道婷婷久久欧美| 亚洲国产日韩欧美在线图片| 亚洲免费在线视频一区 二区| 蜜臀久久99精品久久久画质超高清| 欧美三区美女| 亚洲国产精品国自产拍av秋霞| 亚洲午夜高清视频| 日韩视频在线观看免费| 久久国产精品久久w女人spa| 欧美欧美天天天天操| 国内综合精品午夜久久资源| 亚洲作爱视频| 亚洲免费观看高清完整版在线观看熊| 欧美在线免费观看| 欧美日韩国产精品一区二区亚洲| 黑人一区二区| 亚洲欧美日韩在线高清直播| 一本到12不卡视频在线dvd| 久久久91精品国产一区二区三区 | 久久精品123| 欧美在线观看天堂一区二区三区| 欧美日韩国产精品一区| 亚洲高清视频在线观看| 久久精品99国产精品日本| 性欧美videos另类喷潮| 欧美区亚洲区| 亚洲丰满在线| 亚洲激情图片小说视频| 久久精品国产亚洲高清剧情介绍| 国产精品乱码妇女bbbb| 日韩一级精品视频在线观看| 亚洲美女中文字幕| 欧美成人小视频| 在线精品一区| 亚洲国产三级网| 久久免费一区| 国模私拍视频一区| 欧美有码视频| 久久久www| 国产一区在线播放| 亚欧美中日韩视频| 欧美一区午夜精品| 国产精品一区毛片| 亚洲综合色在线| 香蕉久久精品日日躁夜夜躁| 国产精品久久久久9999高清| 一本色道久久综合亚洲精品不卡| 在线视频亚洲一区| 欧美日韩一卡二卡| 一个色综合av| 亚洲欧美日韩爽爽影院| 国产精品日韩在线一区| 亚洲自拍另类| 久久国产精品网站| 韩国自拍一区| 亚洲国产精品久久久久秋霞不卡| 六月婷婷一区| 亚洲国产日本| 9色精品在线| 欧美性生交xxxxx久久久| 亚洲午夜电影网| 欧美一区亚洲| 激情久久久久久| 亚洲精品美女91| 欧美日韩一卡二卡| 亚洲免费综合| 久久另类ts人妖一区二区| 在线播放不卡| 日韩一区二区福利| 欧美网站在线| 小黄鸭精品aⅴ导航网站入口| 久久男人av资源网站| 亚洲国产裸拍裸体视频在线观看乱了中文 | 国产欧美日韩激情| 亚洲高清在线观看一区| 欧美激情国产高清| 中文一区字幕| 久久久久久精| 91久久国产综合久久| 亚洲午夜伦理| 国产亚洲欧洲| 日韩小视频在线观看专区| 国产精品国产亚洲精品看不卡15 | 野花国产精品入口| 国产精品毛片大码女人| 欧美一区精品| 欧美精品一区二区三区一线天视频| 99精品视频一区二区三区| 久久av在线| 亚洲国产日韩在线一区模特| 亚洲免费在线看| 国内自拍亚洲| 99精品黄色片免费大全| 国产精品影视天天线| 亚洲国产精品嫩草影院| 欧美日韩一区二区三区免费| 欧美一区二区精美| 欧美黄色一区二区| 亚洲欧美日韩一区| 欧美久久一级| 欧美在线网站| 欧美日韩在线播放一区| 欧美一区二区私人影院日本| 欧美国产在线电影| 亚洲欧美日韩中文在线制服| 欧美国产日韩一区二区在线观看| 国产精品99久久不卡二区| 狼人天天伊人久久| 亚洲午夜精品久久| 欧美国内亚洲| 欧美一级片在线播放| 欧美日韩国产在线播放网站| 欧美一进一出视频| 欧美日韩调教| 亚洲国产高清aⅴ视频| 国产精品久99| 亚洲理伦电影| 国产在线精品一区二区夜色| 亚洲一区二区免费看| 今天的高清视频免费播放成人 | 国产一区二区久久久| 一区二区三区色| 伊大人香蕉综合8在线视| 亚洲欧美日韩另类| 亚洲精品日韩在线观看| 久久影音先锋| 欧美亚洲日本网站| 国产精品麻豆成人av电影艾秋| 亚洲美女av在线播放| 国内精品久久久久影院色| 亚洲欧美韩国|