基于投影和密度的高维数据流聚类算法

doi:10.3969 /j.issn.1674-0696.2013.04.41

重庆交通大学学报（自然科学版） ›› 2013, Vol. 32 ›› Issue (4): 725-728.DOI: 10.3969 /j.issn.1674-0696.2013.04.41

• • 上一篇

基于投影和密度的高维数据流聚类算法

汪仁红，王家伟，梁宗保

重庆交通大学信息科学与工程学院，重庆 400074

收稿日期:2012-05-27 修回日期:2013-04-23 出版日期:2013-08-15 发布日期:2014-10-27
作者简介:汪仁红(1987—),女,重庆人,硕士研究生,主要从事数据流处理方面的研究。E-mail:wangrenhong020811112@126.com。
基金资助:
交通运输部西部项目( 20113188141480)

Clustering Algorithm for High Dimensional Data Stream Based on Projection and Density

Wang Ｒenhong，Wang Jiawei，Liang Zongbao

School of Information Science ＆ Engineering，Chongqing Jiaotong University，Chongqing 400074，China

Received:2012-05-27 Revised:2013-04-23 Online:2013-08-15 Published:2014-10-27

摘要/Abstract

摘要： 在经典数据流的聚类算法基础之上，提出了一种基于投影和密度的高维数据流聚类算法———HpDenStream，该算法结合滑动窗口技术，采用投影算法对高维数据流进行降维处理，并运用密度聚类算法对降维后的数据进行异常数据检测。仿真实验结果表明: 该方法占用的存储空间小，算法的工作量少，并提高了算法的执行效率。

关键词: 数据流, 聚类算法, 投影, 降维, 密度, 异常检测

Abstract: A clustering algorithm for high dimensional data stream based on the projection and density ( HpDenStream) is proposed，which is based on the classical data stream clustering algorithm． This algorithm combines with the sliding window technical，and it uses the projection clustering algorithm to reduce the data dimensionality of dimensional data streams and then adopts the density clustering algorithm to detect the anomaly data detection． The simulation results show that the algorithm not only takes up smaller storage space and less workload，but also improves the efficiency of the implementation of the algorithm．

Key words: data stream, clustering algorithm, projection, dimension reduction, density, anomaly detection

中图分类号:

TP392

汪仁红，王家伟，梁宗保. 基于投影和密度的高维数据流聚类算法[J]. 重庆交通大学学报（自然科学版）, 2013, 32(4): 725-728.

Wang Ｒenhong，Wang Jiawei，Liang Zongbao. Clustering Algorithm for High Dimensional Data Stream Based on Projection and Density[J]. Journal of Chongqing Jiaotong University(Natural Science), 2013, 32(4): 725-728.

参考文献

[1] 汪成亮，陆志坚，庞栩．一种数据流趋势分析方法的研究与应用[J]．计算机系统应用，2010， 19( 1) : 152-155．
Wang Chengliang，Lu Zhijian，Pang Xu．Ｒesearch and application of an algorithm for trend analysis of data streams [J]． Computer System ＆ Application，2010，19( 1) : 152-155．
[2] 黄树成，曲亚辉．数据流分类技术研究综述[J]．计算机应用研究， 2009，26( 10) : 3604-3609．
Huang Shucheng，Qu Yahui． Survey on data streams classification technologies[J]． Application Ｒesearch of Computers，2009，26( 10) : 3604-3609．
[3] Guha S，Mishra N，Motwani Ｒ，et al． Clustering Data Streams [C]/ /Proceedings of the 41st Annual Symposium on Foundations of Computer Science． California: IEEE，2000: 71-80．
[4] 张继超．数据流的变化检测算法及其在实时汇率数据流异常检测中的应用[D]．郑州: 郑州大学，2005．
Zhang Jichao． Change Detection Scheme of Data Stream and the Application of Detecting the Abnormal Data Blocks in Exchange Ｒate Data Stream[D]． Zhengzhou: Zhengzhou University，2005．
[5] 史金成．基于相关性的数据流聚类及其应用研究[D]．合肥: 合肥工业大学， 2007．
Shi Jincheng．Ｒesearch on Data Stream Clustering and its Applications Based on Correlations [D]． Hefei: Hefei University of Technology，2007．
[6] Xu Ｒui，Donald Wunsch． Survey of clustering algorithms [J]．IEEE Transactions on Neural Networks，2005，16( 3) : 634-678．
[7] 陈铭，吉根林．一种基于相似维的高维子空间聚类算法[J]．南京师大学报: 自然科学版，2010， 33( 4) : 119-122．
Chen Ming，Ji Genlin． A subspace clustering algorithm for high dimensional data based on similar dimension [J]． Journal of NanjingNormal University: Natural Science，2010，33( 4) : 119-122．
[8] 任家东，周玮玮，何海涛．高维数据流的自适应子空间聚类算法[J]．计算机科学与探索， 2010，4( 9) : 859-964．
Ｒen Jiadong，Zhou Weiwei，He Haitao． Adaptive clustering algorithm for mining subspace clusters in high-dimensional data stream[J]． Journal of Frontiers of Computer Science and Technology，2010，4( 9) : 859-964．
[9] 颜晓龙，沈鸿．一种适用于高维数据流的子空间聚类方法[J]．计算机应用， 2007， 27( 7) : 1680-1684． Yan Xiaolong，Shen Hong． Subspace clustering method for high dimensional data streams [J]． Computer Applications，2007，27( 7) : 1680-1684．
[10] 周晓云，孙志挥，张柏礼，等．高维数据流子空间聚类发现及维护算法[J]．计算机研究与发展， 2006，43( 5) : 834-840．
Zhou Xiaoyun，Sun Zhihui，Zhang Baili，et al． An efficient discovering and maintenance algorithm of subspace clustering over high dimensional data streams[J]． Journal of Computer Ｒesearch and Development，2006，43( 5) : 834-840．
[11] 李子杰，郑成．流数据和传统数据存储及管理方法比较研究[J]．计算机技术与发展，2009，19( 4) : 101-104．
Li Zijie，Zheng Cheng． Comparative study on methods of storage and management of stream and traditional data [J]． Computer Technology and Development，2009，19( 4) : 101-104．
[12] 王家伟，汪仁红，罗宪，等．基于数据流的桥梁健康监测海量数据处理[J]．计算机系统应用，2011，20( 12) : 158-161．
Wang Jiawei，Wang Ｒenhong，Luo Xian，et al． Processing of massive data based on data stream and bridge health monitoring[J]． Computer System ＆ Application，2011，20( 12) : 158-161．

[1]	刘杰. 基于XGboost模型的城市轨道交通列车运行速度实时异常检测研究[J]. 重庆交通大学学报（自然科学版）, 2021, 40(03): 49-55.
[2]	李楠，强懿耕，樊瑞. 基于轨迹压缩的航空器飞行轨迹聚类研究[J]. 重庆交通大学学报（自然科学版）, 2021, 40(01): 1-6.
[3]	叶臻，贺明光，梁科科. 基于服务需求的出租汽车服务站选址方法[J]. 重庆交通大学学报（自然科学版）, 2019, 38(03): 75-82.
[4]	李天华1，赵信2，张可佳1，田震欧2，白文英1. 基于实测交通数据的城市桥梁怠速车辆拥堵荷载模型研究[J]. 重庆交通大学学报（自然科学版）, 2019, 38(02): 126-132.
[5]	李永攀1,2，刘正江1，郑中义1. 基于时空密度的船载AIS数据聚类分析方法研究[J]. 重庆交通大学学报（自然科学版）, 2018, 37(10): 117-122.
[6]	彭博，蔡晓禹，李少博，张有节. 基于三维虚拟路面的裂缝自动检测算法[J]. 重庆交通大学学报（自然科学版）, 2018, 37(1): 46-53.
[7]	唐胜传1,冯登2,3,王俊杰2,3. 赤平极射-实体比例投影方法及其应用[J]. 重庆交通大学学报（自然科学版）, 2018, 37(08): 63-68.
[8]	宋金华，姬玉平，刘志蕾，张雪松，倪东绪. 高性能RAP料配合比设计[J]. 重庆交通大学学报（自然科学版）, 2017, 36(6): 38-47.
[9]	邹长军，尹勇，刘秀文，李海江. 海面溢油可视化新方法的研究与实现[J]. 重庆交通大学学报（自然科学版）, 2017, 36(6): 103-108.
[10]	张甫仁,何潇楠,李娜,陶嘉祥,朱世保. 背风壁面热流对开窗建筑颗粒传播的影响[J]. 重庆交通大学学报（自然科学版）, 2016, 35(5): 103-109.
[11]	黄文涛，周萍，程锦翔. 一种基于Adaboost和变量筛选的LSSVM工程造价估计方法[J]. 重庆交通大学学报（自然科学版）, 2016, 35(3): 54-57.
[12]	任其亮，王世能，王坤，詹家凤，曾柯. 城市路口交通状态判别方法研究[J]. 重庆交通大学学报（自然科学版）, 2015, 34(6): 111-115.
[13]	黄承锋，赵光惠，王平. 基于HSM的山区农村公路交通安全设施评价和选用——以弯道路段为例[J]. 重庆交通大学学报（自然科学版）, 2015, 34(5): 89-94.
[14]	杨俊，杨志，张国栋，唐云伟. 风化砂改良膨胀土膨胀力试验研究[J]. 重庆交通大学学报（自然科学版）, 2014, 33(4): 106-109.
[15]	王庆峰,彭俊杰,刘长发. 土石复合介质横波传播特性理论及试验研究[J]. 重庆交通大学学报（自然科学版）, 2014, 33(1): 94-97.

基于投影和密度的高维数据流聚类算法

Clustering Algorithm for High Dimensional Data Stream Based on Projection and Density

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics