数据仓库中的相似重复记录检测方法

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

数据仓库中的相似重复记录检测方法

李星毅, 包从剑, 施化吉

文章导航 > 电子科技大学学报 > 2007 > 36(6): 1273-1277

李星毅, 包从剑, 施化吉. 数据仓库中的相似重复记录检测方法[J]. 电子科技大学学报, 2007, 36(6): 1273-1277.

引用本文:

李星毅, 包从剑, 施化吉. 数据仓库中的相似重复记录检测方法[J]. 电子科技大学学报, 2007, 36(6): 1273-1277.

LI Xing-yi, BAO Cong-jian, SHI Hua-ji. A Method for Detecting Approximately Duplicate Database Records in Data Warehouse[J]. Journal of University of Electronic Science and Technology of China, 2007, 36(6): 1273-1277.

Citation:

LI Xing-yi, BAO Cong-jian, SHI Hua-ji. A Method for Detecting Approximately Duplicate Database Records in Data Warehouse[J]. Journal of University of Electronic Science and Technology of China, 2007, 36(6): 1273-1277.

数据仓库中的相似重复记录检测方法

1.
北京交通大学电子信息学院北京海淀区 10004;
2.
江苏大学计算机科学与通信工程学院江苏镇江 212013

基金项目:

国家火炬计划项目(2004EB33006[0]);江苏省高校自然科学指导性计划项目(05JKD520050)

作者简介:
李星毅(1969-),男,博士,副教授,主要从事数据挖掘、空间数据库、交通信息系统和控制方面的研究.

中图分类号: TP311

A Method for Detecting Approximately Duplicate Database Records in Data Warehouse

1.
School of Electronics and Information Engineering,Beijing Jiaotong University Haidian Beijing 100044;
2.
School of Computer Science and Telecommunications Engineering,Jiangsu University Zhenjiang Jiangsu 212013

摘要: 针对检测和消除数据仓库中的相似重复记录问题,提出了数据仓库中的相似重复记录检测方法。该方法先通过等级法计算每个字段的权值;然后,按照分组思想,选择关键字段或字段某些位将大数据集分割成许多不相交的小数据集;最后,在各个小数据集中检测和消除相似重复记录,为避免漏查,再选择其他关键字段或字段某些位重复多次检测。理论分析和实验表明,该方法不仅具有好的检测精度,而且具有很好的时间效率,能够有效地解决大数据量的相似重复记录检测问题。
- 相似重复记录 /
- 数据仓库 /
- 分组 /
- 等级法 /
- 数据加权
Abstract: Detecting and eliminating approximately duplicated records is one of the main problems needed to be solved for data mining and data quality improvement. An algorithm for detecting approximately duplicated database records is presented based on rank group. Firstly, each property of the data is endowed with certain weight according rank-based weights method. Secondly, in term of group thought, large data sets are divided into many non-intersect small data sets. Finally, approximately duplicated records are detected and eliminated in each small data set. To avoid missing, the above steps can be repeated. The theory analysis and experiment show that this algorithm has a good detecting precision better efficiency of time, and therefore is an effective approach to solve approximately duplicate records of massive data.
- approximately duplicated records /
- data warehouse /
- group /
- rank method /
- weighted data

[1]	王静, 雷珂, 李家仪, 田松涛, 王相隆. 基于非均匀循环编码的分组修复码构造 . 电子科技大学学报, 2022, 51(1): 57-64. doi: 10.12178/1001-0548.2021013
[2]	王永娟, 张诗怡, 王涛, 高杨. 对MIBS分组密码的差分故障攻击 . 电子科技大学学报, 2018, 47(4): 601-605. doi: 10.3969/j.issn.1001-0548.2018.04.020
[3]	郭畅, 沈晴霓, 吴中海. 防止数据泄露的云存储数据分布优化模型 . 电子科技大学学报, 2016, 45(1): 118-122. doi: 10.3969/j.issn.1001-0548.2016.01.020
[4]	李迅波, 蒋东升, 王振林. 梯度相似性的椒盐图像加权中值滤波算法 . 电子科技大学学报, 2012, 41(1): 114-119. doi: 10.3969/j.issn.1001-0548.2012.01.022
[5]	刘全, 高俊, 郭云玮, 刘思洋. 基于线性加权数据融合的协作频谱感知优化 . 电子科技大学学报, 2012, 41(5): 697-701,786. doi: 10.3969/j.issn.1001-0548.2012.05.011
[6]	王俊芳, 张思东. 通用高速分组交换调度算法 . 电子科技大学学报, 2010, 39(1): 69-73. doi: 10.3969/j.issn.1001-0548.2010.01.017
[7]	于雪莲, 李中志, 汪学刚. 反向预测加权邻域数据关联算法 . 电子科技大学学报, 2010, 39(3): 364-367. doi: 10.3969/j.issn.1001-0548.2010.03.008
[8]	于泠, 陈波. 入侵数据特征并行选择算法 . 电子科技大学学报, 2008, 37(2): 266-269.
[9]	张伟, 师奕兵, 王志刚. 随钻声波测井数据压缩的小波神经网络法 . 电子科技大学学报, 2008, 37(6): 900-903,921.
[10]	周巧临, 傅彦. 科学数据时间序列的预测方法 . 电子科技大学学报, 2007, 36(6): 1260-1263.
[11]	罗岚, 瞿泽辉, 周世杰, 张凤荔, 秦志光, 魏正耀. 带延迟的分组密码算法密钥结合模式设计 . 电子科技大学学报, 2007, 36(3): 649-651.
[12]	胡廉民, 张九华. 分组密码算法的测试方法研究 . 电子科技大学学报, 2007, 36(4): 720-722,736.
[13]	宋高俊, 周正中, 钟俊. 宽带非相干空时频分组编码 . 电子科技大学学报, 2006, 35(2): 168-170,178.
[14]	张晶炜, 熊伟, 何友. 当前统计概率数据关联算法 . 电子科技大学学报, 2005, 34(1): 4-7.
[15]	张勇, 陈天麒, 陈滨. 计算最大Lyapunov指数的推广小数据量法 . 电子科技大学学报, 2004, 33(3): 254-257.
[16]	何芳, 徐政五. TDOA/DOA数据联合无线蜂窝定位 . 电子科技大学学报, 2003, 32(6): 612-615.
[17]	胡新帮, 汤志伟. 基于极值索引的数据排序算法 . 电子科技大学学报, 2003, 32(6): 696-700.
[18]	吴跃, 邱会中, 余水, 余元辉. Web数据库性能调优 . 电子科技大学学报, 2002, 31(3): 255-261.
[19]	涂晓东, 李乐民. 分组公平排队算法的仿真研究 . 电子科技大学学报, 2000, 29(4): 440-444.
[20]	张凤荔, 葛晓峰, 卢显良. 基于数据仓库的综合查询系统的设计和实现 . 电子科技大学学报, 1999, 28(2): 207-210.

WeChat

点击查看大图

计量

文章访问数: 4377
HTML全文浏览量: 169
PDF下载量: 107
被引次数: 0

数据仓库中的相似重复记录检测方法

1. 北京交通大学电子信息学院北京海淀区 10004;

2. 江苏大学计算机科学与通信工程学院江苏镇江 212013

基金项目:

国家火炬计划项目(2004EB33006[0]);江苏省高校自然科学指导性计划项目(05JKD520050)

作者简介:
李星毅(1969-),男,博士,副教授,主要从事数据挖掘、空间数据库、交通信息系统和控制方面的研究.

收稿日期: 2007-09-07
刊出日期: 2007-12-15

中图分类号: TP311

关键词:

摘要: 针对检测和消除数据仓库中的相似重复记录问题,提出了数据仓库中的相似重复记录检测方法。该方法先通过等级法计算每个字段的权值;然后,按照分组思想,选择关键字段或字段某些位将大数据集分割成许多不相交的小数据集;最后,在各个小数据集中检测和消除相似重复记录,为避免漏查,再选择其他关键字段或字段某些位重复多次检测。理论分析和实验表明,该方法不仅具有好的检测精度,而且具有很好的时间效率,能够有效地解决大数据量的相似重复记录检测问题。

English Abstract

李星毅, 包从剑, 施化吉. 数据仓库中的相似重复记录检测方法[J]. 电子科技大学学报, 2007, 36(6): 1273-1277.

引用本文:

李星毅, 包从剑, 施化吉. 数据仓库中的相似重复记录检测方法[J]. 电子科技大学学报, 2007, 36(6): 1273-1277.

LI Xing-yi, BAO Cong-jian, SHI Hua-ji. A Method for Detecting Approximately Duplicate Database Records in Data Warehouse[J]. Journal of University of Electronic Science and Technology of China, 2007, 36(6): 1273-1277.

Citation:

LI Xing-yi, BAO Cong-jian, SHI Hua-ji. A Method for Detecting Approximately Duplicate Database Records in Data Warehouse[J]. Journal of University of Electronic Science and Technology of China, 2007, 36(6): 1273-1277.

全文HTML

/

下载: 全尺寸图片幻灯片

分享

用微信扫码二维码

分享至好友和朋友圈

返回

期刊在线

编辑办公

友情链接

电子科技大学

版权所有 © 《电子科技大学学报》编辑部

地址: 成都市建设北路二段四号电子科技大学主楼中350室电话: 028-83202308,83207559 Email: xuebao@uestc.edu.cn

本系统由北京仁和汇智信息技术有限公司开发