实例层数据清洗技术研究
作者:胡文瑜; 应康辉
更新时间:
随着科学、技术和工程的快速发展,在过去的20年中,在光学观测、光学监测、医疗保健、传感器、用户数据、互联网和金融公司等许多领域产生了大量数据,以及供应链系统(例如,在医疗检测中,数据是连续的,形成了“数据灾难”)。有效的数据分析和数据挖掘基于数据可用性和高数据质量。高数据质量的前提是需要清理数据。数据清理是检测和更正脏数据的过程。它不仅是数据分析和管理的基础,也是提高数据质量的常用技术。实例层数据清理是数据清洗的一个重要部分。本文重点研究了实例层数据清洗技术中属性值和重复记录值的检测与清洗方法。介绍了数据清洗技术的应用领域,以电气工程领域、医学领域和交通领域为代表。结合应用情况,针对不同的数据集特性和适用的实例级数据清洗技术,提出了有价值的选择建议。最后,展望了实例层数据清洗技术存在的问题、挑战和发展方向。