1、本文主要從以下四個方面對數據清洗技術及其在寶鋼計劃值系統(tǒng)中的應用做了詳細的分析和研究?！　〉谝皇菍祿逑醇夹g進行了概述，闡述了數據清洗的來源和定義，具體介紹了數據清洗時遇到的數據質量問題以及清洗的步驟，最后詳細介紹了一種基于N-Gram的聚類算法?！　〉诙怯懻摿藢氫撚媱澲迪到y(tǒng)項目需求設計及部分相關的開發(fā)設計，討論了其中的技術難點、關鍵技術，針對集團內部存在臟數據問題的特征，介紹了SAS軟件中相關功能支持的優(yōu)越性，在其數據倉庫系統(tǒng)

2、中有專門的機制進行引入數據的檢查、核對和將不同來源數據進行整合的技術環(huán)節(jié)，它為計劃值系統(tǒng)中要求的數據清洗工作提供了最有力的支持?！　〉谌窃趯氫撚媱澲迪到y(tǒng)中應用SAS軟件先進行了一系列簡單的數據清洗工作，然后實現了一種基于歐氏距離的聚類算法，結果表明這種算法能夠滿足寶鋼計劃值系統(tǒng)項目現階段的基本要求，較好地解決了基礎數據中大量重復記錄問題?！　∽詈蟊疚母鶕壳暗陌l(fā)展狀況，提出了一些數據清洗技術的研究方向，數據清洗的易操作性、有效性、