TAIMI熙熙 2018-01-17

（1）結構化資料，簡單來說就是資料庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS資料庫；教育一卡通；政府行政審批；其他核心資料庫等。這些應用需要哪些儲存方案呢？基本包括高速儲存應用需求、資料備份需求、資料共享需求以及資料容災需求。

（2）非結構化資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重複或不可重複的子欄位構成的資料庫，用它不僅可以處理結構化資料（如數字、符號等資訊）而且更適合處理非結構化資料（全文文字、圖象、聲音、影視、超媒體等資訊）。

（3）資料清洗是指發現並糾正資料檔案中可識別的錯誤的最後一道程式，包括檢查資料一致性，處理無效值和缺失值等。與問卷稽核不同，錄入後的資料清理一般是由計算機而不是人工完成。

資料清洗原理

資料清洗（data cleaning），簡單地講，就是從資料來源中清除錯誤和不一致，即利用有關技術如數理統計、資料探勘或預定義的清洗規則等，從資料中檢測和消除錯誤資料、不完整資料和重複資料等，從而提高資料的質量。業務知識與清洗規則的制定在相當程度上取決於審計人員的積累與綜合判斷能力。因此，審計人員應按以下標準評價審計資料的質量。

（一）準確性：資料值與假定正確的值的一致程度。

（二）完整性：需要值的屬性中無值缺失的程度。

（三）一致性：資料對一組約束的滿足程度。

（四）惟一性：資料記錄（及碼值）的惟一性。

（五）效性：維護的資料足夠嚴格以滿足分類準則的接受要求。

杉巖資料 2020-01-16

（1）結構化資料，簡單來說就是資料庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS資料庫；政府行政審批；其他核心資料庫等。這些應用需要哪些儲存方案呢？基本包括高速儲存應用需求、資料備份需求、資料共享需求以及資料容災需求。

（2）非結構化資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重複或不可重複的子欄位構成的資料庫，用它不僅可以處理結構化資料（如數字、符號等資訊）而且更適合處理非結構化資料（全文文字、影象、聲音、影視、超媒體等資訊）。

面對海量非結構資料儲存，杉巖海量物件儲存MOS，提供完整解決方案，採用去中心化、分散式技術架構，支援百億級檔案及EB級容量儲存，具備高效的資料檢索、智慧化標籤和分析能力，輕鬆應對大資料和雲時代的儲存挑戰，為企業發展提供智慧決策。

匿名使用者 2020-03-30

未名企鵝資料清洗是任何資料分析的基礎工作，要想做好資料分析、大資料相關工作、資料探勘、智慧分析等等相關，資料清洗都是前提環節。

在醫藥行業，資料清洗主要包括這幾個維度：

流向上游、流向下游、任務目標等跟標準終端名稱的資訊對齊【客戶主資料】

品名、規格、批號等的清洗

做好資料清洗工作有這樣幾個方面

能夠有相對準確唯一的標準終端資訊，這個是清洗的基礎，只有這個基礎準確了、確定了，才能夠將雜亂的資訊梳理好到這個標準化的程度

藉助系統自動化進行清洗，如果有好的清洗系統很多清洗工作都可以事半功倍，並且比人工手工清洗的效率要高很多。而且針對重複性的工作，系統可以自動做好！只將人力放在系統解決不掉的部分，並且人力要有不斷總結歸納的能力