1、說明書1結構化大數(shù)據(jù)通信協(xié)議技術領域結構化大數(shù)據(jù)通信協(xié)議是一種通信協(xié)議，也是一種讓數(shù)據(jù)成為合格的結構化大數(shù)據(jù)的技術。結構化大數(shù)據(jù)通信協(xié)議也類似于ETL，ETL是處理現(xiàn)有的信息系統(tǒng)所產生的數(shù)據(jù)的問題，而結構化大數(shù)據(jù)通信協(xié)議是在設計信息系統(tǒng)之初就開始預防數(shù)據(jù)產生問題。ETL是為數(shù)據(jù)治病，結構化大數(shù)據(jù)通信協(xié)議是預防數(shù)據(jù)產生疾病。ETL是對現(xiàn)有技術所產生的問題進行小修小補，結構化大數(shù)據(jù)通信協(xié)議提出了新的數(shù)據(jù)處理方案。結構化大數(shù)據(jù)通信協(xié)議也是一種

2、軟件開發(fā)模式，利用結構化大數(shù)據(jù)通信協(xié)議所建立的各種信息系統(tǒng)都是大數(shù)據(jù)信息系統(tǒng)，只要以鏡像的方式把各大數(shù)據(jù)信息系統(tǒng)中的數(shù)據(jù)上傳到大數(shù)據(jù)中心即可累加成合格的結構化大數(shù)據(jù)。合格的結構化大數(shù)據(jù)是不經ETL轉換即可高效挖掘的結構化數(shù)據(jù)。背景技術隨著大數(shù)據(jù)時代的到來，人們發(fā)現(xiàn)各行各業(yè)已有很多信息系統(tǒng)，然而信息系統(tǒng)雖多卻不能滿足大數(shù)據(jù)時代的需求，信息孤島嚴重，難以互聯(lián)互通，數(shù)據(jù)共享困難，各行各業(yè)已有很多數(shù)據(jù)，然而數(shù)據(jù)雖多，卻難以高效挖掘。目前是利用關

3、系數(shù)據(jù)庫來解決這些問題，但只能解決局部的問題，不能從根本上解決問題。結構化大數(shù)據(jù)通信協(xié)議就是針對這些問題而創(chuàng)立的。結構化大數(shù)據(jù)通信協(xié)議來源于模仿大腦記憶、聯(lián)想、思維，始于1982年，那時想讓計算機模仿大腦的聯(lián)想功能。發(fā)明內容結構化大數(shù)據(jù)通信協(xié)議是通過對數(shù)據(jù)的優(yōu)化及軟件開發(fā)模式的改變而避免信息孤島問題、互聯(lián)互通問題、數(shù)據(jù)共享問題產生，并使數(shù)據(jù)容易挖掘。結構化大數(shù)據(jù)通信協(xié)議可使數(shù)據(jù)具有12個技術特性：“唯一性、歸屬性、可識別性、獨立性、完整

4、性、規(guī)范性、與系統(tǒng)的耦合性（耦合度為零）、結構統(tǒng)一性、可累加性、可移植性、時間性、真實性”，只有同時滿足12個技術特性的數(shù)據(jù)才是合格的結構化大數(shù)據(jù)。發(fā)明所要解決的技術問題發(fā)明所要解決的技術問題是大數(shù)據(jù)4V中“數(shù)據(jù)類型多（Variety）”問題及“數(shù)據(jù)速度快（velocity）”問題。所針對的具體的技術問題：各行各業(yè)已有很多信息系統(tǒng)，然而信息系統(tǒng)雖多卻不能滿足大數(shù)據(jù)時代的需求，信息孤島嚴重，難以互聯(lián)互通，數(shù)據(jù)共享困難；各行各業(yè)已有很多數(shù)據(jù)

5、，然而數(shù)據(jù)雖多，卻難以高效挖掘。有益效果實現(xiàn)互聯(lián)互通、數(shù)據(jù)共享容易，查詢速度快，數(shù)據(jù)挖掘容易。具體實施方式結構化大數(shù)據(jù)通信協(xié)議的創(chuàng)新表現(xiàn)在如下5個方面：1、首次提出了結構化大數(shù)據(jù)的12個技術特性，只有同時滿足12個技術特性的數(shù)據(jù)才能成為合格的結構化大數(shù)據(jù)。為使數(shù)據(jù)滿足12個技術特性，創(chuàng)立了與12個技術特性相對應的12個數(shù)據(jù)優(yōu)化方法。2、通信的基礎是雙方必須采用同一個協(xié)議。結構化大數(shù)據(jù)通信協(xié)議所提出的“結構化大數(shù)據(jù)的12個技術特性”就是結

6、構化數(shù)據(jù)互聯(lián)互通的“通信協(xié)議”。說明書3據(jù)庫中的ID有本質的差異，ID只是在一張表的范圍內標識數(shù)據(jù)，大數(shù)據(jù)識別碼是在大數(shù)據(jù)的范圍內標識數(shù)據(jù)。大數(shù)據(jù)范圍：不同的大數(shù)據(jù)所涉及到的范圍不同。在國際貿易中，大數(shù)據(jù)范圍是全球，國家醫(yī)療大數(shù)據(jù)的大數(shù)據(jù)范圍是醫(yī)療行業(yè)，廣州大數(shù)據(jù)的數(shù)據(jù)范圍是廣州市。大數(shù)據(jù)識別碼可分為兩種，一種是某個具體事物的識別碼，猶如設備的序列號，但與設備的序列號有本質的差異，設備序列號是企業(yè)自己編寫的，大數(shù)據(jù)識別碼需要按國際統(tǒng)一的

7、標準來編碼；另一種是某類事物的識別碼。例如，在了解某種型號的手機在各個經銷商的銷售情況時，就需要該種型號手機的大數(shù)據(jù)識別碼，因為手機由全世界數(shù)十萬個經銷商銷售，手機廠家需要與全世界數(shù)十萬信息系統(tǒng)互聯(lián)互通。與人相關的數(shù)據(jù)全應含有身份證號，以確保在全球范圍內，在任何時間段，與某人相關的數(shù)據(jù)都是唯一的，可識別為同一個人的。大數(shù)據(jù)會涉及到多個不同的信息系統(tǒng)，而小數(shù)據(jù)只是在同一個信息系統(tǒng)中生存，因此在大數(shù)據(jù)環(huán)境中，數(shù)據(jù)的唯一性就非常重要，沒有統(tǒng)一

8、的、標準的、規(guī)范的識別碼會導致數(shù)據(jù)挖掘非常困難。數(shù)據(jù)的唯一性是大數(shù)據(jù)挖掘、分析的基礎。大數(shù)據(jù)識別碼必須使可以方便數(shù)據(jù)分類統(tǒng)計。2、數(shù)據(jù)的歸屬性數(shù)據(jù)的歸屬性：數(shù)據(jù)不僅要反映事物的各種屬性，也要反映出數(shù)據(jù)是歸誰所有（或者說由誰采集、或者說從何而來）。數(shù)據(jù)優(yōu)化方法二：每一個事物的數(shù)據(jù)中都要含有“數(shù)據(jù)來源”數(shù)據(jù)項。“數(shù)據(jù)來源”是結構化數(shù)據(jù)具有了“歸屬性”，一般情況下，可用單位名稱來表示“數(shù)據(jù)來源”。大數(shù)據(jù)源于成千上萬家單位，若不標明“數(shù)據(jù)來源”

9、，在大數(shù)據(jù)挖掘時會引起識別混亂。3、數(shù)據(jù)的識別性數(shù)據(jù)的識別性：是指讓信息系統(tǒng)可識別，讓人也可識別。進一步而言，不但要讓自己的信息系統(tǒng)識別，也要能讓他人的信息系統(tǒng)識別，不但要讓自己能識別，也要讓他人能識別。數(shù)據(jù)的識別性所針對的問題：關系數(shù)據(jù)庫中的數(shù)據(jù)只有數(shù)據(jù)庫的設計人員自己和自己的信息系統(tǒng)可識別。其它人、其它信息系統(tǒng)只能通過軟件對數(shù)據(jù)庫中的數(shù)據(jù)進行解釋、注釋、翻譯之后才能識別。數(shù)據(jù)優(yōu)化方法三：以適當?shù)娜哂嗍箶?shù)據(jù)可識別，盡量用標準的、規(guī)范的

10、自然語言來表達數(shù)據(jù)，盡量避免用代碼來表達數(shù)據(jù)。在對數(shù)據(jù)進行優(yōu)化時的原則是“讓相應領域的技術人員能看懂，讓別人的信息系統(tǒng)也能識別，而不能只是數(shù)據(jù)庫的設計人員能看懂，也不只是自己的系統(tǒng)能識別?！痹诖髷?shù)據(jù)環(huán)境中，數(shù)據(jù)的最重要、最關鍵的一個特性就是“數(shù)據(jù)的識別性”。關系數(shù)據(jù)庫的一個策略是：盡量減少數(shù)據(jù)冗余。關系數(shù)據(jù)庫在降低了數(shù)據(jù)冗余的同時卻增加了識別數(shù)據(jù)的難度。結構化大數(shù)據(jù)通信協(xié)議的策略與關系數(shù)據(jù)庫正好相反。結構化大數(shù)據(jù)通信協(xié)議的策略：以適當?shù)?/p>

11、冗余而使數(shù)據(jù)具有可識別性，從而使數(shù)據(jù)可以讓他人讀懂，也讓他人的信息系統(tǒng)能識別。關系數(shù)據(jù)庫是一種“數(shù)據(jù)、數(shù)據(jù)結構、程序、數(shù)據(jù)庫系統(tǒng)四者密不可分的數(shù)據(jù)庫”。因為關系數(shù)據(jù)庫中的數(shù)據(jù)脫離具體的表結構和程序以后就變成了無意義的數(shù)據(jù)，關系數(shù)據(jù)庫中的數(shù)據(jù)只有在特定的表中才具有意義?！叭f能數(shù)據(jù)結構表”是一種“數(shù)據(jù)與程序無關的數(shù)據(jù)結構”，或者說是一種“是什么就是什么，與程序無關”。因為“萬能數(shù)據(jù)結構表”中的數(shù)據(jù)脫離其數(shù)據(jù)結構后，其數(shù)據(jù)的真實含義不變?！叭f