萬(wàn)方數(shù)據(jù)庫(kù)學(xué)術(shù)論文(2)
萬(wàn)方數(shù)據(jù)庫(kù)學(xué)術(shù)論文
萬(wàn)方數(shù)據(jù)庫(kù)學(xué)術(shù)論文篇二
淺談數(shù)據(jù)倉(cāng)庫(kù)技術(shù)
摘要：數(shù)據(jù)倉(cāng)庫(kù)的英文名稱(chēng)為DataWarehouse，簡(jiǎn)寫(xiě)DW。從數(shù)據(jù)倉(cāng)庫(kù)的概念上我們可以從兩個(gè)方面理解，一方面，數(shù)據(jù)倉(cāng)庫(kù)是用來(lái)支持決策的，主要面向分析型數(shù)據(jù)處理，這一點(diǎn)有別于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù)。
關(guān)鍵詞：數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)處理
1.數(shù)據(jù)倉(cāng)庫(kù)的定義
數(shù)據(jù)倉(cāng)庫(kù)的英文名稱(chēng)為Data Warehouse，簡(jiǎn)寫(xiě)DW。W.H.Inmon。我們把它的定義為：數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)數(shù)據(jù) 集合，它的特點(diǎn)是：用于支持管理決策時(shí)它是面向主題的，集成的，相對(duì)穩(wěn)定的，能夠反映歷史變化的。從數(shù)據(jù)倉(cāng)庫(kù)的概念上我們可以從兩個(gè)方面理解，一方面，數(shù)據(jù)倉(cāng)庫(kù)是用來(lái)支持決策的，主要面向分析 型數(shù)據(jù)處理，這一點(diǎn)有別于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù);另一方面，數(shù)據(jù)倉(cāng)庫(kù)對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源進(jìn)行有效集成，在集成后又按照主題重新進(jìn)行了組合，并且包含歷史數(shù)據(jù)，盡管如此，卻一般不再修改其存放在數(shù)據(jù)倉(cāng)庫(kù)里的數(shù)據(jù)。
2.數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)
(1)面向主題。操作型數(shù)據(jù)庫(kù)的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)
之間各自分離，而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織，一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)。。
(2)集成的。面向事務(wù)處理的操作型數(shù)據(jù)庫(kù)通常與某些特定的應(yīng)用相關(guān)，數(shù)
據(jù)庫(kù)之間相互獨(dú)立，并且往往是異構(gòu)的。而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，必須保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。
(3)相對(duì)穩(wěn)定的。操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)通常實(shí)時(shí)更新，數(shù)據(jù)根據(jù)需要及時(shí)
發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析只用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢(xún)，一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之后，一般情況下將被長(zhǎng)期保留，修改和刪除操作很少，通常只需要定期的加載、刷新。。
(4)反映歷史變化。操作型數(shù)據(jù)庫(kù)主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而
數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過(guò)去某一時(shí)點(diǎn)到目前的各個(gè)階段的信息，以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。
3.數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)
如上圖所示，整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)包含五個(gè)層次：
(1)數(shù)據(jù)源層。是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。。
(2)數(shù)據(jù)導(dǎo)入層。是數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)前的一個(gè)臨時(shí)存放區(qū)，通過(guò)數(shù)據(jù)調(diào)度工具將業(yè)務(wù)系統(tǒng)傳送過(guò)來(lái)的數(shù)據(jù)表、文本文件等加載到臨時(shí)存放區(qū)。
(3)數(shù)據(jù)服務(wù)層。是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。針對(duì)現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉(cāng)庫(kù)按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)和部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)(通常稱(chēng)為數(shù)據(jù)集市)。
(4)應(yīng)用服務(wù)層。應(yīng)用服務(wù)層的功能主要是建立多維數(shù)據(jù)集、進(jìn)行OLAP分析、生成各種靜態(tài)報(bào)表并以WEB方式提供各種功能的查詢(xún)分析。
(5)用戶(hù)層。根據(jù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)需求的不同，數(shù)據(jù)倉(cāng)庫(kù)的用戶(hù)可以分為普通用戶(hù)、技術(shù)用戶(hù)、高級(jí)管理用戶(hù)這三類(lèi)。不同用戶(hù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)訪問(wèn)的需求層次以及復(fù)雜度都是不同的，簡(jiǎn)單的需求是訪問(wèn)一些固定的靜態(tài)報(bào)表和查詢(xún)分析，復(fù)雜的可以通過(guò)前端展現(xiàn)的工具生產(chǎn)一些靈活、動(dòng)態(tài)的即席查詢(xún)報(bào)表，以滿足業(yè)務(wù)部門(mén)一些臨時(shí)的、迫切的報(bào)表需求。
4.相關(guān)的網(wǎng)站和論壇：
(1)數(shù)據(jù)倉(cāng)庫(kù)之路
(2)致力于打造最專(zhuān)業(yè)的中文數(shù)據(jù)倉(cāng)庫(kù)，商務(wù)智能社區(qū)
(3)商業(yè)智能和數(shù)據(jù)倉(cāng)庫(kù)愛(ài)好者
(4)數(shù)據(jù)挖掘研究院
5.研究和商業(yè)機(jī)構(gòu)
(1) 北京大學(xué)移動(dòng)通信數(shù)據(jù)倉(cāng)庫(kù)聯(lián)合實(shí)驗(yàn)室
2006年5月由中國(guó)移動(dòng)、北京大學(xué)、亞信集團(tuán)聯(lián)合建立，該實(shí)驗(yàn)室”是全球容量最大的數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)實(shí)驗(yàn)室，也有效的整合了三方得優(yōu)勢(shì)資源。中國(guó)移動(dòng)通信目前構(gòu)建了目前國(guó)際上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，聯(lián)合實(shí)驗(yàn)室的建立，既能推動(dòng)中國(guó)移動(dòng)自身數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)，也能明顯推動(dòng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)向縱深發(fā)展。
(2)中國(guó)人民大學(xué)數(shù)據(jù)倉(cāng)庫(kù)和商務(wù)智能實(shí)驗(yàn)室
2004年5月由中國(guó)人民大學(xué)和全球著名的數(shù)據(jù)倉(cāng)庫(kù)廠商N(yùn)CRTeradata聯(lián)合建立。該實(shí)驗(yàn)室承擔(dān)了國(guó)家863計(jì)劃、國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、教育部重點(diǎn)項(xiàng)目等國(guó)家重大科研任務(wù)。借助于NCRTeradata的優(yōu)勢(shì)技術(shù)，雙方將通過(guò)密切的合作，共同開(kāi)發(fā)具有中國(guó)行業(yè)特色的數(shù)據(jù)倉(cāng)庫(kù)和商務(wù)智能應(yīng)用軟件。
(3)北京漢端科技有限公司
北京漢端公司是一家專(zhuān)門(mén)從事商業(yè)智能信息化服務(wù)的企業(yè)，從1996年就開(kāi)始專(zhuān)業(yè)做數(shù)據(jù)倉(cāng)庫(kù)，它在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域是相當(dāng)專(zhuān)業(yè)的，在這可以接觸到最前沿的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。
(4)上證所金融創(chuàng)新實(shí)驗(yàn)室
2006由上海證券交易所成立，該實(shí)驗(yàn)室的數(shù)據(jù)全部來(lái)源于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。 上證所在推出金融新產(chǎn)品時(shí)，都曾通過(guò)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)進(jìn)行過(guò)測(cè)算和驗(yàn)證。通過(guò)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，為上證所的經(jīng)營(yíng)、監(jiān)管、創(chuàng)新和服務(wù)決策提供數(shù)據(jù)支持，極大的提高了監(jiān)管的效率和服務(wù)的性能，能夠更好地服務(wù)市場(chǎng)和監(jiān)管市場(chǎng)。
參考文獻(xiàn)：
1伍小榮 伍慶華 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的研究現(xiàn)狀和未來(lái)方向 [期刊論文] 現(xiàn)代電子技術(shù)2002(6)
2.向海華 數(shù)據(jù)庫(kù)技術(shù)發(fā)展綜述[期刊論文] 現(xiàn)代情報(bào) 2003(12)
3.王澤明淺談數(shù)據(jù)倉(cāng)庫(kù)技術(shù) [期刊論文] 計(jì)算機(jī)應(yīng)用與軟件2001-01-15
4.黃慶普 剖析數(shù)據(jù)倉(cāng)庫(kù)技術(shù) [期刊論文] 華南金融電腦2003年11期
5.劉立波 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的研究與應(yīng)用[期刊論文] 計(jì)算機(jī)工程與應(yīng)用2002(15)
看了“萬(wàn)方數(shù)據(jù)庫(kù)學(xué)術(shù)論文”的人還看：