1、五個免費開源的數(shù)據(jù)挖掘軟件/什么是ODS?信息處理的多層次要求導致了一種新的數(shù)據(jù)環(huán)境DB-DW的中間層ODS（操作型數(shù)據(jù)存儲）的出現(xiàn)。ODS是“面向主題的、集成的、當前或接近當前的、不斷變化的”數(shù)據(jù)。通過統(tǒng)一規(guī)劃，規(guī)范框架和數(shù)據(jù)，ODS可以實現(xiàn)操作型數(shù)據(jù)整合和各個系統(tǒng)之間的數(shù)據(jù)交換，能夠提供實時的操作型報表，減輕數(shù)據(jù)倉庫的負擔。建設(shè)ODS還可以為后期數(shù)據(jù)倉庫建設(shè)做好準備。什么是ODS?ODS全稱為Operational Data Store，即操作型數(shù)據(jù)存儲，是“面向主題的、集成的、可變的、反映當前數(shù)據(jù)值的和詳細的數(shù)據(jù)的集合，用來滿足企業(yè)綜合的、集成的以及操作型的處理需求”(Bill.Inmo

2、n)。ODS是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和OLTP系統(tǒng)的部分特征。1.1 ODS的出現(xiàn)系統(tǒng)應用集成中一般對各系統(tǒng)中數(shù)據(jù)分為兩類：操作型數(shù)據(jù),有細節(jié)化，分散化的特點；決策型數(shù)據(jù)，有綜合化，集成化的特點。       數(shù)據(jù)倉庫概念的提出也把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了DB-DW的兩層體系結(jié)構(gòu)。但是有很多情況，DB-DW的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求,比如有些實時性決策問題,它要求獲取數(shù)據(jù)周期不能太長,而且也需要一定程度的匯總。信息處理的多層次要求導致了一種新的數(shù)據(jù)環(huán)境DB

3、-DW的中間層ODS（操作型數(shù)據(jù)存儲）的出現(xiàn)。它像DW一樣是一種面向主題，集成的數(shù)據(jù)環(huán)境，又像操作型DB一樣包含著全局一致的、細節(jié)的當前的數(shù)據(jù)。這樣就構(gòu)成了DB-ODS-DW的關(guān)于企業(yè)數(shù)據(jù)的三層體系結(jié)構(gòu)。1.2與應用系統(tǒng)、數(shù)據(jù)倉庫的比較       根據(jù)數(shù)據(jù)倉庫之父Bill. Inmon的定義，“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的，主要用于決策支持的數(shù)據(jù)庫系統(tǒng)”。下面對數(shù)據(jù)倉庫、ODS和數(shù)據(jù)庫進行多方面的比較：比較項目數(shù)據(jù)倉庫ODS應用系統(tǒng)建設(shè)目的決策支持實時監(jiān)控業(yè)務(wù)操作服務(wù)對象企業(yè)管理層業(yè)務(wù)管理層生產(chǎn)層存儲周期長期短期即時處理頻率非實時

4、準實時實時主要功能分析功能事務(wù)處理，短時分析事務(wù)處理技術(shù)實現(xiàn)OLAPOLAP、OLTPOLTP功能結(jié)構(gòu)集中相對集中分散數(shù)據(jù)類型明細數(shù)據(jù),匯總數(shù)據(jù)明細數(shù)據(jù)明細數(shù)據(jù)數(shù)據(jù)容量非常大小小1.3 應用集成方案比較實施方案實施結(jié)果優(yōu)勢缺陷數(shù)據(jù)倉庫(DW)企業(yè)能夠分析DW中的歷史數(shù)據(jù)，進行中遠期的規(guī)劃可以解決企業(yè)的決策需求不能滿足企業(yè)的實時監(jiān)控和實時業(yè)務(wù)需求操作型數(shù)據(jù)存儲(ODS)企業(yè)能夠把握ODS中的當前綜合數(shù)據(jù)，對企業(yè)的及時運行情況隨時掌控可以滿足企業(yè)的實時監(jiān)控和實時業(yè)務(wù)需求不能滿足企業(yè)的中遠期決策需求DW+ODS企業(yè)能夠分析ODS中的當前綜合數(shù)據(jù)，對企業(yè)當前運行情況進行宏觀控制;能夠分析DW中的歷史數(shù)

5、據(jù)，對未來進行合理規(guī)劃ODS技術(shù)的引入和應用，為企業(yè)在日常經(jīng)營中進行即時OLAP提供了一種解決方案，使得企業(yè)無須建立一個“臃腫”的DW，就可以進行一些非戰(zhàn)略性的中層決策，來實現(xiàn)對企業(yè)的日常管理和控制，同時也能獲得較快的響應速度。Orange    Orange是一個基于組件的數(shù)據(jù)挖掘和機器學習軟件套裝，它的功能即友好，又很強大，快速而又多功能的可視化編程前端，以便瀏覽數(shù)據(jù)分析和可視化，基綁定了Python以進行腳本開發(fā)。它包含了完整的一系列的組件以進行數(shù)據(jù)預處理，并提供了數(shù)據(jù)帳目，過渡，建模，模式評估和勘探的功能。其由C+和Python開發(fā)，它的圖形庫是由跨平臺的Qt框架開

6、發(fā)。    RapidMiner    RapidMiner，以前叫YALE(Yet Another Learning Environment)，其是一個給機器學習和數(shù)據(jù)挖掘和分析的試驗環(huán)境，同時用于研究了真實世界數(shù)據(jù)挖掘。    它提供的實驗由大量的算子組成，而這些算子由詳細的XML文件記錄，并被RapidMiner圖形化的用戶接口表現(xiàn)出來。RapidMiner為主要的機器學習過程提供了超過500算子，并且，其結(jié)合了學習方案和Weka學習環(huán)境的屬性評估器。它是一個獨立的工具可以用來做數(shù)據(jù)分析，同樣也是一個數(shù)據(jù)挖掘引擎可以用來集成到你

7、的產(chǎn)品中。    Weka    由Java開發(fā)的Weka(Waikato Environment for Knowledge Analysis)是一個知名機器學機軟件，其支持幾種經(jīng)典的數(shù)據(jù)挖掘任務(wù)，顯著的數(shù)據(jù)預處理，集群，分類，回歸，虛擬化，以及功能選擇。    其技術(shù)基于假設(shè)數(shù)據(jù)是以一種單個文件或關(guān)聯(lián)的，在那里，每個數(shù)據(jù)點都被許多屬性標注。Weka使用Java的數(shù)據(jù)庫鏈接能力可以訪問SQL數(shù)據(jù)庫，并可以處理一個數(shù)據(jù)庫的查詢結(jié)果。它主要的用戶接品是Explorer，也同樣支持相同功能的命令行，或是一種基于組件的知識流接口。 

8、;   JHepWork    為科學家，工程師和學生所設(shè)計的jHepWork是一個免費的開源數(shù)據(jù)分析框架，其主要是用開源庫來創(chuàng)建一個數(shù)據(jù)分析環(huán)境，并提供了豐富的用戶接口，以此來和那些收費的的軟件競爭。    它主要是為了科學計算用的二維和三維的制圖，并包含了用Java實現(xiàn)的數(shù)學科學庫，隨機數(shù)，和其它的數(shù)據(jù)挖掘算法。jHepWork是基于一個高級的編程語言Jython，當然，Java代碼同樣可以用來調(diào)用jHepWork的數(shù)學和圖形庫。    KNIME    KNIME (Konstanz Information Miner) 是一個用戶友好，智能的，并有豐演的開源的數(shù)據(jù)集成，數(shù)據(jù)處理，數(shù)據(jù)分析和數(shù)據(jù)勘探平臺。    它給了用戶有能力以可視化的方式創(chuàng)建數(shù)據(jù)流或數(shù)據(jù)通道，可選擇性地運行一些或全部的分析步驟，并以后面研究結(jié)果，模型以及可交互的視圖。KNIM