1、AIS數(shù)據(jù)融合平臺方案（討論稿）20140106目錄1. 簡介32. 系統(tǒng)架構(gòu)32.1. 用戶場景32.1.1. 海上導(dǎo)航32.1.2. 異常警報42.2. 整體架構(gòu)52.2.1. AIS數(shù)據(jù)融合系統(tǒng)功能52.2.2. AIS數(shù)據(jù)融合總線架構(gòu)62.2.3. AIS數(shù)據(jù)融合業(yè)務(wù)流程62.3. 技術(shù)支撐72.3.1. 數(shù)據(jù)獲取和歸檔系統(tǒng)72.3.2. 數(shù)據(jù)融合支撐系統(tǒng)72.3.3. 數(shù)據(jù)服務(wù)提供系統(tǒng)73. 當(dāng)前進(jìn)展73.1. 數(shù)據(jù)融合支撐73.2. 算法模型驗(yàn)證73.2.1. 數(shù)據(jù)清洗73.2.2. L1級港口分析83.3. 服務(wù)框架搭建113.4. 數(shù)據(jù)可視設(shè)計1151-簡介本文檔中會簡逑,面向

2、AIS （Automatic Identification System,船舶自動識別系統(tǒng)）數(shù)據(jù) 的數(shù)據(jù)融合平臺，包括系統(tǒng)功能架構(gòu)、技術(shù)可行性分析以及當(dāng)前項目進(jìn)展及規(guī)劃。下圖為平臺的整 體業(yè)務(wù)流圖。2.系統(tǒng)架構(gòu)本章節(jié)會從整體架構(gòu)、用戶場景、系統(tǒng)功能、和技術(shù)支攆四部分耒對整體系統(tǒng)架構(gòu)來做規(guī)劃。21.用戶場景AIS數(shù)據(jù)融合平臺主要面向兩種應(yīng)用場景來迸行數(shù)據(jù)融合：海上導(dǎo)航和異常捕獲。下面對該 兩種場景進(jìn)行詳細(xì)描述。2.1 1.海上導(dǎo)航問題：目前的海上導(dǎo)航更多的是船長基于航行經(jīng)險，集合海圖信息（符合工H0關(guān)于電子海圖數(shù)據(jù)的 國際規(guī)范標(biāo)準(zhǔn)，提供港口、水深、沉珈等保障航行安全的海洋信總、），來進(jìn)行決策，還

3、不能達(dá)到像陸 上交通一樣的精細(xì)化導(dǎo)航。解決：AIS數(shù)據(jù)融合平臺能夠針對不同種類的海洋航行需求，利用AIS數(shù)據(jù)挖掘得到的區(qū)域、航道、 港口、郵舶信息，同時融合海洋氣象數(shù)據(jù)、海事熱點(diǎn)數(shù)據(jù)、海洋交通流量等多方面信息，進(jìn)一步豐 富和完善電子海圖，同時規(guī)劃合理高效的海上航行軌跡并進(jìn)行亞實(shí)時導(dǎo)航。數(shù)據(jù)源：1 .電子海圖數(shù)據(jù)、（推進(jìn)途徑一：從公開渠道查詢者以何種形式結(jié)合，by陳攀、英老師；推迸途 徑二：直接與文給網(wǎng)溝通看有無可能合作形式，by吳先斌、徐老師；推進(jìn)途徑三：也請海信院 幫忙協(xié)調(diào)查找電子海圖數(shù)據(jù)）2 . A工S融合數(shù)據(jù)、（來源為寶相網(wǎng)、海信院）3 .海洋氣象數(shù)據(jù)、（推進(jìn)路徑同電子海團(tuán)數(shù)據(jù)）場景功能

4、子項：1 .海上航線導(dǎo)航：選定某一個港口或者某一漁場，輸入或者直接定位當(dāng)前位置，便可以規(guī)劃到該 港口或者漁場的路徑。其中，可以推進(jìn)最短、最快、常見和安全四種類型的航線。2 .航線偏高報瞥：當(dāng)班在行駛過程中偏高了推薦航線的安全區(qū)域（根據(jù)基準(zhǔn)航線以及區(qū)域閾值兩個取值來標(biāo)定），會發(fā)起報警。3 .航線熱點(diǎn)播報：那在行駛過程中，會播報航線過程中經(jīng)過或者可能經(jīng)過的海上熱點(diǎn)地點(diǎn)，比如 港口、漁場、失聯(lián)飛機(jī)地點(diǎn)、沉班多發(fā)地點(diǎn)等等。（請?zhí)峁┙缑媸疽鈭D，原型設(shè)計工具來做吧，AXTURE,包含的功能子項說明，by莫老師）2.1.2.異常警報問題：目前無論是通過岸基雷達(dá)還是通過第三方數(shù)據(jù)源，A1S數(shù)據(jù)本身以天圍繞A工

5、S數(shù)據(jù)融合得到 的區(qū)域、航道、港口、船舶等等實(shí)體信息可能存在多種類型的異常，具體包括：（描述具體的異常）。 但由于海事航行中A工S設(shè)備使用不夠規(guī)范、對多源A1S數(shù)據(jù)缺乏整理和歸納、不能結(jié)合其他源數(shù)據(jù) 進(jìn)行高層融合等原因，導(dǎo)致大量的異常信息不能夠被天時捕獲。解決：A工S數(shù)據(jù)融合平臺能夠針對不同種類的海事監(jiān)控需求（初期針對海箸），天時捕獲各個層次的 異常，進(jìn)行當(dāng)前異常查詢、歷史異常查詢、實(shí)時異常報警等等，這對于海警等海上執(zhí)法機(jī)構(gòu)規(guī)范海 洋航行、捕獲海上異常有很強(qiáng)的現(xiàn)實(shí)意義。數(shù)據(jù)源：1 . A工S融合數(shù)據(jù)、（來源為寶相網(wǎng)、海信院）2 .海洋氣象數(shù)據(jù)、（推進(jìn)路徑同電子海團(tuán)數(shù)據(jù)）場景功能子項：1 .原始

6、信息異常：原始A工S數(shù)據(jù)中MMS工、船類型、相名、國別、朋長、船寬等靜態(tài)信息以及時間、 位置、航行狀態(tài)等動態(tài)信息中存在的數(shù)據(jù)錯誤、缺失、亶復(fù)、偽裝等等迸行捕獲2 .實(shí)體異常：根據(jù)A工S數(shù)據(jù)進(jìn)行數(shù)據(jù)融合的L1層分析，對包括區(qū)域、相舶、港口、漁場、航線等 進(jìn)行分析，根據(jù)該實(shí)體的歷史特征（比如同一艘朋在歷史上多次航行的特征）以及同類實(shí)體特 征（比如同樣噸位和用途的船的特征），根據(jù)其當(dāng)前實(shí)際的A工S數(shù)據(jù)發(fā)現(xiàn)其可能的特征異常，具 體可能存在異常的特征的類型包括： 區(qū)域異常：船型分布、A工S更新率、交通流量 船舶異常：靜態(tài)屬性、特征、軌跡、其他 港口異常：位曼、吞吐量、那型 漁場異常：時間、位置、熱度、停

7、留時間 航線異常：時間、起止位置、航速、吞吐量、寬度3.實(shí)體關(guān)系異常：根據(jù)L1產(chǎn)品一實(shí)體狀態(tài)數(shù)據(jù)，迸行數(shù)據(jù)融合的L2層處理，對區(qū)域、肥舶、港 口、漁場、航線等實(shí)體之間的關(guān)系進(jìn)行分析，發(fā)現(xiàn)與歷史模式的偏離以及與其他實(shí)體間關(guān)系模式的偏離，具體可能存在的異常類型包括： 那與班：船隊、集會、碰撞 那與港口：貨運(yùn)量、入港模式、停泊時間 港口與港口：貿(mào)易關(guān)系、發(fā)展趨勢 船與漁區(qū)：偏好漁區(qū) 那與航線：偏離航線、異常速度4.推測事件異常：結(jié)合多類異常、L0L3層的數(shù)據(jù)融合產(chǎn)品與專家知識，推測可能發(fā)生的異常事 件。（請?zhí)峁┙缑媸疽鈭D，原型設(shè)計工具來做吧，包含的功能子項說明，by英老師）22整體架構(gòu)本于章節(jié)從A1

8、S數(shù)據(jù)融合功能分層、A1S數(shù)據(jù)融合總線架構(gòu)、AIS數(shù)據(jù)融合業(yè)務(wù)流程三個方面 來描述和討論系統(tǒng)的整體框架和設(shè)計。2.2.1. AIS數(shù)據(jù)融合系統(tǒng)功能A工S數(shù)據(jù)融合系統(tǒng)功能分層圖（請對各個層次中系統(tǒng)功能邏輯進(jìn)行描述和細(xì)化by黃博士）2.2.2. AIS數(shù)據(jù)融合總線架構(gòu)L2:實(shí)體關(guān)系多源AIS數(shù)據(jù)L3:影響評估數(shù)據(jù)管理年上導(dǎo)航：期困（最短、常見、|百嶼A。 I1RO - 1為o|已）、聊共熱點(diǎn)魏12品m品，產(chǎn)品乒包發(fā)現(xiàn)：宴微斑邱8、實(shí)依狀訪常、I I . .xn I j第三方 如由皿| I眄二產(chǎn)募募乒閏J 產(chǎn)-J，彘J產(chǎn)闞嗎應(yīng)用 服務(wù)&人機(jī)交互L1:實(shí)體狀態(tài)AIS數(shù)據(jù)融合總線架構(gòu)圖在L1進(jìn)行

9、的工作是將存在噪聲和錯誤的原始A1S數(shù)據(jù)處理得到各個實(shí)體的狀態(tài)、屬性。這一 層處理主要使用多目標(biāo)跟蹤領(lǐng)域的算法，對海上的多艘船只進(jìn)行持續(xù)跟蹤，建立它們的檔案和歷史 軌跡資料。常用的算法是卡爾曼濾波，對實(shí)體狀態(tài)迸行最小均方根諛差估計。在跟蹤過程中，通過 聚類、貝葉斯推理、證據(jù)理論等方法區(qū)分多個目標(biāo)。以分析五年歷史數(shù)據(jù)為例，多班舶跟蹤算法的復(fù)雜度預(yù)計為：100*總班數(shù)*單只船上報A工S總100*1M*5*365*1K=1014需要查詢指定區(qū)域指定時間的船的信息：總船數(shù)*單只船上報A1S總數(shù)-1M*5*365*1K=1012次。當(dāng)每次查詢用時1S時，總時間為1012/86400 107天完成多目標(biāo)狀

10、態(tài)后，實(shí)體狀態(tài)估計的算法復(fù)雜度和查詢次數(shù)近似為多目標(biāo)跟蹤。L1產(chǎn)品中的那 舶動態(tài)信息存儲到時空數(shù)據(jù)庫中，為后續(xù)的L2、L3分析提供基礎(chǔ)。L2的實(shí)體關(guān)系分析主要采用聚類算法，分析實(shí)體間關(guān)系的模式與特征，從而為異常分析等L3 處理提供基礎(chǔ)。L3的異常發(fā)現(xiàn)主要使用聚類找到偏離度較大的點(diǎn)。導(dǎo)航功能可以使用圖論的方法來尋找代價最 小的路徑。（請時各個模塊中系統(tǒng)采用的算法進(jìn)行描述，by吳琳、吳先斌）2.2.3. AIS數(shù)據(jù)融合業(yè)務(wù)流程AIS數(shù)據(jù)融合平臺主要由數(shù)據(jù)清洗與歸檔系統(tǒng)，數(shù)據(jù)融合支撐平臺和數(shù)據(jù)服務(wù)提供系統(tǒng)三部分 技術(shù)模塊組成。輸入數(shù)據(jù)源主要包括第三方A1S數(shù)據(jù)，岸茶A工S數(shù)據(jù)，海團(tuán)數(shù)據(jù)和海洋氣象數(shù)據(jù)

11、。 經(jīng)數(shù)據(jù)融合平臺清洗，歸檔，融合，整理后，最終面向海警和漁業(yè)相關(guān)受眾，提供豐富多樣的可視 化結(jié)果呈現(xiàn)。數(shù)理清洗與歸檔系統(tǒng)岸基AIS數(shù)據(jù)第三方 AIS數(shù)據(jù)洋象據(jù)海氣數(shù)數(shù)據(jù)導(dǎo)入引擎數(shù)據(jù)融合支摩平臺數(shù)據(jù)服務(wù)提供系統(tǒng)3999噓析擎 檄分引數(shù)據(jù)清洗分布式云存儲平臺AIS數(shù)據(jù)融合平臺業(yè)務(wù)流圖（消對整體業(yè)務(wù)流程、數(shù)據(jù)容量和系統(tǒng)功能進(jìn)行筒單描述，by刁博宇）23.技術(shù)支撐數(shù)據(jù)支撐平臺主要由數(shù)據(jù)清洗與歸檔系統(tǒng)和數(shù)據(jù)融合支拂平臺蛆成。數(shù)據(jù)清洗與歸檔系統(tǒng)主要 將缺失，錯誤，不規(guī)范的A工S數(shù)據(jù)，海圖數(shù)據(jù)，氣象數(shù)據(jù)等迸行恢復(fù)，插值，刪除等操作，進(jìn)而得 到可用，可靠的數(shù)據(jù)集合。同時，屏蔽不同數(shù)據(jù)源存儲結(jié)構(gòu)的不同，將各類

12、異構(gòu)數(shù)據(jù)庫歸檔到統(tǒng)一 的數(shù)據(jù)存儲平臺。數(shù)據(jù)融合支撐平臺主要由茶于Hadoop V2 & Spark開源框架的全量數(shù)據(jù)分析平 臺和基于Oracle關(guān)系型數(shù)據(jù)庫的樣本數(shù)據(jù)分析平臺組成。經(jīng)過優(yōu)化后的Hadoop V2 & Spark全量 數(shù)據(jù)分析平臺向上可提供兩類復(fù)雜的機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘算法接口和高效的SQL查詢接口；建立多 級檢索的Oracle樣本數(shù)據(jù)分析平臺可向上提供快速查詢接口，方便融合算法的快速迭代研發(fā)和險 證。全量數(shù)據(jù)分析平臺和樣本數(shù)據(jù)分析平臺相輔相成，前者在融合算法上更加是活，可向上提供復(fù) 雜的融合算法開發(fā)接口；后者檢索快速，適用于在線快速研發(fā)融合算法。上層融合算法庫，算

13、法接口等內(nèi)部算法庫數(shù)據(jù)訪問接口HDFS三IAIS數(shù)據(jù)融合支撐平臺架構(gòu)前期，數(shù)據(jù)融合支撐平臺將為融合算法研發(fā)提供可用，可靠，高效的檢索接口，算法接口等； 隨著融合算法研發(fā)的不斷成熟，典型的融合算法將作為一個任務(wù)模塊與數(shù)據(jù)平臺緊密耦合，全天候 運(yùn)行在平臺上，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的實(shí)時導(dǎo)入，自動化分析和實(shí)時服務(wù)提供等。2.3.1 .數(shù)據(jù)清晰與歸檔系統(tǒng)數(shù)據(jù)清洗與歸檔系統(tǒng)身在將來自不同存儲結(jié)構(gòu)的岸基A工S數(shù)據(jù)，第三方A工S數(shù)據(jù)，海圖數(shù)據(jù)和 海洋氣象數(shù)據(jù)等，以統(tǒng)一的結(jié)構(gòu)化標(biāo)準(zhǔn)歸檔如數(shù)據(jù)支撐平臺。由于通信環(huán)境惡劣，數(shù)據(jù)量大且復(fù)雜等因素，直接得到的岸基A工S數(shù)據(jù)和星載A工S數(shù)據(jù)存在大 規(guī)模的數(shù)據(jù)缺失，錯碼誤碼，不可用

14、消息，此義消息等。經(jīng)過對樣本AIS數(shù)據(jù)的初步分析，AIS目 的地字段缺失率超過50%,不符合規(guī)定的MA1S工消息超過20%, GPS時間誤差達(dá)到分鐘級別等。對于 這些數(shù)據(jù)，清洗系統(tǒng)會對可恢復(fù)的消息通過清洗算法最大限度的進(jìn)行恢復(fù)，對于無法恢復(fù)的消息則 進(jìn)行刪除操作，避免擾亂最終的數(shù)據(jù)分析結(jié)果。各方的AIS數(shù)據(jù)目前主要保存在傳統(tǒng)關(guān)系型數(shù)據(jù)庫中，如寶腦網(wǎng)采用Oracle數(shù)據(jù)庫進(jìn)行數(shù)據(jù) 存儲和檢索。傳統(tǒng)關(guān)系型數(shù)據(jù)庫的缺點(diǎn)是檢索性能無法承受TB級別的數(shù)據(jù)，擴(kuò)展性受限，且很難時 復(fù)雜的機(jī)器學(xué)習(xí)迭代算法進(jìn)行有效的支攆。當(dāng)前，主流大數(shù)據(jù)分析平臺的數(shù)據(jù)采用的是NoSql存儲 架構(gòu)，SQL和NoSQL的底層原理有

15、著巨大的差別，因此需要考慮異構(gòu)引擎數(shù)據(jù)向大數(shù)據(jù)存儲平臺導(dǎo) 入過程中的各類兼容問題。擬采用Apache Sqoop開源框架實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫向大數(shù)據(jù)分析平臺的 數(shù)據(jù)導(dǎo)入工作，Sqoop支持任何一款JDBC規(guī)范的關(guān)系型數(shù)據(jù)庫向HDFS或HBASE導(dǎo)入數(shù)據(jù)。主流的 企業(yè)級關(guān)系型數(shù)據(jù)庫包括Oracle, MySql,SqlServer以及DB2等，這些關(guān)系型數(shù)據(jù)庫都支持JDBC 規(guī)范的訪問。因此都可以兼容Sqoop框架。2.3.2 .數(shù)據(jù)融合支撐平臺數(shù)據(jù)融合支撐平臺主要由基于HadoopV2& Spark開源框架的全量數(shù)據(jù)分析平臺和基于Oracle 11g關(guān)系型數(shù)據(jù)庫的樣本數(shù)據(jù)分析平臺組成。Ha

16、doop V2在架構(gòu)上相比于早期版本有了質(zhì)的改變， 在HDFS中引入Cache機(jī)制，大大提升磁盤工0效率，并在HDFS之上封裝了一層資源調(diào)度層，這樣 就允許更多的分布式計算框架運(yùn)行在同一個分布式系統(tǒng)上，共享數(shù)據(jù)和計算資源，極大降低了運(yùn)維 成本。Spark是由美國加州伯克利大學(xué)研發(fā)的一套內(nèi)存計算框架，在復(fù)雜迭代算法，尤其是TB級大 數(shù)據(jù)的機(jī)器學(xué)習(xí)算法上有卓越的性能，相比于傳統(tǒng)的MapReduce計算框架，性能提升可達(dá)數(shù)十倍乃 至上百倍。不僅如此，Spark原生提供了豐富的機(jī)器學(xué)習(xí)算法庫，支持基于DAG的SQL查詢接口， 這都將極大降低開發(fā)成本，縮短開發(fā)周期。Oracle 11g作為新版本的Ora

17、cle數(shù)據(jù)庫，在GB級規(guī) 模的數(shù)據(jù)上有很高的檢索性能，可作為前期算法初步險證的數(shù)據(jù)平臺，實(shí)現(xiàn)實(shí)時在線數(shù)據(jù)抽取等。數(shù)據(jù)融合支攆平臺架構(gòu)前期，數(shù)據(jù)融合支撐平臺將為融合算法研發(fā)提供可用，可靠，高效的檢索接口，算法接口等； 隨著融合算法研發(fā)的不斷成熟，典型的融合算法將作為一個任務(wù)模塊與數(shù)據(jù)平臺緊密耦合，逐漸構(gòu) 成一個內(nèi)部算法庫，并可全天侯運(yùn)行在平臺上，進(jìn)而逐步實(shí)現(xiàn)數(shù)據(jù)自動化分析和實(shí)時服務(wù)提供等233.數(shù)據(jù)服務(wù)提供系統(tǒng)請黃博士和莫老師落實(shí)到人進(jìn)行方案補(bǔ)充3.當(dāng)前進(jìn)展31數(shù)據(jù)融合支撐數(shù)據(jù)融合支撐平臺巳經(jīng)初步完成了系統(tǒng)險證性工作，并且巳經(jīng)基于HadoopV2開源框架部署了 一套數(shù)據(jù)支撐平臺，可作為前期系統(tǒng)險

18、證，算法險證的生產(chǎn)環(huán)境。巳搭德Oracle 11g數(shù)據(jù)摩服務(wù) 器，提供高效數(shù)據(jù)訪問接口。目前，兩套環(huán)境均巳按照A1S數(shù)據(jù)規(guī)范，建立動態(tài)信息表格，并將樣本數(shù)據(jù)導(dǎo)入相應(yīng)的存儲結(jié) 構(gòu)中。數(shù)據(jù)提供接口的封裝設(shè)計已經(jīng)完成，正在進(jìn)行核心接口的代碼開發(fā)工作。另外，由中科藍(lán)鯨提供的存儲集群等硬件設(shè)備本周巳經(jīng)到位，預(yù)計近期即可上線使用，以提升 整套系統(tǒng)的存儲容量和性能。3.2. 算法模型驗(yàn)證3.2.1. L1級港口分析1）港口發(fā)現(xiàn)港口發(fā)現(xiàn)算法流程圖2）算法實(shí)例險證以瓊州海峽2014年6月至8月數(shù)據(jù)為例進(jìn)行了算法的初步險證。選取的經(jīng)緯度范圍為東經(jīng)109 度55分至110度25分，北緯19度55分至20度20分，包含瓊州海峽航道以天海口市和宙州市 海安鎮(zhèn)的相關(guān)港口。具體分布如下圖所示:瓊州海峽示意團(tuán)來往加只信息統(tǒng)計: 海域相關(guān)船只：3762短 接收到A1S數(shù)量：425998條 其中AIS消息次數(shù)5次以上的船只：2576艘 貨班1798般 客船73艘 油掄392股對其中客船的A1S數(shù)據(jù)