某省聯通數據稽核 方 案 交 流 2009年 12月 1 目錄 1 項目背景 2 需求目標分析 3 綜合解決方案 2 背景 在以 2G移動業(yè)務為主的時代， BSS系統(tǒng)僅與有限的網元設備進行數據交換，實現的協(xié)議和功能也不復雜。但隨著 3G業(yè)務的全面開展，全業(yè)務的融合， BSS、 VAC、 OCS以及 ESS等多個系統(tǒng)的建設， BSS與網元的交互數量增多，需要實現的功能和協(xié)議也趨于復雜，交互流程變長，對交互的時效性要求增加。 統(tǒng)一開通系統(tǒng)的時效性要求，導致統(tǒng)一開通系統(tǒng)在處理業(yè)務操作的一致性性和完整性方面存在不足，不能完全保證各個業(yè)務系統(tǒng)中相關數據的一致性和完整性。 3 項目背景 由于目前沒有有效的核對機制，造成各系統(tǒng)之間的用戶數據經常能出現數據不一致的情況，從而帶來很多問題，包括： 服務不一致，導致用戶投訴 網元設備中存在不少無效數據，不能進行準確的資源回收，從而降低資源使用的有效性 作為企業(yè)運營關鍵的用戶數據，在關鍵系統(tǒng)中不能保成良好的一致性，阻礙了用戶數據管理水平提升 目前某省聯通的 BSS、 HLR、 SCP、 VAC、 OCS、增值如意呼平臺、增值炫鈴平臺業(yè)務網元都分布有用戶數據： 其中 BSS用戶數據是作為計費、收費以及客戶服務的基本數據 HLR、 SCP、 VAC等平臺的用戶數據是作為提供用戶相關業(yè)務的基本數據，都具有很高的重要性 現狀分析 數據不一致導致的問題 4 項目背景 用戶投訴 因為數據不一致帶來的用戶服務投訴、計費錯誤投訴等 收入流失 收費業(yè)務沒有在 BSS系統(tǒng)登記卻在其他系統(tǒng)存在有效記錄，導致漏收費（如來電顯示）或錯收費雙倍返還 (如炫鈴 )。 影響業(yè)務發(fā)展 垃圾數據占用系統(tǒng)空間，不能及時釋放、啟用系統(tǒng)有限資源，影響系統(tǒng)性能和資源使用效率。 降低客服響應效率 -降低客服響應速度和處理準確率 影響業(yè)務營銷推廣 -信息不健全影響業(yè)務營銷推廣 數據不一致問題帶來的影響 5 目錄 1 項目背景 2 需求目標分析 3 綜合解決方案 6 建設目標 數據比對 數據同步 統(tǒng)計報表 對 BSS、 HLR、 SCP、 VAC、增值如意呼平臺、增值炫鈴平臺系統(tǒng)之間的用戶資料數據進行核對，可支持增量及全量比對方式，及時發(fā)現各系統(tǒng)用戶資料數據之間的差異，以便采取有效技術手段保障數據一致 提供各系統(tǒng)用戶數據的同步功能，確保各系統(tǒng)用戶數據的準確性、一致性，避免因用戶數據的不一致帶來客戶投訴或業(yè)務收入流失。 提供基于數據對帳以及數據同步的各種報告和統(tǒng)計報表，提供對于對帳過程和同步過程的監(jiān)控和告警，系統(tǒng)具備一定的異常處理能力 通過對 BSS系統(tǒng)的改造，增加數據稽核的組件，解決手工數據對帳及修改時效率低、維護不方便的問題，實現業(yè)務流程的不斷完善和管理能力提升 數據備份 與統(tǒng)一開通配合進行各網元實時數據同步備份，并要求在指定的恢復窗口時間內恢復 。 7 建設原則 建 設 原 則 保證現有系統(tǒng)的穩(wěn)定性，最大限度保證現有業(yè)務系統(tǒng)不受影響 充分考慮保護現有系統(tǒng)的投資 可擴展性原則：系統(tǒng)設計模塊化、可配置，能夠適應一定時間內的業(yè)務變化，并保證系統(tǒng)在進行擴展時，不影響系統(tǒng)的正常運行 高效性原則：滿足未來業(yè)務發(fā)展需要、滿足實時處理的能力，完成多類型業(yè)務的綜合應用 綜合考慮未來 BSS系統(tǒng)業(yè)務系統(tǒng)需求與建設規(guī)劃 8 數據比對要求 比對內容 比對方式 1，比對方式包含全量比對和增量比對 2，全量比對，首次采用，后根據情況定期或不定期采用。 1，針對 BSS中的某項業(yè)務 2，涉及 BSS、核心網網元、業(yè)務網網元 3，包括用戶數據、業(yè)務局數據 3，增量比對，定期采用 9 適用范圍業(yè)務范圍 移動業(yè)務 用戶基礎業(yè)務 短信 、通話權限（國際、國內、本地）、漫游權限（國際、國內、省內、本地）、來電顯示（顯示、限制、強顯、強顯限制）、 呼叫轉移、呼叫等待、三方通話、呼叫限制、IVPN、 OCS 、可視電話、數據業(yè)務接入點（ GPRS、 HSDPA、 APNID、 EQOSID） 用戶增值業(yè)務 手機音樂 、手機電視 、手機郵箱 、如意呼 、炫鈴 、話費周周報 、彩信話費周周報 、天氣預報 、如意郵箱 、一卡多號 、短信防火墻 、短信 SP業(yè)務 、彩信 SP業(yè)務 業(yè)務范圍 數固業(yè)務 寬帶業(yè)務 寬帶業(yè)務 10 適用范圍網元范圍與數據范圍 網元范圍 支撐網 主要指 BSS系統(tǒng)（包括一級 BSS、網管、客服等周邊支撐系統(tǒng)，是一個整合 BSS的概念） 核心網 主要指 HLR 業(yè)務網 與 BSS業(yè)務相關的所有業(yè)務平臺，典型網元如： 智能網平臺 VAC平臺 SCP等 用戶信息 用戶基本信息 用戶標識 用戶訂購信息 訂購信息標識 業(yè)務 局數據 業(yè)務局數據標識 數據范圍 用戶屬性 用戶狀態(tài) 手機號碼、 IMSI號碼、集團 ID等 訂購信息屬性 訂購信息狀態(tài) 業(yè)務局數據屬性 業(yè)務局數據狀態(tài) 聯系方式、品牌、賬號、終端信息、歸屬地、第三方號碼等 用戶狀態(tài)等 用戶標識、 SP代碼、 SP業(yè)務代碼等 受理信息、套餐、訂購時間、起始時間、終止時間、更新時間等 訂購狀態(tài)、生 /失效時間等 SP代碼、 CP代碼、 SP業(yè)務代碼等 SP名稱、業(yè)務種類、客服信息、業(yè)務描述、計費類型等 SP狀態(tài)、業(yè)務狀態(tài)等 11 網元的交互 業(yè)務 網元與交互 數據一致性相關網元 交互方向 寬帶業(yè)務 寬帶業(yè)務 BSS、 RADIUS 雙向 移動業(yè)務 新業(yè)務 用戶基礎業(yè)務 BSS、 HLR 單向 用戶增值業(yè)務 手機音樂 BSS、 VAC 雙向 手機電視 BSS、 VAC 雙向 手機郵箱 BSS、 VAC 雙向 如意呼 BSS、 HLR、如意呼平臺 BSS與 HLR之間是單向交互， BSS與如意呼之間雙向交互 炫鈴 BSS、 HLR、炫鈴平臺 BSS與 HLR之間是單向交互， BSS與炫鈴平臺之間雙向交互 話費周周報 BSS、相關本地增值平臺 雙向 彩信話費周周報 BSS、相關本地增值平臺 雙向 天氣預報 BSS、相關本地增值平臺 雙向 如意郵箱 BSS、相關本地增值平臺 雙向 一卡多號 BSS、相關本地增值平臺 雙向 短信防火墻 BSS、相關本地增值平臺 雙向 短信 SP業(yè)務 BSS、聯通在信 雙向 12 核心網比對數據分類 比對數據分類 說明 一致性要求 用戶信息 用戶標識 手機號碼、 IMSI號碼 必須進行有 /無比對，并做標識 簽約信息 KI值、停復機狀態(tài)、長途、漫游、呼叫限制、呼叫轉移、來電顯示、去電隱藏、呼叫保持、多方通話、短信等 必須進行一致性比對 13 業(yè)務網比對數據分類 比對數據分類 說明 一致性要求 用戶信息 用戶基本信息 用戶標識 手機號碼、 IMSI號碼、集團 ID等 必須進行有 /無比對，并做標識 用戶屬性 社會屬性 名稱、類型、性別、聯系方式等 無 業(yè)務屬性 品牌、用戶群組、賬號、密碼等 無 資源屬性 終端信息、號碼歸屬地、第三方號碼等 無 用戶狀態(tài) 用戶狀態(tài)等 必須進行一致性比對 訂購信息 訂購標識 用戶標識、 SP代碼、 SP業(yè)務代碼等 必須進行有 /無比對，并做標識 訂購屬性 訂購服務信息 受理信息、套餐、訂購時間、起始時間、終止時間、更新時間等 無 資費屬性 資費編碼、資費類型、費率、計費區(qū)間、優(yōu)惠方式、優(yōu)惠級別、優(yōu)惠額度等 進行一致性比對 附加信息 操作流水、操作時間、操作來源等 無 服務協(xié)議 服務協(xié)議編碼、服務協(xié)議內容、服務協(xié)議狀態(tài)等 無 訂購狀態(tài) 訂購狀態(tài)、生 /失效時間等 必須進行一致性比對 業(yè)務局數據 業(yè)務局數據標識 SP代碼、 CP代碼、 SP業(yè)務代碼等 必須進行有 /無比對并做標識 業(yè)務局數據屬性 SP名稱、 SP描述、 SP類型、業(yè)務編碼、業(yè)務種類、客服信息、業(yè)務描述、訪問模式、價格、計費類型、業(yè)務使用方法描述、業(yè)務的介紹網址等 進行一致性比對 業(yè)務局數據狀態(tài) SP狀態(tài)、業(yè)務狀態(tài)等 必須進行一致性比對 14 目錄 1 項目背景 2 需求目標分析 3 綜合解決方案 15 業(yè)務處理流程 HLRSMP/C彩 鈴MISC數據采集數據預處理數據對帳對帳稽核不一致處理營 帳系 統(tǒng)統(tǒng) 一 開 通 系 統(tǒng)數 據 匯 總 告 警 處 理界 面 展 現用 戶 數 據 優(yōu) 化同 步 系 統(tǒng)HLR SMP / SCP 炫鈴 VAC 數 據 采 集 數 據 預 處 理 數 據 比 對 比 對 稽 核 不 一 致 處 理 營帳 系統(tǒng) 統(tǒng)一開通系統(tǒng) 數據匯總 告警處理 界面展現 用戶數據優(yōu)化 同步系統(tǒng) 16 功能架構設計 展現及交互界面 查詢統(tǒng)計 數據對帳管理 配置管理 系統(tǒng)管理 采集 接口 數據采集 數據預處理 BSS接口 HLR接口 其他網元接口 數據比對 比對稽核 數據同步 數據匯總 比對參數配置 稽核參數配置 任務管理 權限管理 系統(tǒng)監(jiān)控 17 系統(tǒng)接口 采集 HLR系統(tǒng)的全量用戶數據以及增量變更數據，建議采用文件方式。 XX目前可以支持目前多種主流 HLR設備提供的文件格式，包括愛立信、華為 HLR設備提供的文件格式。 實時查詢 HLR系統(tǒng)用戶數據，可與 BSS連接 HLR的接口共用。 采集 SCP系統(tǒng)的全量用戶數據以及增量變更數據，建議采用文件方式。 實時查詢 SCP系統(tǒng)用戶數據，可與 BSS連接 SCP的接口共用。 同時也要向 SCP系統(tǒng)進行數據同步，可與 BSS連接 SCP的接口共用。 采集營帳系統(tǒng)的全量用戶數據以及增量變更數據，建議數據庫接口表方式。 同時也要向營帳系統(tǒng)進行數據同步，可采用數據庫接口表的方式。 建議數據一致性稽核進行數據比對后，如果需要向 HLR、 SCP等網元設備同步數據，可采用向統(tǒng)一開通系統(tǒng)發(fā)送工單，由統(tǒng)一開通系統(tǒng)完成相關指令操作。 與 BSS營帳模塊的接口 與 BSS統(tǒng)一開通系統(tǒng)的接口 與 HLR的接口 與 SCP的關系 與炫鈴平臺的關系 采集炫鈴平臺的全量用戶數據以及增量變更數據，建議采用文件方式。 實時查詢彩鈴平臺用戶數據，建議采用實時查詢接口。 同時也要向彩鈴平臺進行數據同步，可采用接口表或文件方式，具體可雙方協(xié)定。 。 18 數據比對方式 全量對帳 適用條件： 因部分操作流程不規(guī)范、服務開通入口不統(tǒng)一，各網元建設以來一直沒有進行過系統(tǒng)數據比對同步處理，以及其他種種原因導致存在較多數據不一致情況，所以需要通過采用全量比對方式進行初始化處理，以后根據實際業(yè)務情況和系統(tǒng)能力定期（每季度或半年）進行全量比對處理 接口：實時接口、接口表或文件接口 觸發(fā)方式：自動、手動。 增量對帳 適用條件： 系統(tǒng)間接口、系統(tǒng)故障、數據庫故障等原因會導致各網元間產生數據差異，需要對客戶數據變更的增量數據進行比對同步處理，通過事后方式盡快解決數據差異，減少甚至避免因數據差異引發(fā)客戶功能使用、計費或服務辦理等投訴 以文件接口為主、實時接口 觸發(fā)方式：自動、手動。每日 19 稽核方式 在線式稽核 online 離線式稽核 offline 兩者關系 在 線 采 集離 線 采 集輕 量 比 對批 量 比 對修 復預 處 理預 處 理20 比對稽核功能 比對稽核是針對對帳過程中的數據完整性和平衡性的判斷驗證。 比對稽核主要是判斷出入口數據的平衡關系以及日志。 BSS比對數據總量比對出口的通過數據數量比對出口的不通過BSS數據數量比對異常的 BSS數據數量。 21 備份管理方案 統(tǒng)一開通業(yè)務 備份與同步 模型管理 按照業(yè)務類型，實現業(yè)務、網元、區(qū)域模型的基礎數據管理功能。 策略管理 按照生產系統(tǒng)的要求，提供多種備份策略管理。包括業(yè)務類型、時間窗口、區(qū)域、自動 /手工等多種策略的組合。 同步與核查 按照備份策略提供開通業(yè)務數據的備份。 模型管理 備份策略管理 同步與核查 22 網元的主備模式支持 目前，指令直接往網元發(fā)送。在增加備機的情況下，根據指令發(fā)送的日志進行重新處理發(fā)往備機。一套系統(tǒng)支持解決多個不同網元的實時備份。 主機 備機 生成日志 統(tǒng)一開通 指令 統(tǒng)一開通（備） 23 數據備份與恢復 如果只有一臺主機（或者主備機同時故障），則按照以下模式途徑處理數據備份和恢復的問題： 恢復模式 恢復途徑 1， 統(tǒng)一開通按照恢復的模式重新發(fā)送指令 2， 按照網元的要求格式生成批量的文件，交由網元處理 1， 支持全量恢復 2， 支持指定用戶（號段）的恢復 3， 指定時間段的恢復 備份模式 1， 各網元備份自己網元的數據； 2， 根據 BSS的訂購關系進行備份。 24 建設重點與難點 數據全量備份 用戶規(guī)模 500萬用戶備份策略 網元特性 對 IP的限制 單一 IP限制方案：通過 BSS平臺實現實時數據稽核。 多 IP支持：直接與網元進行數據交互。 對文件接口方式的支持 獲取網元的備份文件實現數據備份 實時查詢 支持實時查詢：愛立信、華為 不支持： VAC 25 數據稽核 同步規(guī)則 業(yè)務網元 核心網元 HLR/AUC OCS VAC 其它 移動用戶 1： 針對收費業(yè)務， BSS中用戶訂購信息的同步處理，需向用戶 進行 業(yè)務訂購確認 2：針對用戶狀態(tài)（停復機、欠費、銷號等）的同步處理，一律以 BSS為準向網元進行同步 3：涉及多個網元的同步處理，需拆分成 BSS與核心網數據同步、 BSS與業(yè)務網數據同步 4：全量同步之后的增量數據（除用戶 IMSI）都以BSS為基準進行同步 5：先同步用戶標識與用戶狀態(tài)，再同步用戶訂購信息的順序展開同步處理 同步規(guī)則 業(yè)務訂購確認 客服電話 短信通知 其他方式 數據一致性管理 數據稽核流程 數據采集 服務開通 同步處理 數據對比 統(tǒng)一接口層 針對業(yè)務的數據不一致分類 1， BSS和網元中都有數據，但數據不一致 2， BSS中有數據，網元中沒有數據 3， BSS中沒有數據，網元中有數據 數據稽核過程中 遵照的同步規(guī)則 26 比對稽核流程 統(tǒng)一接口表 稽核任務 數據上載 數據比對 差異結果輸出 接 口 數 據 表 1 接 口 數 據 表 2 接 口 數 據 表 . . .稽 核 任 務起 始讀 稽 核 任 務 表解 析 比 對 數 據 源 表原 始 數 據 列 表 2 原 始 數 據 列 表 . . .原 始 數 據 列 表 1數 據 上 載 、 排 序 數 據 上 載 、 排 序 數 據 上 載 、 排 序差 異 結 果 輸 出數 據 比 對27 數據修復流程 同步數據提取 網元解析 查詢工單 返回結果分析 比對 同步工單 起 始號 碼 列 表 ( 比 對 差 異結 果 )網 元 1網 元 2網 元 . . .解 析 網 元查 詢 工 單同 步 工 單結 束返 回 結 果 比 對對差異結果，直接修復；用在時差比較小的情況下 對差異結果，再次取標準方數據作為標準，進行修復；用在時差比較大的情況下。（標準方由用戶確認） 對有差異的號碼，取 BSS數據作為標準銷戶重建；用在時差比較大，數據問題比較嚴重，的情況下 28 例 1：全量數據實時比對同步處理流程（以 BSS HLR為例） HLR 比對校正平臺 BSS 按號段啟動新任務 1 判斷網元是否空閑?如果空閑開始取數據 2 根據手機號碼查詢 HLR用戶數據 3 根據手機號碼查詢 BSS系統(tǒng)用戶數據 4 數據比對：判斷用戶數據是否一致？ 5 記錄數據比對結果 6 數據同步： 對不一致數據進行自動校正 7 同步請求：根據 BSS用戶數據自動校正 HLR數據 8 數據更新 9 同步響