版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
ICS35.240
CCSP07
T
團體標準
T/TMAC×××—202X
城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技術(shù)
要求
Technicalrequirementsforurbanrenewalandfuturecommunitybasicdata
platform
(征求意見稿)
××××-××-××發(fā)布××××-××-××實施
中國技術(shù)市場協(xié)會發(fā)布
T/TMACXXX—202X
城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技術(shù)要求
1范圍
本文件確立了數(shù)字化基礎(chǔ)數(shù)據(jù)平臺(以下統(tǒng)稱為平臺)的架構(gòu),規(guī)定了功能、數(shù)據(jù)要求、接口要
求、安全要求、應(yīng)用環(huán)境以及應(yīng)用服務(wù)。
本文件適用城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺的構(gòu)建、運行維護、安全管理。
2規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文
件,僅該日期對應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適
用于本文件。
GB/T17798-2007地理空間數(shù)據(jù)交換格式
GB/T22080-2016信息技術(shù)安全技術(shù)信息安全管理體系要求
GB/T34079-2017基于云計算的電子政務(wù)公共平臺服務(wù)規(guī)范第3部分:數(shù)據(jù)管理
GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分:數(shù)據(jù)治理規(guī)范
GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型
GB/T36478-2018物聯(lián)網(wǎng)信息交換和共享
GB/T37043-2018智慧城市術(shù)語
GB/T40689-2021智慧城市設(shè)備聯(lián)接管理與服務(wù)平臺技術(shù)要求
DB23/T3304-2022大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范
DB36/T1646-2022地理空間數(shù)據(jù)共享和交換規(guī)范
DB52/T1540.2-2021政務(wù)數(shù)據(jù)第2部分:元數(shù)據(jù)管理規(guī)范
YD/T3760-2020大數(shù)據(jù)數(shù)據(jù)管理平臺技術(shù)要求與測試方法
T/CAGIS2-2020空間三維模型數(shù)據(jù)服務(wù)接口
3術(shù)語、定義和縮略語
3.1術(shù)語和定義
下列術(shù)語和定義適用于本文件。
3.1.1
元數(shù)據(jù)metadata
定義和描述其他數(shù)據(jù)的數(shù)據(jù)。
[來源:GB/T18391.1-2009,3.2.16]
3.1.2
斷點續(xù)傳breakpointresume
在數(shù)據(jù)總線傳輸過程中,當遇到網(wǎng)絡(luò)故障、傳輸資源短缺、入原始庫積壓時,狀態(tài)總線記錄接入
數(shù)據(jù)中斷點及數(shù)據(jù)接入中斷狀態(tài),控制總線在數(shù)據(jù)計入所需網(wǎng)絡(luò)、儲存等資源可用時,從排隊任務(wù)中
重新啟動斷點續(xù)傳任務(wù),分配數(shù)據(jù)總線資源,從數(shù)據(jù)斷點處接入后續(xù)數(shù)據(jù),不需要從頭開始數(shù)據(jù)傳
輸,從而節(jié)約數(shù)據(jù)傳輸時間,提高數(shù)據(jù)接入效率。
1
T/TMACXXX—202X
3.1.3
數(shù)據(jù)治理datagovernance
基于數(shù)據(jù)生命周期,進行數(shù)據(jù)全面質(zhì)量管理、資產(chǎn)管理風險管理等統(tǒng)籌與協(xié)調(diào)管控的過程。
注1:多學科視角下,數(shù)據(jù)治理需要解決數(shù)據(jù)權(quán)屬關(guān)系問題,明確數(shù)據(jù)利益相關(guān)方的角色。權(quán)利和權(quán)益及其責任關(guān)
系和工作任務(wù),避免數(shù)據(jù)風險,提高數(shù)據(jù)質(zhì)量,確保數(shù)據(jù)資產(chǎn)能長期有序地、可持續(xù)地得到管理和利用。
注2:信息技術(shù)視角下,數(shù)據(jù)治理指對數(shù)據(jù)進行管控,處置、格式化和規(guī)范化的過程。數(shù)據(jù)治理是數(shù)據(jù)和數(shù)據(jù)系統(tǒng)管
理的基本要素。數(shù)據(jù)治理涉及數(shù)據(jù)全生命期管理,無論數(shù)據(jù)是處于靜態(tài),動態(tài),未完成狀態(tài)還是交易狀態(tài)。
3.2縮略語
下列縮略語適用于本文件。
BIM建筑信息模型(BuildingInformationModel/Modeling)
GIS地理信息系統(tǒng)(GeographicInformationModel/Modeling)
WMS網(wǎng)絡(luò)地圖服務(wù)(WebMapServices)
WFS網(wǎng)絡(luò)要素服務(wù)(WebFeatureServices)
WCS網(wǎng)絡(luò)覆蓋服務(wù)(WebCoverageServices)
S3M空間三維模型(Spatial3DModel)
I3M索引三維場景(Index3DScene)
DWL數(shù)據(jù)操縱語言(DataManipulationLanguage)
DDL數(shù)據(jù)庫模式定義語言(DataDefinitionLanguage)
XML可擴展標記語言(ExtensibleMarkupLanguage)
HTTP超文本傳輸協(xié)議(HypertextTransferProtocol)
HTTPS超文本傳輸安全協(xié)議(HypertextTransferProtocolSecure)
MQTT消息隊列遙測傳輸協(xié)議(MessageQueuingTelemetryTransport)
CoAP約束應(yīng)用協(xié)議(ConstrainedApplicationProtocol)
ADS應(yīng)用數(shù)據(jù)層(ApplicationDataService)
DWD明細數(shù)據(jù)層(DataWarehouseDetail)
DWS匯總數(shù)據(jù)層(DataWarehouseSummary)
ODS操作數(shù)據(jù)層(operationaldatastore)
CDM公共維度模型層(commondatamodel)
DAG有向無環(huán)圖(DirectAcyclicGraph)
4平臺架構(gòu)
4.1平臺設(shè)計原則
4.1.1數(shù)據(jù)的一致性和標準性
平臺除遵循數(shù)據(jù)庫設(shè)計的軟件行業(yè)標準外,還應(yīng)遵循國家、地方標準及行業(yè)的習慣性事實標準。
此外,平臺的建設(shè)中應(yīng)充分考慮己建系統(tǒng)的數(shù)據(jù),確保與現(xiàn)有數(shù)據(jù)的一致性和標準性。
2
T/TMACXXX—202X
4.1.2數(shù)據(jù)的實用性和服務(wù)性
平臺設(shè)計應(yīng)充分考慮實際情況和應(yīng)用特點,遵循“服務(wù)性與實用性并重的原則,通過數(shù)據(jù)整合與
治理,數(shù)據(jù)高度可共享、和可根據(jù)實際需求不斷靈活組合,為業(yè)務(wù)應(yīng)用服務(wù),數(shù)據(jù)質(zhì)量高,保證數(shù)據(jù)
的實用性。
4.1.3數(shù)據(jù)的獨立性和可擴展性
設(shè)計時應(yīng)做到數(shù)據(jù)具有獨立性,獨立于應(yīng)用程序,使平臺的設(shè)計及結(jié)構(gòu)的變化不影響程序,反之
亦然。另外,數(shù)據(jù)庫設(shè)計應(yīng)考慮其擴展性能,使得系統(tǒng)增加新應(yīng)用或新需求時,不至于引起整個平臺
結(jié)構(gòu)的大變動。
4.1.4數(shù)據(jù)的安全性
通過設(shè)計合理和有效的備份和恢復策略,確保平臺遭遇突發(fā)事故時,能在最短的時間內(nèi)恢復。同
時,通過做好對平臺的訪問授權(quán)設(shè)計,保證數(shù)據(jù)不被非法訪問。
4.1.5數(shù)據(jù)的分級管理機制
根據(jù)用戶訪問平臺的角色,將用戶分為多個角色,分別賦予角色訪問數(shù)據(jù)的權(quán)限和使用平臺功能
的權(quán)限,嚴格控制角色登錄,實現(xiàn)數(shù)據(jù)的分級管理。
4.2平臺整體架
平臺整體架構(gòu)包含四個模塊和兩個體系,見圖1,四個模塊分別為應(yīng)用系統(tǒng)模塊、中樞模塊、中臺
模塊以及基礎(chǔ)設(shè)施模塊,兩個體系為標準規(guī)范體系和安全管理體系?;A(chǔ)數(shù)據(jù)平臺以數(shù)據(jù)中臺為基礎(chǔ)
結(jié)合高性能三維數(shù)字引擎技術(shù)、多源數(shù)據(jù)集成技術(shù)、數(shù)據(jù)融合分析技術(shù)、數(shù)據(jù)標準化技術(shù)等進行構(gòu)
建,并依托標準規(guī)范體系與安全管理體系進行平臺運營維護和數(shù)據(jù)安全管理。
3
T/TMACXXX—202X
應(yīng)用系統(tǒng)
輔助決策系統(tǒng)建設(shè)管理系統(tǒng)勘察設(shè)計系統(tǒng)運營服務(wù)系統(tǒng)
中樞API網(wǎng)關(guān)服務(wù)
基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)分析處理數(shù)據(jù)報表定制服務(wù)
···
系統(tǒng)互通協(xié)議互通數(shù)據(jù)互通
系
系
安
標
全
中臺業(yè)務(wù)中臺數(shù)據(jù)中臺準
管
規(guī)
基
理
范
礎(chǔ)數(shù)據(jù)融合:空間數(shù)據(jù)、資產(chǎn)數(shù)據(jù)、實時數(shù)據(jù)
體
體
平
臺
基礎(chǔ)設(shè)施可視化引擎圖像引擎工作流
ETLGIS···
云計算平臺
圖1平臺整體架構(gòu)圖
4.3功能架構(gòu)
平臺服務(wù)功能包括但不限于數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)集成、數(shù)據(jù)管理、數(shù)據(jù)發(fā)布、數(shù)據(jù)共享、
數(shù)據(jù)儲存等,見圖2。本平臺所有數(shù)據(jù)與應(yīng)用層在線交互時應(yīng)通過API接口由數(shù)據(jù)交互規(guī)范與數(shù)據(jù)交付
標準約束。
輔助決策系統(tǒng)勘察設(shè)計系統(tǒng)建設(shè)管理系統(tǒng)運營管理系統(tǒng)
數(shù)據(jù)服務(wù)接口
服務(wù)支撐
三維可視化引擎數(shù)據(jù)查詢工作流服務(wù)消息服務(wù)···
數(shù)據(jù)集成
空間數(shù)據(jù)資產(chǎn)數(shù)據(jù)實時數(shù)據(jù)
基
礎(chǔ)
數(shù)勘察、設(shè)計數(shù)據(jù)(BIM數(shù)據(jù)商業(yè)數(shù)據(jù)IoT數(shù)據(jù)
據(jù)+GIS數(shù)據(jù))
平
臺
圖2平臺功能架構(gòu)圖
4
T/TMACXXX—202X
5平臺功能標準
5.1數(shù)據(jù)收集
數(shù)據(jù)收集功能要求如下:
a)應(yīng)提供數(shù)據(jù)導入功能,支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)導入;
b)應(yīng)支持離線數(shù)據(jù)導入和實時數(shù)據(jù)導入;
c)應(yīng)提供自動定時導入數(shù)據(jù)功能;
d)應(yīng)支持數(shù)據(jù)傳輸過程中的斷點續(xù)傳;
e)應(yīng)支持對數(shù)據(jù)的DML的抽取,抽取內(nèi)容包括insert、update、delete語句的解析和內(nèi)容抽
取;
f)應(yīng)支持對數(shù)據(jù)庫DDL的抽取,抽取內(nèi)容包括但不限于數(shù)據(jù)庫空間、用戶、角色、視圖、函
數(shù)、索引、約束等,對關(guān)系型數(shù)據(jù)庫的全量采集和增量采集;
g)應(yīng)支持多節(jié)點文件接力傳輸功能,實現(xiàn)多節(jié)點文件傳輸;
h)應(yīng)支持過期文件數(shù)據(jù)接入系統(tǒng)中間數(shù)據(jù)緩存功能;
i)應(yīng)支持多通道數(shù)據(jù)傳輸;
j)應(yīng)對收集數(shù)據(jù)進行清洗,清洗數(shù)據(jù)包括但不限于,缺失數(shù)據(jù)、錯誤數(shù)據(jù)、重復數(shù)據(jù)等;
k)對于實時數(shù)據(jù)收集,應(yīng)提供收集數(shù)據(jù)的關(guān)鍵信息、唯一性信息的日志儲存和查詢統(tǒng)計;應(yīng)
提供數(shù)據(jù)同步檢查和校驗功能,并輸出詳細日志;應(yīng)支持一定時間范圍的收集狀態(tài)統(tǒng)計,
包括對數(shù)據(jù)更新狀態(tài)、聯(lián)通狀態(tài)、數(shù)據(jù)量、校驗等情況統(tǒng)計;
l)對于批量數(shù)據(jù)收集,應(yīng)提供周期性計入信息查詢和統(tǒng)計,支持格式異常數(shù)據(jù)查詢和統(tǒng)計;
m)宜提供開放的數(shù)據(jù)導入API;
n)宜提供圖形界面實現(xiàn)數(shù)據(jù)導入功能。
5.2數(shù)據(jù)集成
數(shù)據(jù)集成功能要求如下:
a)應(yīng)保證實體的每次出現(xiàn)都指派一個唯一標識符;
b)應(yīng)確認哪些實體是相通的,并將該實體的各次出現(xiàn)合并起來;
c)應(yīng)明確字段結(jié)構(gòu),盡量保證字段的一致性,其中包括但不限于字段名稱、字段數(shù)據(jù)類型、
字段數(shù)據(jù)格式、字段單位、字段取值范圍等;
d)應(yīng)盡量避免數(shù)據(jù)重復入庫;
e)數(shù)據(jù)包括但不限于空間數(shù)據(jù)、實時數(shù)據(jù)、資產(chǎn)數(shù)據(jù)等。這些數(shù)據(jù)入庫時應(yīng)轉(zhuǎn)換為統(tǒng)一通
用的標準格式,應(yīng)可進行可視化瀏覽,應(yīng)可用統(tǒng)一接口服務(wù)。其中,工程數(shù)據(jù)中的三維模型
整合轉(zhuǎn)換時應(yīng)進行輕量化處理,以便于在其他平臺中進行超大模型三維可視化瀏覽。
5
T/TMACXXX—202X
5.3數(shù)據(jù)儲存
5.3.1應(yīng)提供數(shù)據(jù)儲存功能,支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)儲存。
5.3.2應(yīng)提供與關(guān)系型數(shù)據(jù)庫、其他文件系統(tǒng)之間交換數(shù)據(jù)或文件的功能。
5.3.3應(yīng)支持與時序數(shù)據(jù)庫的實時數(shù)據(jù)交換。
5.3.4支持分布式文件儲存,實現(xiàn)以下功能:
a)應(yīng)支持文件系統(tǒng)基本操作,包括上傳、下載、讀寫、復制、移動、刪除、重命名、權(quán)限
修改等;
b)應(yīng)提供數(shù)據(jù)塊多副本儲存、恢復功能;
c)宜支持文件快速檢索功能,支持數(shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作;
d)宜支持或數(shù)據(jù)壓縮儲存功能。
5.3.5支持分布式列式數(shù)據(jù)儲存,實現(xiàn)以下功能:
a)應(yīng)支持以鍵值形式儲存數(shù)據(jù)的功能;
b)宜支持基于表、列族和列的用戶權(quán)限管理功能,權(quán)限管理操作包括讀、寫、創(chuàng)建等。
5.3.6支持分布式結(jié)構(gòu)化數(shù)據(jù)儲存,實現(xiàn)以下功能:
a)宜支持結(jié)構(gòu)化數(shù)據(jù)的分布式儲存,保證數(shù)據(jù)儲存的可擴展性和一致性;
b)宜提供API實現(xiàn)數(shù)據(jù)的各類查詢工作;
c)宜支持多表關(guān)聯(lián)。
5.3.7支持分布式圖數(shù)據(jù)儲存,實現(xiàn)以下功能:
a)宜支持有節(jié)點及邊組成的數(shù)據(jù)模型;
b)宜支持圖查詢,支持單節(jié)點、多節(jié)點多層關(guān)系的擴先查詢;
c)宜支持圖遍歷,支持最短路徑、最優(yōu)路徑便利查詢;
d)宜支持圖分析。
5.4數(shù)據(jù)處理
5.4.1基本要求
數(shù)據(jù)處理功能除應(yīng)符合GB/T38673-2020中6.4的內(nèi)容外,還應(yīng)符合5.4.2~5.4.7的要求。
5.4.2數(shù)據(jù)提取
非結(jié)構(gòu)化數(shù)據(jù)提取
非結(jié)構(gòu)數(shù)據(jù)提取應(yīng)符合以下要求:
a)應(yīng)根據(jù)非結(jié)構(gòu)化數(shù)據(jù)包含的索引格式,在集群中提取相應(yīng)數(shù)據(jù)并形成結(jié)構(gòu)化數(shù)據(jù)保存于關(guān)
系型儲存中;
b)應(yīng)遵從數(shù)據(jù)標準,根據(jù)預設(shè)不同數(shù)據(jù)類型的相應(yīng)提取策略和規(guī)則,加載相應(yīng)的提取模塊進
行非結(jié)構(gòu)化數(shù)據(jù)的提取處理。
結(jié)構(gòu)化數(shù)據(jù)提取
6
T/TMACXXX—202X
應(yīng)遵從數(shù)據(jù)標準,根據(jù)預設(shè)的結(jié)構(gòu)化數(shù)據(jù)提取策略和規(guī)則,對原數(shù)據(jù)中的各類數(shù)據(jù)進行關(guān)鍵信息
提取。
對象化提取
對象化提取應(yīng)符合以下要求:
a)應(yīng)遵從數(shù)據(jù)標準,根據(jù)對象提取規(guī)則對數(shù)據(jù)主題進行對象化處理;
b)應(yīng)支持對象特征自動提取,根據(jù)對象特征自動建模,利用并行分布式計算資源,對數(shù)據(jù)進
行對象化提取、儲存對象數(shù)據(jù)、更新對象數(shù)據(jù);
c)應(yīng)對對象化結(jié)果數(shù)據(jù),通過對象化去重,消除冗余數(shù)據(jù);
d)應(yīng)對制定數(shù)據(jù)來源數(shù)據(jù)進行標識的操作,在對象化提取環(huán)節(jié),應(yīng)將標識提取到對象化數(shù)據(jù)
中。
5.4.3數(shù)據(jù)清洗
不符合數(shù)據(jù)類型:
a)缺失的數(shù)據(jù);
b)錯誤的數(shù)據(jù);
c)重復的數(shù)據(jù)。
非結(jié)構(gòu)化數(shù)據(jù)清洗:
a)文本數(shù)據(jù)清洗可通過分詞、預料標注、字典構(gòu)建、關(guān)鍵詞識別等技術(shù),根據(jù)相應(yīng)的非結(jié)構(gòu)
化數(shù)據(jù)特點進行數(shù)據(jù)建模,去重;
b)圖片數(shù)據(jù)清洗可通過意圖找圖技術(shù)進行圖片去重;
c)音頻數(shù)據(jù)清洗可通過MD5值校驗和音頻對比分析進行去重;
d)視頻數(shù)據(jù)可通過關(guān)鍵幀抽取,通過意圖找圖、語音識別、MD5值校驗等技術(shù)進行去重。
結(jié)構(gòu)化數(shù)據(jù)清洗:
a)應(yīng)遵從數(shù)據(jù)標準,根據(jù)業(yè)務(wù)規(guī)劃對冗余數(shù)據(jù)進行過濾,根據(jù)不同的去重規(guī)則和方法對數(shù)據(jù)
進行去重扁頂,去除重復冗余數(shù)據(jù);
b)可通過定義過濾規(guī)則,使用流式SQL和表達式,按條件對數(shù)據(jù)進行重新組合和二次加工。
5.4.4數(shù)據(jù)標識
數(shù)據(jù)標識具備以下功能要求:
c)應(yīng)支持離線和在線標識;
d)應(yīng)根據(jù)預設(shè)的策略和規(guī)則對數(shù)據(jù)進行標識;
e)宜對數(shù)據(jù)進行標識化可以增加數(shù)據(jù)維度,拓展數(shù)據(jù)的屬性,提供建立與數(shù)據(jù)之上的抽象。
5.4.5數(shù)據(jù)糾錯
為了確保數(shù)據(jù)的準確性和可靠性,數(shù)據(jù)糾錯功能需要達到以下要求:
7
T/TMACXXX—202X
a)應(yīng)對進入各類資源庫、主題庫和業(yè)務(wù)庫的數(shù)據(jù)進行準確性認定;
b)應(yīng)針對有誤策略執(zhí)行回滾操作,并對相應(yīng)數(shù)據(jù)進行糾錯。
5.4.6策略配置管理
為了實現(xiàn)高效的數(shù)據(jù)管理和處理,平臺需要支持靈活的策略配置管理,具體要求如下:
a)應(yīng)支持各類數(shù)據(jù)文件的同步、異步、多借點間文件接力傳輸;
b)應(yīng)支持對文件、文件夾、文件夾下制定文件傳輸?shù)裙δ埽?/p>
c)應(yīng)支持對數(shù)據(jù)文件的全量、增量傳輸,對中間過期文件的壓縮、清理,及文件的多副本
儲存;
d)應(yīng)支持實時數(shù)據(jù)交換機加工,實現(xiàn)數(shù)據(jù)庫、文件、JSON、XML及MQ、TLQ等之間的相互
交換功能;
e)應(yīng)提供調(diào)度任務(wù)實時可視化監(jiān)控;
f)應(yīng)提供事件觸發(fā)調(diào)度功能,包括但不限于文件就緒觸發(fā)、變化日志觸發(fā)、HTTPS等接口
或URL調(diào)度時間觸發(fā),支持操作系統(tǒng)shell腳本,和數(shù)據(jù)庫系統(tǒng)的shell命令和SQL腳本調(diào)
度功能等;
g)應(yīng)提供流程調(diào)度組件,包括采樣分流組件和任務(wù)編排組件,實現(xiàn)多任務(wù)的并行、串行、
混合調(diào)度;
h)宜支持按年、月、周、日、小時、分鐘、秒定時調(diào)度,可選制定有效時間內(nèi)調(diào)度。
5.4.7任務(wù)調(diào)度
為了確保數(shù)據(jù)處理任務(wù)能夠按照預定的時間和順序被執(zhí)行,平臺的任務(wù)調(diào)度功能應(yīng)滿足以下要
求:
a)應(yīng)支持任意種類、任意數(shù)據(jù)結(jié)構(gòu)、任意目標庫的數(shù)據(jù)提取傳輸;
b)支持Kafka、webservice等消息處理機制,支持流式和離線處理;
c)應(yīng)支持任意類型的數(shù)據(jù)融合任務(wù)配置,在保證數(shù)據(jù)安全的基礎(chǔ)上,根據(jù)傳輸策略,進行
數(shù)據(jù)傳輸和儲存;
d)應(yīng)支持過濾、融合規(guī)則自定義,包括但不限于字符串操作、字符串替換、字符串截取、
NULL值替換、數(shù)據(jù)類型轉(zhuǎn)換、正則處理、公式計算,以及對關(guān)鍵字段控制、重復、異常等
問題數(shù)據(jù)過濾規(guī)則等;
e)宜支持基于數(shù)據(jù)元的異構(gòu)數(shù)據(jù)自動解析,并能按業(yè)務(wù)場景進行自定義配置。
5.5數(shù)據(jù)管理
數(shù)據(jù)治理功能中的數(shù)據(jù)采集規(guī)范宜依照GB/T36225.3-2021進行規(guī)范,其他功能要求如下:
a)應(yīng)提供可靠的數(shù)據(jù)應(yīng)用規(guī)范,支持數(shù)據(jù)應(yīng)用流程管理、數(shù)據(jù)應(yīng)用審查、數(shù)據(jù)應(yīng)用發(fā)布等;
b)應(yīng)支持數(shù)據(jù)質(zhì)量分析和預警,甄別數(shù)據(jù)優(yōu)劣程度,對質(zhì)量較差數(shù)據(jù)進行清理,對長期不
用數(shù)據(jù)進行清洗和歸檔;
8
T/TMACXXX—202X
c)應(yīng)支持通過預定規(guī)則進行數(shù)據(jù)稽核,稽核發(fā)現(xiàn)的問題按照預定規(guī)則自動治理或者生成任
務(wù)工單進行處理,并生成稽核報告;
d)應(yīng)支持對數(shù)據(jù)屬性標簽標注功能,包括但不限于單個和批量標注標簽,標簽的增加、刪
除和修改等;
e)應(yīng)支持數(shù)據(jù)血緣關(guān)系管理,可自動生成和維護數(shù)據(jù)血緣關(guān)系地圖;
f)應(yīng)支持敏感數(shù)據(jù)識別、標記和脫敏,脫敏類型包括但不限于替換、截斷、掩碼、重排、
日期偏移、取整等;
g)應(yīng)支持數(shù)據(jù)資源目錄動態(tài)管理,包括但不限于梳理、編制、審核、發(fā)布等;
h)應(yīng)支持對不完整數(shù)據(jù)、錯誤數(shù)據(jù)、重復數(shù)據(jù)進行統(tǒng)一標識、對比、清洗、整合和轉(zhuǎn)換等
操作[27]。
5.6數(shù)據(jù)發(fā)布
數(shù)據(jù)發(fā)布功能要求如下:
a)管理者應(yīng)通過共享交換功能發(fā)布目錄內(nèi)容,提供數(shù)據(jù)目錄內(nèi)容查詢檢索、目錄導航、目
錄下載和目錄訂閱服務(wù),以及目錄服務(wù)接口等;
b)管理者應(yīng)通過共享交換功能發(fā)布參與共享和交換的本平臺數(shù)據(jù)文件,提供數(shù)據(jù)的查詢檢
索、快速瀏覽和數(shù)據(jù)下載服務(wù);
c)當參與共享交換的數(shù)據(jù)文件有更新時,管理者應(yīng)將數(shù)據(jù)更新情況及時反饋給數(shù)據(jù)使用者;
d)管理者應(yīng)通過共享交換功能將融合后的數(shù)據(jù)發(fā)布成相應(yīng)的信息服務(wù),使用者可以通過共
享交換功能進行在線調(diào)用。
5.7數(shù)據(jù)共享
5.7.1在線方式
為了促進數(shù)據(jù)的實時共享與交換,當網(wǎng)絡(luò)條件允許時,推薦采用以下在線方式進行數(shù)據(jù)共享:
a)通過網(wǎng)絡(luò)在線調(diào)用、訪問數(shù)據(jù)服務(wù)接口的方式或在線上傳、下載的方式,實現(xiàn)數(shù)據(jù)共享
和交換;
b)在線方式適用于網(wǎng)絡(luò)聯(lián)通環(huán)境下對數(shù)字化文件或服務(wù)接口進行共享和交換的場合。
5.7.2離線方式
考慮到不同網(wǎng)絡(luò)環(huán)境下的需求及非數(shù)字化文件的共享需要,離線數(shù)據(jù)共享方式應(yīng)遵循以下規(guī)定:
a)通過對移動設(shè)備進行拷貝和對紙質(zhì)文件進行復制,實現(xiàn)數(shù)據(jù)共享和交換;
b)離線方式適用于不同網(wǎng)絡(luò)環(huán)境下、需要簽收確認或?qū)Ψ菙?shù)字化文件進行共享和交換的場
合,提供者通過離線拷貝的方式,人工將數(shù)據(jù)提交到數(shù)據(jù)平臺。
5.7.3共享內(nèi)容
共享的數(shù)據(jù)內(nèi)容應(yīng)包括但不限于工程數(shù)據(jù)、地理數(shù)據(jù)等。
9
T/TMACXXX—202X
5.7.4數(shù)據(jù)共享安全保障
數(shù)據(jù)共享的安全要求包括但不限于以下內(nèi)容:
a)應(yīng)可設(shè)定授權(quán)服務(wù)的有效期,并支持授權(quán)時間延期;
b)應(yīng)遵循數(shù)據(jù)共享最小化原則,僅對業(yè)務(wù)必須的數(shù)據(jù)進行共享授權(quán);
c)應(yīng)對敏感數(shù)據(jù)進行脫敏,并對相應(yīng)的操作進行記錄;
d)應(yīng)對數(shù)據(jù)交換兩端進行用戶身份鑒別或者身份認證;
e)應(yīng)保證數(shù)據(jù)通信過程中的保密性和完整性;
f)在數(shù)據(jù)導入過程中,應(yīng)檢驗數(shù)據(jù)質(zhì)量,質(zhì)量檢驗內(nèi)容應(yīng)包含空間參考系、數(shù)據(jù)的完整性、
邏輯一致性等質(zhì)量元素。
5.7.5數(shù)據(jù)共享使用安全要求
數(shù)據(jù)使用的安全要求包括但不限于以下內(nèi)容:
a)使用或存儲依法應(yīng)當予以保密的數(shù)據(jù)或者數(shù)據(jù)服務(wù)時,按照保密有關(guān)法律、法規(guī)規(guī)定執(zhí)
行;
b)應(yīng)對訪問數(shù)據(jù)處理系統(tǒng)、服務(wù)器操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、備份系統(tǒng)的管理員進行身份鑒
別;
c)應(yīng)對服務(wù)器系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等重要系統(tǒng)設(shè)置用戶訪問控制策略,阻斷對應(yīng)用、系統(tǒng)等的
任何非授權(quán)訪問,提出告警、并記錄審計日志;
d)應(yīng)支持溯源數(shù)據(jù)的采集和存儲,對關(guān)鍵溯源數(shù)據(jù)進行備份,并采取安全措施對溯源數(shù)據(jù)進
行保護;
e)應(yīng)對數(shù)據(jù)存儲環(huán)境進行分域分級設(shè)計,設(shè)置存儲機制將數(shù)據(jù)分域分級儲存,并建立數(shù)據(jù)冗
余一致性控制策略;
f)制定數(shù)據(jù)備份策略,設(shè)置數(shù)據(jù)恢復策略,在數(shù)據(jù)恢復過程中進行完整性校驗;
g)提供者應(yīng)基于國家相關(guān)法律法規(guī)對數(shù)據(jù)使用和分析處理的相關(guān)要求,建立數(shù)據(jù)使用監(jiān)管機
制,約束數(shù)據(jù)需求方對共享數(shù)據(jù)的正當使用。
6數(shù)據(jù)要求
6.1元數(shù)據(jù)要求
6.1.1元數(shù)據(jù)采集
為了確保元數(shù)據(jù)的全面性和準確性,元數(shù)據(jù)采集應(yīng)滿足以下要求:
a)元數(shù)據(jù)采集應(yīng)能夠適應(yīng)異構(gòu)環(huán)境,支持從傳統(tǒng)關(guān)系型數(shù)據(jù)庫和大數(shù)據(jù)平臺中采集數(shù)據(jù)產(chǎn)生
系統(tǒng)數(shù)據(jù)加工處理系統(tǒng)和數(shù)據(jù)應(yīng)用報表系統(tǒng)的全量元數(shù)據(jù),包括過程中的數(shù)據(jù)實體(系
統(tǒng)、庫、表、字段的描述)以及數(shù)據(jù)實體加工處理過程中的邏輯;
b)平臺元數(shù)據(jù)系統(tǒng)應(yīng)支持人工輸入,允許人工的增、刪、改、查及發(fā)布。
6.1.2元數(shù)據(jù)維護
為了保持元數(shù)據(jù)的質(zhì)量并確保其有效管理,元數(shù)據(jù)維護應(yīng)具備以下功能:
10
T/TMACXXX—202X
a)元數(shù)據(jù)維護應(yīng)提供對元數(shù)據(jù)的增加、刪除和修改等基本操作。對于元數(shù)據(jù)的增量維護,應(yīng)
能保留歷史版本信息;
b)元數(shù)據(jù)的維護應(yīng)可通過服務(wù)封裝的形式向各系統(tǒng)的其他模塊提供數(shù)據(jù)維護接口。
6.1.3.元數(shù)據(jù)變更管理
為了確保元數(shù)據(jù)變更的可追溯性和版本控制,元數(shù)據(jù)變更管理應(yīng)實現(xiàn)以下功能:
a)元數(shù)據(jù)變更管理應(yīng)能進行版本管理,對不同時期進入元數(shù)據(jù)庫的統(tǒng)一實體的元數(shù)據(jù)進行管
理?;竟δ軕?yīng)能顯示同一實體的元數(shù)據(jù)的修改歷史。
b)元數(shù)據(jù)變更在最新元數(shù)據(jù)中的改動不影響定版元數(shù)據(jù)的正常使用;同時應(yīng)每次發(fā)布都有版
本留痕,支持個版本對比分析。
6.1.4.數(shù)據(jù)檢核
為了保證元數(shù)據(jù)的一致性和完整性,平臺需要實施嚴格的數(shù)據(jù)檢核,具體要求包括:
a)元數(shù)據(jù)應(yīng)保持其一致性。一致性檢核用來檢驗來源系統(tǒng)元數(shù)據(jù)以及元數(shù)據(jù)之間信息是否一
致的功能,應(yīng)能幫助管理人員分析出元數(shù)據(jù)管理平臺與來源系統(tǒng)之間的差異,輔助管理人
員更好的維護原數(shù)據(jù)管理平臺。
b)元數(shù)據(jù)應(yīng)有良好的屬性填充情況。屬性填充率檢核是用來檢驗選定范圍內(nèi)元數(shù)據(jù)屬性的填
充情況,方便用戶了解某些重要元數(shù)據(jù)的屬性填充情況。
c)元數(shù)據(jù)的組合關(guān)系應(yīng)符合元模型中設(shè)置的組合和被組合關(guān)系。組合關(guān)系檢核用根據(jù)元模型
中設(shè)置的組合和被組合關(guān)系對元數(shù)據(jù)進行檢查,查找出不符合元模型定義的組合關(guān)系的元
數(shù)據(jù),例如找出沒有與任何數(shù)據(jù)庫表建立組合關(guān)系的字段。
6.1.5.血緣管理
為了追蹤數(shù)據(jù)間的依賴關(guān)系及其影響范圍,血緣管理功能應(yīng)達到以下要求:
a)平臺數(shù)據(jù)間血緣關(guān)系應(yīng)能清晰反應(yīng)數(shù)據(jù)間的關(guān)系,包括但不限于:組合關(guān)系、依賴關(guān)系、
數(shù)據(jù)流向拓普信息;
b)當平臺數(shù)據(jù)需要進行調(diào)整時,用戶應(yīng)能通過血緣分析,根據(jù)目標數(shù)據(jù)資源的影響范圍制定
數(shù)據(jù)資源的調(diào)整策略。
6.2三維數(shù)據(jù)要求
三維數(shù)據(jù)參數(shù)要求應(yīng)根據(jù)GB/T51447-2021、ISO16739-1:2018IFC標準體系和DD2015-06等
標準內(nèi)容進行規(guī)范。
7接口要求
7.1接口標準
平臺接口標準宜參考GB/T38672-2020第6章內(nèi)容進行規(guī)范,具體要求如下:
7.1.1總體要求
各類接口應(yīng)滿足如下總體要求:
a)開放性:符合產(chǎn)業(yè)習慣,兼容主流開原接口,減小接口定制化帶來的重新設(shè)計、適配成本;
b)易用性:盡可能設(shè)計成抽象程度高、屏蔽底層實現(xiàn)、語法易理解的接口;
c)擴展性:統(tǒng)一接口可通過增加函數(shù)、操作符、語句等形式支持新的功能。
11
T/TMACXXX—202X
7.1.2平臺應(yīng)用接口要求
為了確保平臺應(yīng)用接口的開放性、易用性和擴展性,接口設(shè)計應(yīng)滿足以下要求:
a)應(yīng)支持多種數(shù)據(jù)來源(業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫、文件等)、多種數(shù)據(jù)類型(例如業(yè)務(wù)相關(guān)數(shù)
據(jù)、
監(jiān)控數(shù)據(jù))、多種數(shù)據(jù)格式(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等)的數(shù)據(jù)訪問;
b)應(yīng)支持按照大數(shù)據(jù)采集樓村規(guī)則進行數(shù)據(jù)采集;
c)應(yīng)支持接口運行情況(如主要函數(shù)調(diào)用時延)的監(jiān)控,能及時發(fā)現(xiàn)錯誤、產(chǎn)生告警信號;
d)宜支持多種數(shù)據(jù)訪問接口實例的定時(例如按天、小時、分鐘等)調(diào)用啟動;
e)宜支持對接常用數(shù)據(jù)庫采集工具、主流日志采集工具;
f)宜支持對接基于系統(tǒng)應(yīng)用服務(wù)接口實現(xiàn)數(shù)據(jù)采集的工具;
g)接口生成宜不收業(yè)務(wù)系統(tǒng)的開發(fā)語言、所處環(huán)境、系統(tǒng)形態(tài)等限制;
h)流數(shù)據(jù)分析接口要求包括:
1)應(yīng)基于SQL擴展支持流數(shù)據(jù)的查詢和分析;
2)應(yīng)支持流和表、流和流的鏈接;
3)應(yīng)提供流的聚合查詢,只支持常見的聚合函數(shù)(如匯總、均值、最大、最小);
4)應(yīng)支持基于時間窗口的聚合查詢;
5)應(yīng)支持基于時間窗口的模式識別、復雜時間分析;
6)應(yīng)支持基于時間窗口的地理數(shù)據(jù)分析;
7)應(yīng)支持多種時間窗口,包括但不限于跳躍窗口、滑動窗口、會話窗口;
8)宜支持基于時間窗口的進行流的連接。
i)圖數(shù)據(jù)分析接口的要求包括:
1)應(yīng)兼容主流開源接口,支持標簽屬性圖數(shù)據(jù)模型;
2)應(yīng)支持基本的圖操作,包括但不限于增加或刪除頂點、增加或刪除邊,增加、刪除或
修改頂點或邊的屬性,支持關(guān)聯(lián)刪除,定義屬性類型等;
3)應(yīng)支持定點查詢、路徑查詢、子圖查詢和全圖查詢;
4)應(yīng)支持查詢圖拓撲結(jié)構(gòu)的基本指標,包括但不限于中介中心度、緊密中心度等;
5)宜提供主流開發(fā)語言接口。
j)日志分析接口的要求包括:
1)應(yīng)兼容主流開源組件接口;
2)應(yīng)提供人工智能分析能力,包括但不限于關(guān)聯(lián)分析、異常問題識別等;
3)應(yīng)支持復雜報表分析。包括但不限于來源分析、熱點頁面、平均響應(yīng)時長等;
4)應(yīng)支持對相關(guān)指標進行預警設(shè)置。
5)數(shù)據(jù)同步接口的要求包括:
12
T/TMACXXX—202X
6)宜支持一個系統(tǒng)一次錄入,其他公用信息系統(tǒng)的相同數(shù)據(jù)同步寫入;
7)宜支持跨系統(tǒng)在業(yè)務(wù)層面信息的互通互聯(lián)工作;
8)宜支持跨系統(tǒng)共享共用的數(shù)據(jù)。
7.1.3平臺開發(fā)接口要求
為了便于開發(fā)者集成和擴展平臺功能,平臺提供的開發(fā)接口應(yīng)滿足以下要求:
a)應(yīng)支持業(yè)界常用接口,兼容主流開原接口,支持系統(tǒng)集成;
b)應(yīng)支持海量數(shù)據(jù)的分布式離線計算,支持MapReduce計算模型,支持數(shù)據(jù)的讀取、分發(fā)、
聚集、輸出等處理功能
c)應(yīng)提供內(nèi)存計算的多種語言開發(fā)接口(例如Scala,Java),提供高度抽象算子構(gòu)建分布
式數(shù)據(jù)處理應(yīng)用;
d)應(yīng)支持分布式文件存儲的文件操作(包括但不限于文件創(chuàng)建、讀取、寫人、刪除、文件狀態(tài)
信息查詢等)及文件夾操作(包括但不限于文件夾創(chuàng)建、刪除、狀態(tài)信息查詢、內(nèi)容統(tǒng)計信
息查詢等);
e)應(yīng)支持分布式文件系統(tǒng)設(shè)置,包括但不限于設(shè)置訪問權(quán)限、設(shè)置文件所有者、設(shè)置訪問時
間或者修改時間等;
f)應(yīng)支持關(guān)系型數(shù)據(jù)庫的DDL、DML操作,支持標準SQL;
g)應(yīng)支持多維分析數(shù)據(jù)庫以標準SQL.查詢和分析;
h)應(yīng)支持海量全文檢索,提供結(jié)構(gòu)化、非結(jié)構(gòu)化文本的多條件檢索、統(tǒng)計和報表生成;
i)應(yīng)支持自定義函數(shù)的定義、加載、使用機制;
j)應(yīng)支持海量結(jié)構(gòu)化數(shù)據(jù)的交互式OLAP分析;
k)宜支持分布式內(nèi)存計算框架接人多種數(shù)據(jù)源(例如HDFS、HBase、Hive),支持離線計算程
序平滑轉(zhuǎn)接;
l)宜支持分布式列式存儲不同類型素引(例如主鍵素引、組合索引、全文素引)的創(chuàng)建、查
詢、
重建。
7.1.4平臺管理接口要求
為了便于平臺的管理和運維,平臺管理接口需要滿足以下要求:
a)應(yīng)支持大數(shù)據(jù)組件的安裝部署、支持升級配置(包括但不限于查詢可升級的版本、需配置的
參數(shù)等);
b)應(yīng)支持用戶管理,包括但不限于增加、刪除、修改用戶,增加、刪除、修改角色、用戶權(quán)
限控制等;
c)應(yīng)支持監(jiān)控告警,對資源使用情況、資源運行狀態(tài)等進行監(jiān)控,并提供多種展示方式,支持
健康檢查;
13
T/TMACXXX—202X
d)應(yīng)支持各類日志的收集和存儲,包括但不限于運行日志操作日志;
e)應(yīng)支持標準管理協(xié)議(例如SNMP),提供RESTAPI.CLI等交互方式[21]。
8安全要求
8.1用戶管理
用戶管理要求如下:
a)應(yīng)對登錄用戶進行身份標識和鑒別,保證用戶身份標識唯一性;
b)用戶身份鑒別信息應(yīng)滿足一定的復雜度要求,并定期更換;
8.2權(quán)限管理
權(quán)限要求如下:
a)應(yīng)按照權(quán)限最小化原則為用戶配置權(quán)限;
b)應(yīng)允許同一租戶內(nèi)存在多個組織的用戶,機構(gòu)層級不受限制;
c)應(yīng)允許集團下屬企業(yè)擁有獨立的應(yīng)用環(huán)境、用戶空間和數(shù)據(jù)空間;
d)數(shù)據(jù)及業(yè)務(wù)流程應(yīng)可夸跨租戶管理。對應(yīng)未來社區(qū)項目應(yīng)用,也可按照項目創(chuàng)建租戶;
e)應(yīng)支持基于證書或Token的服務(wù)鑒權(quán);
f)應(yīng)提供多種策略的數(shù)據(jù)備份或恢復選項;
g)應(yīng)支持用戶行為審計管理。
8.3日志管理
日志管理要求如下:
a)應(yīng)提供記錄系統(tǒng)操作日志功能,記錄用戶的重要操作;
b)應(yīng)保證系統(tǒng)操作日志無法刪除、修改或被覆蓋;
c)操作日志應(yīng)包括日期、時間、操作者信息、操作類型、操作描述和操作結(jié)果等;
d)應(yīng)提供對系統(tǒng)操作日志進行統(tǒng)計、查詢、分析計生呈報表的功能。
8.4數(shù)據(jù)安全
數(shù)據(jù)安全要求除應(yīng)符合以下標準外,還應(yīng)符合中國鐵建城市更新與未來社區(qū)數(shù)字化安全導則全部
內(nèi)容。
a)應(yīng)提供數(shù)據(jù)儲存加密功能,支持數(shù)據(jù)庫及數(shù)據(jù)加密;
b)應(yīng)提供系統(tǒng)敏感數(shù)據(jù)加密傳輸功能,并且加密密鑰可被替換;
c)宜支持數(shù)據(jù)列級的數(shù)據(jù)加密。
9應(yīng)用環(huán)境
9.1軟件環(huán)境
9.1.1微服務(wù)治理架構(gòu)
采用SpringCloud架構(gòu),治理組件:
a)服務(wù)注冊中心:Nacos;
14
T/TMACXXX—202X
b)服務(wù)獎集合熔斷:Sentinel;
c)API網(wǎng)關(guān):SpringCloudGateway;
d)負載均衡:Ribbon。
9.1.2開發(fā)框架
后端框架使用Springboot;前端框架使用Vue.js,ElementUI.js,iView.js。
9.1.3消息中間件
主要采用Kafka,局部涉及RabitMQ。
9.1.4數(shù)據(jù)庫
關(guān)系數(shù)據(jù)庫:PostgreSQL;聚合分析數(shù)據(jù)庫:Druid;空間數(shù)據(jù)庫:PostGIS組件;時序數(shù)據(jù)庫:
TDEngine;邊緣數(shù)據(jù)庫:influxDB。
9.1.5邊緣計算
架構(gòu)實現(xiàn)主要使用Balena,邊緣端接入管理選用RedNode,邊緣端OS采用YoctoLinux,邊緣
端數(shù)據(jù)可視化選用Grafana,邊緣端數(shù)據(jù)庫采用influxDB。
9.1.6大數(shù)據(jù)分析
聚合數(shù)據(jù)儲存選用ApacheDruid,BI分析選用Kylin,ETL及機器學習選用MLSQL,數(shù)據(jù)可視化
選用MetaBase。
9.1.7三維可視化
GIS后端選用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js
9.2硬件環(huán)境
私有云本地部署。
9.3網(wǎng)絡(luò)環(huán)境
千兆光纖和千兆局域網(wǎng)。
10應(yīng)用服務(wù)
10.1數(shù)據(jù)分析服務(wù)
10.1.1支持數(shù)據(jù)查詢,實現(xiàn)以下功能:
a)應(yīng)提供通過標準的數(shù)據(jù)庫連接接口進行查詢的功能;
b)應(yīng)提供通過RESTAPI查詢接口進行查詢的功能;
c)應(yīng)提供建立數(shù)據(jù)索引的功能,達到查詢加速的效果;
d)應(yīng)支持精確查詢和模糊查詢功能。
10.1.2支持機器學習,實現(xiàn)以下功能:
a)應(yīng)提供數(shù)據(jù)集管理功能,可將數(shù)據(jù)劃分為訓練集、驗證集和測試集:
b)應(yīng)提供機器學習模型導人和導出功能;
c)應(yīng)提供常用機器學習算法;
15
T/TMACXXX—202X
d)宜支持集成第三方機器學習算法。
10.1.3支持統(tǒng)計分析,實現(xiàn)以下功能:
a)應(yīng)提供基本數(shù)值統(tǒng)計,如最大值、最小值、求和、總數(shù)等統(tǒng)計量;
b)應(yīng)提供數(shù)據(jù)集中趨勢統(tǒng)計,如平均數(shù)、中位數(shù)、眾數(shù)等統(tǒng)計量;
c)宜提供數(shù)據(jù)離散程度統(tǒng)計,如極差、方差、標淮差等統(tǒng)計量;
d)宜提供隨機變量關(guān)系的統(tǒng)計,如協(xié)方差、相關(guān)系統(tǒng)等統(tǒng)計量。
10.1.4支持離線數(shù)據(jù)分析,實現(xiàn)以下功能:
e)應(yīng)支持結(jié)構(gòu)化查詢語言;
f)應(yīng)支持分布式計算或并行計算等計算框架;
g)宜支特對海量工作任務(wù)的切分和分布式調(diào)度。
10.1.5支持流數(shù)據(jù)分析,實現(xiàn)以下功能:
a)應(yīng)提供按時間切片進行批量處理的功能;
b)應(yīng)支持基于事件觸發(fā)或者采樣的流式處理;
c)宜支持實時流上的數(shù)據(jù)統(tǒng)計;
d)宜支持流式數(shù)據(jù)的排序;
e)宜支持與靜態(tài)表之間的關(guān)聯(lián);
f)宜支持多個數(shù)據(jù)流的關(guān)聯(lián)處理。
10.1.6宜支持交互式聯(lián)機分析,實現(xiàn)以下功能:
a)通過結(jié)構(gòu)化查詢語言對數(shù)據(jù)進行分布式的聯(lián)機分析,如OLAP等;
b)通過結(jié)構(gòu)化查詢語言對數(shù)據(jù)進行即席查詢;
c)利用可視化中間件對數(shù)據(jù)分析結(jié)果進行顯示;
d)在交互式分析過程中定義計算公式和參數(shù)配置;
e)在交互式分析過程中自動保存和回退;
f)在交互式分析過程中對分析結(jié)果的保存和發(fā)布;
g)基于在線聯(lián)機分析的交互式數(shù)據(jù)分析。
10.2數(shù)據(jù)可視化服務(wù)
10.2.1常規(guī)數(shù)據(jù)可視化服務(wù)具備以下功能:
a)應(yīng)支持使用常規(guī)圖標展示數(shù)據(jù),如表格、柱狀圖、餅圖等;
b)宜支持第三方數(shù)據(jù)可視化工具API。
10.2.2三維數(shù)據(jù)可視化服務(wù)具備以下功能:
a)應(yīng)支持BIM與GIS深度融合,提供基于Web的空間數(shù)據(jù)管理與展現(xiàn)、交互操作服務(wù);
b)應(yīng)提供BIM構(gòu)件級交互操作功能,支持模型的標注、刨切、組裝和拆卸操作;
c)應(yīng)提供2D/3DGIS標準服務(wù)(WMS、WFS、WCS),支持多種數(shù)據(jù)源(包括:傾斜攝影、遙感
16
T/TMACXXX—202X
影像、矢量地圖、點云、高程)的發(fā)布管理,支持動態(tài)維護圖層數(shù)據(jù);
d)應(yīng)提供基于幾何量值的空間分析(包括日照、淹沒、土方等)以及圖上測量(包括距離、
面積、周長、坡度等);
e)應(yīng)提供視頻融合服務(wù),支持將多視頻流投射到三維場景,實現(xiàn)上帝視角的三維監(jiān)控;
f)應(yīng)支持2D圖紙與3D模型的關(guān)聯(lián)綁定,提供二、三維聯(lián)動操作功能;
g)借助3DTiles文件格式,利用多層級瓦片技術(shù),宜支持流暢的大場景Web渲染;
h)借助Gltf文件格式,將模型動畫植入應(yīng)用,宜支持數(shù)據(jù)驅(qū)動的仿真展現(xiàn);
i)宜支持沉浸式漫游路線定義和上帝視角漫游路線定義;
j)宜支持VR及AR應(yīng)用。
17
T/TMACXXX—202X
參考文獻
[1]GB/T17798-2007地理空間數(shù)據(jù)交換格式
[2]GB17859-1999計算機信息系統(tǒng)安全保護等級劃分準則
[3]GB/T18391.1-2009信息技術(shù)元數(shù)據(jù)注冊系統(tǒng)(MDR)第1部分:框架
[4]GB/T20269-2006信息安全技術(shù)信息系統(tǒng)安全管理要求
[5]GB/T20270-2006信息安全技術(shù)網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求
[6]GB/T20271-2016信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求
[7]GB/T22080-2016信息技術(shù)安全技術(shù)信息安全管理體系要求
[8]GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級保護基本要求
[9]GB/T22240-2020信息安全技術(shù)網(wǎng)絡(luò)安全等級保護定級指南
[10]GB/T25069信息安全技術(shù)術(shù)語
[11]GB/T28181-2016公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求
[12]GB/T31916-2018信息技術(shù)云數(shù)據(jù)存儲和管理
[13]GB/T34079-2017基于云計算的電子政務(wù)公共平臺服務(wù)規(guī)范第3部分:數(shù)據(jù)管理
[14]GB/T34960.5-2018信息技術(shù)服務(wù)治理第5部分:數(shù)據(jù)治理規(guī)范
[15]GB35114-2017公共安全視頻監(jiān)控聯(lián)網(wǎng)信息安全技術(shù)要求
[16]GB/T35273-2020信息安全技術(shù)個人信息安全規(guī)范
[17]GB/T35274-2017信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求
[18]GB/T35319-2017物聯(lián)網(wǎng)系統(tǒng)接口要求
[19]GB/T36073-2018數(shù)據(jù)管理能力成熟度評估模型
[20]GB/T36092-2018信息技術(shù)備份存儲備份技術(shù)應(yīng)用要求
[21]GB/T36478-2018物聯(lián)網(wǎng)信息交換和共享
[22]GB/T36625.3-2021智慧城市數(shù)據(jù)融合第3部分:數(shù)據(jù)采集規(guī)范
[23]GB/T37025-2018信息安全技術(shù)物聯(lián)網(wǎng)數(shù)據(jù)傳輸安全技術(shù)要求
[24]GB/T37043-2018智慧城市術(shù)語
[25]GB/T37120-2018軌道交通地理信息數(shù)據(jù)規(guī)范
[26]GB37300-2018公共安全重點區(qū)域視頻圖像信息采集規(guī)范
[27]GB/T37971-2019信息安全技術(shù)智慧城市安全體系框架
[28]GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型
[29]GB/Z38649-2020信息安全技術(shù)智慧城市建設(shè)信息安全保障指南
[30]GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求
[31]GB/T38672-2020信息技術(shù)大數(shù)據(jù)接口基本要求
[32]GB/T40689-2021智慧城市設(shè)備聯(lián)接管理與服務(wù)平臺技術(shù)要求
18
T/TMACXXX—202X
[33]GB/T51447-2021建筑信息模型存儲標準
[34]GA/T1347-2017信息安全技術(shù)云存儲系統(tǒng)安全技術(shù)要求
[35]YD/T3865-2021工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)安全保護要求
[36]YD/T3760-2020大數(shù)據(jù)數(shù)據(jù)管理平臺技術(shù)要求與測試方法
[37]DB23/T3304-2022大數(shù)據(jù)平臺數(shù)據(jù)接入規(guī)范
[38]DB42/T1725.2-2021國土空間基礎(chǔ)信息平臺應(yīng)用規(guī)范第2部分:數(shù)據(jù)共享與匯交技術(shù)規(guī)范
[39]DB52/T1540.2-2021政務(wù)數(shù)據(jù)第2部分:元數(shù)據(jù)管理規(guī)范
[40]DB3415/T40-2022六安市新型智慧城市(城市大腦)數(shù)據(jù)共享規(guī)范
[41]DB36/T1646-2022地理空間數(shù)據(jù)共享和交換規(guī)范
[42]T/SCTA008-2022工業(yè)大數(shù)據(jù)平臺技術(shù)規(guī)范數(shù)據(jù)接口服務(wù)
[43]T/CAGIS1-2019空間三維模型數(shù)據(jù)格式
[44]T/CAGIS2-2020空間三維模型數(shù)據(jù)服務(wù)接口
[45]T/ZAII035-2022數(shù)據(jù)中臺元數(shù)據(jù)規(guī)范
[46]ISO16739-1:2018IFC標準體系
[47]DD2015-06三維地質(zhì)模型數(shù)據(jù)交換格式(Geo3DML)
[48]雄安新區(qū)物聯(lián)網(wǎng)終端統(tǒng)一接入規(guī)范
[49]羅婷婷,趙瑞雪,李嬌,等.面向多源異構(gòu)科技信息治理的元數(shù)據(jù)標準規(guī)范體系構(gòu)建[J].數(shù)字
圖書館論壇,2021(4):58-67.
[50]李玉翠.多源異構(gòu)數(shù)據(jù)集成技術(shù)研究[D].西安電子科技大學,2009.
[51]周平,董建,張群,等.大數(shù)據(jù)標準化白皮書[Z].全國信息技術(shù)標準化技術(shù)委員會大數(shù)據(jù)標準
工作組中國電子技術(shù)標準化研究院,2020.
[52]佚名.數(shù)據(jù)中臺標準方案[Z].,2021.
19
《城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技術(shù)要求》
(征求意見稿)
編制說明
一、工作簡況
(一)任務(wù)來源
本文件由中鐵第五勘察設(shè)計院集團有限公司提出,經(jīng)中國技
術(shù)市場協(xié)會標準化工作委員會批準,正式列入2024年團體標準
制修訂計劃,標準名稱為《城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技
術(shù)要求》。
(二)項目背景
本文件是住房和城鄉(xiāng)建設(shè)部發(fā)布的《“十四五”建筑業(yè)發(fā)展
規(guī)劃》明確,“十四五”時期,我國要初步形成建筑業(yè)高質(zhì)量發(fā)
展體系框架,建筑市場運行機制更加完善,工程質(zhì)量安全保障體
系基本健全,建筑工業(yè)化、數(shù)字化、智能化水平大幅提升,建造
方式綠色轉(zhuǎn)型成效顯著,加速建筑業(yè)由大向強轉(zhuǎn)變。
通過對城市更新與未來社區(qū)開發(fā)投融資、規(guī)劃、設(shè)計、建設(shè)
及運營全流程的梳理,在投資決策階段,產(chǎn)業(yè)導入、投融資模式
缺乏數(shù)據(jù)輔助決策系統(tǒng),產(chǎn)業(yè)方案決策及投融資平衡測算工作需
耗費大量時間與精力,未形成具有中國鐵建特色的智慧場景應(yīng)用
落地方案。在勘察設(shè)計階段,勘察設(shè)計及多專業(yè)協(xié)同的數(shù)字化應(yīng)
用程度和效率不高,缺乏系統(tǒng)軟件的支持。在建設(shè)管理階段,多
工程并存、多單位共建,管理數(shù)據(jù)零散孤立,統(tǒng)籌管理效率低,
缺乏相應(yīng)的數(shù)字化應(yīng)用管理系統(tǒng)的支持。在運營管理階段,缺乏
面向建設(shè)方業(yè)主及物業(yè)的數(shù)字化運營軟件支持。未能打通項目過
程中的全產(chǎn)業(yè)鏈,需向市場購買運營服務(wù),間接影響項目承攬及
收益。同時,在數(shù)字標準和安全方面,各階段、各專業(yè)的數(shù)字化
應(yīng)用技術(shù)標準不統(tǒng)一,未能貫穿全程,互聯(lián)互通程度不高,數(shù)字
資產(chǎn)價值挖掘利用不夠。因此本文件為建設(shè)勘察設(shè)計及建設(shè)運營
全過程開發(fā)的底層數(shù)據(jù)平臺,防止數(shù)據(jù)流失,消除數(shù)據(jù)安全隱患
而提出。
(三)目的意義
1
制定本文件的目的是為實現(xiàn)城市更新與未來社區(qū)工程項目的
所有主要數(shù)據(jù)的統(tǒng)一接入管理。同時,平臺可對二三維數(shù)據(jù)進行
集成處理,重點解決不同數(shù)據(jù)格式、不同顆粒度數(shù)據(jù)、不同坐標
系數(shù)據(jù)的融合問題。提供基于同一坐標系下的不同種類數(shù)據(jù)的統(tǒng)
一訪問。
(四)起草單位及起草人名單
本文件起草單位:中鐵第五勘察設(shè)計院集團有限公司、
XXXXXXX、XXXXXXX、XXXXXXX、XXXXXXX、XXXXXXX、XXXXXXX、XXXXXXX。
本文件主要起草人:XXX、XXX、XXX、XXX、XXX、XXX、XXX、
XXX、XXX、XXX、XXX、XXX、XXX、XXX、XXX、XXX。
(五)主要起草過程
1.文本調(diào)研
《城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺技術(shù)要求》于2024年
5月啟動了文本的調(diào)研工作,并與2024年7月完成了相關(guān)資料
的收集和分析工作。
2.標準立項
中鐵第五勘察設(shè)計院集團有限公司向中國技術(shù)市場協(xié)會標
準化委員會提出申請,于2024年3月獲得中國技術(shù)市場協(xié)會標
準化工作委員會批準立項。
3.組建標準起草工作組
2024年7月25日,召開項目啟動會。
2024年7月26日,成立了中鐵第五勘察設(shè)計院集團有限公
司、中鐵建設(shè)集團建筑科技公司、中鐵建網(wǎng)絡(luò)信息科技有限公司
等組成的標準起草工作組,并討論標準調(diào)研工作事項。
4.形成標準草案
2024年9月11日,起草組對資料收集情況進行匯報,并對
進行了線上討論。
2024年9月20日,開展組內(nèi)討論,確定了標準框架和主要
內(nèi)容。
2024年9月23日,對起草的標準初稿進行現(xiàn)場討論,并提
出修改意見。
2
2024年9月30日,起草組根據(jù)修改意見進行修改,形成標
準草案。
5.形成征求意見稿
2024年9月30日,對標準草案進行討論,起草組對草案內(nèi)
容進行了修改,形成標準征求意見稿。
二、確定標準主要內(nèi)容的論據(jù)
(一)編制原則
本文件按照GB/T1.1—2020《標準化工作導則第1部分:
標準化文件的結(jié)構(gòu)和起草規(guī)則》以及《中國技術(shù)市場協(xié)會團體標
準工作程序》的規(guī)定起草。
(二)標準主要內(nèi)容及適用范圍
本文件規(guī)定了城市更新與未來社區(qū)基礎(chǔ)數(shù)據(jù)平臺的技術(shù)要
求,包括平臺架構(gòu)、功能標準、數(shù)據(jù)要求、接口要求、安全要求、
應(yīng)用環(huán)境以及應(yīng)用服務(wù)等七個方面的內(nèi)容。這些規(guī)定旨在為城市
更新與未來社區(qū)項目提供一個統(tǒng)一的數(shù)字化應(yīng)用框架,以BIM為
基礎(chǔ),實現(xiàn)建設(shè)與運營的全周期、全業(yè)務(wù)、全要素數(shù)據(jù)信息流通。
本文件適用于城市更新與未來社區(qū)數(shù)字化基礎(chǔ)數(shù)據(jù)平臺的
架構(gòu)、功能、數(shù)據(jù)要求、接口要求、安全要求、應(yīng)用環(huán)境以及應(yīng)
用服務(wù)等方面的規(guī)范操作和接入標準。平臺的設(shè)計與實施不僅要
符合本標準的要求,還應(yīng)遵守現(xiàn)行的國家標準、地方標準及相關(guān)
行業(yè)慣例,意在推動城市更新與未來社區(qū)項目的數(shù)字化轉(zhuǎn)型,通
過統(tǒng)一的標準和技術(shù)要求來提高項目的數(shù)字化管理水平。
(三)確定標準主要內(nèi)容的論據(jù)
本文件主要內(nèi)容是為了規(guī)范和引導中國鐵建城市更新與未
來社區(qū)全生命周期內(nèi)的數(shù)字化技術(shù)應(yīng)用,以提升數(shù)字化應(yīng)用水平
和效率,提高管理標準,并通過數(shù)字化手段實現(xiàn)統(tǒng)一的數(shù)據(jù)系統(tǒng)
集成和系統(tǒng)監(jiān)管。文檔確定標準的主要論據(jù)集中在以下幾個方面:
標準制定背景:文中提到為貫徹執(zhí)行國家數(shù)字經(jīng)濟政策,以
實現(xiàn)規(guī)范化、標準化的城市更新與未來社區(qū)項目的數(shù)字化應(yīng)用,
形成統(tǒng)一的架構(gòu)和標準,從而更好地指導項目的數(shù)字化技術(shù)實施,
確保未來集團標準管理得以實現(xiàn)。
3
數(shù)據(jù)平臺一體化協(xié)同規(guī)劃:強調(diào)以BIM(Building
InformationModeling)為基礎(chǔ),構(gòu)建數(shù)據(jù)平臺,旨在打通城市
更新與未來社區(qū)建設(shè)與運營的全周期、全業(yè)務(wù)、全要素數(shù)據(jù)信息
渠道,為建設(shè)、運營一體化提供面向應(yīng)用的數(shù)字化應(yīng)用規(guī)范。
平臺功能和技術(shù)要求:文檔詳述了平臺架構(gòu)、平臺功能標準、
數(shù)據(jù)要求、接口要求、安全要求、應(yīng)用環(huán)境以及應(yīng)用服務(wù)等多個
方面的技術(shù)要求,確保平臺構(gòu)建、運行維護和安全管理符合現(xiàn)行
國家、地方有關(guān)標準和習慣性事實標準。
平臺架構(gòu):平臺設(shè)計遵循數(shù)據(jù)一致性、實用性、獨立性、安
全性及分級管理機制的原則,整體架構(gòu)包括應(yīng)用系統(tǒng)模塊、中樞
模塊、中臺模塊以及基礎(chǔ)設(shè)施模塊,同時涵蓋標準規(guī)范體系和安
全管理體系。
數(shù)據(jù)管理與安全:強調(diào)了數(shù)據(jù)收集、處理、集成、管理、發(fā)
布、儲存和共享等方面的技術(shù)要求,并提出了數(shù)據(jù)安全的重要性,
包括用戶管理、權(quán)限管理、日志管理和數(shù)據(jù)安全的具體要求。
應(yīng)用環(huán)境:定義了軟件環(huán)境(如微服務(wù)治理架構(gòu)、開發(fā)框架、
消息中間件、數(shù)據(jù)庫等)、硬件環(huán)境(如私有云本地部署)和網(wǎng)
絡(luò)環(huán)境(如千兆光纖和局域網(wǎng))的技術(shù)要求。
應(yīng)用服務(wù):包括數(shù)據(jù)分析服務(wù)、數(shù)據(jù)可視化服
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 大班交通安全教案課件
- 2026年西昌市邛海瀘山風景名勝區(qū)管理局招聘5名執(zhí)法協(xié)勤人員備考題庫及完整答案詳解一套
- 2025-2030中藥銷售行業(yè)市場分析藥品市場中醫(yī)發(fā)展分析投資
- 2026年西寧市城東區(qū)城市管理局面向退役士兵招聘執(zhí)法輔助人員備考題庫及完整答案詳解一套
- 2025至2030中國微生物菌劑農(nóng)業(yè)應(yīng)用效果驗證與市場教育策略分析報告
- 2025至2030中國母嬰營養(yǎng)品成分創(chuàng)新與消費者認知度提升策略報告
- 2025至2030中國冷鏈倉儲自動化改造投資回報率與運營效率提升分析報告
- 2025至2030中國智能座艙技術(shù)市場現(xiàn)狀及未來需求預測分析報告
- 2026年蘇州市吳江區(qū)教育系統(tǒng)公開招聘事業(yè)編制教師36人備考題庫有答案詳解
- 煤礦爆破安全管理課件
- 電能質(zhì)量技術(shù)監(jiān)督培訓課件
- 電子制造行業(yè)數(shù)字化轉(zhuǎn)型白皮書
- 腫瘤患者雙向轉(zhuǎn)診管理職責
- 公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用(雪亮工程)運維服務(wù)方案純方案
- 福建省漳州市2024-2025學年高一上學期期末教學質(zhì)量檢測歷史試卷(含答案)
- 定額〔2025〕2號文-關(guān)于發(fā)布2020版電網(wǎng)技術(shù)改造及檢修工程概預算定額2024年下半年價格
- 管道穿越高速橋梁施工方案
- 2024版《中醫(yī)基礎(chǔ)理論經(jīng)絡(luò)》課件完整版
- 2022版義務(wù)教育(物理)課程標準(附課標解讀)
- 井噴失控事故案例教育-井筒工程處
- GB/T 16947-2009螺旋彈簧疲勞試驗規(guī)范
評論
0/150
提交評論