1、NPMS 系統(tǒng)體系結(jié)構(gòu)、功能及接口一、系統(tǒng)功能定義1、 接收 V5 格式的 NetFlow。2、 接收 V7 格式的 NetFlow。3、 接收 V8 格式的 NetFlow。4、 接收 V9 格式的 NetFlow。5、 對 NetFlow 的處理能力不低于10,000 條/秒。6、 能基于源 IP 地址、目的 IP 地址、源端口號、目的端口號、協(xié)議類型等條件對接收到的 NetFlow 流過濾。7、 將過濾（或不過濾）后的NetFlow 流，寫入二進制文件。8、 支持 zlib 壓縮。9、 寫入的文件長度可以按時間或大小來選擇。10、文件名能按照某種規(guī)則命名。11、后臺多進程方式運行。12、

2、自適應(yīng)、健壯性。自適應(yīng)一方面是指當(dāng)網(wǎng)絡(luò)設(shè)備發(fā)出的NetFlow 流的速率超過設(shè)定值，則采取定時采樣方式來接收NetFlow 流，并將相關(guān)信息寫入日志文件，以保證設(shè)備正常運行；另一方面是指系統(tǒng)能根據(jù)網(wǎng)絡(luò)資源情況能動態(tài)地啟動不同數(shù)量的子進程來工作。健壯性是指當(dāng)啟動的多個寫入文件進程中的某個進程，由于各種原因成為僵死進程時，其父進程應(yīng)及時將其殺死，以保證系統(tǒng)的健壯性。13、日志。日志內(nèi)容包括系統(tǒng)開關(guān)機時間，異常情況記錄。14、對自身服務(wù)器資源的監(jiān)控。其內(nèi)容包括CPU、內(nèi)存、 I/O 等。15、支持轉(zhuǎn)發(fā)功能。16、能接收多個網(wǎng)絡(luò)設(shè)備發(fā)送的NetFlow。工具軟件功能定義：1、特定要求發(fā)送特定類型的Ne

3、tFlow 流。2、模擬 DDOS 攻擊。3、查看 NetFlow 流文件內(nèi)容。二、系統(tǒng)體系結(jié)構(gòu)1、 硬件體系結(jié)構(gòu)SNMPCollecterNetFlowUDPRouterRouterNetFlowFlowCollecterFile ServerDB ServerWeb ServerUDPReportwoPFDeUDPNURouter轉(zhuǎn)發(fā)2、 軟件體系結(jié)構(gòu)FlowCollecter 體系結(jié)構(gòu) 1ShMemFlowWriteFile_1FlowWriteDB_1ManagerFlowWriteFile_2FlowWriteDB_2FlowFileM QDBFlowWriteDB_nFlowWri

4、teFile_nUDPFlowReDirector設(shè)計說明：1、 FlowCollecter 分成4 大部分： Manager、FlowWriteFile 、FlowWriteDB ，F(xiàn)lowRedirect。2、 Manager 處于該模塊的總控部分。功能定義如下：（1）、負責(zé)接受網(wǎng)絡(luò)設(shè)備或探針RTProbe 以 UDP 方式發(fā)送來的NetFlow 數(shù)據(jù)包。（2）、創(chuàng)建消息隊列MQ 。（3）、fork 多個子進程，在每一個子進程中執(zhí)行FlowWriteFile 。（4）、創(chuàng)建共享內(nèi)存ShMem，并將簡單的NetFlow 信息或統(tǒng)計信息存放在ShMem 中。這里簡單的定義是做這些工作對Mana

5、ger 的影響不大。（5）、根據(jù)配置文件中的過濾規(guī)則，實現(xiàn)對NetFlow 的過濾。過濾規(guī)則，可以基于源 IP 地址、目的 IP 地址、源端口號、目的端口號、協(xié)議類型等。（6）、采用心跳（ heartbeat）機制實現(xiàn)對子進程FlowWirteFile 的監(jiān)管。即當(dāng)子進程沒有在規(guī)定的時間（應(yīng)定義為多少？），向定義的端口（ 1212）發(fā)送“子進程標(biāo)識”信息，就認為該子進程為僵死進程，父進程監(jiān)控該端口，然后殺死該子進程。3、 FlowWirteFile 處于該模塊的第二部分。功能定義如下：（1）、從 Manager 創(chuàng)建的消息隊列中取出NetFlow 數(shù)據(jù)。（2）、拆分 NetFlow 包。（3）

6、、打包。將 NetFlow 數(shù)據(jù)按照我們自定義的協(xié)議格式xFlow ，重新打包。注：拆包和打包的任務(wù)也可以考慮在Manager 部分完成。（4）、寫入文件。將 xFlow 寫入文件。注：應(yīng)考慮文件格式（二進制文件，類似 RRD 循環(huán)文件格式等）。（5）、實現(xiàn) zlib 壓縮功能。（6）、能按照命名規(guī)則自動取文件名。（7）、能按照接收流的時間或文件長度規(guī)則，自動截取文件長度。也就是說NetFlow 流文件不會是一個文件，而是一系列文件的集合。4、 FlowWriteDB 處于該模塊的第三部分。功能定義如下：（1）、從 FlowFile 文件中讀取 NetFlow 數(shù)據(jù)。（2）、寫入到 Postg

7、reSQL數(shù)據(jù)庫。5、 FlowRedirect 處于該模塊的第四部分。功能定義如下：（1）、從 FlowFile 文件中讀 NetFlow 數(shù)據(jù)。（2）、將 NetFlow 數(shù)據(jù)以 UDP 的方式轉(zhuǎn)發(fā)到某臺主機。FlowCollecter 體系結(jié)構(gòu) 2：ShMemFlowWriteFile_1FlowWriteDB_1ManagerFlowWriteFile_2FlowWriteDB_2FlowFileDBPipe1Pipe2FlowWriteDB_nFlowWriteFile_nPipeNUDPFlowReDirector設(shè)計說明：1、 FlowCollecter 分成 3 大部分： Ma

8、nager、FlowWriteFile 、FlowWriteDB 。2、 Manager 處于該模塊的總控部分。功能定義如下：（1）、負責(zé)接受網(wǎng)絡(luò)設(shè)備或探針RTProbe 以 UDP 方式發(fā)送來的NetFlow 數(shù)據(jù)包。（2）、創(chuàng)建消息隊列n 個有名管道。（3）、fork 多個子進程，在每一個子進程中執(zhí)行FlowWriteFile 。（4）、創(chuàng)建共享內(nèi)存ShMem，并將簡單的NetFlow 信息或統(tǒng)計信息存放在ShMem 中。這里簡單的定義是做這些工作對Manager 的影響不大。（5）、根據(jù)配置文件中的過濾規(guī)則，實現(xiàn)對NetFlow 的過濾。過濾規(guī)則，可以基于源 IP 地址、目的 IP 地址

9、、源端口號、目的端口號、協(xié)議類型等。（6）、采用心跳（ heartbeat）機制實現(xiàn)對子進程FlowWirteFile 的監(jiān)管。即當(dāng)子進程沒有在規(guī)定的時間（應(yīng)定義為多少？），向定義的端口（ 1212）發(fā)送“子進程標(biāo)識”信息，就認為該子進程為僵死進程，父進程監(jiān)控該端口，然后殺死該子進程。3、 FlowWirteFile 處于該模塊的第二部分。功能定義如下：（1）、從 Manager 創(chuàng)建的管道中取出NetFlow 數(shù)據(jù)。（2）、拆分 NetFlow 包。（3）、打包。將 NetFlow 數(shù)據(jù)按照我們自定義的協(xié)議格式xFlow ，重新打包。注：拆包和打包的任務(wù)也可以考慮在Manager 部分完成。

10、（4）、寫入文件。將 xFlow 寫入文件。注：應(yīng)考慮文件格式（二進制文件，類似 RRD 循環(huán)文件格式等）。（5）、實現(xiàn) zlib 壓縮功能。（6）、能按照命名規(guī)則自動取文件名。（7）、能按照接收流的時間或文件長度規(guī)則，自動截取文件長度。也就是說NetFlow 流文件不會是一個文件，而是一系列文件的集合。4、 FlowWriteDB 處于該模塊的第三部分。功能定義如下：（1）、從 FlowFile 文件中讀取 NetFlow 數(shù)據(jù)。（2）、寫入到 PostgreSQL數(shù)據(jù)庫。5、 FlowRedirect 處于該模塊的第四部分。功能定義如下：（1）、從 FlowFile 文件中讀 NetFlo

11、w 數(shù)據(jù)。（2）、將 NetFlow 數(shù)據(jù)以 UDP 的方式轉(zhuǎn)發(fā)到某臺主機。三、系統(tǒng)接口定義1、 Manager 部分接口定義：（1）、NetFlow V5 格式V5 頭格式（ 24 個字節(jié)）字節(jié)內(nèi)容英文描述中文描述0 1versionNetFlowexportformatversionNetFlow 導(dǎo)出格式的版本號number2 3countNumberof flowsexportin this包中導(dǎo)出的流數(shù)目（ 130）packet (1 30)4 7SysUptimeCurrent time in milliseconds sincethe export device booted81

12、1unix_secsCurrent count of seconds since0000 UTC 197012 15unix_nsecsResidual nanoseconds since 0000UTC 19701619flow_sequenceSequence counter of total flowsseen20engine_typeType of flow-switching engine21engine_idSlot number of the flow-switchingengine2223reservedreserved從路由器啟動以來的當(dāng)前時間，以毫秒為單位從 0000UTC

13、1970 開始的秒數(shù)從 0000UTC1970 開始的剩余納秒時間所有能看到的流的順序計數(shù)器Flow 交換設(shè)備的類型 Flow 交換設(shè)備的插槽號未使用的字節(jié)V5 記錄格式(48 個字節(jié) )字節(jié)內(nèi)容英文描述中文描述0 3srcaddrSource IP address4 7dstaddrDestination IP address811nexthopIP address of next hop router12 13inputSNMP index of input interface14 15outputSNMP index of output interface16 19dPktsPacket

14、s in the flow20 23dOctetsTotal number of layer 3 bytes in thepackets of the flow24 27FirstSysUptime at start of flow28 31LastSysUptime at the time the lastpacket of the flow was received32 33srcportTCP/UDPsource port number orequivalent34 35dstportTCP/UDPdestination port numberor equivalent36pad1Unu

15、sed(zero)bytes37tcp_flagsCumulative OR of TCP flags38protIP protocol type (for example, TCP= 6; UDP = 17)39tosIP type of service (ToS)40 41src_asAutonomous system number of thesource, either origin or peer42 43dst_asAutonomous system number of thedestination, either of peer44src_maskSource address p

16、refix mask bits源 IP地址目的 IP 地址下一跳的路由器 IP 地址接入接口的 SNMP 索引輸出接口的 SNMP 索引流中的報文在流的報文中第3 層字節(jié)總數(shù)流開始處的SysUptime流中最后一個報文被接收時的SysUptimeTCP/UDP 源端口號或等價值TCP/UDP 目的端口號或等價值沒有使用的字節(jié)TCP 標(biāo)記的累積ORIP 協(xié)議（例如，TCP 6， UDP 17）服務(wù)的 IP 類型源的 AS，原來的或?qū)Φ鹊哪康?AS，原來的或?qū)Φ鹊脑吹刂非熬Y的掩碼位45dst_maskDestination address prefix mask目的地址前綴的掩碼位bits4648

17、pad2Unused (zero) bytes未使用的字節(jié)（2）、NetFlow V7 格式（ Catalyst 5000）V7 頭格式（ 24 個字節(jié)）字節(jié)內(nèi)容英文描述中文描述0 1versionNetFlowexport format versionnumber2 3countNumber of flows export in thispacket (1 30)4 7SysUptimeCurrent time in milliseconds sincethe export device booted8 11unix_secsCurrent count of seconds since000

18、0 UTC 197012 15unix_nsecsResidualnanoseconds since 0000UTC 19701619flow_sequenceSequence counter of total flowsseen20engine_typeType of flow-switching engine21engine_idSlot number of the flow-switchingengine2223reservedreservedNetFlow 導(dǎo)出格式的版本號包中導(dǎo)出的流數(shù)目（130）從路由器啟動以來的當(dāng)前時間，以毫秒為單位從 0000UTC1970 開始的秒數(shù)從 000

19、0UTC1970 開始的剩余納秒時間所有能看到的流的順序計數(shù)器Flow 交換設(shè)備的類型 Flow 交換設(shè)備的插槽號未使用的字節(jié)V7 記錄格式(52 個字節(jié) )字節(jié)內(nèi)容英文描述中文描述0 3srcaddrSource IP address源 IP地址4 7dstaddrDestination IP address目的 IP 地址811nexthopIP address of next hop router下一跳的路由器 IP 地址12 13inputSNMP index of input interface接入接口的 SNMP 索引14 15outputSNMP index of output

20、interface輸出接口的 SNMP 索引16 19dPktsPackets in the flow流中的報文20 23dOctetsTotal number of layer 3 bytes in the在流的報文中第 3 層字節(jié)總數(shù)packets of the flow24 27FirstSysUptime at start of flow流開始處的 SysUptime28 31LastSysUptime at the time the last流中最后一個報文被接收時的packet of the flow was received3233srcportTCP/UDPsource por

21、t numberorequivalent3435dstportTCP/UDPdestination portnumberor equivalent36flagsFlagsindicating,amongotherthings, what flow fields are invalid.37tcp_flagsTCP flags; always set to zero38protIP protocol type (for example, TCP= 6; UDP = 17)39tosIP type of service (ToS)4041src_asAutonomous system number

22、 of thesource, either origin or peer4243dst_asAutonomous system number of thedestination, either of peer44src_maskSource address prefix mask bits45dst_maskDestinationaddressprefixmaskbits4647flagsFlagsindicating,amongotherthings, what flow fields are invalid.4851router_scIP address oftherouterthatis

23、bypassedbytheCatalyst5000series switch. This is thesameaddressthe routeruses whenitsends NetFlow export packets. ThisIP address is propagated to allswitchesbypassingtherouterthrough the FCP protocalSysUptimeTCP/UDP 源端口號或等價值TCP/UDP 目的端口號或等價值TCP 標(biāo)志IP 協(xié)議（例如，TCP 6， UDP 17）服務(wù)的 IP 類型源的 AS，原來的或?qū)Φ鹊哪康?AS，原來的或?qū)Φ鹊脑吹刂非熬Y的掩碼位目的地址前綴的掩碼位2、 FlowWriteFile 部分接口定義：3、 FlowWriteDB 部分接口定義：4、