1、Jstorm/Storm 性能調(diào)優(yōu)紀(jì)君祥,如何尋找瓶頸 從Jstorm、Storm角度進(jìn)行調(diào)優(yōu) 好的設(shè)計(jì)才是性能之王,大綱,性能優(yōu)化是一個(gè)永無(wú)止境的追求， 沒有最快， 只有更快 是機(jī)器資源和業(yè)務(wù)需求的一種平衡,背景（一）,做過(guò)4年阿里雙11， 優(yōu)化的topology超過(guò)100個(gè),背景（二）,尋找topology的瓶頸,找到每一個(gè)component的最大處理速度 從而可以找出整個(gè)topology的瓶頸,調(diào)優(yōu)topology的第一個(gè)步驟,計(jì)算bolt的處理能力上限,計(jì)算Spout的性能上限,整個(gè)topology是一個(gè)流水線， 慢的component會(huì)拖慢整個(gè)topology,如何優(yōu)化compone

2、nt,常見問(wèn)題， component出現(xiàn)熱點(diǎn),和Jstorm系統(tǒng)相關(guān)的調(diào)優(yōu) worker數(shù)的設(shè)置,和rpc相關(guān) storm.messaging.transport: ty.NettyContext“ ty.sync.mode: false ty.transfer.async.batch: true ty.async.block: true ty.transfer.batch.size: 262144 erval.ms: 10 ty.server_worker_threads:1 ty.client_worker_threads: 1,和性能相關(guān)的調(diào)優(yōu)選項(xiàng),和

3、內(nèi)存相關(guān) worker.memory.size: 2147483648 topology.buffer.size.limited: true topology.transfer.buffer.size: 1024 topology.executor.receive.buffer.size: 256 topology.executor.send.buffer.size: 256 worker.gc.childopts:,和性能相關(guān)的調(diào)優(yōu)選項(xiàng),和CPU相關(guān) worker.cpu.slot.num topology.max.spout.pending: null spout.single.threa

4、d: false topology.kryo.register spout.pending.full.sleep: true disruptor.use.sleep: true topology.performance.metrics: true topology.debug:、topology.debug.recv.tuple:,和性能相關(guān)的調(diào)優(yōu)選項(xiàng),以案例來(lái)分析,如何設(shè)計(jì),無(wú)Acker模式 Acker模式 Trident、事務(wù)模式,選型,盡量讓tuple走本地模式而非進(jìn)程間通信 讓多個(gè)task在一個(gè)worker內(nèi)部，task和task直接走進(jìn)程內(nèi)通信 Example Trident TLo

5、g,圖優(yōu)化,降低topology層數(shù) 將多個(gè)模塊合并到一個(gè)task內(nèi)部，在這個(gè)task內(nèi)部實(shí)現(xiàn)流水線 Example Trident TLog,圖優(yōu)化,在latency和吞吐量之間的取舍 Example EagleEye,Batch,Simpe Obj,常常出現(xiàn)在對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)中 盡量使用類似groupBy的操作，讓相同Key的操作只在一個(gè)客戶端發(fā)生 并且盡量做到均勻hash,Cache/競(jìng)爭(zhēng),想清楚 是否流控 是否自動(dòng)ack Example ,RocketMq、Kafka、TT 客戶端,Cpu Jstack/top pH/vmstat Memory Top/jmap/jstat Network Sar/netstat/tcpdump/iperf,調(diào)優(yōu)工具,良好的設(shè)計(jì) 模塊之間解耦，模塊和模塊之間層次清晰