實(shí)現(xiàn)原理與應(yīng)用實(shí)現(xiàn)原理與應(yīng)用1個(gè)人簡(jiǎn)介簡(jiǎn)歷年月加入淘寶，先后從事自動(dòng)化測(cè)試平臺(tái)建設(shè)、報(bào)表引擎設(shè)計(jì)、性能測(cè)試工具關(guān)鍵技術(shù)攻關(guān)，目前專注于字節(jié)碼測(cè)試方法探索與研發(fā)。工作職責(zé)代碼覆蓋率

字節(jié)碼檢查字節(jié)碼測(cè)試方法論團(tuán)隊(duì)建設(shè)個(gè)人簡(jiǎn)介簡(jiǎn)歷大綱為何要？什么是？最佳實(shí)踐小結(jié)實(shí)現(xiàn)原理核心技術(shù)點(diǎn)現(xiàn)場(chǎng)演示展望大綱為何要？為何要？測(cè)試過(guò)程中可能遇到的問(wèn)題：系統(tǒng)依賴系統(tǒng)依賴系統(tǒng)，我希望在系統(tǒng)有故障情形下，測(cè)試系統(tǒng)的穩(wěn)定性，如何做？硬件故障如何模擬因?yàn)橛脖P壞道或空間滿導(dǎo)致的寫文件失敗的情形？網(wǎng)絡(luò)故障如何模擬網(wǎng)絡(luò)延遲導(dǎo)致遠(yuǎn)程調(diào)用大量超時(shí)的情形？并發(fā)測(cè)試如何驗(yàn)證可能含有線程安全問(wèn)題的代碼？為何要？測(cè)試過(guò)程中可能遇到的問(wèn)題：傳統(tǒng)解決辦法暴力模式：關(guān)機(jī)、拔網(wǎng)線、拔硬盤溫柔模式：故意改壞代碼，并重新發(fā)布，然后恢復(fù)傳統(tǒng)解決辦法暴力模式：關(guān)機(jī)、拔網(wǎng)線、拔硬盤不好解決的問(wèn)題不能精確模擬某個(gè)組件出現(xiàn)問(wèn)題的情形造成較大范圍的故障，可能影響他人工作服務(wù)器在托管機(jī)房，無(wú)法自由操作麻煩，不夠優(yōu)雅不好解決的問(wèn)題不能精確模擬某個(gè)組件出現(xiàn)問(wèn)題的情形什么是?—故障注入 是指人為的向被測(cè)軟件的代碼中某個(gè)指定的位置加入一些指令，以模擬出軟件不能正常運(yùn)行的情形（或者說(shuō)狀態(tài)），這些情形可能包括：拋出異常、運(yùn)行緩慢等。人們通常把這種方法作為檢測(cè)系統(tǒng)的整體穩(wěn)定性表現(xiàn)的常用手段。什么是?—故障注入部署架構(gòu)部署架構(gòu)流程指定故障注入對(duì)象開始測(cè)試登陸執(zhí)行故障注入流程指定故障注入對(duì)象開始測(cè)試登陸執(zhí)行故障注入最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證： 當(dāng)為空時(shí)，上層組件的表現(xiàn)是否符合期望。現(xiàn)實(shí)的麻煩： 但在正常的情況下，不會(huì)為空。傳統(tǒng)做法： 需要準(zhǔn)備一些數(shù)據(jù)，過(guò)程中到某一步驟時(shí)還需要手工修改數(shù)據(jù)庫(kù)等操作，經(jīng)過(guò)相當(dāng)麻煩的過(guò)程才能讓為空。： 可以免去一切數(shù)據(jù)準(zhǔn)備過(guò)程，可以直接拋出空指針異常。最佳實(shí)踐一：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證例子一：穩(wěn)定性驗(yàn)證例子一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證這時(shí)，測(cè)試人員可以很容易看到，當(dāng)系統(tǒng)指定組件出現(xiàn)問(wèn)題時(shí)，被測(cè)功能的表現(xiàn)是否符合預(yù)期，并根據(jù)測(cè)試結(jié)果要求開發(fā)改進(jìn)異常處理邏輯。最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證什么樣的類可能含有線程安全問(wèn)題？ 類實(shí)例存在并發(fā)訪問(wèn) 類中含有成員變量，并且在方法有被改變的可能最佳實(shí)踐二：線程安全驗(yàn)證什么樣的類可能含有線程安全問(wèn)題？Faultinjection實(shí)現(xiàn)原理與應(yīng)用課件18最佳實(shí)踐二：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：進(jìn)行并發(fā)測(cè)試，讓程序暴露出問(wèn)題，或者證明它沒(méi)有問(wèn)題?，F(xiàn)實(shí)的麻煩：難以證明程序有或者沒(méi)有問(wèn)題要足夠快的發(fā)起兩次或更多的請(qǐng)求需要借助壓測(cè)工具傳統(tǒng)做法：需要借助性能壓測(cè)工具，還要錄腳本，準(zhǔn)備數(shù)據(jù)，但最后也無(wú)法證明程序沒(méi)有問(wèn)題，因?yàn)椴l(fā)并不能觸發(fā)線程安全問(wèn)題。：可以免去一切數(shù)據(jù)準(zhǔn)備過(guò)程，無(wú)需借助性能壓測(cè)工具，可以證明程序沒(méi)有問(wèn)題。最佳實(shí)踐二：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證開始驗(yàn)證： 使用瀏覽器在秒內(nèi)相繼向含有故障的頁(yè)面發(fā)起兩個(gè)請(qǐng)求即完成了驗(yàn)證工作，根本不需要性能壓測(cè)。結(jié)論： 相比傳統(tǒng)方法，可以節(jié)省至少的時(shí)間與精力。最佳實(shí)踐二：線程安全驗(yàn)證問(wèn)題解決了嗎？測(cè)試過(guò)程中可能遇到的問(wèn)題：系統(tǒng)依賴系統(tǒng)依賴系統(tǒng)，我希望在系統(tǒng)有故障情形下，測(cè)試系統(tǒng)的穩(wěn)定性，如何做？在系統(tǒng)注入異常。硬件故障如何模擬因?yàn)橛脖P壞道或空間滿導(dǎo)致的寫文件失敗的情形？在有文件操作的地方拋出異常。網(wǎng)絡(luò)故障如何模擬網(wǎng)絡(luò)延遲導(dǎo)致遠(yuǎn)程調(diào)用大量超時(shí)的情形？在有網(wǎng)絡(luò)通訊的地方，并且隨后拋出超時(shí)異常。并發(fā)測(cè)試如何驗(yàn)證可能含有線程安全問(wèn)題的代碼？在可能有異常處。問(wèn)題解決了嗎？測(cè)試過(guò)程中可能遇到的問(wèn)題：小結(jié)如何才能用好，發(fā)揮它的最大價(jià)值？對(duì)系統(tǒng)主要流程的底層依賴進(jìn)行故障注入測(cè)試，找出問(wèn)題或者證明它足夠健壯。結(jié)合等靜態(tài)代碼檢查工具使用，對(duì)檢查出可能有問(wèn)題的代碼進(jìn)行故障注入。不盲目注入故障，這樣只會(huì)增加測(cè)試成本，卻很難發(fā)現(xiàn)。小結(jié)如何才能用好，發(fā)揮它的最大價(jià)值？故障注入工具的實(shí)現(xiàn)原理取回遠(yuǎn)程內(nèi)存中正在運(yùn)行的字節(jié)碼實(shí)時(shí)的回傳到遠(yuǎn)程中，并讓其立即生效修改，生成新的字節(jié)碼故障注入工具的實(shí)現(xiàn)原理取回遠(yuǎn)程內(nèi)存中正在運(yùn)行的字節(jié)碼實(shí)時(shí)的回故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 、生成正確的指令并寫入到文件中。 、如何做到像遠(yuǎn)程那樣，讓修改后的字節(jié)碼實(shí)時(shí)生效？ 、熟識(shí)文件結(jié)構(gòu)，熟悉指令，推薦閱讀《虛擬機(jī)規(guī)范》故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 生成正確的指令并寫入到文件中，可以使用下面的插件，可以輕易取得源碼對(duì)應(yīng)的代碼，然后使用框架改寫字節(jié)碼，插件地址：。故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：源碼：指令：代碼：源碼：28故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 如何做到像遠(yuǎn)程那樣，讓修改后的字節(jié)碼實(shí)時(shí)生效？實(shí)時(shí)生成類轉(zhuǎn)換器并傳送到目標(biāo)服務(wù)器上遠(yuǎn)程執(zhí)行類換器，完成類的轉(zhuǎn)換并重新加載 故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：故障注入工具的實(shí)現(xiàn)原理類傳換器入口類代碼：故障注入工具的實(shí)現(xiàn)原理類傳換器入口類代碼：故障注入工具的實(shí)現(xiàn)原理故障注入工具的實(shí)現(xiàn)原理核心技術(shù)點(diǎn)現(xiàn)場(chǎng)演示現(xiàn)場(chǎng)演示一個(gè)動(dòng)態(tài)修改中正在運(yùn)行的類的例子核心技術(shù)點(diǎn)現(xiàn)場(chǎng)演示現(xiàn)場(chǎng)演示一個(gè)動(dòng)態(tài)修改中正在運(yùn)行的類的例子展望將用于驗(yàn)證測(cè)試用例的有效性 即：一個(gè)有效的測(cè)試用例在有故障的環(huán)境運(yùn)行，正確的結(jié)果應(yīng)該驗(yàn)證失敗，反之，如果驗(yàn)證通過(guò)，說(shuō)明測(cè)試代碼本身有問(wèn)題。將故障注入與各中間件深度集成，免配置一鍵完成常見(jiàn)故障注入 如遠(yuǎn)程調(diào)用接口故障、數(shù)據(jù)庫(kù)故障等展望將用于驗(yàn)證測(cè)試用例的有效性Faultinjection實(shí)現(xiàn)原理與應(yīng)用課件謝謝！謝謝！實(shí)現(xiàn)原理與應(yīng)用實(shí)現(xiàn)原理與應(yīng)用36個(gè)人簡(jiǎn)介簡(jiǎn)歷年月加入淘寶，先后從事自動(dòng)化測(cè)試平臺(tái)建設(shè)、報(bào)表引擎設(shè)計(jì)、性能測(cè)試工具關(guān)鍵技術(shù)攻關(guān)，目前專注于字節(jié)碼測(cè)試方法探索與研發(fā)。工作職責(zé)代碼覆蓋率

字節(jié)碼檢查字節(jié)碼測(cè)試方法論團(tuán)隊(duì)建設(shè)個(gè)人簡(jiǎn)介簡(jiǎn)歷大綱為何要？什么是？最佳實(shí)踐小結(jié)實(shí)現(xiàn)原理核心技術(shù)點(diǎn)現(xiàn)場(chǎng)演示展望大綱為何要？為何要？測(cè)試過(guò)程中可能遇到的問(wèn)題：系統(tǒng)依賴系統(tǒng)依賴系統(tǒng)，我希望在系統(tǒng)有故障情形下，測(cè)試系統(tǒng)的穩(wěn)定性，如何做？硬件故障如何模擬因?yàn)橛脖P壞道或空間滿導(dǎo)致的寫文件失敗的情形？網(wǎng)絡(luò)故障如何模擬網(wǎng)絡(luò)延遲導(dǎo)致遠(yuǎn)程調(diào)用大量超時(shí)的情形？并發(fā)測(cè)試如何驗(yàn)證可能含有線程安全問(wèn)題的代碼？為何要？測(cè)試過(guò)程中可能遇到的問(wèn)題：傳統(tǒng)解決辦法暴力模式：關(guān)機(jī)、拔網(wǎng)線、拔硬盤溫柔模式：故意改壞代碼，并重新發(fā)布，然后恢復(fù)傳統(tǒng)解決辦法暴力模式：關(guān)機(jī)、拔網(wǎng)線、拔硬盤不好解決的問(wèn)題不能精確模擬某個(gè)組件出現(xiàn)問(wèn)題的情形造成較大范圍的故障，可能影響他人工作服務(wù)器在托管機(jī)房，無(wú)法自由操作麻煩，不夠優(yōu)雅不好解決的問(wèn)題不能精確模擬某個(gè)組件出現(xiàn)問(wèn)題的情形什么是?—故障注入 是指人為的向被測(cè)軟件的代碼中某個(gè)指定的位置加入一些指令，以模擬出軟件不能正常運(yùn)行的情形（或者說(shuō)狀態(tài)），這些情形可能包括：拋出異常、運(yùn)行緩慢等。人們通常把這種方法作為檢測(cè)系統(tǒng)的整體穩(wěn)定性表現(xiàn)的常用手段。什么是?—故障注入部署架構(gòu)部署架構(gòu)流程指定故障注入對(duì)象開始測(cè)試登陸執(zhí)行故障注入流程指定故障注入對(duì)象開始測(cè)試登陸執(zhí)行故障注入最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證： 當(dāng)為空時(shí)，上層組件的表現(xiàn)是否符合期望。現(xiàn)實(shí)的麻煩： 但在正常的情況下，不會(huì)為空。傳統(tǒng)做法： 需要準(zhǔn)備一些數(shù)據(jù)，過(guò)程中到某一步驟時(shí)還需要手工修改數(shù)據(jù)庫(kù)等操作，經(jīng)過(guò)相當(dāng)麻煩的過(guò)程才能讓為空。： 可以免去一切數(shù)據(jù)準(zhǔn)備過(guò)程，可以直接拋出空指針異常。最佳實(shí)踐一：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證例子一：穩(wěn)定性驗(yàn)證例子一：穩(wěn)定性驗(yàn)證最佳實(shí)踐一：穩(wěn)定性驗(yàn)證這時(shí)，測(cè)試人員可以很容易看到，當(dāng)系統(tǒng)指定組件出現(xiàn)問(wèn)題時(shí)，被測(cè)功能的表現(xiàn)是否符合預(yù)期，并根據(jù)測(cè)試結(jié)果要求開發(fā)改進(jìn)異常處理邏輯。最佳實(shí)踐一：穩(wěn)定性驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證什么樣的類可能含有線程安全問(wèn)題？ 類實(shí)例存在并發(fā)訪問(wèn) 類中含有成員變量，并且在方法有被改變的可能最佳實(shí)踐二：線程安全驗(yàn)證什么樣的類可能含有線程安全問(wèn)題？Faultinjection實(shí)現(xiàn)原理與應(yīng)用課件53最佳實(shí)踐二：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：進(jìn)行并發(fā)測(cè)試，讓程序暴露出問(wèn)題，或者證明它沒(méi)有問(wèn)題。現(xiàn)實(shí)的麻煩：難以證明程序有或者沒(méi)有問(wèn)題要足夠快的發(fā)起兩次或更多的請(qǐng)求需要借助壓測(cè)工具傳統(tǒng)做法：需要借助性能壓測(cè)工具，還要錄腳本，準(zhǔn)備數(shù)據(jù)，但最后也無(wú)法證明程序沒(méi)有問(wèn)題，因?yàn)椴l(fā)并不能觸發(fā)線程安全問(wèn)題。：可以免去一切數(shù)據(jù)準(zhǔn)備過(guò)程，無(wú)需借助性能壓測(cè)工具，可以證明程序沒(méi)有問(wèn)題。最佳實(shí)踐二：穩(wěn)定性驗(yàn)證需要做的驗(yàn)證：最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證最佳實(shí)踐二：線程安全驗(yàn)證開始驗(yàn)證： 使用瀏覽器在秒內(nèi)相繼向含有故障的頁(yè)面發(fā)起兩個(gè)請(qǐng)求即完成了驗(yàn)證工作，根本不需要性能壓測(cè)。結(jié)論： 相比傳統(tǒng)方法，可以節(jié)省至少的時(shí)間與精力。最佳實(shí)踐二：線程安全驗(yàn)證問(wèn)題解決了嗎？測(cè)試過(guò)程中可能遇到的問(wèn)題：系統(tǒng)依賴系統(tǒng)依賴系統(tǒng)，我希望在系統(tǒng)有故障情形下，測(cè)試系統(tǒng)的穩(wěn)定性，如何做？在系統(tǒng)注入異常。硬件故障如何模擬因?yàn)橛脖P壞道或空間滿導(dǎo)致的寫文件失敗的情形？在有文件操作的地方拋出異常。網(wǎng)絡(luò)故障如何模擬網(wǎng)絡(luò)延遲導(dǎo)致遠(yuǎn)程調(diào)用大量超時(shí)的情形？在有網(wǎng)絡(luò)通訊的地方，并且隨后拋出超時(shí)異常。并發(fā)測(cè)試如何驗(yàn)證可能含有線程安全問(wèn)題的代碼？在可能有異常處。問(wèn)題解決了嗎？測(cè)試過(guò)程中可能遇到的問(wèn)題：小結(jié)如何才能用好，發(fā)揮它的最大價(jià)值？對(duì)系統(tǒng)主要流程的底層依賴進(jìn)行故障注入測(cè)試，找出問(wèn)題或者證明它足夠健壯。結(jié)合等靜態(tài)代碼檢查工具使用，對(duì)檢查出可能有問(wèn)題的代碼進(jìn)行故障注入。不盲目注入故障，這樣只會(huì)增加測(cè)試成本，卻很難發(fā)現(xiàn)。小結(jié)如何才能用好，發(fā)揮它的最大價(jià)值？故障注入工具的實(shí)現(xiàn)原理取回遠(yuǎn)程內(nèi)存中正在運(yùn)行的字節(jié)碼實(shí)時(shí)的回傳到遠(yuǎn)程中，并讓其立即生效修改，生成新的字節(jié)碼故障注入工具的實(shí)現(xiàn)原理取回遠(yuǎn)程內(nèi)存中正在運(yùn)行的字節(jié)碼實(shí)時(shí)的回故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 、生成正確的指令并寫入到文件中。 、如何做到像遠(yuǎn)程那樣，讓修改后的字節(jié)碼實(shí)時(shí)生效？ 、熟識(shí)文件結(jié)構(gòu)，熟悉指令，推薦閱讀《虛擬機(jī)規(guī)范》故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 生成正確的指令并寫入到文件中，可以使用下面的插件，可以輕易取得源碼對(duì)應(yīng)的代碼，然后使用框架改寫字節(jié)碼，插件地址：。故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：源碼：指令：代碼：源碼：63故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)： 如何做到像遠(yuǎn)程那樣，讓修改后的字節(jié)碼實(shí)時(shí)生效？實(shí)時(shí)生成類轉(zhuǎn)換器并傳送到目標(biāo)服務(wù)器上遠(yuǎn)程執(zhí)行類換器，完成類的轉(zhuǎn)換并重新加載 故障注入工具的實(shí)現(xiàn)原理關(guān)鍵技術(shù)點(diǎn)：故障注入工具的實(shí)現(xiàn)原理類傳換器入口類代碼：故障注入工具的實(shí)現(xiàn)原理類傳換器入口