1、阿里推薦算法測試方法共享事業(yè)部數(shù)據(jù)應(yīng)用-敏儀提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺(tái) 展望推薦業(yè)務(wù)介紹推薦業(yè)務(wù)介紹推薦算法框架介紹提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺(tái) 展望優(yōu)秀推薦算法評(píng)測維度用戶用戶賣家賣家網(wǎng)站網(wǎng)站挑戰(zhàn)：感性判斷到指標(biāo)量化挑戰(zhàn)：感性判斷到指標(biāo)量化高高質(zhì)質(zhì)量、感量、感興興趣的商品趣的商品大多大多數(shù)賣數(shù)賣家家用用戶戶反反饋饋、促、促進(jìn)進(jìn)成交成交常見推薦算法測試方法離線實(shí)驗(yàn)離線實(shí)驗(yàn)用戶調(diào)查用戶調(diào)查在線實(shí)驗(yàn)在線實(shí)驗(yàn)在離線數(shù)據(jù)集上通過離線指標(biāo)預(yù)測算在離線數(shù)據(jù)集上通過離線指標(biāo)預(yù)測算法推薦效果法推薦效果通過真實(shí)用戶調(diào)查給出主觀感受結(jié)果通過真實(shí)用戶調(diào)查給出

2、主觀感受結(jié)果通過線上通過線上AB測試得到商業(yè)上關(guān)注的測試得到商業(yè)上關(guān)注的指標(biāo)指標(biāo)離線實(shí)驗(yàn)離線實(shí)驗(yàn)用戶調(diào)查用戶調(diào)查在線實(shí)驗(yàn)在線實(shí)驗(yàn)離線離線實(shí)驗(yàn)實(shí)驗(yàn)用戶用戶調(diào)查調(diào)查在線在線實(shí)驗(yàn)實(shí)驗(yàn)阿里推薦算法測試方法介紹測試報(bào)告上線說明算法正確性測試規(guī)則掃描規(guī)則掃描白盒測試白盒測試JOB監(jiān)控監(jiān)控?cái)?shù)據(jù)規(guī)則數(shù)據(jù)規(guī)則1.字段字段2.記錄記錄3.單表單表4.表間表間1.MR單元測試單元測試2.MR集成測試集成測試3.MR性能測試性能測試業(yè)務(wù)規(guī)則業(yè)務(wù)規(guī)則1.業(yè)務(wù)過濾業(yè)務(wù)過濾 2.一致性一致性1.JOB性能性能2.JOB配置配置3.JOB報(bào)警報(bào)警算法結(jié)果集算法邏輯算法穩(wěn)定性算法合理性測試失效率UV失效率、PV失效率2468覆

3、蓋率 UV覆蓋率、PV覆蓋率多樣性類目多樣性、分散度、推薦結(jié)果多樣分布、基尼系數(shù)準(zhǔn)確率、召回率 類目準(zhǔn)確率、類目召回率 商品準(zhǔn)確率、商品召回率共現(xiàn)度數(shù)據(jù)源比例、商品類型比例新穎性推薦對(duì)象更新率、推薦結(jié)果更新率排序質(zhì)量DCG、NDCG時(shí)效性用戶實(shí)時(shí)行為比率1357合理性指標(biāo)構(gòu)建合理性指標(biāo)構(gòu)建合理性指標(biāo)案例合理性指標(biāo)案例 1 失效率LOST 失效率衍生定義推薦算法無法為用戶提供推薦數(shù)據(jù)占推薦全集的占比 指標(biāo)描述及定義指標(biāo)描述及定義 統(tǒng)計(jì)計(jì)算方式腳本化統(tǒng)計(jì)計(jì)算方式腳本化 建立指標(biāo)場景化基線建立指標(biāo)場景化基線 指標(biāo)構(gòu)建的四個(gè)過程指標(biāo)構(gòu)建的四個(gè)過程 指標(biāo)構(gòu)建過程案例說明指標(biāo)構(gòu)建過程案例說明 指標(biāo)定義衍生

4、指標(biāo)定義衍生指標(biāo)實(shí)現(xiàn) 失效率基線UV失效率、PV失效率Shell+HIVE腳本實(shí)現(xiàn)指標(biāo)計(jì)算過程LOST=2.63%算法測試指標(biāo)案例合理性指標(biāo)構(gòu)建合理性指標(biāo)構(gòu)建合理性指標(biāo)案例合理性指標(biāo)案例 2 多樣性D(c) 多樣性衍生定義表示推薦算法的N條數(shù)據(jù)中，數(shù)據(jù)擁有的某一屬性的個(gè)數(shù)，統(tǒng)計(jì)各屬性個(gè)數(shù)在全部N條數(shù)據(jù)中的比例。 指標(biāo)描述及定義指標(biāo)描述及定義 統(tǒng)計(jì)計(jì)算方式腳本化統(tǒng)計(jì)計(jì)算方式腳本化 建立指標(biāo)場景化基線建立指標(biāo)場景化基線 指標(biāo)構(gòu)建的四個(gè)過程指標(biāo)構(gòu)建的四個(gè)過程 指標(biāo)構(gòu)建過程案例說明指標(biāo)構(gòu)建過程案例說明 指標(biāo)定義衍生指標(biāo)定義衍生指標(biāo)實(shí)現(xiàn) 多樣性基線類目多樣性、分散度、基尼系數(shù)等Shell+HIVE腳本實(shí)

5、現(xiàn)指標(biāo)計(jì)算過程某場景的類目多樣性算法測試指標(biāo)案例算法測試體系構(gòu)建基于用戶的推薦基于商品的推薦基于內(nèi)容的推薦基于事件的推薦基于LBS的推薦算法測試體系案例：基于商品的推薦算法測試體系提綱 背景介紹 推薦算法測試方法 AEC推薦算法測試平臺(tái) 展望創(chuàng)建測試腳本構(gòu)建測試任務(wù)發(fā)送測試報(bào)告沉淀測試場景模版生成 ODPSSQL生成 路徑創(chuàng)建通過測試腳本創(chuàng)建通過測試體系創(chuàng)建通過測試場景創(chuàng)建添加指標(biāo)模版添加算法測試數(shù)據(jù)添加算法測試體系A(chǔ)EC平臺(tái)功能介紹平臺(tái)使用者平臺(tái)使用者平臺(tái)管理員平臺(tái)管理員AEC平臺(tái)主要功能展示AEC平臺(tái)特點(diǎn)介紹標(biāo)準(zhǔn)化的算法測試方法標(biāo)準(zhǔn)化的算法測試方法 引導(dǎo)測試過程，沉淀測試結(jié)果引導(dǎo)測試過程，沉淀測試結(jié)果規(guī)范化算法測試數(shù)據(jù)規(guī)范化算法測試數(shù)據(jù)跨平臺(tái)調(diào)度執(zhí)行跨平臺(tái)調(diào)度執(zhí)行4123開放共建算法測試方法開放共建算法測試方法5提綱 背景介紹 推薦算法測試方法 推薦算法測試平臺(tái)（AEC） 展望測試深度平臺(tái)化大數(shù)據(jù)大數(shù)據(jù)算