1.首篇41.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系42.搜索篇142.1“業(yè)務指標”衡量電商搜索引擎的優(yōu)劣142.2商品搜索“無結(jié)果率高，體驗差”怎么辦？172.3導購電商怎樣“提升CTR、CVR業(yè)務指標”202.4“減少輸入，更快找到用戶所想”242.5“隨便逛逛，看大家都在搜什么？追蹤潮流和熱門”273.推薦篇293.1推薦場景化構(gòu)建與業(yè)務價值293.2智能推薦在電商的經(jīng)典打法與實踐353.3商品推薦的核心問題、架構(gòu)和應用效果414.視頻課程524.1搜索篇524.2推薦篇541.首篇樣支撐千人千面的分發(fā)體系作者：阿里巴巴搜索推薦事業(yè)部高級研究員沈加翔一、三位一體的在線服務體系AI·OS介紹AI·OS（ArtificialIntelligenceOnlineServing）是由阿里巴巴搜索工程團隊打造，集個性化搜索、推薦、廣告三位一體的在線服務平臺。AI·OS引擎體系所支撐的業(yè)務場景包括：手機淘寶所有搜索頁面、手機淘寶上的信息流（猜你喜歡）、大促重點活動會場、淘寶首頁商品推薦、分類行業(yè)個性化推薦以及商品選品場景，覆蓋了手機淘寶上80%以上用戶群體。使用一套技術來支撐搜索、推薦乃至廣告，這在大型互聯(lián)網(wǎng)公司里是比較少見的。阿里的平臺技術戰(zhàn)略，本質(zhì)上是兩樣東西，一是電商技術，另一個是和電商配合的大數(shù)據(jù)AI技術的應用。電商OS，包括商品管理、類目管理、運營管理、交易鏈路。而在大數(shù)據(jù)、深度學習的時代，AI的投放、搜索推薦，甚至廣告的投放，已經(jīng)是獨立于傳統(tǒng)電商的技術場景。除了手淘上的場景之外，AI·OS還支持阿里電商集團內(nèi)能夠想到的所有場景，典型的包括東南亞的Lazada、聚劃算、飛豬、優(yōu)酷、釘釘、菜鳥、盒馬、本地生活——餓了么、口碑，甚至和經(jīng)濟體內(nèi)部的兄弟公司支付寶在合作。5>1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系在深度學習的時代，AI·OS引擎體系的架構(gòu)演進的變化是相當大的。但是我們并沒有像其他的互聯(lián)網(wǎng)公司一樣，在搜索和推薦的系統(tǒng)之外單獨做深度學習的技術。之所以成為今天的AI·OS體系，是因為我們把搜索、推薦、信息流、廣告、深度學習這幾項，從技術到業(yè)務場景都不同的東西，非常好地結(jié)合到了一起，得以形成了有實質(zhì)內(nèi)涵，能相互借助合體發(fā)力的基礎引擎平臺。從另一個角度縱觀AI·OS上眾多的業(yè)務場景，整個體系內(nèi)會涵蓋以下技術或概念（如圖第一層，分布式引擎系統(tǒng)需要具備的能力。無論是搜索、推薦、廣告，都需要召回、排序，系統(tǒng)做大之后，需要分布式通信，高性能索引的存儲，要有比較高效率的支持索引靈活構(gòu)建更新的能力，以上是基礎能力。中間這一層，是在深度學習時代沉淀出來的技術要求和場景要求。比如深度學習需要做樣本處理，做訓練，在線預測，同時，與之相應的，是個性化投放，這在搜索、推薦、廣告都有所體現(xiàn)。最后，索引的部分還應該支持實時更新，這個概念在電商體系尤為重要。再下面，就是整個體系內(nèi)有資源管理，高可用性，相應的計算引擎的支撐，運維的管控和插件的支持。以下是AI·OS工程體系技術的概念圖。1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系<6在這個組件的最下層是資源的管理，叫Hippo，是一個非常高效的資源管理系統(tǒng)。最上層業(yè)務，包括淘內(nèi)業(yè)務，云上業(yè)務和廣告業(yè)務，都是近幾年陸陸續(xù)續(xù)拓展起來，一起逐步遷移到AI·OS這個功能體系上的。阿里的很多技術、業(yè)務是一個自底向上的模式，我們有非常強的創(chuàng)新意識。我們自底向上把搜索推薦平臺化建設到百分之七八十，再組織推動到戰(zhàn)略高度，加速之后形成了全覆蓋的格局。右側(cè)是系統(tǒng)里的中間件，是更為基礎的組件，跟實際的業(yè)務功能都直接相關。包括服務的定位——運行數(shù)萬臺機器的系統(tǒng)，內(nèi)部要想服務定位需要有一個自己的機制。服務監(jiān)控達到秒級的，這種秒級的服務監(jiān)控和內(nèi)部應用的metrics對分布式系統(tǒng)的debug是非常關鍵的。索引分發(fā)是解決引擎數(shù)據(jù)更新鏈路的重要基礎組件。我們的消息隊列是一個利用機器碎片資源搭建的高性能消息組件，只有非常小的CPU消耗和網(wǎng)絡的通量，基本上是一個免費的組件，成本上比較有優(yōu)勢。二層調(diào)度和彈性擴縮，在應對大促時，是在內(nèi)部做搜索、推薦、廣告之間分鐘級資源調(diào)配的重要手段。左側(cè)的算法平臺、離線平臺、訓練平臺、計算平臺，是我們在深度學習時代新的開拓。從樣本和特征的處理鏈路來說，有我們的算法平臺——星云體系，在這個過程當中，有訓練引擎的對接——XDL。計算平臺，是支撐算法樣本和訓練的基礎，也是阿里集團內(nèi)部強大的技術支點，是和搜索一起成長起來的，相互促進相互支撐。中間，是這幾年最重要的積累，和業(yè)務密切相關。端上智能，我們在端上不僅僅做簡單的7>1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系推薦改變和結(jié)果混排的變化，而是真正在端上做模型的訓練，深度模型的預測，在這方面，手淘信息流是全世界規(guī)模最大的深度學習、訓練和預測的應用場景，這是我們比較有特色的探索。HA3搜索引擎的服務是我們最經(jīng)典的具有全文本檢索能力的引擎。商業(yè)化引擎，是與HA3相對應的，支持廣告業(yè)務、關鍵詞匹配帶廣告，或者支持定向場景投放的召回引擎。iGraph圖引擎，是具備在線圖計算和圖檢索能力，在業(yè)界規(guī)模較大的圖檢索引擎，它里面具備的用戶個性化關系、知識圖譜的在線推導能力都是很大規(guī)模的。這些引擎都是支持數(shù)據(jù)實時更新的，這個能力的來源就是AI·OSFramework，支持對數(shù)據(jù)的管理，對更新的管理，是對右側(cè)整套技術的依賴，也有延伸出來的深度學習的能力。二、AI·OS在線服務技術架構(gòu)演進AI·OS在線服務架構(gòu)，對逐步走向規(guī)?；某鮿?chuàng)公司，具備一定的參考意義。AI·OS雖然有十年時間，但由于之前一直圍繞淘寶搜索業(yè)務深耕細作，在2013年至2015年期間主要在搜索引擎上做性能優(yōu)化，在阿里體系內(nèi)部做搜索引擎平臺化。搜索搭建主要是運用比較經(jīng)典的架構(gòu)——Query的處理+搜索引擎+摘要服務，Query的部分，會有一些個性化存儲，當時是用簡單的KV來完成。這個架構(gòu)是很多初創(chuàng)型企業(yè)選用的架構(gòu)，也是我們云產(chǎn)品上提供的一個經(jīng)典解決方案。1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系<82015年到2018年，隨著信息流業(yè)務的進入，我們將搜索底層（Suez或AI·OSframework）數(shù)據(jù)抽象沉淀出來，在沉淀的數(shù)據(jù)上面，衍生了圖引擎、預測引擎、搜索引擎、推薦引擎，形成了今天AI·OS的主體框架。在這個過程中，我們也統(tǒng)一了全集團的搜索和信息流基礎框架，但這個過程是很依賴于阿里集團內(nèi)部自下而上的搜索平臺推進，這是在業(yè)界獲得證明，在集團獲得認同后，納入到集團戰(zhàn)略里的。2018年~2019年，我們推進了全圖化的架構(gòu)，是從深度學習開源框架TensorFlow學來的。在深度神經(jīng)網(wǎng)絡迭代過程中，全圖化架構(gòu)這種圖化DAG的表達，對業(yè)務描述更為標準通用化，我們把這個全圖化架構(gòu)學來后，推廣到所有業(yè)務線，不僅是深度學習上，還包括業(yè)務邏輯調(diào)整、場景迭代、功能調(diào)整，如粗排、精排、統(tǒng)計、過濾這些功能，都用圖化的方式來表達，在業(yè)務迭代效率上，有了質(zhì)的飛越。由于之前在定制業(yè)務邏輯時，難以避免有些代碼級的，像C++、JAVA、插件開發(fā)，雖然能解決業(yè)務需求，但維護升級成本較高。解決方案就是用DAG算子化的表達，完成算子圖后，隨著版本升級，不需要改變算子圖，僅需改變算子的實現(xiàn)，把業(yè)務迭代、平臺升級的耦合度大大降低，非常好地解決了這個問題，這是近兩年重要的技術突破。在這個過程中，我們也把搜索和推薦的技術，用到了非常有趣的場景上面，比如菜鳥物流引擎，本質(zhì)上是圖檢索和圖計算的表達，跟我們的引擎體系，與iGraph圖引擎一起成長，成就了這個典型的場景，在這個場景上每天有億級別的包裹在圖中流動，尋找最優(yōu)化的路徑，都是通過這個引擎來支持的。還有像釘釘消息搜索，消息是加密的，我們是無法查看的，而這個加密是從上到下貫徹到每一個環(huán)節(jié)的，在常規(guī)的搜索引擎中，是無法實現(xiàn)的。這個加密能力，是靠引擎的迭代實現(xiàn)的，除了深度學習外，我們在逐步引入SQL的能力。隨著集團內(nèi)部進一步貫徹中臺戰(zhàn)略，不管是在軟件的抽象，還是在能力的衍生，都需要在云上發(fā)揮。我們已經(jīng)在集團內(nèi)部已與螞蟻金服業(yè)務拉通，并開辟了新的突破口。我們也真正在踐行平臺化、通用化的思路，用最高效的方式解決問題，并打造出了海神（一站式選品投放系統(tǒng)）、開放搜索（一站式內(nèi)容智能搜索服務）等經(jīng)典應用產(chǎn)品。其中，海神平臺支撐了阿里集團1000+個性化場景，業(yè)務覆蓋淘寶、天貓、聚劃算、雙11大促等業(yè)務線，支持了超過10億次的選品投放。開放搜索作為高搜索質(zhì)量的一站式內(nèi)容智能搜索服務，以產(chǎn)品方式規(guī)?；С炙阉鳂I(yè)務，覆蓋了集團絕大部分搜索業(yè)務，業(yè)務應用數(shù)量超過1萬個。并在雙11大促時，擔負了重要角色，支撐了高達100萬的QPS峰值。三、AI·OS技術概覽9>1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系AI·OS主要部件包括：端到端深度學習平臺：星云&AOP深度學習極大加速了模型工程的發(fā)展，模型迭代越來越頻繁，網(wǎng)絡結(jié)構(gòu)越來越復雜多樣，因此給算法迭代效率、數(shù)據(jù)計算效能以及模型交付可靠性等都帶來了巨大挑戰(zhàn)。為此我們提出并構(gòu)建了面向大規(guī)模商業(yè)化場景的一站式深度學習建模平臺——星云。借助星云，用戶可以快速完成從特征引入、樣本特征變換，到模型訓練及評估，再到模型交付整個算法建模閉環(huán)。在此基礎上，星云提供了完善的數(shù)據(jù)模型校驗體系，確保用戶的離線建模和模型交付具備生產(chǎn)級別的可靠性。星云支持全量學習、增量學習和在線學習，并通過高層抽象實現(xiàn)了各種學習模式之間的低成本切換。大規(guī)模分布式深度學習框架：XDL1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系<10XDL是以開源框架為基礎，面向廣告、搜索、推薦等場景打造的分布式深度學習框架，針對高維稀疏特征、互聯(lián)網(wǎng)結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化模型進行了專門設計與優(yōu)化。XDL支撐著阿里媽媽直通車、鉆展、超級推薦、品牌等多個營銷產(chǎn)品對用戶的深度理解與智能投放，是智能營銷AI的核心驅(qū)動力。預測引擎：RTP傳統(tǒng)的模型增量學習通過restore當前模型，持續(xù)訓練，天級更新，或者實時流式訓練，小時級更新，新模型需要經(jīng)過全量切換才真正生效。基于AI·OS的預測引擎RTP，把TensorFlow的能力集成進來，讓深度大模型支持實時更新，充分利用實時數(shù)據(jù)分布，提升CTR/CVR預估精度，獲取業(yè)務效果。模型特征支持實時更新，模型可以增量訓練，通過對RTP在線graph分解，提取可更新模型weights成最大不連通可執(zhí)行子圖，實時發(fā)送模型數(shù)據(jù)消息，真正實現(xiàn)了模型離線流式訓練，在線實時更新的效果。最終將在線模型更新周期從之前的小時級縮短到分鐘級別，模型生效時間從之前的分鐘級縮短到秒級別。全圖化推薦引擎：TPP11>1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系TPP（ThePersonalizationPlatform，阿里個性化平臺）為集團眾多的個性化業(yè)務提供開放、一致的解決方案，讓搜索、推薦技術輕松服務于業(yè)務發(fā)展，業(yè)務也能快速得在平臺找到需要的技術，是AI·OS（OnlineServing）大數(shù)據(jù)深度學習在線服務體系中的入口之一。用戶在TPP平臺上編寫方案代碼，通過場景的形式對外提供服務。用戶不用關心機器資源申請，應用部署結(jié)構(gòu)，不需要編寫服務框架，只需要實現(xiàn)自己的推薦邏輯函數(shù)，在TPP產(chǎn)品頁面管理方案的生命周期，從編譯，調(diào)試到發(fā)布上線。四、AI·OS云原生產(chǎn)品與實踐我們將集團內(nèi)沉淀出的技術能力，從2014年開始逐漸向外部推出。目前，依托于AI·OS體系構(gòu)建的產(chǎn)品矩陣如下所示。1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系<12開放搜索（OpenSearch）源于阿里巴巴AI·OS體系技術，是免運維、一鍵式的云上平臺，將搜索平臺服務化、產(chǎn)品化，完全屏蔽了搜索系統(tǒng)的底層復雜度，以標準化產(chǎn)品的方式支持業(yè)務。開放搜索擁有比較好的搜索質(zhì)量，效果可以在線調(diào)優(yōu)。只需要提交內(nèi)容、配置，就可以直接得到搜索體驗。搜索體驗中相關性可靈活配置選擇，可以改寫query、定制分詞、提交行業(yè)詞典。在阿里巴巴集團內(nèi)部，我們依靠開放搜索統(tǒng)一了各個搜索中長尾業(yè)務，自助接入的業(yè)務數(shù)量達上千個，基本覆蓋了集團各個BU的業(yè)務。經(jīng)過數(shù)年的耕耘，我們在阿里云也擁有數(shù)千家用戶，包含內(nèi)容、電商、視頻等行業(yè)的典型應用。13>1.1搜索推薦廣告三位一體的在線服務體系怎樣支撐千人千面的分發(fā)體系智能推薦（AIRec）延申自阿里集團內(nèi)部的海神系統(tǒng)，提供一站式的個性化推薦服務，服務使用者在提交內(nèi)容和用戶行為，在確保數(shù)據(jù)保密的前提下，按照不同行業(yè)的模板，應用個性化推薦算法，實時調(diào)整效果，為用戶提供服務。除了阿里巴巴深耕的電商領域外，我們在內(nèi)容、視頻等其他行業(yè)算法的投入是相當充沛的。我們要把內(nèi)部的技術用好之后，很自然地更加抽象、通用地拓展新的場景。在這一過程中，數(shù)據(jù)源的埋點規(guī)范、使用是有些門檻的，但我們也致力于讓產(chǎn)品更易用，同時效果提升的監(jiān)控、調(diào)試、運營干預的策略，都已經(jīng)在產(chǎn)品里提供了。在中小企業(yè)的創(chuàng)業(yè)期間，這可能將成為一種剛需配置。還有圍繞開源生態(tài)的Elasticsearch，這款服務由我們和Elastic公司合作推出。我們秉承開放的生態(tài)理念，將Elasticsearch的靈活易用和我們調(diào)度管控系統(tǒng)的穩(wěn)定高效相結(jié)合，并根據(jù)用戶需求，不斷迭代自研的創(chuàng)新性功能。用戶需要什么，我們就會提供什么，Elasticsearch在我們體系上做適配，是一個相互扶持、相互助推的局面。在這三個垂直產(chǎn)品之下，是我們基礎的云上技術積累，比如ElasticFlow，在數(shù)據(jù)進入引擎之前，需要對數(shù)據(jù)做打平處理，再灌到搜索引擎里，例如Elasticsearch就需要ElasticFlow。同時，它還實現(xiàn)了開放搜索開箱即用的離線能力。在這一層，我們需要的是具化的計算引擎能力，這個計算引擎是在集團的計算平臺之上，為搜索、推薦定制了一個數(shù)據(jù)采集、開發(fā)、共享以及模型訓練的能力，這個能力提供出來之后，可以讓其上的產(chǎn)品橫向地拉通共享，這也是AI·OS體系沉淀的重要標志。再下層是管控平臺，搜索的基礎平臺以及阿里云的基礎產(chǎn)品，在這上面我們會有一些生態(tài)化的產(chǎn)品。2.搜索篇2.1“業(yè)務指標”衡量電商搜索引擎的優(yōu)劣一般電商搜索的核心是搜索精度和搜索廣度，精度就是搜索的精確性，廣度就是搜索結(jié)果的范圍，其關鍵結(jié)果肯定是“為用戶找到想要的商品”，但過于追求搜索的精確度就會導致出現(xiàn)搜索的結(jié)果比較少或結(jié)果為0的情況，用戶搜不到商品勢必會引發(fā)流失，因此在搜索服務里面還可以做的就是給用戶提供一些相關性搜索結(jié)果。那么搜索做的好不好，其實就是在搜索精度和搜索廣度二者之間做一個比較好的平衡點。那如何評定我們的搜索是否可以滿足業(yè)務需求呢？又可以通過哪些場景的優(yōu)化實踐提升我們搜索的整體性能呢?1.驅(qū)動搜索業(yè)務價值提升的原因先和大家回顧一下你是不是也是遇到以下幾個情況后，開始思考搜索到底做的怎么樣，有什么方法可以評估呢?領導或運營人員工作中發(fā)現(xiàn)搜索某商品時，無結(jié)果率較高，搜索排序體驗不好的情況，認為不能完全滿足實際用戶搜索需求，直接影響整體業(yè)務發(fā)展，建議開發(fā)同學提升搜索效果和搜索體驗；KPI考核驅(qū)動優(yōu)化提升搜索業(yè)務，比如要求CTR提升10%；合作某品牌旗艦店要求優(yōu)化搜索排序效果；那接下來我們刨析一下，從哪些方法和角度去評估搜索質(zhì)量、體驗與業(yè)務價值。2.業(yè)務指標衡量搜索體驗與價值15>2.1“業(yè)務指標”衡量電商搜索引擎的優(yōu)劣阿里云開放搜索經(jīng)過千錘百煉的實踐與總結(jié)形成了一套體系化的、完整的、持續(xù)的評估方法。通過周期性的監(jiān)控與評估，制定相應的迭代與專項跟進，做A/BTest或灰度后才去放全量，然后再持續(xù)進行監(jiān)控?！局笜司S度】：流量指標、點擊類指標、用戶分析類指標、Query分析類指標、成交指標。【核心指標】“搜索PV”：指訪問搜索頁面的次數(shù)；“搜索UV”：訪問過搜索結(jié)果頁的用戶數(shù)；“無結(jié)果率”：空結(jié)果PV/搜索PV，無結(jié)果率越低，代表客戶搜索需求解決情況越好；“TOP5PV—CTR”：指該querysearch結(jié)果中，排在前五位的item有被點擊的搜索PV/該query搜索PV該指標能一定程度反應排序效果；“人均搜索PV”：搜索PV/搜索UV；該指標的含義比較復雜，一方面人均pv大的話可能代表用戶對搜索比較感興趣，但另一方面人均pv大也可能代表搜索召回的結(jié)果較差，導致用戶無法使用較少的點擊找到滿足需求的結(jié)果；“有點擊搜索PV占比”：有點擊搜索PV/搜索PV數(shù)；“PV-CTR”:搜索結(jié)果頁item點擊數(shù)/搜索PV數(shù)；“UV-CTR”:點擊的uv/曝光的uv；<162.1<16“Item-CTR”：搜索結(jié)果頁item點擊數(shù)/搜索結(jié)果頁item總曝光PV數(shù)；通過體系化的業(yè)務指標和報表可以清晰反映搜索的質(zhì)量和用戶體驗效果，再通過系統(tǒng)的評估服務，找到對應的問題原因和解決方案。3.搜索技術等級參考業(yè)界對搜索等級的不同定義：市面上大部分產(chǎn)品搜索還處L0等級和L1等級的位置。想要實現(xiàn)高效、可持續(xù)的高質(zhì)量搜索價值需要投入大量的人力成本才能達到，這也是很多開源自建用戶所面臨的問題與挑戰(zhàn)。只有一套高效、完整落地的搜索體系才會不斷驅(qū)動電商業(yè)務更好的持續(xù)發(fā)展。垂直電商與綜合類電商相比，具有更精準的市場定位、更深化的產(chǎn)品與服務質(zhì)量、更強的客戶粘性和更獨特的品牌附加度的優(yōu)勢，所以搜索性能的好壞直接影響著業(yè)務最終結(jié)果。案例背景某日活千萬級的垂直類電商平臺，業(yè)務以社區(qū)+商城形式開展，商城業(yè)務是商業(yè)收入的主要來源，大部分用戶有明確的購買指向性，其中商品搜索天級PV3000萬+，搜索引導的成交占比全部成交的60%以上，是站內(nèi)最重要的功能，在用戶滿意度調(diào)研中發(fā)現(xiàn)對搜索體驗吐槽連連，反饋的主要問題是站內(nèi)商品搜不到，個人賣家發(fā)布的商品排序靠后。搜索問題反饋（1）用戶：搜索不到想要的商品，體驗差；（2）運營：站內(nèi)搜索的無結(jié)果率接近60%，說明每天有1800萬的PV轉(zhuǎn)換為0，流量白白浪費；（3）個人賣家:個人賣家發(fā)布的商品排序靠后；打擊發(fā)布商品積極性，影響平臺價值定位和圈層生態(tài)，從而直接影響平臺收益；搜索問題成因：2.2商品搜索“無結(jié)果率高，體驗差”怎么辦？<18（1）垂直小眾的圈子，對于商品的叫法非常多樣，并形成主流，用戶搜索中不一定按照實際商品名稱進行查詢（例如：用戶會搜“噴泡”其實想找的商品是AirJordanAirFoamposite系列的鞋）；（2）用戶搜索表述錯誤（例如：搜“連衣群”其實是想搜“連衣裙”（3）站內(nèi)的搜索結(jié)果分3個tab呈現(xiàn)，分別為“銷量”、“價格”、“新品”，用戶搜索后默認展現(xiàn)的是“銷量”tab下的結(jié)果，因此個人賣家發(fā)布產(chǎn)品由于銷量少或無銷量自然導致排序靠后，曝光量小，銷量難增長，惡性循環(huán)；問題分析:（1）針對召回結(jié)果不理想情況，經(jīng)分析發(fā)現(xiàn)自建ES服務沒有對搜索關鍵詞做智能的語義理解，甚至有些實體名詞分詞還是錯誤的；（2）針對排序問題，經(jīng)分析需增加“綜合”搜索結(jié)果呈現(xiàn)，根據(jù)核心索引優(yōu)化排序算法；開放搜索解決方案：（1）核心索引上配置使用了電商行業(yè)的查詢語義理解，包括同義詞、停用詞、電商拼寫糾錯、電商實體識別等，就是這些功能將搜索關鍵詞進行了系統(tǒng)可識別的智能改寫，擴大召回相關結(jié)果；（2）針對商品別稱問題，運營同學通過平時運營積累的專業(yè)詞匯可視化同步到開放搜索做查詢語義理解功能的補丁，通過靈活干預得以解決；,（3）創(chuàng)建核心索引“商品標題、顏色、類目名稱、品牌名稱、運營優(yōu)化文案、系列名稱等”,將它們引入到排序表達式中，通過多個維度構(gòu)建出更精細化的排序模型；19>2.2商品搜索“無結(jié)果率高，體驗差”怎么辦？（4）增加“綜合”搜索tab，并默認展示“綜合”搜索結(jié)果；實踐后的搜索性能對比：（1）搜索“詹姆斯球衣”輸入成“詹慕斯球衣”?Before:服務無法召回相關結(jié)果；?After：糾錯改寫為“詹姆斯”進行查詢，并且前端會提示“以下的結(jié)果是查詢：詹姆斯球衣，仍然搜索詹慕斯球衣”；（2）搜索“噴泡”?Before：無法召回相關結(jié)果；?After：召回到AirJordanAirFoamposite系列的鞋；（3）排序效果?Before：以銷量默認排名，個人賣家排序靠后；?After：提高搜索相關性增加更多商品曝光機會；2.3導購電商怎樣“提升CTR、CVR業(yè)務指標”案例背景某導購類電商APP，與淘寶天貓等一線商家合作,億級商品索引量，類目和子類目多層嵌套，商品有不同子款式和尺碼，搜索和篩選需求復雜。通過采用分銷+券模式，優(yōu)惠券幫助普通C用戶降低了單品價格，分銷模式幫助推廣者B增加了用戶數(shù)量，平臺獲得分成，用戶下單后還可以返現(xiàn)金和優(yōu)惠券，從而提升復購率,其中搜索的流量占比站內(nèi)流量60%以上，所以對于搜索結(jié)果的召回和排序有極高的要求，衡量搜索效果的直接指標就是成單轉(zhuǎn)化率。需求反饋業(yè)務方希望迅速擴大市場提高用戶體驗，需求開發(fā)團隊針對產(chǎn)品功能快速優(yōu)化，進一步提升CTR、CVR的業(yè)務指標需求分析l電商行業(yè)中，“搜索”是幫助用戶定位自己想要的商品提升轉(zhuǎn)化的重要渠道；搜索引擎的效果優(yōu)化是一個很大的話題，在查詢意圖理解階段可以有語義理解、命名實體識別、詞權(quán)重分析、拼寫糾錯等優(yōu)化手段，在排序階段可有文本相關度、人氣模型、類目預測等優(yōu)化手段，通過配置查詢分析策略和調(diào)整排序公式，我們對于效果優(yōu)化可以有很大的發(fā)揮空間，再通過AB測試來對比不同優(yōu)化策略的效果表現(xiàn)，我們可以做到效果優(yōu)化心中有數(shù)。l業(yè)務指標數(shù)據(jù)中“點擊率和轉(zhuǎn)化率”則直觀反映了搜索結(jié)果頁的商品結(jié)果是否滿足用戶的需求。l優(yōu)化召回和排序結(jié)果可以幫助用戶快速找到心中所想的內(nèi)容，是改善用戶體驗，降低跳出率，促進用戶轉(zhuǎn)化率的最好方法。阿里云開放搜索解決方案21>2.3導購電商怎樣“提升CTR、CVR業(yè)務指標”Query在開放搜索的執(zhí)行流程：1.開放搜索的優(yōu)化方案:查詢意圖理解優(yōu)化方案可以參考：商品搜索“無結(jié)果率高，體驗差”怎么辦？2.開放搜索-類目預測功能類目預測是開放搜索里基于物品的類目信息改善搜索效果的算法功能,類目預測根據(jù)用戶的查詢詞來預測用戶想要查詢哪個類目的結(jié)果，結(jié)合排序表達式，可以使得更符合搜索意圖的結(jié)果排序更靠前。例如：用戶搜索“華為”l大部分人意圖其實是想獲得“華為手機”，但因為銷量大小、價格高低、店鋪等級等各種原因，存在“華為手表”等配件商品排在“華為手機"更前面。l當我們訓練“類目預測模型”，模型就會表達出一個信息，根據(jù)行為數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)點擊“手機”類目要比點擊“配件”類目的人多很多，那么模型會給出這樣的預測結(jié)果，對于“華為”這個query來說，“手機”類目與“華為”的相關度，比“配件”類目與“華為”的相關度高,所以在計算每個物品的排序分的過程中，“手機”類目下的物品所獲得的得分要比“配件”類目下的物品得分高，從而“手機”類目下的物品會排在更前面。l這樣的排序結(jié)果才是一個比較符合用戶預期的結(jié)果，用戶才更有可能點進去了解詳情，從而提升搜索的業(yè)務價值,提升CVR的業(yè)務指標；2.3導購電商怎樣“提升CTR、CVR業(yè)務指標”<223.排序算法優(yōu)化l支持兩輪相關性排序定制，搜索結(jié)果相關性排序是影響用戶體驗最關鍵的一環(huán)，開放搜索支持開發(fā)者定制兩輪相關性排序規(guī)則來準確控制搜索結(jié)果的排序。第一輪為粗排，從命中的文檔集合里海選出相關文檔。第二輪為精排，對粗排的結(jié)果做更精細篩選，支持任意復雜的表達式和語法。方便開發(fā)者能更準確控制排序效果，優(yōu)化系統(tǒng)性能，提高搜索響應速度。23>2.3導購電商怎樣“提升CTR、CVR業(yè)務指標”l引用智能排序人氣模型：離線計算的模型，淘寶搜索最基礎的排序算法模型。人氣模型會計算量化出每個商品的靜態(tài)質(zhì)量及受歡迎的程度的值，不斷訓練統(tǒng)計形成人氣分，構(gòu)建更精細化的排序模型，精準命中搜索需求，將人氣模型involve成為排序的一個因子，搜索結(jié)果的轉(zhuǎn)化率還會有質(zhì)的飛躍。2.4“減少輸入，更快找到用戶所想”案例背景某測評APP，通過對化妝品成分和膚質(zhì)的分析，由于涵蓋全球各國化妝品，有300萬+化妝品SKU，所以用戶在搜索框輸入查詢詞的過程時，經(jīng)常遇到中英文切換、名稱過長等導致的效率低的問題。問題反饋希望提高用戶搜索輸入效率，更快速找到所需要的商品或內(nèi)容,從而提高業(yè)務轉(zhuǎn)化問題分析1.通過搜索框輸入查詢詞的過程中，智能推薦高質(zhì)量候選Query，可以幫助用戶更快速找到搜索內(nèi)容；2.優(yōu)化下拉提示的內(nèi)容排序，讓用戶搜索意圖商品排序更前。阿里云開放搜索解決方案擴展功能：1.開放搜索下拉提示功能：起到減少用戶輸入的作用，自動補全搜索關鍵字，提升用戶使用搜索引擎的體驗，同時減少用戶的查詢次數(shù)，減小我們服務端的壓力。2.支持智能抽取候選詞，電商行業(yè)模板l文檔字段原值保留(內(nèi)容較短含義明確適用于不需要分詞的字段，例如：店鋪名，應用25>2.4“減少輸入，更快找到用戶所想”名等）;l文檔字段智能抽取(阿里海量自熱語言訓練的分詞器，進行分詞，抽取有意義的term進行組合）;l歷史查詢詞(引用用戶近期的歷史查詢詞）;3.支持多種干預項l對于一些突增熱詞，例如當“iphoneXs”發(fā)布時，它的query頻次肯定不及發(fā)布了一年的“iphoneX”，這種case下，客戶肯定希望當他的用戶敲入“iphone”時，“iphoneXs”排在下拉提示的最前面，這時我們提供的推薦名單功能就可以派上用場了，客戶可以手動輸入“iphoneXs”詞條，這樣它就可以排在最前面了。相反，有些query客戶是不希望被展示的，例如一些法律敏感的詞匯，或query返回的結(jié)果集較少的詞匯，此時客戶可以使用我們提供的黑名單功能，運用該功能后，用戶輸入的query如果部分匹配或全部匹配黑名單詞條時，相關的下拉提示結(jié)果會被屏蔽。4.下拉提示請求與搜索請求關聯(lián)基于關聯(lián)請求數(shù)據(jù)，得到下拉提示點擊結(jié)果等數(shù)據(jù)，可以優(yōu)化下拉提示排序模型，進而提升下拉提示搜索的效果。實現(xiàn)效果1.搜索框輸入“elix",下拉提示結(jié)果2.4“減少輸入，更快找到用戶所想”<262.“保濕霜大瓶”這個query，可以通過如下方式查詢得到：l中文前綴：保，保濕，…l全拼前綴：B,Ba,Bao,Baoshi,Baoshishaung,…l簡拼前綴：B,Bs,Bss，…l漢字加拼音：保shi,保濕shuang;l分詞后前綴：大瓶，大瓶保濕，保濕大，…l中文同音別字：保濕雙,寶石霜，…2.5“隨便逛逛，看大家都在搜什么？追蹤潮流和熱門”案例背景某銷量領先的互聯(lián)網(wǎng)食品品牌同時也有電商平臺，主打休閑零食，自有品牌SKU超500個，應用程序主要為APP端和微信小程序端。那如何促使用戶產(chǎn)生更多消費那？在現(xiàn)有搜索方案的基礎上上尋求更多擴展功能提升用戶購買轉(zhuǎn)化率。需求反饋l最終用戶：隨便逛逛，想知道大家都在搜什么？現(xiàn)在什么最熱門？l業(yè)務運營：吃貨們典型“喜新厭舊”的特質(zhì)，追逐新奇和個性化，需要不斷的用新鮮的零食爆款去沖擊他們的錢包，產(chǎn)生更多消費。需求分析從最終用戶的角度：1.零食消費者主力軍為80-95后女性，對流行事物更加的關注，追求快速消費，并且獵奇心較重，對榜單、熱門、新品比較敏感；2.用戶只是隨便逛逛，沒有明確的搜索意圖，搜索框可以推薦優(yōu)質(zhì)的查詢詞，引導其搜索點擊，從而實現(xiàn)轉(zhuǎn)化；3.大家都在搜些什么？大家都喜歡的內(nèi)容，用戶也可能會感興趣；4.不想輸入查詢詞，或輸入不便，可以減少用戶輸入，優(yōu)化體驗；5.多樣化推薦查詢詞，既兼顧熱門結(jié)果，又可以探索興趣之外的其它內(nèi)容；從業(yè)務運營的角度:1.在用戶沒有任何輸入的時候，也可以推薦優(yōu)質(zhì)查詢詞，對用戶意圖進行引導；2.推薦查詢詞既要關注熱門程度，又要兼顧多樣化，給部分次熱門查詢詞一些曝光機會;3.可以結(jié)合用戶興趣來推薦查詢詞，既兼顧用戶體驗，又可以有效的提升業(yè)務目標；阿里云開放搜索解決方案.28I擴展功能：熱詞和底紋處于搜索引擎整個工作流程的最上游，通過推薦熱門、優(yōu)質(zhì)、多樣化的查詢詞，對用戶搜索意圖起到重要的引導作用，既可以減少用戶輸入，優(yōu)化體驗，又可以優(yōu)化查詢詞質(zhì)量，大大降低后續(xù)查詢意圖理解、相關性、排序、運營干預等環(huán)節(jié)的調(diào)優(yōu)難度，對提升整體業(yè)務目標可以起到非常好的鋪墊作用；實現(xiàn)效果l最終用戶：多樣化推薦優(yōu)質(zhì)查詢詞，簡化了輸入，體驗更佳，通過熱詞和底紋可以探索興趣之外更多更新更熱門的商品；l業(yè)務運營：a:提高了搜索UV轉(zhuǎn)化率和點擊率；b:通過分析熱門查詢詞可以把握用戶興趣走向，制定相應的運營策略，還可以給部分次熱門查詢詞增加曝光機會，即兼顧了用戶體驗，又可以有效提升業(yè)務目標；3.推薦篇3.1推薦場景化構(gòu)建與業(yè)務價值內(nèi)容要點本文從推薦的業(yè)務價值、推薦領域難點問題、可實現(xiàn)的場景功能來闡述推薦的價值和意義。推薦的起源和價值實現(xiàn)具有“推薦系統(tǒng)之王”稱號的電子商務網(wǎng)站-亞馬遜，在推薦的應用上走在了行業(yè)的最前列。在初期的設計中，亞馬遜主要將推薦應用于3個板塊：第一種是最常見的基于item的協(xié)同過濾算法，利用過去的歷史行為進行推薦；第二種是利用facebook間好友關系的推薦；第三種是相關推薦-打包銷售場景，這個和后續(xù)中場景部分的相關推薦差別較大。打包銷售主要的應用場景類似于買了手機買手機殼的場景。以上三種，在當時是一個較為全面的推薦管理，串聯(lián)了消費者瀏覽、購買以及購買后的場景。從已有的數(shù)據(jù)材料中統(tǒng)計，當時20%-30%的銷售來源于推薦系統(tǒng)。對于每一個消費者而言，推薦系統(tǒng)使自己擁有了一個在線商店，能夠不虛此次訪問，在商店中找到自己感興趣的商品。由推薦的引入，快速促進業(yè)務增長的案例中，值得一提的還有Netflix。與前者類似，Netflix應用的是基于用戶歷史行為的協(xié)同過濾，為用戶推薦感興趣的影視作品。據(jù)統(tǒng)計，Netflix有60%的用戶，是通過其推薦系統(tǒng)找到自己感興趣的電影和視頻的，可見推薦成為了承載流量的主要入口。從2006年起，Netflix開始舉辦推薦系統(tǒng)比賽，通過技術底層驅(qū)動的形式來促進業(yè)務增長，對推薦應用的重視程度可見一斑。3.1推薦場景化構(gòu)建與業(yè)務價值<30回到現(xiàn)在，市場上很多火爆的app已經(jīng)將推薦應用得更加多元化，比如典型的電商場景下，通過信息流的混排打造逛起來的體感，利用消費者評價或app領袖級買家引導促成消費?？v觀各行業(yè)，不論是內(nèi)容論壇、廣告分發(fā)，還是教育培訓、書籍小說，個性化推薦都成為了必不可少的功能。之所以能夠引發(fā)這種現(xiàn)象，就是因為推薦這種智能分發(fā)能夠帶來的業(yè)務價值提升絕不是一星半點?？陀^而言，通過千人千面進行推薦，可以大幅提升分發(fā)效率，促進點擊率指標的提升。對于老用戶，能夠在推薦板塊找到自己的興趣變化、驚喜發(fā)現(xiàn)，提升粘性；新用戶能夠迅速在app中獲取最喜好最關心的內(nèi)容，從而促進新、老用戶的留存粘性提升。利用內(nèi)容分發(fā)促進轉(zhuǎn)化，一方面可能由當下主打下沉市場的app應用中的返利機制促成，另一方面是為了培養(yǎng)粘性用戶，提升用戶活躍度，從而為后期變現(xiàn)、轉(zhuǎn)化打下良好的基礎。推薦并不止完成長短興趣的探測與精準觸達就可達成目標，也需要給到用戶多樣化的體驗，使其能發(fā)現(xiàn)從未獲取的新穎好物，不斷發(fā)現(xiàn)驚喜，真正喜歡上一個app。有時候推薦要比用戶更懂在當下他需要什么，通過什么能夠給他帶來歡喜，這也是人們對推薦的心里預期。從客觀指標、主觀體驗通盤來看，推薦的價值體現(xiàn)在，作為一股強大的動力，貫穿于從獲客到粉絲型用戶的整個培養(yǎng)流程，推動用戶的轉(zhuǎn)化與粘性提升。31>3.1推薦場景化構(gòu)建與業(yè)務價值推薦領域難點問題將一個個性化推薦的場景搭建好并不是一件易事，通常需要解決幾個推薦應用中比較棘手的問題。首先是新用戶冷啟動，有時候我們花了很大力氣做了活動、營銷、廣告或是買入一些渠道的用戶，但最后的結(jié)果并不理想。新用戶留存難，對于推薦而言難在缺少新用戶的信息，而怎么解決這個問題，后期我們將進行剖析。第二是回音壁問題，指的是當用戶的興趣比較集中時，我們往往在內(nèi)容推薦過程中陷入局限，從而導致用戶走不出興趣圈，逐漸疲憊。第三是馬太效應，往往80%的流量會集中在20%的內(nèi)容之中，剩下的80%并不是內(nèi)容不好，而是比較小眾，或因為流量分發(fā)的限制就此埋沒。因此，當存在一些小眾愛好的用戶時，很難做到準確分發(fā)。第四，上下文聯(lián)系、訪問心智、行為變化也是一個先進的推薦系統(tǒng)應該解決的問題。綜上可見，推薦想要做好仍面臨著很多挑戰(zhàn)。3.1推薦場景化構(gòu)建與業(yè)務價值<323.1推薦場景化構(gòu)建可實現(xiàn)的場景功能當我們想要把推薦部署應用在app前，需結(jié)合具體的場景構(gòu)建合理的應用方案。以阿里云智能推薦主打的場景為例，如以下幾個常見的場景，就可以拉近app的資深體驗用戶與推薦的距離。首先，我們進入一個消費場景，可看見猜你喜歡和相關推薦這2個場景。猜你喜歡，承載的是當消費者的購買意向不明確時，更多的是讓我們能夠逛起來?？戳撕芫脹]找到合適的商品、一直感興趣沒下狠心下單的商品、很有意思看了就想要的小物件，都被我們期待著出現(xiàn)，或者換個角度看，這是電商平臺讓我們逛起來的同時，提升轉(zhuǎn)化率的意向商品集。33>3.1推薦場景化構(gòu)建與業(yè)務價值相關推薦的差異主要在于，當我們愿意花心思研究某個商品的參數(shù)、詳情，說明購買意向已經(jīng)相對明確?？戳擞挚淳褪峭扑]在商品性質(zhì)上和當前駐足商品類似的，并且結(jié)合用戶口味容易引導購買的商品。其次，例如一個新聞閱讀的場景。3.1推薦場景化構(gòu)建與業(yè)務價值<343.1推薦場景化構(gòu)建新聞的展示往往會區(qū)分幾個頻道，稱之為專欄。針對每個專欄的推薦，都代表用戶的興趣相對集中的分布。在不同的專欄涉及不同內(nèi)容的選舉、分發(fā)，基于智能推薦，快速實現(xiàn)場景化專欄搭建是一個很方便的操作。作為一個智能的反饋，這些專欄也能夠根據(jù)不同用戶的興趣覆蓋點，進行優(yōu)先級展示的重組。就像在很多app里看到的多功能板塊、多業(yè)務板塊，在推薦中的應用就會體現(xiàn)在一個基于banner熱點圖的推薦，這樣會展示給用戶更加定制化的體驗。而實際看到的結(jié)果，應該是具備視覺與類目豐富覆蓋的體驗。在智能推薦內(nèi)部，提供了2種功能，分別是打散和混排，這些業(yè)務干預也是為了滿足提升用戶體驗的訴求。這一步的設置最好先完成一個用戶行為分析的分層，比如，從電商領域分析的數(shù)據(jù)可知，大部分的男性消費者更傾向于使用搜索的功能，發(fā)現(xiàn)自己想要的商品，推薦直擊搜索內(nèi)容會具備更高的轉(zhuǎn)化率，再多元的展現(xiàn)都不及準確的推薦有效。而女性則不具備這樣的特點。以上也可見，推薦和用戶行為傾向也具備很強的關聯(lián)，推薦這個板塊指引著我們更加全面、細粒度地了解平臺用戶，已發(fā)展成為業(yè)務反哺的參考。3.2智能推薦在電商的經(jīng)典打法與實踐內(nèi)容要點本文從電商行業(yè)經(jīng)典個性化場景、會場搭建實戰(zhàn)分析來分享個性化推薦在電商的經(jīng)典應用和平臺化搭建。電商行業(yè)經(jīng)典個性化場景在早期，個性化推薦技術，首次應用到淘寶雙十一主會場，形成了一個從樓層順序排列個性化、樓層內(nèi)坑位個性化再到坑位素材個性化的三層結(jié)構(gòu)，為每位消費者打造了一個專屬的類目會場。第一層，通過樓層順序個性化，女神看到的樓層順序可能是女裝、美妝、天貓國際等，男神看到的樓層順序可能是男裝、旅行、數(shù)碼等。第二層，通過樓層內(nèi)坑位內(nèi)容個性化，使得在同一個樓層內(nèi)，不同用戶看到的商品或店鋪不同，比如同樣都是美食控，喜歡吃辣的用戶可能看見麻辣牛肉干，喜歡甜口兒的用戶可能看見巧克力。第三層，通過坑位內(nèi)容素材個性化，使得同一個樓層的同一個坑位，即便算法預測兩個用3.2智能推薦在電商的經(jīng)典打法與實踐<36戶都需要巧克力，但一個喜歡費列羅，而另一個喜歡德芙，也會在入口圖上展示不同的品牌。通過這三層的個性化層層遞進，將海量的商品按照消費者從面到線再到點這樣一個深入的過程進行喜好挖掘，從而達到精準迅速的信息分發(fā)、觸達。早期的雙十一類目會場包括了51個天貓會場和18個淘寶會場，在底層技術層面，應用了基于人群特征的選品技術、對實時行為的迅速響應乃至自動合圖技術等，在給予用戶暢快體驗的同時，極大提升了uv的引流效率，對比非個性化相對提升了2.56倍?？梢哉f，那個階段是個性化推薦的探索元年，在斬獲大幅數(shù)據(jù)增長后，個性化推薦的場景開始在淘寶逐漸鋪開。之后，主要打造的個性化場景有首焦推薦、banner推薦、店鋪內(nèi)個性化推薦等，在早期的基礎上，進行技術內(nèi)核升級的同時也加入了商家賦能的個性化推薦系統(tǒng)，從而能夠結(jié)合會場流量的增長、每個場景的差異點。比如說推薦各場景大小不一、定位差異大，有導購類場景、有成交類場景等，需要根據(jù)場景本身的特性來進行流量智能調(diào)控。與之前相比，之后的雙十一個性化場景也融入了更多平臺業(yè)務策略、流量調(diào)控邏輯的因素。37>3.2智能推薦在電商的經(jīng)典打法與實踐再之后，個性化的場景不論在廣度上還是深度上都有了更多的延伸、拓展。例如近年的雙十一，從10月20號的預售/造勢期開始，到11月1號預熱期開始再到雙十一當天，個性化的推薦場景都由始至終貫穿，并成為促成交易額提升的重要手段。除之前的業(yè)務以外，還擴展出了入口圖個性化、多樓層入口圖個性化、多樓層店鋪個性化、店鋪內(nèi)推薦等業(yè)務形態(tài)。到近兩年，瀑布流首次加入到眾多商品推薦之中，較之前雙十一手淘首頁個性化推薦區(qū)塊，在延續(xù)往年大促傳統(tǒng)的基礎上又有了新意，每個區(qū)塊各有側(cè)重，能夠覆蓋到不同用戶的多層次需求。3.2智能推薦在電商的經(jīng)典打法與實踐<383.2智能推薦在電商的經(jīng)典打法與首頁焦點圖以滑動幀的形式展示商品圖片和宣傳語，以品牌活動為主；主會場入口是導流最集中的區(qū)域，滿足用戶最迫切的shopping需求；六宮格歷史悠久，已經(jīng)培養(yǎng)起了一定的用戶心智；氛圍會場入口為各行業(yè)會場分發(fā)流量，也是最需要使用流量調(diào)控手段的區(qū)域；瀑布流會場入口主要面向手淘深度用戶，從一定程度上迎合長尾需求和發(fā)現(xiàn)性需求。到去年，淘寶雙十一推出了互動城個性化和云主題，互動城和品牌墻首次合二為一，具有很強商業(yè)化目標的互動城首次嘗試了個性化。互動城作為之前雙十一重點項目，因為領喵幣蓋樓玩法帶來了大量用戶流量，通過用戶做任務領喵幣/兌換紅包等互動方式，成功引領了網(wǎng)絡潮流，創(chuàng)造了流量新陣地。商家通過分層級付費/參與店鋪投放獲取了對應的層級流量，實現(xiàn)了平臺、商家及用戶的三方共贏，是一次重大的創(chuàng)新和突破。隨著之前手淘大改版，信息流已經(jīng)成為手淘首頁的用戶個性化推薦主陣地。云主題，作為信息流的重要組成部分，是一個服務于用戶多元化需求的輕量導購體系。云主題推薦是結(jié)合了電商認知圖譜，基于對用戶本身及其每個行為背后隱含的深層次需求，再與場景建立映射，最終通過實時的推理、計算，然后得到當前推薦的商品和場景組合。這些年與推薦、個性化相關的雙十一，很多玩法都是基于大數(shù)據(jù)，基于業(yè)務訴求，包括平臺的愿景等，如果針對每一個場景都需要定制化開發(fā)，對于阿里來說無疑是一個不可收斂的人力投入。從早期推薦展露頭腳，到如今端智能應用到推薦板塊，除了淘寶、天貓，咸魚、1688等也已具備了非常豐富的推薦應用場景。面臨整個集團推薦場景的廣泛鋪開，從很早開始，集團就開始了平臺式推薦業(yè)務支持的探索，不論是算法開發(fā)、還是運營，都能39>3.2智能推薦在電商的經(jīng)典打法與實踐使用適配的平臺工具快速搭建場景，進行推薦實驗與實時的效果觀察、流量調(diào)控等。會場搭建實戰(zhàn)分析以阿里小二們經(jīng)常使用的平臺為例，這個平臺提供了很多能力，是一個高效、實時、支持多種投放類型、提供高階算子的開放的個性化推薦平臺，可以一站式算法選品、智能搭建、個性化投放。在這個平臺上，小二們只要明確會場的搭建訴求、面向?qū)ο蠛蜆I(yè)務指標，即使沒有推薦的算法基礎，對埋點和大數(shù)據(jù)沒有經(jīng)驗，也可以很快搭建出個性化的推薦場景，從選品到投放的每一步都有數(shù)據(jù)賦能，具備業(yè)務經(jīng)驗加成引導。除一些非常核心的需要算法實時跟進，通常，小二們從搭建場景到部署到上線只需小時級3.2智能推薦在電商的經(jīng)典打法與實踐<40別的時間，也不需要固定的算法支持開發(fā)。目前來說，推薦的場景非常多，淘系的大部分個性化場景都是通過平臺來搭建上線的，平臺化已是一種必須的業(yè)務支撐方向。如上圖，這是兩種截然不同的場景，但是不論從業(yè)務類型的多樣性，還是業(yè)務目標的多樣性，小二都可以在這個平臺上進行選配。每一個場景都有著搭建的目標，有的是轉(zhuǎn)化，有的是留存，場景化搭建的貫穿也是平臺的一大特色。因此，基于淘系算法、業(yè)務經(jīng)驗的沉淀，我們打造了一款推薦的Saas化服務——智能推薦AIRec，希望以標準化服務的形式賦能客戶，通過行業(yè)化、場景化，下鉆找到適配行業(yè)、效果優(yōu)異的算法模板，通過豐富的數(shù)據(jù)側(cè)服務為數(shù)據(jù)采集、上報減負，配合多樣的運營策略，匹配上層的特色業(yè)務訴求。目前，智能推薦已進行了電商行業(yè)算法模型的升級，電商模板2.0已發(fā)布。3.3商品推薦的核心問題、架構(gòu)和應用效果內(nèi)容要點本文主要圍繞電商推薦，從個性化推薦的核心問題、架構(gòu)、推薦效果闡述智能推薦的技術演進應用。電商推薦問題和價值在看推薦系統(tǒng)要解決哪些問題之前，首要了解它能帶來什么價值。個性化推薦之所以能如此迅速地占領各大APP的首要版塊，取代了之前很多人工運營的坑位，最核心的原因是它可以更拉近用戶與商品的距離，用最短的時間和路徑讓用戶找到想要的商品，也就是常說的流量分發(fā)效率。這就好比一個人逛超市，他喜歡吃肉，而且一般只逛3個貨架，雖然還沒確定這次要買什么，但是如果貨架上擺的都是蔬菜，那么他大概會掃興而歸，對于超市來說，最現(xiàn)實的就是收入少了，歸因就是流量分發(fā)效率低。所以由此引出的就是，推薦要解決的最基本問題，就是保證流量效率，也就是點擊率、轉(zhuǎn)化率這些指標。電商首頁的版塊，一般都代表著產(chǎn)品的門面，它所承載的，不僅僅是怎么賺更多的錢。所以這也需要推薦系統(tǒng)再往前走一步，不僅僅是流量，還要能承接住用戶的心智和產(chǎn)品的調(diào)性。這些可以概括為兩個方面：用戶體驗和運營干預。3.3商品推薦的核心問題、架構(gòu)和應用效果<42運營干預，就是推薦結(jié)果要可以被一些外部的輸入所影響，這些輸入主要來自于人的主觀判斷。比如能夠做一些流量調(diào)控，側(cè)重一些行業(yè)的傾斜，甚至對新店鋪做一些扶持。首先這些判斷對產(chǎn)品的發(fā)展是很重要的，其次其背后的信息是系統(tǒng)無法量化計算的，因此只能交給人來做，系統(tǒng)只需要留好接口，盡可能柔和地接住這些硬性的規(guī)則。怎么才算是好的用戶體驗？這是一個綜合的衡量指標，很難從單一維度回答。換個角度，當一個用戶逛完某個平臺，有了一定的精神滿足感，那么就基本可以判斷用戶體驗還不錯。仍以逛超市舉例，我們不僅希望用戶在3個貨架內(nèi)成交，還希望他能逛更多的貨架，希望他明天能來，逛完后不僅僅喜歡吃肉了，還喜歡吃水果了。所以具象化到推薦系統(tǒng)，就有了更多的衡量指標，如發(fā)現(xiàn)性、停留時長、瀏覽深度、復購率等，也就是說，一個好的推薦系統(tǒng)，不僅是讓用戶快速找到喜歡的商品，還能讓用戶逛起來?？偨Y(jié)起來，推薦需要解決這三方面的問題，但單靠推薦系統(tǒng)肯定是不夠的，還需要商品、流量、運營這些因素共同來支撐。由左側(cè)的問題，可以推斷出，判定一套推薦系統(tǒng)的價值，一定是多元化的。不同的業(yè)務系統(tǒng)，會有各自側(cè)重的標準，所以推薦做到最后，不僅僅是算法模型的問題，它更是一個業(yè)務系統(tǒng)。在此有一點需要強調(diào)，這種多元的價值判斷，不同指標看上去都是相輔相成的，但是仔細思考，里面還是有很多相悖的。就比如前面說的，一個用戶滿足感高了，他自然買的就多了，可買的多并不僅僅是因為流量效率高了，而是因為他瀏覽了更多的貨架，感覺越逛越開心。所以怎么去衡量這些指標之間的平衡，也是推薦系統(tǒng)需要考量的問題。推薦系統(tǒng)架構(gòu)43>3.3商品推薦的核心問題、架構(gòu)和應用效果對于一個推薦系統(tǒng)來說，它的架構(gòu)已經(jīng)比較明確了。第一部分是商品池、用戶池的構(gòu)建。數(shù)據(jù)是算法的基礎，底層數(shù)據(jù)的豐富程度決定了推薦能力的天花板。更多的用戶錄入系統(tǒng)，使請求推薦的用戶未登錄占比更低。更多的特征，比如用戶的年齡、性別、地域、商品的店鋪、價格、類目等。更豐富的行為，曝光和點擊是目前智能推薦的基本要求，其他還包括點贊、停留時長、下載等等。算法系統(tǒng)本質(zhì)上是拿過去預測未來，如果過去什么都沒有發(fā)生，那么預測出來的結(jié)果，就可想而知。第二部分是怎么從海量的商品池選擇推薦的對象。這方面主要是依靠檢索的技術，包括通過協(xié)同過濾、內(nèi)容過濾、用戶偏好建立索引，并根據(jù)索引生成第一步的結(jié)果。這些涉及到的工程技術主要是性能，怎樣一次性查得更多、更快。以阿里云智能推薦來說，主要是復用了阿里內(nèi)部的系統(tǒng)架構(gòu)，單次單鏈路的召回至少是幾千級別的，這是這款產(chǎn)品的固本之策。在算法上，主要就是各個召回鏈路。以最基礎且最通用的協(xié)同過濾為例，ItemCF可算是推薦系統(tǒng)發(fā)展過程中的一個里程碑節(jié)點，它第一次解決了大規(guī)模的計算問題，并且能在效果上碾壓其它普通的基于信息檢索，語義檢索的推薦系統(tǒng)。它效果好的原因，第一就是它本質(zhì)上是一種遷移學習，收集用戶在全場景上的行為、推薦、搜索等打造出來的信息，是一種半監(jiān)督式的。另一個就是，它是通過用戶的近期行為去做相關性的匹配，所以也是一個核函數(shù)的方法，就是越近的結(jié)果越容易被推薦出來。但是，i2i效果太好也會有挑戰(zhàn)性的一面，很難去突破，而且對數(shù)據(jù)質(zhì)量要求很高。以上問題的關鍵就在于心智的體現(xiàn)，落地3.3商品推薦的核心問題、架構(gòu)和應用效果<44到系統(tǒng)上就是需要擴召回，需要更豐富的，能體現(xiàn)心智的鏈路進來。第三部分是在之前的基礎上，需要一個精選排序。不管是LR或者GBDT，還是WDL在神經(jīng)網(wǎng)絡上4層、7層甚至10層的嘗試，都是希望rankmodel學得更準。再配合推薦價值，不僅僅能優(yōu)化例如停留時長之類的某一個目標。最后一部分是運營干預，也就是對最后結(jié)果的一次規(guī)則性的過濾。這里其實有一個主要的矛盾點，對于運營同學來說，僅僅對最后結(jié)果的干預，還是太弱了。對于算法同學來說，強行對最后的結(jié)果進行人工規(guī)則的過濾、重排序，是非常影響效果的。所以，從系統(tǒng)落地的角度，我們在做的一個事情就是把運營規(guī)則前置化，可以更柔性地應用到選品、召回、排序中。推薦效果第三部分內(nèi)容聚焦在怎樣提升推薦效果上，也就是流量分發(fā)效率。現(xiàn)階段，機器還是一個把人的思維落地成自動化的過程。所以試想一下，如果面臨一個用戶要選擇三個商品，你會怎么去推薦，需要什么樣的信息，怎樣去做決策。第一步，需要什么樣的信息。我們需要知道這3個商品是什么。是美妝，還是食品？是大品牌，還是性價比高？還需要知道用戶的信息。是男是女？地域怎么樣？年齡多大？最重要的是，我們得知道用戶喜歡什么，他肯定不會直接告訴你，有時候他自己也不知道，那45>3.3商品推薦的核心問題、架構(gòu)和應用效果么，我們就用他過去的行為來推測，點過什么商品，買過什么商品，什么商品看了看就走了，什么商品看了很久很久。所以你需要這些信息判斷，推薦系統(tǒng)也需要，把這些信息抽象一下，就是以上圖右邊的這三類，對于智能推薦這個產(chǎn)品來說，就是三張基礎數(shù)據(jù)表。第二步，需要把這些信息抽象一下，得出這個用戶喜歡什么的結(jié)論。對于推薦系統(tǒng)，就是一個用戶畫像構(gòu)建的過程。簡單的做法，就是把用戶過去的行為做個聚類。也可以做的很復雜，如需要考慮時間的衰減，需要把即時興趣抽出來，需要考慮同特征的人群畫像的輸入等等，這也是各個推薦系統(tǒng)的核心競爭力之一。當然，還是那句話，沒有最好的，只有最符合你的業(yè)務的。拿到用戶畫像之后，還有很關鍵的一步，就是怎么把這個畫像和要推薦的商品關聯(lián)起來。這里就可以抽象出一個trigger的概念，是一個橋梁，以之前提到的i2i舉例，圖中左邊這個item就是一個trigger，可通過畫像知道用戶更喜歡哪個item，然后進而去尋找和它最相近的右邊item，這樣就完成了一次召回的查詢。有了用戶畫像，還可以構(gòu)建物品畫像。舉個例子，一個商品，北京的人更喜歡購買，那么它的畫像中的一個因素就是北京人，一般物品畫像更多地會用在新用戶冷啟動上。第三步，通過這種相關性，可以拿到多商品，之后就是推薦的最后一步——精排。還是用之前的這些信息量，換個角度，重新再模型計算打分。這樣，就完成了一次推薦。在這個過程中，其實還有一些更細致的考慮，比如當拿到的信息缺失了一部分怎么辦，映射到推薦系統(tǒng)，也就是用戶冷啟動和物品冷啟動。3.3