深度學(xué)習(xí)在智能助理產(chǎn)品中的應(yīng)用胡一川

結(jié)束語(yǔ).

提升智能助理產(chǎn)品的可靠性.

智能助理產(chǎn)品的特點(diǎn).

深度學(xué)習(xí)與智能助理目錄用戶終端的變化和技術(shù)的進(jìn)步，推動(dòng)更自然的人機(jī)交

互方式及產(chǎn)品形態(tài)通過(guò)理解文本或語(yǔ)音形式

的自然語(yǔ)言來(lái)協(xié)助用戶完成需求的軟件應(yīng)用或平臺(tái)2000sPC鍵盤(pán)&鼠標(biāo)網(wǎng)站時(shí)間設(shè)備交互方式產(chǎn)品形態(tài)2020sIoT自然語(yǔ)言在線助理2010s手機(jī)

觸摸

APP

■

從在線客服到在線助理?在線助理：專屬化的體驗(yàn)，基于用戶畫(huà)像，提

供更個(gè)性化的服務(wù)?在線客服：短期的基于單一

目的的服務(wù)?在線助理：更主動(dòng)的提

醒，狀態(tài)問(wèn)詢，精準(zhǔn)推

送，洞察建議等?在線客服：簡(jiǎn)單的被動(dòng)

響應(yīng)，一問(wèn)一答?

在線助理：專業(yè)咨詢、

售前交互、售后服務(wù)、

行業(yè)洞察等?在線客服：以售后服務(wù)為主更主動(dòng)的雙向交互更豐富的價(jià)值場(chǎng)景更長(zhǎng)期的伙伴關(guān)系

1,800基于人工智能與自然語(yǔ)言處理技術(shù)的在線智能助理產(chǎn)

品用戶不斷增加虛

擬

個(gè)

人

助

理

(VPA)

將改變手機(jī)

用戶與設(shè)備的互動(dòng)

方式，并成為日常

生活的一部分

。

到

2019年，全球20%

的智能手機(jī)用戶將

通過(guò)虛擬個(gè)人助理

進(jìn)行交互。全球在線智能助理用戶數(shù)增長(zhǎng)預(yù)測(cè)

UniqueActive

EnterpriseVDAUsers

UniqueActiveConsumerVDAUsers2,0001,8001,6001,4001,2001,0008006004002000?

AI,

NLP等技術(shù)加速創(chuàng)新?

以GPU為代表的算力提升基礎(chǔ)設(shè)施

不斷完善自然交互廣泛應(yīng)用底層技術(shù)

不斷成熟?LBS、移動(dòng)支付全面普及?

服務(wù)從線下到線上?

IM主導(dǎo)移動(dòng)互聯(lián)網(wǎng)?

智能設(shè)備數(shù)量不斷增長(zhǎng)Numberof

Users

(million)20152021843390155秘書(shū)服務(wù)母嬰用品教育旅游度假護(hù)膚彩妝汽車服務(wù)租房售房法律咨詢珠寶配飾在重視在線交互的場(chǎng)景中，智能助理能夠提升溝通效率和用戶體驗(yàn)，創(chuàng)造商業(yè)價(jià)值在

場(chǎng)景示例

線

（非窮盡）

交互需求度鞋類箱包日用百貨食品家電數(shù)碼物業(yè)服務(wù)家政維修家居家紡閑聊領(lǐng)域知識(shí)專業(yè)度醫(yī)療健康金融理財(cái)IOT助手服裝我們利用人工智能技術(shù)打造了兩款核心產(chǎn)品，提高客戶溝通效率和提升商業(yè)價(jià)值提供語(yǔ)義、對(duì)話、推薦等技術(shù)解決方案，賦能企業(yè)和

專業(yè)人士，打造智能行業(yè)助理?通過(guò)具有AI能力的智能交互系統(tǒng)，提升專業(yè)人士

的服務(wù)效率和服務(wù)水平通過(guò)微信服務(wù)號(hào)為用戶提供一站式、對(duì)話式的在線私

人助理服務(wù)?通過(guò)理解-交互-咨詢-任務(wù)等環(huán)節(jié)，完成交易閉環(huán)個(gè)性化的需求如何更高效的被滿足？如何提升基于交互的服務(wù)效率和服務(wù)體驗(yàn)？任務(wù)型對(duì)話機(jī)器人商業(yè)智能智能分組推送個(gè)性化推薦知識(shí)庫(kù)問(wèn)答型對(duì)話機(jī)器人領(lǐng)先的知識(shí)型交互機(jī)器人最懂你的私人助理

結(jié)束語(yǔ).

提升智能助理產(chǎn)品的可靠性.

深度學(xué)習(xí)與智能助理產(chǎn)品.

智能助理產(chǎn)品的特點(diǎn)目錄??對(duì)一段文本對(duì)應(yīng)的向量進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換時(shí)使用上下文信息通常使用CNN或RNN從編碼后的向量中提取對(duì)預(yù)測(cè)有價(jià)值的信息輸出為一個(gè)固定維度的向量

基于深度學(xué)習(xí)的自然語(yǔ)言處理框架?

基于輸入向量產(chǎn)出最終的預(yù)測(cè)[Honnibal2016]3.Attend4.

Predict1.

Embed2.

Encode?

將每個(gè)詞或字映射為向量

深度學(xué)習(xí)的應(yīng)用：意圖識(shí)別l

基于深度學(xué)習(xí)，完全數(shù)據(jù)驅(qū)動(dòng)，無(wú)需特征工程l

效果明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)模型l

在20多個(gè)領(lǐng)域下準(zhǔn)確率可達(dá)96%

Softmax

Attention

LSTM

LSTM

LSTM

100%95%

90%

85%

80%

75%

70%

65%

60%意圖識(shí)別準(zhǔn)確率傳統(tǒng)機(jī)器學(xué)習(xí)

Accuracy意圖識(shí)別結(jié)果

來(lái)也深度學(xué)習(xí)輸入文本傳統(tǒng)基于規(guī)則意圖識(shí)別結(jié)果t

CRF

輸入文本

-

LSTM

-

LSTM

LSTM

■

深度學(xué)習(xí)的應(yīng)用

：實(shí)體抽取l

基于深度學(xué)習(xí)，完全數(shù)據(jù)驅(qū)

動(dòng)，無(wú)需特征工程l

方法通用，適用于多種領(lǐng)域

不同類型的實(shí)體抽取l

效果明顯好于傳統(tǒng)方法

l

從非結(jié)構(gòu)化的對(duì)話中挖掘結(jié)構(gòu)化的知識(shí)l

將知識(shí)進(jìn)行沉淀和統(tǒng)一維護(hù)l

提高客服效率和質(zhì)量，提升用戶體驗(yàn)l

知識(shí)點(diǎn)數(shù)量龐大，無(wú)監(jiān)督的聚類方法效果很差l

詞向量不適合表示句子語(yǔ)義l

無(wú)監(jiān)督和有監(jiān)督方法相結(jié)合l

詞向量和句向量相結(jié)合l

機(jī)器與人工相結(jié)合

深度學(xué)習(xí)的應(yīng)用：知識(shí)挖掘解決方案知識(shí)庫(kù)主要挑戰(zhàn)核心價(jià)值層次聚類相似度計(jì)算詞向量訓(xùn)練

句向量訓(xùn)練

相似度計(jì)算

問(wèn)題檢索人工審核問(wèn)題挖掘主題詞挖掘目標(biāo)[Conneau2017]有監(jiān)督

學(xué)習(xí)無(wú)監(jiān)督

學(xué)習(xí)

歷史語(yǔ)料主題詞預(yù)處理l

基于知識(shí)庫(kù)和歷史語(yǔ)料訓(xùn)練具有較強(qiáng)

語(yǔ)義泛化能力的問(wèn)答模型l

提高問(wèn)答機(jī)器人的召回率和準(zhǔn)確率l

用候選回復(fù)輔助客服，提升服務(wù)效率l

傳統(tǒng)方法缺乏語(yǔ)義泛化能力l

傳統(tǒng)方法沒(méi)有上下文理解的能力l

使用檢索

+上下文深度匹配排序的方法l匹配模型考慮上文歷史消息序列

深度學(xué)習(xí)的應(yīng)用：?jiǎn)柎饳z索候選回復(fù)深度匹配

排序主要挑戰(zhàn)抽取

關(guān)鍵詞解決方案目標(biāo)核心價(jià)值

[Wu

2017]候選回復(fù)用戶問(wèn)題上下文

結(jié)束語(yǔ).

提升智能助理產(chǎn)品的可靠性.

深度學(xué)習(xí)與智能助理產(chǎn)品.

智能助理產(chǎn)品的特點(diǎn)目錄

完全用機(jī)器來(lái)理解人類語(yǔ)言仍面臨諸多挑戰(zhàn)模糊的語(yǔ)義內(nèi)容復(fù)雜的

知識(shí)處理個(gè)性化的表達(dá)方式歧義上下文復(fù)雜背景個(gè)性化錯(cuò)誤同義明天飛北京，訂兩晚酒店，老習(xí)慣明天面試，兩點(diǎn)和三點(diǎn)各一場(chǎng)。一在公司，二在星巴克[前文：訂一張上海飛北京的機(jī)票]有國(guó)航的嗎28號(hào)下午三點(diǎn)趕火車，不，是29號(hào)[外賣]肯德基到公司[語(yǔ)音識(shí)別]11月17日早上八點(diǎn)見(jiàn)新低你有freestyle嗎？幫我找個(gè)人來(lái)家里打掃衛(wèi)生[打車]肯德基到公司查一下附近賣麻小的餐廳預(yù)約保潔阿姨上門相同意思多種表達(dá)多輪交互相同表達(dá)

多種意思口語(yǔ)表達(dá)網(wǎng)絡(luò)流行語(yǔ)表達(dá)錯(cuò)誤和糾正混合

多任務(wù)了解用戶習(xí)慣語(yǔ)音識(shí)別

的錯(cuò)誤

更好的用戶體驗(yàn)更高的用戶活躍度更多的高質(zhì)量數(shù)據(jù)?HI的介入使得對(duì)話系統(tǒng)更加可靠?由AI

決定何時(shí)需要

HI介入?

通過(guò)3種方式滿足用戶需求?

完全AI?

AI

+

HI?

完全

HI?

HI提供高質(zhì)量的標(biāo)注數(shù)據(jù)AI

+

HI（HumanIntelligence）形成正向循環(huán)更智能的對(duì)話系統(tǒng)更深度的模型?HI糾正AI

的錯(cuò)誤：語(yǔ)音識(shí)別、意圖識(shí)別、實(shí)

體抽取等?

AI基于

HI的反饋實(shí)時(shí)

更新對(duì)話系統(tǒng)狀態(tài)?HI撤回AI

的動(dòng)作?HI在AI

的輔助下執(zhí)行動(dòng)作基于AI

+

HI的對(duì)話系統(tǒng)架構(gòu)ContextVisualizationActionVisualizationDialog

ManagerActionMaskContext

ManagerAction

ExecutorNLGNLUResponseUserQueryAIHI

結(jié)束語(yǔ).

提升智能助理產(chǎn)品的可靠性.

深度學(xué)習(xí)與智能助理產(chǎn)品.

智能助理產(chǎn)品的特點(diǎn)目錄

結(jié)束語(yǔ)?IoT時(shí)代，基于自然交互的在線助理產(chǎn)品將成為主流?在線助理強(qiáng)調(diào)雙向的溝通、長(zhǎng)期的關(guān)系和個(gè)性化的服務(wù)?使用深度學(xué)習(xí)解決NLP問(wèn)題基本包括4個(gè)步驟：Emb