張偉男哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院社會計算與信息檢索研究中心人機對話關(guān)鍵技術(shù)及挑戰(zhàn)本科生對話理解與對話生成對話主導(dǎo)朱才海馮梓嫻推薦主導(dǎo)胡景雯一致性張家樂張開顏連貫性個性化多樣性朱慶福馬龍軒宋皓宇劉元興李凌志多輪建模朱澤圻風(fēng)格化Conversational

Intelligence(CI)張偉男副教授對話式推薦個人簡介HIT-SCIR劉挺教授博士生

碩士生

智能人機對話系統(tǒng)“笨笨”?

HIT-SCIR-CI組主導(dǎo)研發(fā)?

平臺?

微信公眾號：

2016年6月6日上線?

實體機器人?

主要功能

?閑聊?

問答?

任務(wù)型對話?

推薦3笨笨系統(tǒng)結(jié)構(gòu)ZhangW

N,

LiuT,etal.

Benben:

AChinese

IntelligentConversational

Robot[C]//ACL2017,System

Demonstrations.2017:13-18.4“聊天”示例5“知識問答”示例6“任務(wù)執(zhí)行”示例7“推薦”示例8笨笨訪問統(tǒng)計9智能人機對話系統(tǒng)“笨笨”10?

主辦方?中國中文信息學(xué)會(CIPS)?

承辦方?

哈爾濱工業(yè)大學(xué)社會計算與信息檢索研究中心?

科大訊飛(數(shù)據(jù)支持)?

贊助方?

華為公司中文人機對話技術(shù)評測(SMP-ECDT

III)11SMP

ECDT

III委員會?

主席?

張偉男?

哈爾濱工業(yè)大學(xué)?

委員?

陳志剛，科大訊飛?

車萬翔，哈爾濱工業(yè)大學(xué)?

張軼博，華為?

黃民烈，清華大學(xué)12SMP-ECDT

III?

（深度）自然語言理解評測?

領(lǐng)域-意圖-語義槽?

例如：“我想訂上海飛往北京的航班”?

評測指標(biāo)：?

SentenceACC?領(lǐng)域、意圖識別和語義槽填充全做對！?

特點（難點）?

符合任務(wù)型對話的真實應(yīng)用場景?

多領(lǐng)域性、多意圖性/smp2019/evaluation.html13任務(wù)一結(jié)果排名（2019.07.15）SMP-ECDT

III?個性化對話生成評測?

給定特定用戶屬性，生成符合

該屬性的個性化對話回復(fù)?

特點?

百萬級數(shù)據(jù)集?

客觀+主觀評價?

BLEU

、Perplexity

、Distinct?

Fluency

、Personality

、

Appropriateness/smp2019/evaluation.html

15任務(wù)二結(jié)果排名（2019.07.15）人機對話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對話為了完成某項任務(wù)而達到某個目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對話沒有明確的對話目標(biāo)任務(wù)型對話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）開放域聊天（聊天）（Open

Domain

Chatting）VS典型應(yīng)用：聊天機器人典型應(yīng)用：智能助手17VS開放域聊天（聊天）（Open

Domain

Chatting）典型應(yīng)用：聊天機器人人機對話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對話為了完成某項任務(wù)而達到某個目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對話沒有明確的對話目標(biāo)任務(wù)型對話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）典型應(yīng)用：智能助手18對話狀態(tài)跟蹤...自然語言生成...開放域?qū)υ?聊天)系統(tǒng)構(gòu)成隱式反饋跟蹤確認(rèn)狀態(tài)跟蹤澄清狀態(tài)跟蹤詞法、句法、語義分析拒識回復(fù)確認(rèn)及澄清回復(fù)多領(lǐng)域用戶對話意圖識別多領(lǐng)域?qū)υ挔顟B(tài)跟蹤上下文建模情感回復(fù)個性化回復(fù)風(fēng)格化回復(fù).

.

.對話質(zhì)量評估情感分析拒識、確認(rèn)、澄清、隱式反饋...TTS領(lǐng)域內(nèi)分析及處理ASR多領(lǐng)域?qū)υ挔顟B(tài)分布自然語言理解文本或語音文本或語音狀態(tài)更新特征表示特征表示中間結(jié)果終端19...聊天技術(shù)的前沿研究點Zhanget

al.

(2018)Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)個性化&風(fēng)格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感對話Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)模型優(yōu)化知識擴展內(nèi)容控制20Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Zhanget

al.

(2018)

Luanet

al.

(2017)機器人畫像Qianet

al.

(2018)特色

功能對話

生成Ghazvininejadetal.(2018)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)對話

生成模型優(yōu)化知識擴展內(nèi)容控制21Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)Zhanget

al.

(2018)Yaoetal.

(2017)Keetal.

(2018)Xinget

al.

(2017)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Joshiet

al.

(2017)

Wanget

al.

(2017)個性化&風(fēng)格化Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Huberet

al.

(2018)Zhouet

al.

(2018)Asgharetal.

(2018)

Sunet

al.

(2018)Zhouet

al.

(2017)情感對話聊天技術(shù)的前沿研究點Zhanget

al.

(2018)Luanet

al.

(2017)機器人畫

復(fù)質(zhì)量Zhanget

al.

(2018)特色

功能?

M：你今年多大了？?

R：我不知道?

M：你怎么不知道？?

R：我也是?

M：呵呵好吧?

R：好的?

M：我考試沒及格?R：我的天！?

M：我該怎么告訴媽媽？?

R：快去給她個驚喜?

M：我考試得了滿分?

R：太棒了?

M：我該怎么告訴媽媽？?

R：快去給她個驚喜回復(fù)質(zhì)量上存在的挑戰(zhàn)22局部學(xué)習(xí)上下文無關(guān)?

M：你今年多大了？?

R：我不知道?

M：你怎么不知道？?

R：我也是?

M：呵呵好吧?

R：好的萬能回復(fù)相關(guān)性差?

M：我考試沒及格?R：我的天！?

M：我該怎么告訴媽媽？?

R：快去給她個驚喜?

M：我考試得了滿分?

R：太棒了?

M：我該怎么告訴媽媽？?

R：快去給她個驚喜回復(fù)質(zhì)量上存在的挑戰(zhàn)23優(yōu)化初始的解碼過程?

動機：解碼的第一個輸出對后面的整句起決定性作用QingfuZhu,WeinanZhang,Ting

Liu.

Learningto

Start

for

Sequenceto

Sequence

based

Response

Generation.

CCIR

2018

24更好地利用檢索結(jié)果提高對話生成質(zhì)量?檢索式對話模型流暢性好?

生成式對話模型多樣性強?

如何將兩者有效結(jié)合？?

大規(guī)模數(shù)據(jù)訓(xùn)練容易導(dǎo)致萬能回復(fù)?

利用標(biāo)準(zhǔn)回復(fù)“判別”檢索結(jié)果?

將判別后的檢索結(jié)果“生成”回復(fù)?

發(fā)表于ACL2019QingfuZhu,Lei

Cui,Wei-NanZhang,FuruWei,TingLiu.

Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACL201925基于可控內(nèi)容生成提升對話回復(fù)多樣性?

動機：萬能回復(fù)的特點是無信息量，

通過控制回復(fù)中生成的內(nèi)容能夠提升生成質(zhì)量QingfuZhu,Wei-NanZhang,Lei

Cui,TingLiu.Retrieval-EnhancedAdversarial

Training

forNeural

Response

Generation[C].ACMTALLIP201926知識嵌入序列到序列單輪聊天-

回復(fù)生成技術(shù)benben

<EOS>amI模型優(yōu)化內(nèi)容優(yōu)化Ghazvininejadet

al.(2018)AAAIareyou<EOS>內(nèi)容控制Zhanget

al.

(2018)ACLShanget

al.

(2015)ACLbenbenWho27amI更好地建模多輪對話歷史的語義?

動機：利用Attention獲取多輪對話歷史語義信息，避免循環(huán)式神

經(jīng)網(wǎng)絡(luò)的梯度衰減問題Wei-NanZhang,YimingCui,YifaWang,QingfuZhu,LingzhiLi,LianqiangZhou,Ting

Liu.

Context-Sensitive

Generation

of

Open-Domain

Conversational

Responses[C].

COLING2018

28動態(tài)建模多輪對話的策略?

動機：多輪對話過程是動態(tài)變化的，

不能用單輪的貪心方式來建宋皓宇,張偉男,劉挺.基于DQN的開放域多輪對話策略學(xué)習(xí).SMP2017

Best

Paper模多輪的過程29挖掘用戶隱式反饋延長對話輪次?

動機：用戶的回復(fù)內(nèi)容中通常包含了一些隱式反饋，如立場、情

緒等的潛在信息，能夠反映對話生成的質(zhì)量Wei-NanZhang,LingzhiLi,Dongyan

Cao,Lianqiang

Zhou,

Ting

Liu.

Exploring

Implicit

Feedback

for

Open

Domain

Conversation

Generation[C].AAAI201830重排序模型多輪聊天-

回復(fù)生成技術(shù)Serbanet

al.

(2017)AAAI層次化模型強化學(xué)習(xí)模型深度學(xué)習(xí)強化學(xué)習(xí)Sordoniet

al.

(2015)

NAACLZhanget

al.

(2018)AAAI31Zhanget

al.

(2018)Qianet

al.

(2018)

Orabyet

al.

(2018)Zhanget

al.

(2018)

Mazaré

etal.

(2018)

Moet

al.

(2018)Yanget

al.

(2017)Wanget

al.

(2017)Zhanget

al.

(2018)Serbanet

al.

(2017)Zhaoet

al.

(2017)

Wuet

al.

(2017)Tianet

al.

(2017)上下文建模Ghazvininejadetal.(2018)Ke

et

al.

(2018)聊天技術(shù)的前沿研究點Zhuet

al.

(2018)Xingetal.

(2017)Yuetal.

(2017)Songetal.

(2017)Li

etal.

(2017a,b)模型優(yōu)化知識擴展內(nèi)容控制32Zhanget

al.

(2018)Yao

etal.

(2017)Xinget

al.

(2017)Zhouet

al.

(2018)Sunet

al.

(2018)Zhouet

al.

(2017)Liuetal.

(2018)

Zhou

et

al.

(2018)Zhuet

al.

(2017)Huberet

al.

(2018)Asgharetal.

(2018)Zhanget

al.

(2018)

Luanet

al.

(2017)機器人畫像Joshiet

al.

(2017)個性化&風(fēng)格化特色

功能對話

生成用戶體驗情感對話個性化回復(fù)生成自由文本描述的個性信息顯式建模個性化信息客觀評價個性化屬性回復(fù)準(zhǔn)確率給定帶有個性化屬性信息的

結(jié)構(gòu)化數(shù)據(jù)隱式建模個性化信息人工評價回復(fù)是否包含個性給定帶有個性化偏好信息的

自然語言描述性段落VS結(jié)構(gòu)化個性信息表示33VS顯式建模個性化信息客觀評價個性化屬性回復(fù)準(zhǔn)確率給定帶有個性化屬性信息的

結(jié)構(gòu)化數(shù)據(jù)給定帶有個性化偏好信息的

自然語言描述性段落人工評價回復(fù)是否包含個性隱式建模個性化信息個性化回復(fù)生成代表性工作自由文本描述的個性信息結(jié)構(gòu)化個性信息表示Zhanget

al.

(2018)ACLQianet

al.

(2018)

IJCAI34NIPSConvAI2個性化聊天回復(fù)生成35?

聊天機器人的目標(biāo)是“像”人?人的一個特性是具備個性化?

屬性信息?

說話風(fēng)格?機器人能否模擬人的個性生成回復(fù)?

將個性化信息加入到對話生成模型中?

實現(xiàn)生成回復(fù)的個性化和多樣性?

發(fā)表于IJCAI2019引入個性化信息提高對話生成的多樣性Haoyu

Song,Wei-NanZhang,YimingCui,DongWang,TingLiu.ExploitingPersonaInformationforDiverseGeneration

of

Conversational

Responses[C].IJCAI201936風(fēng)格化回復(fù)的直觀印象Iwant

acupof

americano.Having

hereortakeaway?Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.37風(fēng)格化回復(fù)的直觀印象OK!Thesameas

usualandalsotake

away

hah?Hibuddy!

Whatwouldyou

liketodrink

today?Iwant

acupof

americano.Iwant

acupof

americano.Welcome,

havea

niceday!Having

hereortakeaway?YehSure,Thanks!Takeaway,

Thanks!Can

I

helpyou?You’rewelcome.38已有風(fēng)格化文本生成工作39已有風(fēng)格化文本生成工作40詞/短語替換模型規(guī)則學(xué)習(xí)對抗學(xué)習(xí)41風(fēng)格化生成技術(shù)對抗生成模型編碼解碼模型Prabhumoyeetal.

(2018)

ACLLiet

al.

(2018)

NAACLFuet

al.

(2018)

AAAI風(fēng)格化回復(fù)：

一個初步的嘗試?

首次利用遷移學(xué)習(xí)進行風(fēng)格化回復(fù)生成?

首次提出類圖靈測試的回復(fù)風(fēng)格人工評價方法42VS任務(wù)型對話（任務(wù)執(zhí)行）（Task-oriented

Dialogue）典型應(yīng)用：智能助手人機對話主要技術(shù)方向特定域內(nèi)輸入和輸出的空間有限盡快完成任務(wù)結(jié)束對話為了完成某項任務(wù)而達到某個目標(biāo)輸入和輸出空間無限大盡可能延續(xù)對話沒有明確的對話目標(biāo)開放域聊天（聊天）（Open

Domain

Chatting）典型應(yīng)用：聊天機器人43對話狀態(tài)（Dialogue

state）出發(fā)地=NULL到達地

=北京出發(fā)時間=NULL對話管理（DM）知識庫(KB)及

APIs自然語言理解（NLU）任務(wù)型對話系統(tǒng)的結(jié)構(gòu)語義幀（Semanticframe）領(lǐng)域：機票意圖：訂機票語義槽：到達地=北京狀態(tài)追蹤

（DST）策略優(yōu)化

（DPO）假設(shè)/觀測（Hypothesis/Observation）幫我訂一張去北京的機票自然語言生成（NLG）對話動作（Dialogue

action）詢問(出發(fā)地)語音識別（ASR）語音合成（TTS）

領(lǐng)域識別

意圖識別

語義槽填充

（Text

response）請問您從哪里出發(fā)？用戶文本回復(fù)語音信號44任務(wù)型對話NLU的研究熱點?意圖識別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU45任務(wù)型對話NLU的研究熱點?意圖識別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU46意圖識別與槽填充聯(lián)合建模?意圖識別與槽填充不是相互獨立而是緊密聯(lián)系的?

傳統(tǒng)獨立的建模意圖識別和槽填充，既會引出錯誤級聯(lián)，也無法

利用共有的知識。?

例如：如果這句話意圖是WatchMovie，那么這句話包含的Slot槽值應(yīng)該

是電影相關(guān)而不是音樂相關(guān)47已有工作[ZhangandWang,2016][Liuand

Lane,

2016][Gooet

al,

2018][Li

etal,

2018]48?系統(tǒng)架構(gòu)圖StoryFishFindencesSent基于Stack-propagation的聯(lián)合學(xué)習(xí)?

Stack-propagation?

一種多任務(wù)學(xué)習(xí)框架?

任務(wù)之間有層次依賴關(guān)系[Ongoingwork]

49Sentences

FindFishStoryIntentDetectionEncoderTaskBTaskBEncoderTask

ATask

A(a)Multi-taskframework(b)Stack-propagationdifferentiablelinkIntents

SearchSESearchSEPlay_musicPlay_musicGatedmechanismOOI_music_nameI_music_nameB_music_nameB_movie_nameOOI_movie_nameI_movie_nameB_movie_nameB_movie_name(b)Our

Synchronous

Intent-Augmented

mechanism(a)The

prior

work

intent-gated

mechansimIntentDetectionPredicted

SlotsPredicted

SlotsGold

SlotsGold

SlotsIntents實驗結(jié)果50任務(wù)型對話NLU的研究熱點?意圖識別與槽填充聯(lián)合建模?標(biāo)注數(shù)據(jù)不足條件下的NLU51?

動機?

對話技術(shù)平臺需要用戶上傳大量的標(biāo)注數(shù)據(jù)?

能否幫助用戶自動擴充標(biāo)注數(shù)據(jù)，減小標(biāo)注工作量？標(biāo)注數(shù)據(jù)的自動擴充whereisthe

<distance>

<poitype>canyoufindthe<distance><poitype>

to

megivemetheaddresstothe

<distance>

<poitype>Seq2Seq

Generationwhereisthe

nearestshopping

mallcanyoufindthenearest

reststop

to

megivemetheaddressto

the

near

groceryshowmethe<distance>

<poi

type>#1showmethe<distance>

<poi

type>#2showmethe<distance>

<poi

type>#3showmethe

[closest]<distance>[restaurant]<poitype>Yutai

Hou,Yijia

Liu,WanxiangCheandTing

Liu.

DataAugmentationfor

Dialogue

Language

Understanding.

COLING

2018.showmethe

<distance>

<poitype>

Diverse

Ranks

Incorporation

Surface

Realisation

Delexicalisation

Augmented

UtteranceOne

Utterance52?

模型?

Seq2Seq模型?

相似的訓(xùn)練數(shù)據(jù)構(gòu)成“復(fù)述”對find

methe

<distance>

routeto

<poi

type>(5

.

0)

istherea

<distance>

<poi

type>(1.

0)

give

methe

<distance>

routeto

<poi

type>(4

.

4)

l

'

m

desiring

to

eatatsome

<poi

type>

isthere

any

in

<distance>find

methe

<distance>

routeto

<poi

type>

＃1→

is

there

a

<distance>

<poi

type>find

me

the

＜dis