第三章

機(jī)器翻譯質(zhì)量評(píng)估本章導(dǎo)言學(xué)習(xí)目標(biāo)：掌握機(jī)器翻譯質(zhì)量核心概念；理解人工測(cè)評(píng)標(biāo)準(zhǔn)與模型；熟悉自動(dòng)評(píng)估主要方法；區(qū)分有參考與無參考評(píng)估。四大核心模塊：質(zhì)量評(píng)估概述與意義人工測(cè)評(píng)標(biāo)準(zhǔn)及應(yīng)用有參考自動(dòng)評(píng)估方法無參考自動(dòng)評(píng)估技術(shù)第一部分：機(jī)器翻譯質(zhì)量人工測(cè)評(píng)的指標(biāo)及方法本節(jié)導(dǎo)讀：1.借鑒傳統(tǒng)翻譯行業(yè)標(biāo)準(zhǔn)2.依據(jù)質(zhì)量評(píng)測(cè)模型3.為機(jī)器翻譯特點(diǎn)調(diào)整四大翻譯行業(yè)相關(guān)標(biāo)準(zhǔn)歐洲翻譯標(biāo)準(zhǔn)EN15038:2006注意術(shù)語、語法、詞匯、語言風(fēng)格、區(qū)域特點(diǎn)、格式、譯文的目標(biāo)受眾和使用用途等諸多因素美國材料與試驗(yàn)協(xié)會(huì)標(biāo)準(zhǔn)ASTMF2575-14滿足要求的翻譯質(zhì)量歸納為譯文符合雙方約定具體要求的程度國際翻譯服務(wù)流程標(biāo)準(zhǔn)ISO17100其中很多內(nèi)容與EN15038相似，目前是全球最主要的翻譯服務(wù)流程標(biāo)準(zhǔn)。中國翻譯服務(wù)譯文質(zhì)量標(biāo)準(zhǔn)GB/T19682-2005將譯文使用目的分為四類(1類——作為正式文件、法律文書或出版文

稿使用；2類——作為一般文件和材料使用；3類——作為參考資料使用；4類——作為內(nèi)容概要使用)翻譯行業(yè)主要相關(guān)標(biāo)準(zhǔn)LISAQAModel七類評(píng)估維度，三級(jí)錯(cuò)誤權(quán)重可獨(dú)立使用或集成至系統(tǒng)動(dòng)態(tài)翻譯質(zhì)量框架(DQF)基于功用、時(shí)間、觀感三大參數(shù)支持多維度評(píng)估，靈活定制翻譯多維質(zhì)量標(biāo)準(zhǔn)模型(MQM)層次化評(píng)價(jià)系統(tǒng)，可定制粒度適用人工與機(jī)器翻譯，注重實(shí)用性基于機(jī)輔翻譯工具的QA模型通過歷史數(shù)據(jù)訓(xùn)練質(zhì)量預(yù)測(cè)模型四角色分工的眾包譯后編輯流程其他翻譯質(zhì)量評(píng)價(jià)模型第二部分：機(jī)器翻譯質(zhì)量自動(dòng)評(píng)估的指標(biāo)及方法有參考譯文的質(zhì)量自動(dòng)評(píng)估核心思想：比較機(jī)器譯文與參考譯文相似度。三類主要方法：基于N-gram相似度基于詞匯相似度基于譯后編輯率有參考譯文的質(zhì)量自動(dòng)評(píng)估基于N-gram相似度：BLEU方法核心原理：N-gram匹配+短句懲罰因子(BP)優(yōu)缺點(diǎn)：廣泛使用但忽略語義基于詞匯相似度：METEOR方法核心原理：詞對(duì)齊+詞干/同義詞匹配+語序懲罰

優(yōu)缺點(diǎn)：更接近人工，但依賴外部詞表基于譯后編輯率：TER方法核心原理：以譯后編輯工作量衡量質(zhì)量

編輯操作：

增、刪、替、移

適用場(chǎng)景：評(píng)估PE工作量無參考譯文的質(zhì)量自動(dòng)評(píng)估任務(wù)定義：不依賴參考譯文的譯文質(zhì)量預(yù)測(cè)。三類主要方法：預(yù)測(cè)譯后編輯距離基于特征提取的機(jī)器學(xué)習(xí)基于大語言模型的評(píng)估無參考譯文的質(zhì)量自動(dòng)評(píng)估預(yù)測(cè)譯后編輯距離單詞級(jí)，短語級(jí)，句子級(jí)譯后編輯距離基于特征提取的機(jī)器學(xué)習(xí)特征工程：復(fù)雜度，流暢度，置信度，充分度特征工具：COMET模型，神經(jīng)網(wǎng)絡(luò)方法基于大語言模型的評(píng)估提示工程的，思維鏈技術(shù)的，基于偏好模型的自動(dòng)評(píng)價(jià)方法第三部分：機(jī)器翻譯常見質(zhì)量問題六大錯(cuò)誤類型險(xiǎn)譯者主體性變化語法錯(cuò)誤含義混淆術(shù)語錯(cuò)誤