生成式AI解決方案架構(gòu)師亞馬遜云科技*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?Prompt/Agent優(yōu)化*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外WMT2024翻譯效果評估*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外更多…*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外低中低低低高低低低低高高OnlineTravelAgent(OTA)低高中較低，拼寫/語法正確低*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外"We'rebuffingthedroprate"We'rebuffingthedropratebuffing→緩沖*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外日期格式混淆(MM/DD/YYYYvsDD/MM/YYYY)[實(shí)例分析]05/06/2023→美國:5月6日|歐洲:6月5日約$1,400*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外問題類型問題類型英文"camping“在泰語翻譯中保留原詞阿拉伯語翻譯中將"T-shirt“重復(fù)為"????????????"符號/拼寫錯(cuò)誤Apostrophe使用錯(cuò)誤(Men`s而非Men's)格式變化普通文本轉(zhuǎn)化為帶編號和分段的格式指令對齊階段過度強(qiáng)化markdown根本原因根本原因:大模型推理過程基于概率采樣，輸出不穩(wěn)定。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外基于Prompt/Agent基于Retrieval增強(qiáng)2基于Prompt/Agent基于Retrieval增強(qiáng)23*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?針對目標(biāo)國家的文化進(jìn)行適配*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外構(gòu)建多次調(diào)用的Workflow/Agent（本質(zhì)是提供更全面的上下文）深度理解上下文深度理解上下文*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?性能第一梯隊(duì)的大模型，對于Prompt提示詞的要求很低，無需在Prompt詳細(xì)闡述具體要求，可以自動(dòng)根據(jù)翻譯場景?Workflow/Agent的翻譯，能提升翻譯效果，但仍受限于一Claude3.5sonnetvsClaude3haiku在中韓翻譯測試集上Prompt優(yōu)化前后的指標(biāo)(sacrebleu,meteor,nist,llm_eval)對比。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?利用歷史人工翻譯數(shù)據(jù)作為參考樣例?LLM模仿參考樣例的翻譯風(fēng)格和用詞?樣例召回方式：語義搜索或關(guān)鍵詞搜索?僅提取Topk相關(guān)樣例置入Prompt?提前構(gòu)建跨語言術(shù)語庫?翻譯時(shí)引入術(shù)語映射供LLM參考?術(shù)語召回方式：精確詞匹配?匹配原文中出現(xiàn)的術(shù)語及對應(yīng)多語言映射構(gòu)建增強(qiáng)Prompt構(gòu)建增強(qiáng)Prompt*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外英文原文：GENUINEWhirlpool3394083RetainerCl真正的惠而浦3394083固定夾32.470.570.93惠而浦原裝3394083固定夾100.000.83英文原文：4PRefrigeratorWaterDripTrayCatcher,WaterDripSplashGuardCatcherAGe、Whirlpool、Samsung冰箱3.620.2231.880.54【對比】前者無需依賴向量模型，主要依靠關(guān)鍵詞來進(jìn)不會召回沒有關(guān)鍵詞命中的翻譯樣例，但可能會出現(xiàn)搜為空的情況以至于沒有提供翻譯樣例，大多數(shù)情況*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外2.可以給出之前翻譯風(fēng)格，能夠讓大模型了解當(dāng)前翻譯場景的業(yè)務(wù)/文化背景，實(shí)現(xiàn)翻譯的信雅達(dá)。Originaltext：SincOriginaltext："Asthegodsgazeuponthisrealm,thesunandmoonwane,bowingbeneaththeweightoftheiretherealstare."ThistowerstandingatthecenterofRuimuandrisingintotheskyisthehomeofgods.DirectTranslation："當(dāng)諸神凝視這片領(lǐng)域時(shí)，日月低垂，屈從于它們超凡脫俗的注視之下。"*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外如果已有的翻譯樣例是句子粒度的，開銷就是1200Token。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外配合精準(zhǔn)的術(shù)語映射召回，即使小規(guī)模模型在特定領(lǐng)域?qū)崿F(xiàn)精準(zhǔn)用詞*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外22*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外 如果沒有現(xiàn)成的多語種術(shù)語庫，可以通過大模型的workflow來基于某網(wǎng)上開源的游戲詞典進(jìn)行抽取測試，發(fā)現(xiàn)大模型對專980796.68%860096.24%622294.70%436892.05%*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外marisa_trie包，內(nèi)存*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外 專詞映射表。ParameterSto*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?實(shí)現(xiàn)相對復(fù)雜?實(shí)現(xiàn)相對復(fù)雜?需要業(yè)務(wù)人員長期維護(hù)術(shù)語庫?無法提供翻譯風(fēng)格的參考?可以保證術(shù)語召回的精準(zhǔn)性及一致性，實(shí)現(xiàn)全局的術(shù)語一致性?額外的token消耗少?便于長期維護(hù)和對翻譯問題的TroubleShooting*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外?No_Retrieval?Reference_Retrieval?Sacrebleu、?Sacrebleu、meteor和nist是傳統(tǒng)評價(jià)翻譯質(zhì)量的指標(biāo)，?llm_eval是大模型的評分，更關(guān)注翻譯風(fēng)格和流暢性，?ReferenceAndGlossa*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外采用模型訓(xùn)練采用模型訓(xùn)練/微調(diào)-置信度打分模型通過人工標(biāo)注的數(shù)據(jù)（原文通過人工標(biāo)注的數(shù)據(jù)（原文/譯文/錯(cuò)誤點(diǎn)/錯(cuò)誤原因和分類）去訓(xùn)練“評估”模型，可以?大模型的評價(jià)尺度和人工始終存在差別*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外采用模型訓(xùn)練采用模型訓(xùn)練/微調(diào)-錯(cuò)誤識別模型4拼寫/語法/符號錯(cuò)誤5數(shù)量/單位/量詞錯(cuò)誤?不再依賴商業(yè)大模型進(jìn)行MTQE，而是微調(diào)一個(gè)小尺寸的大模型，成本更便宜，速度更快?模型訓(xùn)練的核心目標(biāo)不再是篩選打分，而是強(qiáng)化識別業(yè)務(wù)上特別關(guān)注錯(cuò)誤的能力，能夠識別大模型因穩(wěn)定性不足的偶發(fā)問題*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外采用模型訓(xùn)練采用模型訓(xùn)練/微調(diào)-錯(cuò)誤識別模型?由于大模型Decoder的自回歸特性，前面生成的token對于后面模型并不能發(fā)現(xiàn)翻譯結(jié)果和分?jǐn)?shù)之間內(nèi)在的聯(lián)系，需要利token以后，模型在后續(xù)輸出時(shí)會根據(jù)這些前序token中的觀察和思考，提升正確rating出現(xiàn)的概率。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外采用模型訓(xùn)練采用模型訓(xùn)練/微調(diào)-錯(cuò)誤識別模型?簡單問題，可以多個(gè)任務(wù)公用一個(gè)模型，做一下數(shù)據(jù)均衡的即可。數(shù)據(jù)總規(guī)模千級別即可。?困難問題，沒有簡單的規(guī)律可循，需要盡可能采集足夠多的數(shù)據(jù)，可以采用一些合成的特殊手段。?簡單問題，可以多個(gè)任務(wù)公用一個(gè)模型，做一下數(shù)據(jù)均衡的即可。數(shù)據(jù)總規(guī)模千級別即可。?困難問題，沒有簡單的規(guī)律可循，需要盡可能采集足夠多的數(shù)據(jù)，可以采用一些合成的特殊手段。1234拼寫/語法/符號錯(cuò)誤5數(shù)量/單位/量詞錯(cuò)誤67*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外采用模型訓(xùn)練采用模型訓(xùn)練/微調(diào)–錯(cuò)誤識別模型?大多數(shù)情況下SupervisedFullFinetune優(yōu)于LoraFinetune?采用Rule-BasedReward的GRPO可以優(yōu)化模型輸出的MTQE分?jǐn)?shù)/hiyouga/LLaMA-Factory/hiyouga/EasyR1/aws-samples/llm_model_hub*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外工程實(shí)踐經(jīng)驗(yàn)-費(fèi)用優(yōu)化極簡Prompt+Prefill技巧【業(yè)務(wù)背景】在成本特別敏感的場景中，比如IM即時(shí)聊天場景，待翻譯的文字一般比較短。對于短文本翻譯，過長的翻譯Prompt會帶來額外費(fèi)用消耗，和不必要的延遲?！緦?shí)踐案例】【實(shí)踐案例】我們可以通過極簡的Prompt和Prefill技巧來盡可能的優(yōu)化成本。*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外工程實(shí)踐經(jīng)驗(yàn)-費(fèi)用優(yōu)化它是連續(xù)多個(gè)請求（相同Inputprompt的前綴)之間的緩存復(fù)用。緩存鍵是通過對Prompt*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外示例：…<span示例：…<spanclass="notranslate">BlackFriday50%+Off</span>...需保留原文不翻譯1轉(zhuǎn)換為Markdown圖片形式2Prompt中強(qiáng)調(diào)不翻譯圖片名稱3翻譯完成后，按順序關(guān)系替換回原始內(nèi)容*前述特定亞馬遜云科技生成式人工智能相關(guān)的服務(wù)僅在亞馬遜云科技海外小模型+極簡Prompt方案，確保響應(yīng)速度優(yōu)化Pr