1、雙語語料庫 常用建庫及檢索軟件的應用常用建庫及檢索軟件的應用上海交大語料庫翻譯學暑期講習班7.11-12, 2012CONTENTSn語料庫的基本特征n語料抽樣：理論與抽樣操作n語料文本的基本處理：主要處理方式和實現(xiàn)方式n雙語語料的對齊：方式和方法n語料檢索：基本檢索和高級檢索(普通、正則和term list)n雙語語料檢索：基本檢索和高級檢索n語料數(shù)據(jù)后續(xù)處理：z-score; log-likelihood; factor analysis; correlation; keynessn微型教學語料庫的創(chuàng)建和使用n翻譯課堂教學用雙語語料的制作和應用語料庫的基本特征-1nComputer-rea

2、dable: txt, xml, html, doc, pdfnConsistency: nhis mother; his mother; hisnmothernAnnotation: n我們_r; 我們/r; 我們; 我們nHeader: n有關文本的元信息，涉及文本的作者、文體、出版時間等nChineseEnglishMeiGuoShiWeiYeChou13GShangwuyinshuguan1929B23052n相對完整的語料文件范本語料庫的基本特征-2n語料庫可以視為結構合理的語料文件的集合。往往以數(shù)據(jù)庫形式存在（如文件夾）。這是語料庫建庫工作中最重要的部分，也是最耗時費力的部分。n語

3、料數(shù)據(jù)庫建成之后，就可以從庫中提取信息，稱為檢索。檢索效果高低要看能否充分運用檢索手段，但最終依賴語料庫本身能提供多少可能性。n檢索結果的處理需要技巧，事關處理的質量和效率。語料抽樣：理論與抽樣操作n有代表性、結構合理的語料文本集合，但不是任意搜集的文本數(shù)據(jù)庫，也不是越大越好，而是“finite-sized body of machine-readable text”，語料庫通常有抽樣框架。一般說來，處于研究的需要，語料宜盡量平衡，這樣就不能照單全收，需要考慮從中抽取一部分。抽取多少，如何抽取，這個問題可以說眾說紛紜。nBrown/LOB：分層抽樣，大小一致；分層抽樣如文學中小說占35%，散文

4、占8%，戲劇占2%。2nd generation corpora: The Corpus di Italiano Scritto nBNC：大小不一（max：40，000 words）；25%/75%（lit./inf.）nENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 19751995n抽樣字數(shù)及分配 語料取樣計算語料文本的基本處理：主要處理方

5、式-1n語料的最常用存儲方式是純文本，純文本顧名思義就是只有文字，不支持任何其他字符格式，如粗體、斜體、下劃線、表格框，等等。語料以這種方式存儲占用空間極小，且?guī)缀跛袡z索軟件都支持。n將語料以這種方式存儲只是檢索的操作，更重要的是讓存儲的文本內容規(guī)范，格式盡量一致，而且沒有亂碼，不必要的空格和軟回車、硬回車，等等文本噪音。要做到這些，就需要對語料進行按部就班的處理。使用Microsoft Word可以對文本進行處理。語料文本的基本處理：主要處理方式-2nWord中的替換、Macro的使用n其他語料文本處理工具的使用（Editplus）語料文本的基本處理：主要處理方式-3n規(guī)范語料文件的生成：

6、無噪音、符合預期的加工規(guī)范（標記充分）。nHeadern|nPOSn存儲格式（txt|xml）n輔助軟件的使用：通常會包含包含文本除噪程序的headadder，txtmarker。其實除噪是執(zhí)行一些替換性的操作（see next slide）語料文本的基本處理：主要處理方式-4n$line=s/sn/n/g; #matching and replacing alln$line=s/(.)n/$1 /g; #matching and replacing alln$line=s/rn/#/g; #matching and replacing alln$line=s/*/g; #matching a

7、nd replacing alln$line=s/s*$/g; #matching and replacing alln$line=s/s0,/s/g; #matching and replacing alln$line=s/sn/n/g; #matching and replacing alln$line=s/Zn/#/g; #matching and replacing alln$line=s/ +/ /g; #replace more whitespaces with just onen$line=s/s+(#2,)/$1/g; #matching and replacing all語料

8、文本的基本處理：主要處理方式-5n添加metadata后的語料樣態(tài)語料文本的基本處理：主要處理方式-6雙語語料的對齊：方式和方法-1n對齊就是源文和譯文對應。翻譯語料的主要特征是對齊。n對齊的語言層級：n段對齊n句對齊n段對齊中的句對齊n對齊方式不同，與創(chuàng)建語料庫的目的有關。比如，如果僅僅用于輔助翻譯，就可以采用句對齊。而要用于翻譯研究，就需要考慮段落層面的語言使用信息，如銜接、話語標記等。對齊軟件有很多，CAT類軟件、Paraconc、專門軟件。雙語語料的對齊：方式和方法-2n初始對應：源語、目標語文本段對齊，word下完成校對。這一步最重要。nParaconc可以考慮添加s標記。n對齊：軟

9、件對齊。如aligner，paraconc；Trados，dejavu，bitext2tmx。前兩者提供段對齊和句對齊；后三個軟件一般只提供句對齊。語料賦碼nAnnotation, 就是加標簽（tagging）.n標注的分類：自動標注、人工標注；詞性-句法標注、功能標注；標注標記_、/、。n人工標注主要是指功能性標注，如語義標注、翻譯手段的標注，以及為滿足特定研究目的進行的附碼如話輪、間接、直接言語行為，等等。從一定意義上說，人工標注涉及更深語言層面，標注充分對于研究自然更有意義。n自動標注主要包含詞性標注和句法標注，可以通過軟件來實現(xiàn)。語料編碼、存儲格式n使用text文本時，缺省編碼為ANS

10、I。用于WordSmith用的語料文本一般應為unicode。許多軟件如Antconc等支持utf-8編碼，這種編碼各種語言通用，最不易出現(xiàn)亂碼。實現(xiàn)方式：txt文本，另存為，“編碼”對話框中選擇utf-8即可。n存儲方式n語料數(shù)據(jù)文件最好能在不同的檢索程序上通用，甚至可以在一些現(xiàn)成的管理程序如excel上執(zhí)行數(shù)據(jù)信息的計算，分析和管理。要實現(xiàn)這樣的功能，簡單存儲為txt文本顯然不能滿足以上要求。這時就需要一種比較完整地數(shù)據(jù)存儲方式xml。n可擴展標記語言 (Extensible Markup Language) 可以用來標記電子文件，標記后的文件有結構性的標記語言。既然標記數(shù)據(jù)就可以通過標記

11、定義數(shù)據(jù)的類型，而且標記可以根據(jù)我們自己的需要自行定義，合乎語法就行。Xml生成語料檢索：基本檢索和高級檢索-1n檢索與語言使用的范疇、特征n曲折變化：move, moves, moving, movedn派生：move, movementn詞性：move(v.), wove(n.)； in, at, on, over, upon, fromn人稱：I, me, we, usn短語、組合能產：a lot of, a part of, a cup of, a piece ofn結構能產：give me a book; send his father a messagen V NP NP ; V

12、NP NPn語言使用的特征決定了檢索不太可能是token，許多情況下要檢索到type，或者需要詞性線索。語料檢索：基本檢索和高級檢索-2n檢索語種數(shù)量n主要的單語檢索軟件：Wordsmith， Monoconc，Antconcn雙語檢索：Paraconc， CAT，自行設計的檢索軟件（歷時語料檢索）n基本檢索n以Antconc為例實施檢索?；緳z索包含token檢索和wild card檢索，檢索前先要熟悉語料的存儲方式。n高級檢索nAntconc中的單語高級檢索：正則表達式檢索，使用正則表達式的term list檢索。雙語語料檢索：基本檢索和高級檢索nParaconc中的雙語高級檢索：正則表達

13、式檢索n滿足某些研究需要的正則表達式檢索：歷時語料庫檢索平臺 omegaT檢索語料檢索小結n正則表達式的檢索功能有些使用通配符也能做到，但有些則是通配符檢索無法實現(xiàn)的。實際檢索時發(fā)現(xiàn)，在詞匯層面，漢語的疊詞以及隔詞重復的精確檢索只能使用正則表達式，使用通配符也能勉強檢索，但無法精確檢索；在句子層面，正則表達式能使準確的句段長度檢索和嚴格的句段內部結構檢索成為可能。n正則表達式的使用看上去有些繁瑣，但只要肯花點時間熟悉元字符的意義，使用起來也比較方便，它還有助于提高檢索的準確性和效率，進而提高語言研究的質量。語料數(shù)據(jù)的后續(xù)處理-1n語料檢索的目的是發(fā)現(xiàn)問題，而語料庫檢索發(fā)現(xiàn)的問題主要表現(xiàn)在頻次、

14、頻率上。語料庫的這一長處必須充分發(fā)揮，才稱之為語料庫語言研究。n頻次、頻率典型表達為數(shù)字，處理數(shù)字問題關系到研究結論的可信度，需要使用一些處理方法，常用的處理方法有：n頻率對比：特定的詞、詞叢、詞性賦碼串；使用WS或Antconc中keyness工具對比詞表、詞叢表n搭配強度計算：Z-scoren頻率差異顯著性計算：log-likelihood計算n一般說來，詞表對比的結果可以重新標注用于分類處理語料數(shù)據(jù)的后續(xù)處理-2n重復詞項計算nFacotor analysis (SPSS)nCorrelation analysis (SPSS)平行語料庫輔助翻譯應用n基本思路：已有翻譯為參照，為當下翻譯提供參考；建立術語庫，使術語統(tǒng)一成為可能。nCAT的主體部分是TM和Term DatabasenCAT軟件：Trados，Deja vu，雅信，（免費）OmegaTnTrados商業(yè)使用最為