1、2004 年度命名實體識別評測大綱一、評測對象本次評測的對象是現(xiàn)代漢語(包含大陸的簡體文本和港澳臺地區(qū)的繁體文 本)的命名實體(包含命名實體、時間表達(dá)式及數(shù)量表達(dá)式)識別系統(tǒng)中的核心 技術(shù)。二、評測內(nèi)容本次評測主要是對識別的正確率進(jìn)行評測。1. 命名實體識別評測 本次測試命名實體、時間詞、數(shù)字詞的識別。具體詞類的判斷規(guī)則參考 附錄中的說明。(1) 命名實體( ENAME)X 命名實體是文本中的固有名稱、縮寫及其他唯一標(biāo)識。子類包括組織名(ORGANIZATION)，人名(PERSON)，地名(LOCATION )。例如：“世 衛(wèi)組織”、“張三豐”、“淮海路甲一號”。(2) 時間表達(dá)式( TIM

2、EX) 時間表達(dá)式為文本中的相對或絕對時間短語。子類包括日期 (DATE) 和時間(TIME)。例如：“ 1993年3月”、“早晨5點30分”。(3) 數(shù)值表達(dá)式( NUME)X 本次評測中的數(shù)值表達(dá)式特指文本中出現(xiàn)的用于表示數(shù)值的數(shù)字短語。例如：“ 300”、“ 30”、“五倍”。2. 評測語料的選材原則 本次評測將選擇近期流通廣泛的圖書、報紙、期刊和網(wǎng)絡(luò)等載體作為語 料的來源，以期反映當(dāng)代漢語的最新面貌，涉及到的主題有政治、經(jīng)濟(jì)、體 育、交通、旅游、教育等。語料的選擇考慮到其平衡性、科學(xué)性和代表性。三、評測方法1.評測方式本次評測為現(xiàn)場評測。采用自動評測與人工輔助相結(jié)合的方式進(jìn)行2.評測步

3、驟：(1) 預(yù)先提供測試樣例(2) 在評測單位統(tǒng)一提供的評測環(huán)境上安裝被測系統(tǒng)(3) 評測單位給出測試數(shù)據(jù)(4) 運行被測系統(tǒng)，得出測試結(jié)果(5) 評測單位運行自動測試程序，統(tǒng)計出評測結(jié)果(6) 評測單位事后對自動評測結(jié)果進(jìn)行分析和核對， 評測的內(nèi)容進(jìn)行人工分析確定，并公布評測結(jié)果對其中難以進(jìn)行自動3.評測指標(biāo)分別對簡體和繁體文本的識別進(jìn)行打分。每種文本又分別對命名實體、 組織名、地名、人名、時間表達(dá)式、數(shù)值表達(dá)式進(jìn)行打分。評測采用三個指標(biāo)：正確率、召回率、F值。各指標(biāo)定義如下：(1)正確率表示識別出的詞語中出現(xiàn)在標(biāo)準(zhǔn)結(jié)果中的詞語比例，計算公式如下:正確率=識別出的詞語中出現(xiàn)在 標(biāo)準(zhǔn)結(jié)果中的詞

4、語數(shù)識別出的詞語總數(shù)100%召回率表示標(biāo)準(zhǔn)結(jié)果中被正確識別出的詞語比例，計算公式如下:識別出的詞語中出現(xiàn)在 標(biāo)準(zhǔn)結(jié)果中的詞語數(shù)標(biāo)準(zhǔn)結(jié)果中的詞語總數(shù)100%F1值是正確率和召回率的調(diào)和平均數(shù)，計算公式如下: 值=2正確率召回率F1=正確率+召回率4.輸入輸出文件格式被測系統(tǒng)讀入一個腳本文件，腳本文件含若干行，每行由三個部分組成,分別為繁體簡體(S/T)、輸入文件名、輸出文件名。舉例如下：S sourcea1.txt resultr_a1.txtT sourceb1.txt resultr_b1.txt輸入文件為一組簡體及繁體的標(biāo)準(zhǔn)的純文本文件，編碼方式為Unicode 。輸出文件為標(biāo)準(zhǔn)的文本格式

5、，編碼方式為 Unicode 。內(nèi)容是在原文的基礎(chǔ) 上對識別出的詞語進(jìn)行標(biāo)注。識別出的詞語標(biāo)記方法如下。利用以下標(biāo)記括起識別出的命名實體、時間表達(dá)式、數(shù)值表達(dá)式：<大類 TYPE= ”子類”>字符串 </大類> 其中，大類名為 ENAMEX 、TIMEX 、 NUMEX 之一。ENAMEX 的子類包括 ORGANIZATION、PERSON 和 LOCATION °TIMEX 的子類包括 DATE和TIME。 NUMEX 沒有子類。以下是輸出文件的樣例：<ENAMEX TYPE= ”PERSON ”>格林 </ENAMEX> 最近 的

6、狀態(tài) 非 常不錯 ， <TIMEXTYPE= ”DATE”兩周前 </TIMEX> 便曾在 <ENAMEX TYPE= "LOCATION ” 洛杉磯 </ENAMEX> 跑 出 過 <NUMEX>9</NUMEX> 秒 <NUMEX>86</NUMEX> 的 好 成 績 ， 這 <NUMEX> 一 </NUMEX> 次，借助每秒 <NUMEX>3.7</NUMEX> 米的 風(fēng)速，他追平了 <ENAMEX TYPE= ”PERSON”蒙哥馬利 &l

7、t;/ENAMEX><TIMEX TYPE= ”DATE”>2002 年 9 月 </TIMEX> 在 <ENAMEX TYPE= "LOCATION ” 巴黎 </ENAMEX> 創(chuàng)造的男子 <NUMEX> 百 </NUMEX> 米世界紀(jì)錄。四、評測環(huán)境本次評測環(huán)境包括： 操作系統(tǒng)為 Windows2000 ，硬件配置不低于： P4 1GHz， 256M 內(nèi)存， 40G IDE 硬盤。附錄 命名實體識別規(guī)范1 命名實體識別任務(wù) 命名實體任務(wù)由三個子任務(wù)組成（命名實體、時間表達(dá)式、數(shù)字表達(dá)式） 。被標(biāo)注的表 達(dá)式

8、為命名實體 （組織、人、地點 ）、時間（日期、時間）及數(shù)量。1.1 所有類型通用的規(guī)則（1）帶有省略成分的多個實體多個實體連 寫， 有共 用成分 的時 候標(biāo) 記為一個實 體， 例如 “ <ENAMEXTYPE= ”LOCATION ”南北美 </ENAMEX> ”、“<NUMEX>20 至U 30 倍</NUMEX> ”“<TIMEXTYPE= ”TIME ”凌晨三四點鐘 </TIMEX> ”、“ <NUMEX> 二十七八 </NUMEX> 歲”、 “<NUMEX>1 2 成</NUMEX&g

9、t; ”、“<TIMEX TYPE= ”DATE ”>6 月 3、4 號</TIMEX> ” 沒 有 共 用 成 分 的 時 候 分 別 標(biāo) 記 ， 例 如 “ <ENAMEX TYPE=”LOCATION ”> 北 京 </ENAMEX><ENAMEX TYPE= ”LOCATION ”>上海 </ENAMEX> ”、“ <NUMEX> 二十倍 </NUMEX> 或 <NUMEX> 三十倍 </NUMEX> ”。（2）時間或者數(shù)值范圍 利用兩個時間或數(shù)值表示一個范圍的短語分

10、開標(biāo)記，例如“<TIMEX TYPE=”TIME ”>八點 </TIMEX> 到 <TIMEX TYPE= ”TIME ”九點 </TIMEX> ”“ <NUMEX>30</NUMEX> 元到 <NUMEX>50</NUMEX> 元”。2 命名實體命名實體是對某一特定人、組織、地點、事件等的固有名、縮寫或其他特有標(biāo)識。這次評測中，我們只測試人、組織、地點三類命名實體。2.1 適用于所有類型的規(guī)則（ 1 ）一個實體嵌套在另一個實體中 當(dāng)一個實體是在另一個實體的一部分時，只標(biāo)記大的實體，而不標(biāo)記嵌套的實體。例

11、如：“<ENAMEX TYPE = "ORGANIZATION ”華沙條約組織 </ENAMEX> ”。（ 2）支配結(jié)構(gòu)當(dāng) 兩個實體 通過明確 的支 配詞呈支 配關(guān)系的 時候 ，兩個實 體分別標(biāo) 記。 例如， “ <ENAMEX TYPE= ”LOCATION ”> 聯(lián) 合 國 </ENAMEX> 的 <ENAMEXTYPE= ”LOCATION ”>安理會 </ENAMEX> ”。但是，如果是接續(xù)結(jié)構(gòu)則標(biāo)記為一個。例如， “<ENAMEX TYPE= ”LOCATION ”>聯(lián)合國安理會 </ENA

12、MEX> ”。（ 3）實體的別名 用于表示特定實體的別名、昵稱、簡稱、縮寫都是實體名。例如，“ <ENAMEXTYPE= ”O(jiān)RGANIZATION ”> 火 箭 </ENAMEX> ” （指 休斯 頓 火箭 隊 ）、“ <ENAMEX TYPE= ”O(jiān)RGANIZATION ”>中共 </ENAMEX> ”、“<ENAMEX TYPE=”O(jiān)RGANIZATION ”> IBM</ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ” 老張 </ENAMEX> ”、“ <ENA

13、MEX TYPE= ”PERSON ”王老 </ENAMEX> ”。（4）非特定的稱呼、短語不是實體名。例如，“我公司鄭重宣布 ”中的“我公司”、“我國申報了”中的“我國”、“公司決定”中的“公司”、“黨委批準(zhǔn)了”中的“黨委” 都是特定環(huán)境下特指的實體代稱，不能認(rèn)定為實體名。 “賣炭翁”不是人名。2.2 適用于組織名的規(guī)則組織包含機(jī)構(gòu)、企事業(yè)、運動隊、團(tuán)體、多國組織、黨派、聯(lián)盟等。（1）用于指定組織類型的詞組織名中用于指定組織類型的“公司”、“隊”等詞是組織名的一部分。 例如，“<ENAMEXTYPE= ”O(jiān)RGANIZATION ”> 世 界 衛(wèi) 生 組 織 <

14、/ENAMEX> ” 、 “ <ENAMEX TYPE= ”O(jiān)RGANIZATION ”>IBM 公 司 </ENAMEX> ”、“ <ENAMEX TYPE= ”O(jiān)RGANIZATION ”>北京隊 </ENAMEX> ”。（2）建筑物和組織僅有當(dāng)建筑物名用于表示駐在的組織的時候， 才會被標(biāo)記為組織名， 否則不標(biāo)記。 例如“五角大樓”，當(dāng)用于表示“美國國防部”時才被標(biāo)記為組織名，如“<ENAMEX TYPE= "ORGANIZATION ”五角大樓</ENAMEX>聲稱”，而在“飛機(jī)撞毀了五角大樓” 中的不標(biāo)記

15、為組織名。（3）事件和組織事件不作為組織標(biāo)記，例如“第 27 屆奧林匹克運動會”不標(biāo)記，但是和事件相關(guān)的組 織應(yīng)該標(biāo)記，例如“ <ENAMEX TYPE= ”O(jiān)RGANIZATION ”>北京奧組委 </ENAMEX> ”。2.3 適用于人名的規(guī)則人名包括現(xiàn)實或者虛構(gòu)的特定人或擬人的固有名。 人名包括漢名、 少數(shù)民族人名、 日本 人名、譯名、筆名 等。例如，“<ENAMEX TYPE= ” PERSON ”張三豐 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ”帕巴拉格列朗杰 </ENAMEX> ”、“ &l

16、t;ENAMEX TYPE=”PERSON”> 巴 根 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON”> 佐 藤 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ”中曾根康弘 </ENAMEX> ”、“ <ENAMEX TYPE= ” PERSON ”卡爾文U 易斯 </ENAMEX> ”、“ <ENAMEX TYPE= ” PERSON ”茅盾 </ENAMEX> ”、“<ENAMEX TYPE= ”PERSON”陳方安生 </ENAM

17、EX> ”。（ 1）昵稱和謚號用 于 表 示 特定 人 物的 昵稱 或 者 稱 號、 謚 號、 綽號 作 為 人 名， 例 如“ <ENAMEX TYPE= ”PERSON ”范文正公 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON”清圣祖 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ”> 劉 羅 鍋 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ”孑L 子 </ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON

18、 ”至圣先師</ENAMEX> ”。（2）用于表示家族當(dāng)人名用于表示家族的時候， 作為人名標(biāo)記。 這里用于表示姓氏的 “氏” 包含在人名中。 例如“ <ENAMEX TYPE= ”PERSON”蔣氏 </ENAMEX> 父子”。（3）用于表示世代的詞名字中用于表示世代、年齡的特定用詞作為名字的一部分。例如，“ <ENAMEXTYPE= ” PERSON ”伊麗莎 白二世 </ENAMEX> ”、“ <ENAMEX TYPE= "PERSON ”老張 </ENAMEX> ”。（4）頭銜和稱呼名字前或后的職位、角色稱呼不作

19、為名字的一部分。例如：“ <ENAMEX TYPE= ”PERSON ”王 </ENAMEX> 局長”、“ <ENAMEX TYPE= "PERSON ”李 </ENAMEX> 同志”。但是，由姓（可能是單姓、雙姓、復(fù)姓）及一個字構(gòu)成的稱呼被認(rèn)為是一個完整的 名字。兒化情況按沒有“兒”的情況進(jìn)行處理。例如，“ <ENAMEX TYPE= ” PERSON ”李老</ENAMEX> "、“ <ENAMEX TYPE= "PERSON"> 王 局 </ENAMEX> "、

20、“ <ENAMEX TYPE= ”PERSON”> 張 哥 </ENAMEX> ”、“ <ENAMEX TYPE=”PERSON”> 王 婆</ENAMEX> ”、“ <ENAMEX TYPE= ”PERSON ”> 劉 頭 兒 </ENAMEX> ”、“ <ENAMEX TYPE=”PERSON”> 老 李 頭 兒 </ENAMEX> ”、“ <ENAMEX TYPE=”PERSON”> 高 氏 </ENAMEX> ”。（5）含名字的其他實體 當(dāng)政治名詞、定律、疾病、獎勵、

21、品牌等其他專有名詞中包含人名時，這些人名不作為 人名標(biāo)記。例如，“馬克思主義”、“赫爾姆斯伯頓法”、“費馬大定理”、“哥德巴赫猜想”、 “諾貝爾獎” 、“王老吉涼茶” 、“吳冠中畫集” 。（6）用年號指代的帝王名用年號指代的帝王名， 例如“康熙” 。當(dāng)可以明確確定表示的是帝王的時候標(biāo)記為人名。例如“<ENAMEX TYPE= ”PERSON”康熙</ENAMEX>大怒”，但是“康熙年間”中的“康 熙”不標(biāo)記為人名。（7）名字中的諱字特殊的，名字中隱諱的形式，作為名字，例如“張某”、“李某某”、“劉X”、“張某人”，但是用數(shù)字、干支等代指的不是名字，例如“某甲” 、“老三”。2

22、.4 適用于地名的規(guī)則 地名包含天體、大陸、國家、省、縣、城市、地區(qū)、區(qū)、鎮(zhèn)、村、鄰居、高速公路、街 道、街道地址、洋、海、海峽、海灣、運河、島、湖、國家公園、山等地理位置、區(qū)域，虛 構(gòu)或者神話的地點，或者特指的建筑物。（1）嵌入在其他實體中的地名嵌入或者限定某一個其他實體的地名 不單獨標(biāo)記， 例如 “<ENAMEX TYPE= ”O(jiān)RGANIZATION ”> 美 國 福 特 公 司 </ENAMEX> ”、“ <ENAMEX TYPE= ” ORGANIZATION ”>微軟中國公司 </ENAMEX> ”。（2）連續(xù)的地名 當(dāng)出現(xiàn)連續(xù)的地名

23、的時候，這些地名分別標(biāo)記，而和它們之間是否存在從屬關(guān)系無關(guān)。例如“<ENAMEX TYPE= "LOCATION ”中國 </ENAMEX><ENAMEX TYPE= "LOCATION ” 廣 東 </ENAMEX> ”、“ <ENAMEX TYPE= "LOCATION ”科 </ENAMEX><ENAMEX TYPE= "LOCATION ”伊</ENAMEX> 邊境”。（3）用于表明地名類型的固有后綴用于表明地名類型的固有后綴作為地名的一部分。例如“ <ENAMEX T

24、YPE=”LOCATION ”>長江 </ENAMEX> ”、“<ENAMEX TYPE= ”LOCATION ”>烏拉爾山 </ENAMEX> ”、“<ENAMEX TYPE= "LOCATION ”巴拿馬城 </ENAMEX> ”、“<ENAMEX TYPE= ”LOCATION ”>北京市 </ENAMEX> ”。但是非固有的部分不能作為地名的一部分。例 如“ <ENAMEX TYPE= "LOCATION ”長江 </ENAMEX> 北岸”中的“北岸” 、“ <

25、;ENAMEX TYPE= ”LOCATION ”>北京 </ENAMEX> 市郊”中的“市郊” 。（4）特定別名用于表示某一地名實體的特定別名作為地名標(biāo)記。例如“ <ENAMEX TYPE= ”LOCATION ”> 大 陸 </ENAMEX> ”（ 特 指 中 國 大 陸 ）、“ <ENAMEX TYPE= ”LOCATION ”> 亞 太 </ENAMEX> ”（ 亞 洲 、 太 平 洋 ）、“ <ENAMEX TYPE= "LOCATION ”西半 球 </ENAMEX> ”、“ <EN

26、AMEX TYPE= "LOCATION ”亞馬 遜 </NAMEX> ”。但是，非特定的地點或者非地點性質(zhì)的不能作為地名標(biāo)記，例如“西部大開 發(fā)”中的“西部” 、“發(fā)展中國家” 。（5）含時間標(biāo)記的地名含時間標(biāo)記的地名中的時間詞不包含在地名中，例如“前<ENAMEX TYPE =”LOCATION ”>蘇聯(lián) </ENAMEX> ”中的“前” 。（6）特定的建筑物具有特指含義的建筑物名作為地名使用時標(biāo)記為地名，例如“<ENAMEX TYPE =”LOCATION ”>天安門 </ENAMEX> ”、“ <ENAMEX

27、TYPE = ”LOCATION ”>革命軍事博物館 </ENAMEX> ”、“ <ENAMEX TYPE = ”LOCATION ”>盧溝橋 </NAMEX> ”。非特定的建筑物不標(biāo)記，例如“博物館” 、“城墻”。3 時間表達(dá)式時間表達(dá)式是用于表達(dá)特定時間點或者時間范圍的短語。 它分為兩類： 時間和日期， 其 中時間用于表示精確到一天以內(nèi)的時間，而日期則是精確到某天以上范圍的時間。3.1 通用的規(guī)則（1）相對時間 相對時間需要標(biāo)記，例如“ <TIMEX TYPE= ”DATE ”>兩天前 </TIMEX> ”、“ <TI

28、MEX TYPE= ”TIME ”> 昨 晚 </TIMEX> ”、“ <TIMEX TYPE=DATE> 昨 天 </TIMEEX><TIMEX TYPE= ”TIME ”>晚上 </TIMEX ”。（ 2）用于修飾時間的詞 用于修飾時間的詞或者短語不作為時間的一部分， 例如“大約 <TIMEX TYPE= ”TIME ”> 三點半 </TIMEX> ”中的“大約” 。（3）不能準(zhǔn)確表示時間的詞以及基于事件的時間 某些不能準(zhǔn)確表示時間的詞以及基于事件的時間不作為時間標(biāo)記， 例如“剛才”、“一會 兒”、“幾天來

29、”、“戰(zhàn)前”、“解放前”、“成天”。（4）用于表示時區(qū)的短語時間中用于表示時區(qū)的短語作為時間的一部分，例如“<TIMEX TYPE= ”TIME ”芝加哥時間 8 點 </TIMEX> ”、“ <TIMEX TYPE= ”TIME ”美國東部時間 5 月 31 日 </TIMEX> ”。（5）用于表示日歷或者時間表的時間短語 用于表示特定時間范圍的時間短語標(biāo)記為時間。例如“ <TIMEX TYPE=”TIME”>1990財政年度 </TIMEX> ”、“ <TIMEX TYPE= ”TIME ”八五 </TIMEX>

30、 計劃”。（6）不是時間的類時間短語 不是表示時間長度的短語形式上類似于時間， 但是不標(biāo)記時間， 例如“<NUMEX>1</NUMEX> 小時 <NUMEX>10</NUMEX> 分”、“ <NUMEX>3</NUMEX> 天”、 “<NUMEX> 三</NUMEX> 個月”。3.2 用于時間的規(guī)則（1）用小時、分鐘、秒等時間單位表示的時間準(zhǔn)確表示小時或者分鐘的時間短語，例如“ <TIMEX TYPE= ”TIME ”>10點</TIMEX> ”、 “ <TIMEX T

31、YPE= ” TIME ”五點半 </TIMEX> ”、“ <TIMEX TYPE= ” TIME ”下午兩點 </TIMEX> ”、“<TIMEX TYPE= ”TIME”>21:30</TIMEX> ”。（2）用于表達(dá)特定時間的詞某些用于 表達(dá)特 定時 間的 詞，例女口 “<TIMEX TYPE= ”TIME ”午夜</TIMEX> ”、 “<TIMEX TYPE= ”TIME ”中午 </TIMEX> ”、“<TIMEX TYPE= ”TIME ”凌晨 </TIMEX> ”、 “&

32、lt;TIMEX TYPE= ”TIME ”早上 </TIMEX> ”。3.3 用于日期的規(guī)則（1）表達(dá)到日、星期、旬、月、季度、年、年代、世紀(jì)的時間短語 表達(dá)到日、星期、旬、月、年、年代、世紀(jì)的時間短語標(biāo)記為日期，例如：“<TIMEXTYPE= ”DATE”>4 月 5 日 </TIMEX> ”、“ <TIMEX TYPE= ”DATE ”> 星期三 </TIMEX> ”、 “ <TIMEX TYPE= ”DATE” 五月上旬 </TIMEX> ”、“ <TIMEX TYPE= ”DATE”>8 月&l

33、t;/TIMEX> ”、“<TIMEX TYPE= ”DATE”春</TIMEX> ”、“<TIMEX TYPE= ”DATE”>1990 年 </TIMEX> ”、“ <TIMEX TYPE= ”DATE”上個世紀(jì) 80 年代 </TIMEX> ”、“ <TIMEX TYPE= ”DATE ”>19 世紀(jì) </TIMEX> ”。（2）節(jié)假日節(jié)假日被標(biāo)記為時間， 例如“<TIMEX TYPE= ”DATE ”去年春節(jié)</TIMEX> ”、“<TIMEX TYPE= ”DATE ” >端午節(jié) </TIMEX> ”。（3）年號年號作為日期標(biāo)記。例如“ <TIMEX TYPE= ”DATE ”>康熙年間 </TIMEX