地理高考試題的試題分析初探戴新宇

博士

副教授南京大學(xué)課題組地理高考試題的試題分析初探戴新宇博士副教授內(nèi)容概要試題分析框架試題手動標(biāo)注及總結(jié)試題自動標(biāo)注：分詞、實(shí)體識別、術(shù)語試題語義分析及表示2023/9/82內(nèi)容概要試題分析框架2023/8/32試題分析框架2023/9/83試題分析框架2023/8/33試題手工標(biāo)注目的：通過對若干試題進(jìn)行規(guī)范化、系統(tǒng)化的標(biāo)注,掌握試題中詞法、句法、語義特性,把握試題的類型、求解目標(biāo)、知識點(diǎn)分布等,進(jìn)而抽象出人工標(biāo)注過程中學(xué)習(xí)得到的知識和求解策略標(biāo)注結(jié)果將來可以作為標(biāo)注數(shù)據(jù),利用自然語言處理和機(jī)器學(xué)習(xí)方法,對新的試題進(jìn)行自動的標(biāo)注,這些標(biāo)注的結(jié)果將用于解題。自動標(biāo)注的時(shí)間、地點(diǎn)、術(shù)語等可以幫助分析理解試題,標(biāo)注出的知識點(diǎn)、求解目標(biāo)、問句模式可以幫助確定查詢目標(biāo)及確定解題策略。2023/9/84試題手工標(biāo)注目的：2023/8/34試題手工標(biāo)注規(guī)范給定的一道試題(選擇題)及ABCD四個(gè)選項(xiàng),對其進(jìn)行手工的標(biāo)注,需要標(biāo)注的內(nèi)容包括:求解目標(biāo)(AnswerType):

多實(shí)體、單實(shí)體、判斷、流程、其它;問句模式(Questiontype):事實(shí)、因果、比較、關(guān)聯(lián)、圖表計(jì)算、其它。(注:四個(gè)選項(xiàng)的求解模式可能不同,因此此項(xiàng)標(biāo)注以選項(xiàng)為單位);時(shí)間:標(biāo)注出該試題及選項(xiàng)中存在的時(shí)間名詞及短語;地點(diǎn):標(biāo)注出該試題及選項(xiàng)中存在的地點(diǎn)名詞和短語;術(shù)語:標(biāo)注出該試題及選項(xiàng)中存在的地理學(xué)科專業(yè)術(shù)語;課本知識點(diǎn):標(biāo)注出該試題所考察的知識點(diǎn)在書本上對應(yīng)的書號、章、節(jié);思維導(dǎo)圖知識點(diǎn):標(biāo)注出該試題所考察的知識點(diǎn)在思維導(dǎo)圖中所處的位置;圖片:標(biāo)注出圖片的類型，以及圖片中包含的三元組信息。2023/9/85試題手工標(biāo)注規(guī)范給定的一道試題(選擇題)及ABCD四個(gè)選手工標(biāo)注總結(jié)（求解目標(biāo)）共28套試卷,

486個(gè)選擇題,

1944個(gè)選項(xiàng)進(jìn)行了標(biāo)注，試卷包括2006-2014年北京市高考地理試卷,以及近幾年北京市海淀區(qū)、西城區(qū)、東城區(qū)、朝陽區(qū)的模擬試卷。求解目標(biāo):

486個(gè)選擇題,

其中“判斷”357個(gè),“單實(shí)體”83個(gè),“多實(shí)體”36個(gè),

“流程”9個(gè),“其它”1個(gè)。題面中的某些詞匯基本可以確定求解目標(biāo)?！胺謩e”、“依次”：“多實(shí)體”題型“順序”、“階段”：“流程”題型“正確”、“原因”、“影響”：“判斷”題型……2023/9/86手工標(biāo)注總結(jié)（求解目標(biāo)）共28套試卷,486個(gè)選擇題,1手工標(biāo)注總結(jié)（求解目標(biāo)標(biāo)注示例）2023/9/872,圖2為某山地的垂直帶譜示意圖。讀圖，回答第4～5題。2,4圖中所示山地判斷4A各自然帶的界線隨季節(jié)變化而移動4B北坡熱量條件差，林帶上界比南坡低4C南坡冰雪帶下界因降水量大而較低4D南北坡山麓水平距離造成基帶差異大2,5該山地位于單實(shí)體5A喜馬拉雅山脈5B天山山脈5C祁連山脈5D昆侖山脈手工標(biāo)注總結(jié)（求解目標(biāo)標(biāo)注示例）2023/8/372,圖2為手工標(biāo)注總結(jié)(問句模式)問句模式:問句模式以選項(xiàng)為單位,但是有些試題4個(gè)選項(xiàng)的問句模式一致,因此共標(biāo)注1944個(gè)問句模式,其中“事實(shí)”1177個(gè),“因果”363個(gè),“比較”218個(gè),“圖表計(jì)算”112個(gè),“關(guān)聯(lián)”70個(gè),“其它”4

個(gè)。題面中的某些詞匯基本可以確定求解目標(biāo)。如“相比”、“最大”、“最高”：“比較”問句“看出”、“能夠”：“關(guān)聯(lián)”問句“原因”、“導(dǎo)致”、“因?yàn)椤?、“因素”：“因果”問句?！?/p>

2023/9/88手工標(biāo)注總結(jié)(問句模式)問句模式:問句模式以選項(xiàng)為單位,但是手工標(biāo)注總結(jié)(問句模式標(biāo)注示例)2,圖2為某山地的垂直帶譜示意圖。讀圖，回答第4～5題。2,4圖中所示山地判斷4A各自然帶的界線隨季節(jié)變化而移動事實(shí)4B北坡熱量條件差，林帶上界比南坡低比較比4C南坡冰雪帶下界因降水量大而較低因果因...而...4D南北坡山麓水平距離造成基帶差異大因果造成2,5該山地位于單實(shí)體事實(shí)位于5A喜馬拉雅山脈5B天山山脈5C祁連山脈5D昆侖山脈2023/9/89手工標(biāo)注總結(jié)(問句模式標(biāo)注示例)2,圖2為某山地的垂直帶譜示手工標(biāo)注總結(jié)(時(shí)間詞)時(shí)間詞標(biāo)注:486道試題共標(biāo)注時(shí)間詞251個(gè)。我們基于時(shí)間詞及短語的形式進(jìn)行了歸類,將試卷中的時(shí)間詞及短語分為9類,包括：周期類,如“每天”“每年雨季”“每年10月4日至10日”等;時(shí)間段,如“1-3月”“從2010年起”等;季節(jié)(包括部分節(jié)氣),如“春季”“秋冬季”“夏至日”“冬夏之交”等;不同粒度的時(shí)間點(diǎn),如“2013年”“午后14點(diǎn)左右”“此日后20日”等;有條件的時(shí)間點(diǎn),如“氣溫最低時(shí)”“甲天氣系統(tǒng)途徑菲律賓時(shí)”“地震發(fā)生后”等;某時(shí)期,如“甲時(shí)期”“十二五期間”等;一天中的某時(shí)段,如“日出時(shí)間”“日出日落時(shí)間”“上午”等;虛擬指代的時(shí)間,如“某年”“該日”等;other:其他。2023/9/810手工標(biāo)注總結(jié)(時(shí)間詞)時(shí)間詞標(biāo)注:486道試題共標(biāo)注時(shí)間詞手工標(biāo)注總結(jié)(地點(diǎn)詞)地點(diǎn)詞標(biāo)注:486道試題共標(biāo)注地點(diǎn)詞1019個(gè)。我們依據(jù)地點(diǎn)詞或短語的構(gòu)造規(guī)律,對地點(diǎn)詞進(jìn)行了歸類,將試卷中的地點(diǎn)詞及短語分為9類,包括:包含經(jīng)緯度的地點(diǎn),如“90?E”,“北緯50?”等;虛擬指代的地點(diǎn),“圖示河流”“該國東北部的某河河口附近”等;行政區(qū)域,國家、省、市、縣等等,如“江蘇省”“北京市”“蘇、皖、浙、閩四省”等;XX站,如“空間站”“中山站”等;XX平原、高原等,包括特例”公園”,如“長江流域”“臺灣島”“巴西蘭索瓦瑪朗漢斯國家公園”等;XX區(qū),如“喀斯特地貌地區(qū)”“中國部分農(nóng)業(yè)主產(chǎn)區(qū)”等;包含方位詞,如“向北”“城市中心”“地中海沿岸”等;8.other:其它。2023/9/811手工標(biāo)注總結(jié)(地點(diǎn)詞)地點(diǎn)詞標(biāo)注:486道試題共標(biāo)注地點(diǎn)詞手工標(biāo)注總結(jié)(術(shù)語)術(shù)語標(biāo)注:486道試題共提取術(shù)語1547個(gè)。術(shù)語的標(biāo)注可能存在不一致的問題,比如“太陽年輻射總量”“工業(yè)生成成本”等是否歸為術(shù)語值得進(jìn)一步探討。地理學(xué)科術(shù)語需要一個(gè)規(guī)范的、明確的集合,以供構(gòu)造知識庫和試題分析所用。2023/9/812手工標(biāo)注總結(jié)(術(shù)語)術(shù)語標(biāo)注:486道試題共提取術(shù)語15手工標(biāo)注總結(jié)(思維導(dǎo)圖知識點(diǎn))思維導(dǎo)圖知識點(diǎn)標(biāo)注：基于北京大學(xué)出版社出版的《思維導(dǎo)圖伴你學(xué)》(高中地理學(xué)習(xí)導(dǎo)圖)一書。我們知識點(diǎn)的分布進(jìn)行了考察,

“中國地理概況”、“地球和地圖”、“人口數(shù)量變化和人口的合理容量”等知識點(diǎn)出現(xiàn)的比較頻繁,需要對這類知識點(diǎn)的試題進(jìn)行重點(diǎn)的研究和突破。由于思維導(dǎo)圖結(jié)構(gòu)相對復(fù)雜,部分同學(xué)標(biāo)注不夠規(guī)范。2023/9/813“人口老齡化”、“常住人口”、“養(yǎng)老金”：“人口數(shù)量變化和人口的合理容量”?！靶棚L(fēng)帶”、“副熱帶”等：“氣壓帶和風(fēng)帶”手工標(biāo)注總結(jié)(思維導(dǎo)圖知識點(diǎn))思維導(dǎo)圖知識點(diǎn)標(biāo)注：2023手工標(biāo)注總結(jié)(課本知識點(diǎn))課本知識點(diǎn)標(biāo)注：基于北京市高中地理用書,包括3本必修,和7本選修課本515道試題共標(biāo)注課本知識點(diǎn)總條數(shù)921條。其中超過60%集中在“必修一”和“必修二”兩本書中。

2023/9/814“侵蝕”、“板塊”、“堆積”、“巖石”：“必修一-第四章”手工標(biāo)注總結(jié)(課本知識點(diǎn))課本知識點(diǎn)標(biāo)注：2023/8/3圖表分類地圖底圖：平面圖、剖面圖疊加圖：網(wǎng)格(如經(jīng)緯度)、曲面(如海拔)、等值線(如等壓線)、散點(diǎn)表格與圖表表格圖表：柱形圖、堆積條形圖、散點(diǎn)圖、折線圖、曲面圖流程圖照片圖表分類地圖圖表標(biāo)注舉例類型信息倫敦,類型,城市英國,類型,國家l1,類型,洋流l2,類型,洋流地圖-底圖-平面圖英國,類型,區(qū)域l1,類型,軌跡l2,類型,軌跡倫敦,類型,點(diǎn)p1_1,類型,點(diǎn)p1_2,類型,點(diǎn)p2_1,類型,點(diǎn)p2_2,類型,點(diǎn)l1,軌跡點(diǎn),(p1_1,p1_2)l2,軌跡點(diǎn),(p2_1,p2_2)地圖-疊加圖-網(wǎng)格倫敦,經(jīng)度,0度倫敦,緯度,北緯51度p1_1,經(jīng)度,西經(jīng)11度p1_1,緯度,北緯50度p1_2,經(jīng)度,東經(jīng)2度p1_2,緯度,北緯52度p2_1,經(jīng)度,西經(jīng)12度p2_1,緯度,北緯52度p2_2,經(jīng)度,西經(jīng)7度p2_2,緯度,北緯59度英國,北端,北緯61度英國,東端,東經(jīng)2度英國,南端,北緯49度英國,西端,西經(jīng)8度地圖-疊加圖-曲面英國,海拔,0-500米圖表標(biāo)注舉例類型信息倫敦,類型,城市英國,類型,國家手工標(biāo)注總結(jié)標(biāo)注標(biāo)準(zhǔn)需要完善，需要更規(guī)范的標(biāo)注體系；標(biāo)注質(zhì)量參差不齊，需要進(jìn)一步提高；需要增加新的標(biāo)注內(nèi)容：如中心詞、謂詞等需要標(biāo)注更多……2023/9/817手工標(biāo)注總結(jié)標(biāo)注標(biāo)準(zhǔn)需要完善，需要更規(guī)范的標(biāo)注體系；2023試題自動標(biāo)注2023/9/818試題自動標(biāo)注2023/8/318試題自動標(biāo)注：詞法手工標(biāo)注了2013-2014兩年的北京高考試題,對其進(jìn)行手動的分詞和術(shù)語標(biāo)注,作為分詞、時(shí)間詞、地點(diǎn)詞、術(shù)語識別的測試集。分詞結(jié)果的F-Score超過了90%,錯(cuò)誤中超過50%是術(shù)語識別的錯(cuò)誤。10%左右為包含標(biāo)點(diǎn)的切分錯(cuò)誤（如7.8%），10%左右為包含指代的實(shí)體識別錯(cuò)誤（如“甲地”）。假設(shè)詞典包含試卷中的所有術(shù)語，加一些額外的后處理，能夠達(dá)到96%+。2023/9/819試題自動標(biāo)注：詞法手工標(biāo)注了2013-2014兩年的北京高試題自動標(biāo)注：句法2023/9/820試題自動標(biāo)注：句法2023/8/320試題自動標(biāo)注（句法語義）AbstractMeaningRepresentation(AMR)一種簡單的能夠表達(dá)句子內(nèi)部概念之間語義關(guān)系的一種表示方式。2023/9/821試題自動標(biāo)注（句法語義）AbstractMeaning試題自動標(biāo)注（句法語義）AbstractMeaningRepresentation(AMR)一種簡單的能夠表達(dá)句子內(nèi)部概念之間語義關(guān)系的一種表示方式。分析的過程分為三個(gè)階段:conceptidentification,relationidentification,parsing。2023/9/822試題自動標(biāo)注（句法語義）AbstractMeaning試題自動標(biāo)注（句法語義）AbstractMeaningRepresentation(AMR)一種簡單的能夠表達(dá)句子內(nèi)部概念之間語義關(guān)系的一種表示方式。分析的過程分為三個(gè)階段:conceptidentification,relationidentification,parsing。2023/9/823試題自動標(biāo)注（句法語義）AbstractMeaning試題自動標(biāo)注（句法語義）AbstractMeaningRepresentation(AMR)一種簡單的能夠表達(dá)句子內(nèi)部