對程序課程的一個可靠的考試系統(tǒng)的評估TorbjrnJonsson,PouriaLoghmaniandSiminNadjm-TehraniDepartmentofComputerandInformationScienceLinkpingUniversity,Swedentorjo,poulo,siminida.liu.se摘要：本文是我們對程序課程的一個可靠的考試系統(tǒng)的經(jīng)驗描述。我們簡要描述這個系統(tǒng)的結(jié)構(gòu)和把這個系統(tǒng)的真實測試狀態(tài)的評估的結(jié)果呈現(xiàn)出來。一些細(xì)節(jié)因素從網(wǎng)上的學(xué)生和測試者中學(xué)習(xí)，在響應(yīng)時間和他們親身體驗的影響下，他們所采用的方法和考試形式是否自然性。介紹：像有經(jīng)驗的程序課程教師，我們發(fā)現(xiàn)了使用程序課程傳統(tǒng)考試形式的缺點。學(xué)生學(xué)程序是通過實驗課的練習(xí)，但最后評估他們能力和考試成績的卻是采用紙和筆代替電腦。判斷學(xué)生在個人生涯中不會不使用這種模式制作程序，我們考慮到這不是個正確的方法。在*大學(xué)的計算機科學(xué)系，每年大約有1000名學(xué)生在不同的教育性程序下教12門基礎(chǔ)程序課程。這篇文章論述了程序課程在教育上的新的看法，能提供給任何程序語言、不同類型的學(xué)生和教育程序。這個想法是基于廣大學(xué)生圍繞不同考試形式的個人成績，最有用和有效的反饋選擇考試方式使用的考試形式的可靠性的基礎(chǔ)準(zhǔn)則。我們相信能通過把方法的選擇和經(jīng)過估價附加的效率相結(jié)合來改善我們學(xué)習(xí)程序的質(zhì)量。特別的，我們相信它能把考試過程*一些年來，我們在一些試驗性課程對學(xué)生們進行了廣泛的計算機輔助考試的測試實驗對這種類型的考試的一個可靠的考試形式。然而，這種考試形式因為計算機必要環(huán)境的支持不充分并沒有預(yù)想的那樣更加廣泛的流傳。去年，所有的學(xué)生和測試教師都連接到了一個新開發(fā)的可靠的考試系統(tǒng)（AES）。這個過程，經(jīng)過通信和分級被環(huán)境支持。這篇文章我們描述了這個考試系統(tǒng)和對這個考試系統(tǒng)和其他一些有關(guān)的考試*相比較的最初評價。這個課程的問題覆蓋了Ada程序和被第一年和第二年的學(xué)生*。在去年我們對AES進行了評估。這個儀器用來評估存在的一系列問題在通過對231個學(xué)生3個月和4次考試解決。在第1部分我們描述為什么我們提議考試的種類為編程的路線是最適當(dāng)?shù)牟⑶遗c一些相關(guān)系統(tǒng)比較。第2部分包括考試系統(tǒng)的一個簡要的技術(shù)描述，包括它的結(jié)構(gòu)設(shè)計。在第3部分我們描述怎么計算機系統(tǒng)，那在網(wǎng)上處理考試過程，必須由在每條特殊路線設(shè)定的規(guī)則增添。第4部分在第5部分包括我們的評估方法和由評估結(jié)果跟隨。第6部分結(jié)束本文。1次考試形式每個考試方法有使它更或較不適當(dāng)對一個特殊路線設(shè)置的具體特征。H？kanOswaldsson在當(dāng)前考試系統(tǒng)的發(fā)展之前在我們的部門學(xué)習(xí)了可能的考試形式的范圍的一條典型的編程路線。當(dāng)考試幾個方式可以被考慮作為有效的手段為改進的學(xué)會(即在家任務(wù)、口試跟隨設(shè)計任務(wù)的等等)時，沒有結(jié)合需要對于一個summative評估的許多考試類型，以導(dǎo)致學(xué)會的不充分反饋。與我們當(dāng)前教的很大數(shù)量的學(xué)生結(jié)合，一個理想的考試設(shè)置的設(shè)計是一項真實地富挑戰(zhàn)性任務(wù)。工作在Dawson-Howe旁邊是帶領(lǐng)計算機支持進入編程任務(wù)評估和管理的過程。對自動化的考試系統(tǒng)的需要變得恰當(dāng)。在90年代后期期間以出現(xiàn)距離和生活長學(xué)會。例如，在英國的函授大學(xué)有企圖到交換學(xué)生任務(wù)和他們的(隨后)更正由稽查通過MS-Word文件。然而，可利用的報告(即工作在Price和Petre旁邊)在一次網(wǎng)上地道考試集中管理舒適為路線任務(wù)和分級，而不是師范反饋。幾位作者近年來報告關(guān)于自動評估系統(tǒng)，主要集中系統(tǒng)和學(xué)生的結(jié)果的技術(shù)現(xiàn)狀的介紹根據(jù)分級。當(dāng)我們分享這些研究小組的志向并且進行相似的研究時，我們的焦點在正式評估怎樣學(xué)生察覺考試環(huán)境。另外我們學(xué)習(xí)了怎么他們是受因素的影響的具體到地道考試，怎么系統(tǒng)性能和稽查的網(wǎng)上行為在學(xué)生影響被察覺的裝載和其他這樣方面。學(xué)生帳戶老師帳戶檢查考試處理傳訊統(tǒng)計AES設(shè)計被劃分成多排：客戶排、中間排(包括一個或更多次級排)和后端排。分成設(shè)計入排允許我們選擇適當(dāng)?shù)募夹g(shù)為一個特定情況。多技術(shù)可能甚而用于提供同一項服務(wù)用不同的情況。例如，HTML頁、JSP頁和獨立應(yīng)用程序可能所有用于客戶排?？蛻襞胖虚g排后端排2AES的技術(shù)描述AES使用J2EE平臺開發(fā)。這代表一個唯一標(biāo)準(zhǔn)為實施和部署復(fù)雜企業(yè)應(yīng)用。通過一個開放過程，J2EE被設(shè)計符合大范圍企業(yè)應(yīng)用程序要求，包括發(fā)行具體機制例如傳訊系統(tǒng)、可測量性和模塊化。客戶根據(jù)模型看法控制器(MVC)應(yīng)用建筑學(xué)，在應(yīng)用之內(nèi)分離功能的三個分明形式：模型在應(yīng)用在數(shù)據(jù)代表數(shù)據(jù)的結(jié)構(gòu)，并且有特殊用途的操作?？捶ㄔL問數(shù)據(jù)從模型并且指定怎么應(yīng)該提出那數(shù)據(jù)?？捶ㄔ贏ES包括提供看法功能的獨立應(yīng)用程序?？刂破鞣g對模型的用戶動作并且選擇根據(jù)用戶首選項的適當(dāng)?shù)目捶?。AES被設(shè)計作為一套松散接合的模塊，內(nèi)部緊耦合。編組功能入模塊提供綜合化在合作的類之間，分離偶爾地互相提到的類。模塊設(shè)計支持設(shè)計目標(biāo)軟件將是可再用的。每個模塊有定義了模塊的功能要求并且提供地方最新組分也許聯(lián)合的一個接口。AES包括模塊為：圖2.1：AES設(shè)計。每一三排在設(shè)計的一個具體角色。客戶排負(fù)責(zé)對提出數(shù)據(jù)對用戶，互動與用戶和溝通與系統(tǒng)的其他排。在這種情況下客戶排是系統(tǒng)的唯一的部分可看見對用戶。AES客戶排包括與其他排聯(lián)絡(luò)通過明確定義的接口的主要一個獨立應(yīng)用程序。根據(jù)JMS的一種針對消息的方法(Java傳訊系統(tǒng))被選擇照料通信在客戶排和中間排之間。中間排負(fù)責(zé)對所有處理介入的企業(yè)JavaBeans。企業(yè)JavaBeans是延伸服務(wù)器執(zhí)行有特殊用途的功能的軟件元件。這些組分和他們的容器之間的接口在企業(yè)JavaBeans規(guī)格被定義。他們包含的容器提供服務(wù)給企業(yè)JavaBeans事例，例如控制交易，處理的安全，穿線或者合并和處理堅持，在其他高級系統(tǒng)任務(wù)中的其他資源。后端排是系統(tǒng)信息基礎(chǔ)設(shè)施。這排包括可能是有用的一個或更多關(guān)系數(shù)據(jù)庫管理系統(tǒng)和潛在地其他信息財產(chǎn)，即中央大學(xué)路線結(jié)果管理系統(tǒng)(LADOK)。EIS排也強制執(zhí)行安全并且提供可測量性。后端排提供映射現(xiàn)有數(shù)據(jù)和軟件的層數(shù)應(yīng)用資源到AES里設(shè)計用一個實施中立方式。系統(tǒng)被分離入五不同功能層數(shù)，中的每一以它自己的責(zé)任和它自己的API。這些層數(shù)橫跨三不同排完全被分裂。堅持層數(shù)，例如，提供機制必要永久地保存對象狀態(tài)。它提供基本的CRUD(創(chuàng)造，讀，更新，刪除)服務(wù)并且應(yīng)付對象對關(guān)系映射的問題。這導(dǎo)致一個更加靈活和更加可維護的系統(tǒng)，即層數(shù)可以改變沒有作用對其他層數(shù)，只要API依然是恒定。3次考試設(shè)定考試系統(tǒng)只是考試過程的一份。第二個部分是設(shè)定(規(guī)則)我們有為學(xué)生。我們嘗試了幾個設(shè)定在一定數(shù)量的歲月期間(使用一個原型為系統(tǒng)5-6年)。3.1第一個設(shè)定第一個版本允許學(xué)生使用計算機寫節(jié)目而不是寫在紙。我們發(fā)現(xiàn)這個方法是改善，因為我們沒有必須讀“難認(rèn)”文本，并且遞交的解答可能之后被測試。等級根據(jù)正確地解決的鍛煉的數(shù)量。一個問題與這個集合-是所有仍然分級必須完成，在完成了之后檢查。大多學(xué)生在解答等待送直到高潮性檢查。3.2第二個設(shè)定我們的意圖將有考試，學(xué)生在幾分鐘內(nèi)應(yīng)該有一個反應(yīng)從稽查，并且等級被給了學(xué)生的地方，當(dāng)他們離開檢查。我們在幾分鐘內(nèi)也打算提供學(xué)生以得到反應(yīng)的可能性為每鍛煉，因此他們可能改正一種幾乎正確解答。我們今天使用)的第二個設(shè)定(根據(jù)正確地解決的鍛煉的數(shù)字和需要的時間解決他們。給一定數(shù)量的最后期限。如果學(xué)生想要高等級他或她在一個被預(yù)先指定的期限之內(nèi)必須解決一定數(shù)量的鍛煉。當(dāng)前考試過程跟隨幾步：1.學(xué)生送一個考試要求鍛煉到稽查。2.稽查能退回以下結(jié)果之一。通過-解答是正確的。殘缺不全-解答有錯誤，并且必須改正。使新的企圖后是可能的。出故障-解答是不正確的，并且學(xué)生不允許繼續(xù)在這鍛煉工作。3.每考試企圖和結(jié)果對期終考試等級將貢獻(xiàn)，并且學(xué)生是消息靈通的他/她的當(dāng)前成績。如果學(xué)生在一另外的鍛煉遞交一個新的考試請求他或她可以到達(dá)高級。這個考試過程被建立入我們的當(dāng)前AES，但規(guī)則(期限等)可以為分開的路線被改變。這使系統(tǒng)靈活。期限和分級在這個系統(tǒng)被測試那里的路線是三鍛煉在每檢查，并且不同的成績的要求是：為等級5(優(yōu)秀)學(xué)生必須完成：o3鍛煉正確在3個小時或o2鍛煉正確在2個小時為等級4(非常好)學(xué)生必須完成：o2鍛煉正確在3個小時或o1鍛煉正確在1.5小時為等級3(通過)學(xué)生必須完成：o1鍛煉正確在4個小時在檢查期間，上述設(shè)定與AES支持一起提供我們機會分級學(xué)生。解決了一鍛煉他們到達(dá)了的學(xué)生是消息靈通的等級。如果他們滿意對那個等級他們可以離開檢查(許多學(xué)生在一個到二個小時以后離開，當(dāng)他們有等級4或5)時。學(xué)生問題在普通的計算機輔助的檢查，一定數(shù)量的問題由學(xué)生遞交，答復(fù)可能或者被分類如個人或如感興趣為所有學(xué)生?；槟軟Q定他或她是否將寄發(fā)答復(fù)到整體小組學(xué)生或到一名具體學(xué)生。問題的數(shù)量似乎是相對地恒定的在檢查(大約每5分鐘的2-5個問題期間)。在檢查的起點期間，多數(shù)問題被送，可以解釋用事實學(xué)生詢問具體事關(guān)于鍛煉，并且那里是更多學(xué)生在的開頭部分檢查。提議或認(rèn)同企圖在普通的計算機輔助的檢查我們有很大數(shù)量的考試請求從學(xué)生。我們在表3.1能看我們有一相對地高頻率在期間從30分鐘到3個小時。在那以后，大多學(xué)生離開(他們比時間)的3不可能以后得到高級。在最后期限附近我們能看考試嘗試經(jīng)常出現(xiàn)，但不更經(jīng)常。但是，考試請求增量導(dǎo)致更多工作為稽查。這可能導(dǎo)致在響應(yīng)時間(等待時間的增量為學(xué)生)。4個評估方法當(dāng)前系統(tǒng)的發(fā)展在夏天開始了2001年并且通過冬天2001/2002繼續(xù)了。當(dāng)我們開