1、口語測試作為一種體現(xiàn)考生真實(shí)交際水平的測試手段是任何其他測試所不能達(dá)到的,因此,任何一個科學(xué)和理想的語言測試必須要包括口語測試。但由于口語考試自身的特點(diǎn)和評分的主觀性,使得口語考試的評分工作面臨著很多困難和挑戰(zhàn)。這其中就包括了很多由測量誤差所引起的評分信度不高的因素。
　　 概化理論作為一種現(xiàn)代測量理論,對口語評分信度的測量提出了全新的測量方法。首先在可觀測的全域之上,明確測量目標(biāo)、測量側(cè)面及其相互關(guān)系。并在此基礎(chǔ)上設(shè)計(jì)出交叉設(shè)

2、計(jì)、嵌套設(shè)計(jì)和混合設(shè)計(jì)。其次,運(yùn)用實(shí)驗(yàn)設(shè)計(jì)和方差分析的方法對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析,估計(jì)出各種變異來源對分?jǐn)?shù)總變異所做的貢獻(xiàn),這也就是概化研究的過程。在決策研究階段,通過修改不同的測量側(cè)面、樣本容量和測量結(jié)構(gòu)等以達(dá)到試驗(yàn)設(shè)計(jì)人員想要的目的。
　　 本文正是運(yùn)用概化理論對湖南大學(xué)英語分級考試中口語考試部分評分員信度問題所做出的研究。通過分析,本研究得出以下結(jié)論:
　　 1)本次口語考試評分員的整體信度很高。但也顯示出了較顯著的嚴(yán)

3、厲度的差異。其中,3號評分員的嚴(yán)厲度水平是最低的。5號和6號評分員顯示出了高度的評分一致性。并且,整個口語試題的難度適中,區(qū)分度也較理想。
　　 2)通過對不同測量條件下試題側(cè)面的決策研究,估計(jì)出當(dāng)試題側(cè)面達(dá)到6個時(shí),G系數(shù)達(dá)到了更高的信度水平。
　　 3)在決策研究中,分別估計(jì)出了評分員從1到10個范圍內(nèi)信度指標(biāo)的變化情況。研究得出了在不同試題側(cè)面條件下,多少個評分員就可以達(dá)到比較高的信度值。
　　 4)通過對

4、不同測量側(cè)面的調(diào)整和估計(jì),研究得出了最優(yōu)化的設(shè)計(jì)方案。即,當(dāng)試題側(cè)面為6,評分員側(cè)面為4時(shí),即可達(dá)到仞始設(shè)計(jì)時(shí)的高信度水平。
　　 本文的研究首先體現(xiàn)在首次對湖南大學(xué)英語分級考試口語部分的整體評估和評分員信度分析,因此具有十分重要的意義,并為其進(jìn)一步發(fā)展和完善提供了實(shí)證依據(jù)。研究結(jié)果指出了口語測試部分現(xiàn)存的問題并提出了修改建議,并顯示出了不同評分員的內(nèi)部一致性水平差異,對甄選合格的評分員提供了參考。另外,本研究中采用概化理論來檢