1、寫作評(píng)分方法主要考慮四個(gè)主要因素：寫作任務(wù)，評(píng)分量表，評(píng)分員和作者。和之前大多針對(duì)大規(guī)模標(biāo)準(zhǔn)化語(yǔ)言考試不同，本研究以高水準(zhǔn)寫作競(jìng)賽中的評(píng)分方法為研究對(duì)象，希望通過比較分析上述因素間的互動(dòng)和這些互動(dòng)對(duì)最終評(píng)分結(jié)果的影響，建立一個(gè)適合寫作競(jìng)賽的評(píng)分方法。
　　研究數(shù)據(jù)來源于2013年“外研社杯”第一屆全國(guó)英語(yǔ)寫作大賽。相較于其它大規(guī)模標(biāo)準(zhǔn)化考試，大賽對(duì)參賽選手來說競(jìng)爭(zhēng)更大挑戰(zhàn)更大。選手通過初賽和復(fù)賽后，方能統(tǒng)一參加北京決賽參與最終評(píng)獎(jiǎng)

2、。決賽評(píng)分要求中外評(píng)委運(yùn)用不同的評(píng)分量表給兩項(xiàng)寫作任務(wù)評(píng)分，決賽評(píng)分結(jié)果為本次研究的最終數(shù)據(jù)。
　　數(shù)據(jù)分析將按研究問題分三步依次進(jìn)行。第一步將從選手能力，評(píng)分員嚴(yán)厲度，量表功能和偏差反應(yīng)四個(gè)方面來考察單項(xiàng)量表和整體量表的評(píng)分質(zhì)量，文體影響將通過比較兩個(gè)寫作任務(wù)的評(píng)分結(jié)果來呈現(xiàn)。第二步將著重研究單項(xiàng)量表中各單項(xiàng)標(biāo)準(zhǔn)分的區(qū)分度。最后第三步將綜合考慮各評(píng)分因素并逐步調(diào)整和整合，最后形成一個(gè)綜合評(píng)分方法。
　　數(shù)據(jù)分析工具為 MF

3、RM模型下的統(tǒng)計(jì)軟件 Facets。數(shù)據(jù)分析顯示，評(píng)分員在運(yùn)用整體量表中更容易使用某一特定跨幅內(nèi)的分?jǐn)?shù)，而且評(píng)分員嚴(yán)厲度在任務(wù)一里呈現(xiàn)巨大差異。單項(xiàng)量表在兩項(xiàng)任務(wù)中都能呈現(xiàn)更好的嚴(yán)厲度一致性。選手的寫作能力與最終得分始終具有極強(qiáng)對(duì)應(yīng)性，整體量表能夠可靠地將選手能力區(qū)分為更多層面。對(duì)于兩項(xiàng)寫作任務(wù)，整體量表量表功能表現(xiàn)更佳，但低分區(qū)間內(nèi)的區(qū)分度較低。在語(yǔ)言、結(jié)構(gòu)和內(nèi)容這三項(xiàng)單項(xiàng)標(biāo)準(zhǔn)中，語(yǔ)言對(duì)于大多數(shù)選手過于簡(jiǎn)單，結(jié)構(gòu)為難度最高的單項(xiàng)標(biāo)準(zhǔn)，