1、群體水平的評估有兩種思路：一種是先進行個體水平的評估，然后再對個體以求平均或類似的方法間接達到對群體水平的評估。該思路要求群體內(nèi)的個體完成測驗/問卷中的所有題目，以首先實現(xiàn)對個體的評估；另一種思路是不對個體評估，而是直接實現(xiàn)對群體的評估。該思路下群體內(nèi)的每個個體只需隨機作答測驗/問卷中的一道（或少許）題目，從而根據(jù)群體在每道題上的作答人數(shù)及答對人數(shù)實現(xiàn)對群體的評估。以上兩種思路各有優(yōu)劣：第一種思路可以同時實現(xiàn)對個體及群體的評估；第二種思

2、路只能實現(xiàn)對群體評估，但它具有第一種思路難以企及的優(yōu)點，如：減少被試作答的項目數(shù)，節(jié)省被試作答的時間，提高被試參與調(diào)查的配合度，節(jié)約人力、物力；避開對個體的評估，避免因中間環(huán)節(jié)的某個失誤，從而造成群體評估失誤的事件發(fā)生，提高群體評估的效率及效度。
　　 目前關(guān)于英語閱讀問題解決(English reading problem solving，簡記ERPS)的群體水平的評估研究很少，研究工作主要在國外，且都在第一種思路下進行，但他

3、們關(guān)于ERPS的認知分析研究可能并不適合我國國情。因此本文的主要目的是：一方面結(jié)合我國實際，開展群體水平的ERPS能力評估及認知診斷，為促進學(xué)生相關(guān)認知發(fā)展和知識獲取提供服務(wù)；另一方面，在第二種思路下開發(fā)出新的群體水平認知診斷模型，為群體水平的評估及診斷提供一種更為優(yōu)越的全新方法，以實現(xiàn)方法學(xué)上的突破。本文主要由四個研究組成，研究結(jié)果如下：
　　 第一個研究為ERPS的認知分析。該研究從心理學(xué)角度探討影響ERPS的關(guān)鍵認知因素/

4、認知成分，以Embretson＆Wetzel的文本表征一反應(yīng)決策加工模型為理論基礎(chǔ)，分別從‘文本表征(text representation)'和‘反應(yīng)決策(responsedecision)'兩個認知加工過程來尋找影響ERPS的項目認知特征成分，結(jié)合課程專家的分析、我國英語課程標準和測試要求共得到10個認知屬性。最后通過對2007年某省英語高考試卷閱讀理解部分的項目分析，得到7個認知屬性，其中4個屬性與‘文本表征'有關(guān)，2個屬性與‘反

5、應(yīng)決策'有關(guān)，另有1個屬性與‘文本表征'和‘反應(yīng)決策'均有關(guān)，研究發(fā)現(xiàn)它們能解釋難度變異的79.2％，表明它們是影響ERPS的主要認知成分，同時證實它們之間的關(guān)系是無結(jié)構(gòu)型的。
　　 第二個研究為傳統(tǒng)方法下群體水平的ERPS能力評估及認知診斷。該研究在IRT框架下，采用屬性階層模型，先對個體進行能力評估和認知診斷，計算群體內(nèi)個體能力的平均值和群體內(nèi)個體對屬性的掌握比例(AMR)，并將它們分別作為群體能力評估和認知診斷的結(jié)果。研究

6、結(jié)果表明學(xué)校能力總體適中，沒有發(fā)現(xiàn)能力極端的學(xué)校，除屬性A5外，學(xué)校對其它屬性的掌握程度都較好，但仍需要加強對屬性A5即推理能力的教學(xué)與培養(yǎng)。將學(xué)校分為三類分析發(fā)現(xiàn)：、省重點建設(shè)中學(xué)與普通中學(xué)之間差異不顯著，但這兩類學(xué)校與省重點中學(xué)之間差異顯著。若以學(xué)校當年英語高考的總平均分數(shù)作為效標，計算傳統(tǒng)方法下群體水平評估和診斷結(jié)果與這一效標的相關(guān)系數(shù)分別為0.998(P<0.001)和0.836(P<0.001)，表明傳統(tǒng)方法下群體評估結(jié)果具有

7、較高的效標關(guān)聯(lián)效度。
　　 第三個研究為群體水平評估新模型的開發(fā)。該研究結(jié)合2GPLM、RSM和AHM模型開發(fā)出了群體水平認知診斷模型---CY_GCDM模型。該模型不僅可以報告出群體的能力和認知狀態(tài)，還能報告群體對屬性的掌握概率，該概率與群體對屬性的掌握比例在本質(zhì)上是一致的；同時研究中還提出了四種新的群體水平認知診斷的判別分類方法(分別記為BUG(A)，BUG(B)，DB(A)，DB(B))。蒙特卡羅模擬研究發(fā)現(xiàn)：CY_GCD

8、M模型是可行的，合理的，可解釋的。模型中提出的四種新方法都要比貝葉斯判別法好，且這四種新方法都具有較高的診斷精度，它們各有優(yōu)缺點。具體地講，距離-相似度判別法中的方法A(DB(A))的判別準確率最不穩(wěn)定，而距離一相似度判別法中的方法B(DB(B)).相似判別法(BUG(A)，BUG(B））相對比較穩(wěn)定，且判別準確率也較好。從模式判準率來講，當數(shù)據(jù)中允許存在的失誤概率為0.05時，DB(B)方法最優(yōu)，而當失誤概率為0.1或0.15時，BU

9、G(B)方法則最優(yōu)。將各判準率指標按權(quán)重進行綜合發(fā)現(xiàn)：當失誤概率為0.05時，則DB(B)方法最好，而當失誤概率為0.1或0.15時，則BUG(A)方法最好；但總體上講BUG(A)和DB(B)方法是最好的。
　　 第四個研究為新方法下群體水平的ERPS能力評估及認知診斷。該研究在CY-GCDM模型下，采用BUG(A)判別分類方法，實現(xiàn)了ERPS群體水平的能力評估及認知診斷，并將結(jié)果與傳統(tǒng)方法下的結(jié)果相比較。研究發(fā)現(xiàn)：新方法與傳統(tǒng)

10、方法對群體的評估結(jié)果相似，且兩方法對群體能力評估結(jié)果的相關(guān)高達0.957，絕對離差的平均值為0.2318;傳統(tǒng)方法下得到的屬性掌握比例與新方法下得到的屬性掌握概率的平均相關(guān)也有0.6939，達到了顯著水平，它們之間的絕對離差的平均值為0.157。這些都證明：在實際應(yīng)用中，新方法可以得到與傳統(tǒng)方法相一致的群體評估結(jié)果，新方法是可行的、可靠的。不僅如此，新方法中報告的群體認知狀態(tài)結(jié)果與個體診斷的認知狀態(tài)結(jié)果具有較強的一致性。
　　

11、上述研究結(jié)果顯示：將影響ERPS的主要認知成分歸結(jié)為本文所確定的7個，認知屬性不僅是理論可行的，也是統(tǒng)計可行的；在認知分析的基礎(chǔ)上，兩種評估思路都實現(xiàn)了群體水平的能力評估及認知診斷，它們的評估結(jié)果相似，即測驗項目都具有較好的項目參數(shù)，所有測試學(xué)校的能力總體適中，它們對測驗所測量的屬性掌握程度都較好；兩種群體評估思路都是可行的，有效的，且在第二種思路下，CY G-CDM模型的認知診斷精度較高；GIRT模型的參數(shù)估計精度與IRT模型一致。<

12、br>　　 當只關(guān)注群體評估結(jié)果時，新方法較傳統(tǒng)方法而言更具有優(yōu)勢，具體而言：(1)新方法大大節(jié)省了數(shù)據(jù)收集和處理的時間、人力和物力。設(shè)測驗項目數(shù)為m，群體內(nèi)每個個體作答的項目數(shù)為k，則新方法所用的數(shù)據(jù)量僅為傳統(tǒng)方法所使用的數(shù)據(jù)量的k/ m。(2)新方法采用的是矩陣抽樣設(shè)計，它適用于分析存在缺失的數(shù)據(jù)，尤其適用于態(tài)度問卷，消費心理問卷等易出現(xiàn)無效問卷的數(shù)據(jù)收集與處理場合，這種數(shù)據(jù)采集方法增強了問卷調(diào)查的靈活性，提高了問卷調(diào)查的效率；(